前不久，中信出版集团邀请到了国际AI专家、零一万物CEO、创新工场董事长李开复博士与历史学家、哲学家、《智人之上》作者尤瓦尔·赫拉利教授连麦畅聊。
本次对谈从AI对现实的技术性影响切入，两位嘉宾互问互答，进行了一场令人深思的思想互动。
尤瓦尔·赫拉利曾与不少硅谷人士进行过谈话，相比于AI专业人士的乐观，作为一名历史学家，他认为新技术的巨大危险不在于最终结果，而在于实现它的过程。
从第一次工业革命到第二次工业革命，从殖民时代到一战、二战，人类付出的生命代价以亿计算。
“当一种强大的新技术出现时，没有人知道如何将其融入社会和政治，也不知道如何明智地使用它。人们会进行实验，而有些实验可能会非常非常糟糕。”这是正是尤瓦尔·赫拉利出于一名历史学家的责任感所担忧的。
李开复博士从自己的技术背景抽身而出，指向了一个更为宏大和根本的问题，那就是——人性应该更多地定义为意识，而不是智能，因为人工智能显然更具有智能。
他希望人们会逐渐意识到，生活不仅仅是为了工作，特别是简单的、重复性的工作。人工智能可能会成为一个促使人们重新定义自己和寻找人类命运的推动力。
两位嘉宾没有回避AI给人类带来的威胁，他们以自己行走世界所掌握的一手前沿案例，极大地扩充了我们对于生成式AI在当下以及未来究竟到达何种可能性的视野。
他们认为，总有一天，AI将比我们所有人都聪明，但它们成为不了我们，因为它们只拥有智能而不会进化出人性，而人性，就藏在我们的意识之中。
在由生成式AI引领的AI2.0时代，我们应该投入资源探索和发展我们的意识，人类的意识仍有巨大的潜力和探索空间。
危险正在迫近，机遇前所未有，面对AI大潮，尤瓦尔·赫拉利的新书《智人之上》将成为你看清前路的思想指南。
两位嘉宾用这篇近万字的长文，用海量细节向你娓娓道来……
一、AI将推动人类实现更大飞跃
赫拉利：您好，李博士。得益于现代科技和信息技术的发展，即便我们相隔万里，也能保持联系。
李开复：是的，再次见到您真是太好了，赫拉利教授。我们以前几乎每年都能见面，但是疫情把我们分开了，再次见到您真是太好了。
我是您所有著作的忠实读者，特别是您的新作品《智人之上》。
我认为，信息已经成为当今商业、工作和人类生活中最重要的因素。我可以肯定地说，我的所有工作都与处理信息和人际关系有关，而且，越来越多的信息成为了我们公司制定战略的基础。
我们采纳数据主导的决定，我们利用信息和技术来塑造思维、做出决策。我们的产品是以应用程序或软件形式分发的信息集，并且我们通过电子手段获得报酬。所以，世界正变得越来越数字化和虚拟化，而被传输的就是信息。
我认为赫拉利教授在《智人之上》一书中非常精辟地讲述了信息的历史，在书中，我们可以清晰地看到信息的使用在数字时代有了飞跃性的发展。
赫拉利：人类之所以能主宰世界，是因为我们比任何其他动物都更擅长合作。就个体而言，我们不比其他动物聪明或强壮多少。
以黑猩猩为例，它们只能在50只或100只的小群体中合作，而人类却能够建立跨越数百万乃至数十亿人的大规模合作网络。
这正是我们力量的来源，我们通过信息交换来实现这一点。我们并不直接认识自己所在国家、公司或商业网络中的大多数成员，但我们保持联络、我们相互连接、我们通过信息进行协作，这就是信息为何如此重要的原因。
实际上，我们并不直接生活在现实中，我们不是对现实本身做出反应，而是对我们对现实的印象做出反应。我们根据所获得的关于现实的信息作出回应，这正是信息至关重要的原因。
在历史的这一阶段，我们发明了有史以来最强大、最重要的信息技术——人工智能。人工智能的独特之处在于，它不仅是我们手中的工具，它还是一个活跃且自主的代理，能够自行做出决策，能够自己发明和创造新想法。
在历史上，我们发明了许多工具和机器，但对这些工具和机器的控制权始终在我们手中，尤其是对信息的控制权。
现在，关于人工智能有很多炒作和误解。什么是人工智能？它与以往的机器或计算机有何不同？区别在于，如果某个系统不能自我改变、不能学习和创造新事物，那么它就不是人工智能，而只是一台老式机器。
我们之所以能够主宰世界，是因为我们创建了这些信息网络。但现在，我们可能已经创造出了一种能够从我们手中夺取信息网络控制权的东西。
在我请李博士分享他的观点之前，我想举一个例子。
以编辑的角色为例，无论是书籍出版、新闻机构还是报纸的编辑，他们都是世上最重要的一些人物，拥有巨大的权力。他们需要从昨天世界上发生的上百万件事情中挑选出最重要的10件，让它们出现在报纸头版或电视新闻播报中。
如果你问自己：“当今世上最重要的编辑是谁？他们的名字是什么？”你会发现他们没有名字，因为它们是算法，它们是人工智能。
大型社交媒体平台的编辑，比如YouTube、Twitter或TikTok，已经不再是人，它们是人工智能。所以，人工智能已经开始从我们手中接管对信息网络的控制权。
李开复：是的，我同意赫拉利教授的观点，人工智能将推动自己再次实现更大的飞跃。
在我的日常工作中，我已经使用人工智能代劳我所做的大部分事情。我认为，越来越多的人正在这样做，但是许多人认为人工智能只是一个聊天机器人，或是一个智能搜索引擎。这确实是当前的情况，但这仅仅是它的初步表现形式。
我们已经看到这样的落地场景，比如“给我一个答案”“与我对话”。它正在转变为我的助手，帮助我完成任务，而这将进一步发展为数字人劳动力接管某些人的部分或全部工作。随后，它将转变为接近自动化的状态——即人类给出指令，人工智能作为智能体，能自由地创造信息、做出决策。最终这种全自动化的助手将成为代表公司或个人的智能体，去让我们做那些人工智能认为“你需要”的事情。
在某种意义上，TikTok给你推送一个视频，就是一个非常简单的例子。你并没有主动要求看那个视频，但它认为你会感兴趣。
如果将这种智能放大一百万倍，人工智能就能知道你想如何投资并替你进行投资。人工智能知道你妻子的生日快到了，就会帮你买礼物。
这些都是相对无害的例子，当然，还有许多可能带来潜在问题的例子。
二、从金融、医疗到军事，面临AI，我们还不知道该怎么做
赫拉利：您是否认为我们很快就会看到人工智能在金融市场中做出重大决策？比如人工智能投资者和人工智能制定新的投资策略甚至创造新的金融工具？
李开复：是的，这在某种程度上已经发生了。
在美国、中国及其他国家和地区，许多人工智能量化基金已经取得了出色的回报。这些基金基本上是由人工智能来做决策，人工智能每天会分析所有的交易数据和新闻，并决定最佳的股票购买时机，然后在没有人类指令的情况下买进和卖出。
人类提供的唯一信息是所有用于做决策的数据和目标，即在一定风险承受范围内达到最高收益，这已经成为现实。
如果我们审视人类的所有任务，投资可能是最具量化性的任务。因为几乎所有决策都是基于实时信息，人工智能能够更快地阅读、筛选可能性、进行组合交易，并且能够更快速地买进和卖出，还具备更强大的信息获取能力。
所以，当人们读到某位企业总裁的发言并考虑购买某只股票时，人工智能很可能已经抢先一步完成了交易。这已经成为现实。
赫拉利：那么，这是否会像在其他特定领域发生的那样，比如围棋？我们已经知道人工智能比任何人都更智能，甚至更有创造力。在金融领域是否也会发生类似的情况？
如果确实如此，那么当人类和人类政府失去了对金融系统的控制，这对社会乃至政治意味着什么？也许他们再也无法理解金融系统及主要的金融决策。
所以，你仍然会有作为这个体系的官方领导的人类总统、**和银行家，但他们不再能够理解这个世界的一个重要组成部分——金融系统，也不再能够对其进行监管或做出决策。
李开复：是的，我认为几乎每个职业都有这种风险。在金融领域，我提到的AI获取信息的速度和广度是人类无法企及的。
有一些方面例外，比如，如果你是一名风险投资人，你可能依赖于直觉判断一个人的微表情真诚与否等；而在企业重组和并购中，你需要深入了解不同人格并进行更深层次的解读。
但是，除了人与人之间的互动之外，在所有基于信息的方面上，我们都无法胜过人工智能。
另一个我经常提到的职业，虽然对人工智能来说更加困难，但最终我们也会聊到，就是医疗行业。
因为，人工智能医生将比普通医生更优秀。医生将把人工智能作为一个可能的参考，然后，随着人工智能不断进步，医生会失去自信，更加信任人工智能，最终变成一个“橡皮图章”。
尽管我们将责任和医疗失误的后果归咎于医生，但当医生看到人工智能进步的速度时，最终不可避免地会感到人类在这方面远不如人工智能准确。
那时，医生将只是盖章担保决策逐步转向由人工智能做出决策。尽管我们最初出于滑坡效应的考虑所设定的原则是，所有决策必须由医生做出，但人工智能进步得更快，相较之下，人们可能会感到自己的智慧黯然失色。
赫拉利：我们已经在军事领域看到了这种滑坡效应。
我一直在密切关注人工智能的使用，在科幻小说和好莱坞电影中，我们习惯性地预期战争中的人工智能会以杀手机器人的形象出现，成为实际开火和战斗的士兵。但这种情况尚未发生，相反，人工智能正在从士兵的上级环节决策过程中进入军事领域——即关于目标选择的关键决策，决定轰炸和射击的目标。
因为选择军事目标需要非常迅速地分析大量信息，所以人工智能将目标选取过程加速了几个量级。
但这当然也引发了一个非常大的伦理问题，如果军方使用的人工智能告诉你某栋建筑是恐怖组织的总部或者是敌方的指挥部，你是直接相信人工智能并下令轰炸，还是先由人类来验证这一信息的准确性？
也许人工智能会出错，也许那只是个平民住宅；也许那里确实有敌军总部，但同时也有平民，他们可能会受到伤害。那么，你该如何选择？
在这场战争中，人工智能主要是在一方使用。但在未来的战争中，可能就在一两年内，一旦双方都拥有人工智能，做出这些伦理决策的空间将会缩小，因为决策迫在眉睫。
如果双方都由人工智能选择目标，其中一方直接相信人工智能并立即采取行动，另一方却说：“不，不，不，我们需要人类来验证。”与人工智能相比，人类非常缓慢。也许在人类花费几天甚至几小时验证人工智能决策正确性的时候，目标已经转移，或者对方已经先发制人。
所以，军队将面临越来越大的压力，只是简单地执行人工智能的指令。
李开复：我认为在许多其他问题中，让人类参与以确保安全的想法通常不具扩展性。这是同样的问题，在金融市场上，人类的参与会使流程效率降低，可能导致你赚不到那么多钱甚至亏损，在军事上也是如此。
有人会说，让人工智能做决定可能是错误的。但如果我输掉战争或者破产那更糟，所以我将移除这个环节中的人类。所以，我认为我们需要另外的基本安全检查和防护措施。
有时候，技术本身就是防护措施，最好的防护措施是另一种技术。
就像当电力被使用时，它会电击人，然后人们发明了断路器；当互联网产生病毒时，电脑中了病毒，就出现了杀毒软件。
这一次要困难得多，但我认为，如果我们这些技术专家鼓励更多的人去研究防护性技术解决方案，而不仅仅是构建更智能的人工智能，那么一个有效的解决方案或许就会出现。
当然，另一种方法是监管。但我认为，很难对一项尚不为人熟知的技术进行监管，所以我认为我们应该双管齐下。
赫拉利：但是谈到监管，特别是我们在唐纳德·特朗普当选为美国总统后谈论这个问题。他主要是以放松管制为竞选纲领，并得到了埃隆·马斯克的大力支持。
我认为，所有关于美国将对人工智能发展施加管制的幻想，以及各国政府之间就人工智能监管达成某种全球协议的幻想，现在看来完全不可能实现。
这背后是某种进化逻辑或进化竞赛。如果你更关心安全问题，投入更多资金建立防护措施，而不是尽可能快地向通用人工智能发展，那么你就落后了；如果竞争对手更无情一点，完全不顾及安全问题和防护措施，他们就会领先。
所以这是一场无情者之间的竞赛。整个情况的悖论在于，他们认为自己能够信任自己的人工智能，但却无法信任其他人类。然而他们不知道如何控制它或信任它，还乐观地认为随着我们开发通用人工智能，我们会找到控制它的方法。
这有点一厢情愿，是极其可怕的。
另一个可怕的事情是，作为一名历史学家，我认为新技术的巨大危险不在于最终结果，而在于实现它的过程。
因为当一种强大的新技术出现时，没有人知道如何将其融入社会和政治，也不知道如何明智地使用它。人们会进行实验，而有些实验可能会非常非常糟糕。
我去了硅谷，和那里的人谈论人工智能。他们告诉我：“看，当工业革命开始，人们发明了蒸汽机、火车和电报时，许多人担心这将造成巨大损害。但你看，它最终创造了一个更好的世界。”
21世纪初，人们的生活比19世纪初好得多，这是事实。如果我们只看起点和终点，会看到一条直线上升。但在现实中，在历史上，这并不是一条直线，它就像过山车一样充满了可怕的灾难。
19世纪，当第一批国家进行工业化时，他们认为建立工业社会的唯一途径是建立帝国，他们认为要建立工业社会就需要控制原材料和市场，所以必须要有一个帝国。
每一个工业国家，从小国比利时到日本再到俄罗斯，都去建立帝国，给全世界数亿人带来了可怕的后果。
后来，人们又有了另一种想法，认为建立工业社会的唯一途径是建立极权主义政权，如纳粹德国。
因为这个论点是合乎逻辑的。他们认为工业的爆炸性力量，如此巨大的创造性和破坏性力量，只能由一个控制生活各个方面的极权主义政权来管理。这导致了纳粹德国的恐怖，导致了世界大战。
现在回过头来看，我们知道这是一个错误，有更好方法来建立工业社会。但实际的历史进程更像是过山车，而不是一条直线。
现在面对人工智能，我们不知道如何建立一个人工智能社会，我们没有历史模型可以参考，即便我们最终能找到方法让人工智能造福人类。
我担心的是，人们在这一过程中会不断尝试，或许是建立帝国，或许是建立新的极权主义政权。即使最终找到了解决方案，这一过程中可能有数亿人会遭受极大的苦难。
三、AI对人类的威胁有3个，其中2个迫在眉睫
李开复：是的，回到人工智能的危险上，我想知道从短期和长期来看，您最担心的是以下哪些问题？
一是使用人工智能对其他人做可怕的事情；二是人工智能并非有意为之，但由于其奖励函数设计不当而造成伤害，它无意中伤害了人们；三是人工智能本身就变成了危险，并且有做坏事的欲望，就像科幻电影一样。
赫拉利：第三种是最不令人担忧的，前两个问题非常严重，它们已经是当前大家都在担忧的，而随着人工智能变得更加强大，这将是一个越来越大的威胁。
最常见的是，如果恶意行为者使用人工智能做坏事怎么办？这很明显，如果恐怖分子利用人工智能制造新的大流行病，这显然是非常危险的。
因此，在公共演讲中，我更强调人工智能的第二个危害。不是因为它邪恶或想要接管世界，而是因为它是一种外来的智慧，非常难以控制，可能会产生许多我们没有预料到的不良后果。
我们已经有了一个社交媒体的例子，即，社交媒体平台由算法控制。公司给了算法一个特定的目标，即提高用户参与度、增加流量，让人们花更多时间在平台上。
这听起来像是个好目标，这对公司有好处，甚至对人们也有好处。但实际情况是，负责社交媒体的算法决定了你在TikTok上看到的下一个视频将是什么。
算法发现了一种破解人类思维的方法，即如果目标仅仅是吸引人们的注意力，最简单的方法就是按下大脑中的仇恨按钮、愤怒按钮或恐惧按钮。从进化的角度来看，这些事情会立即抓住人们的注意力，但这对心理健康和社会健康都是毁灭性的。
算法本身并不邪恶，它们没有试图伤害人们，但这带来的结果对人类社会非常不利，而且这种情况可能会更大规模地发生。
想想人类是如何发展我们的目标的，我们从哪里获得生活中的目标？有时目标是从上至下的，比如有人给你一个目标。你在一家公司工作，CEO告诉你，这是你的目标，但大多数时候，这些目标是从下至上形成的。
人类可以被视为带有非常基础奖励机制的算法，即痛苦和快乐。我们在生活中经历的一切，最终都只是身体的感觉。如果是快乐的感觉，我们就想要更多；如果是不痛苦的感觉，我们就想要减少，希望这种感觉消失。
从这些微小的心理原子中，整个人类世界被构建起来。如果你思考，为什么人们会参与战争？人们做每件事的原因，归根结底，这一切都是关于痛苦和快乐。
如果我们能够在人工智能中设计一个类似于痛苦和快乐的奖励系统，那么其他一切都可以从中构建出来，人工智能甚至可能为了体验这种快乐而发动战争。现在听起来很荒谬，为什么人工智能会为了体验这种奖励机制而发动战争？但这正是人类在做的事情。
归根结底，这些都是人类系统在追求快乐、避免痛苦并进行复杂的计算，认为如果我们要体验快乐、避免痛苦，就必须发动战争。
四、AI再智能也不应被视为人类，因为人性藏在我们的意识中
李开复：我曾经在写《AI未来进行式》的时候也有提到，人工智能将迅速进步。在我写书的时候，我没有预料到生成式AI在过去两年中会进步得这么快。但无论人工智能进步多快，作为人类，我们有一些内在的特质是不会改变的。
无论人工智能多么擅长模仿我们，像我们一样说话、写作，但从根本上说，经过数千年的进化，我们的DNA要求我们与他人建立联系。
即使人工智能能够模仿这种联系，在现实世界中，我们仍然渴望与人见面、交谈和相爱，我们感受到温暖，虽然我们并不完全理解这种感觉源自我们大脑或心灵的哪个部分，但这对我们来说非常重要。
我曾希望，并且现在仍然希望，这是我们能够坚守的东西之一，是我们能做到而人工智能做不到的。
所以，作为世界上最优秀的历史学家之一，我想知道你对人类进化中的这部分有什么看法？
你认为我们能否坚持这一点，无论人工智能如何模仿，人们还是希望体验那种人与人之间，尤其是面对面的信任、联系和爱。这是否可以成为我们追求的方向，使我们的生活更有意义？
即使人工智能做了很多我们的工作，我们存在的意义不仅依赖于工作，尽管工作仍然重要，但更重要的是我们与家人和朋友之间的联系。你认为我们能否坚持这一点，无论生成式人工智能发展得有多快？
赫拉利：我认为这极其重要。真正的问题是，我们想从关系中得到什么？
如果人们非常以自我为中心，比如我想建立一段关系，只是为了让另一个人满足我的需求，我的物质需求、浪漫需求、社交需求，那么最终人工智能可能比任何人类更能满足我们的需求。
但这并不是真正的关系，而是自我中心的，是极端自私的。
真正的关系是，我在乎另一个实体，另一个人的感受。
现在，人工智能没有感情，它们可以模仿感情，它们可以理解我的感情，但它们自己没有感情。这里有一个把“智能”与“意识”混为一谈的重大误解。我认为，随着人工智能越来越擅长模仿情感和感觉，未来几年内，将会出现大问题，因为存在强烈的商业动机去创造能够模仿情绪、欺骗人们相信人工智能具有意识、感知和感情的人工智能技术。
很多人会坚持认为人工智能也有意识，有感情，因此应该在法律和国家层面上，被视为拥有权利的个体。我认为这将成为一个重大的政治问题。
也许一些国家会承认人工智能为拥有权利的个体，而其他国家则会说，“不，它们不是人，没有权利”。那些承认人工智能为个体的国家与不承认的国家之间的政治紧张关系，甚至会比今天围绕人权等问题的紧张关系更加严重。
李开复：我确实希望我们不要过多地将人工智能视为人类，无论是给予公民身份还是其他形式的认可。
我们确实创造了人工智能，它在某种程度上是一个黑箱，但肯定没有内置的意识。人性应该更多地定义为意识，而不是智能，因为人工智能显然具有智能。
如果仅仅是因为智能，五年后，我们可能不得不给所有人工智能公民身份，这显然是不对的。
我经常思考的另一个问题是，尽管我们讨论了人工智能的危险性，但另一个现实是人工智能变得如此强大，以至于人们将开始失去工作。
所以我希望人们会逐渐意识到，生活不仅仅是为了工作，特别是简单、重复性的工作。
人工智能可能会成为一个促使人们重新定义自己和寻找人类命运的推动力，但我并没有一个明确的计划来实现这一目标。
作为一个历史学家，您是否对我们在短时间内能够实现如此巨大的转变，对这个世界的人性持乐观态度？
赫拉利：有乐观的一面，也有悲观的一面。
乐观的一面是，我认为我们会越来越意识到对我们来说重要的不是智能，而是意识。到目前为止，我们是地球上最聪明的生物，所以我们为自己的智能感到自豪，并专注于智能的发展。
现在，由于人工智能正在变得比我们更聪明，这迫使我们重新思考人类的本质。我认为正确的结论是，人工智能会更聪明，但真正重要的是意识，因此，我们应该更多地投资于发展我们的意识。
我个人而言，我每天花两个小时冥想，每年我会进行一次为期30到60天的长时间冥想静修，以探索和发展我的意识，而不是我的智能。我希望人们能以不同的方式更多地投资于此，所以，意识的提升有着巨大的发展空间。
如果我们做出这样的投资，我认为我们会很好，让人工智能承担许多工作，如果我们发展我们的意识，世界会变得更好。
我看到的一个大问题是，要自由地发展你的意识、关系和社群等，首先需要你的基本需求得到满足。现在，如果人工智能越来越多地取代工作，谁来提供你的基本需求？
在非常富裕的国家，政府可以对大型人工智能公司征税，并用这笔钱为每个人提供基本服务和收入。但如果你放眼全球，这才是问题所在。
落后国家会发生什么？假设美国或中国在人工智能竞赛中领先，即使许多公民失去工作，政府也有巨大的新资源来照顾他们。
但在印度尼西亚会发生什么？在尼日利亚会发生什么？在阿根廷等落在了后面的国家会发生什么？我不认为像特朗普这样的领导人会让美国政府从美国征税，然后说，好吧，我现在把这些钱给在尼日利亚失去工作的人民，为他们提供基本服务，这非常不现实。
所以，如果我们能够解决这个问题，我认为通过不断增加对人类意识的投资，我们可以创造一个更好、更美好的世界，即使失去了许多工作，但做到这点将会非常艰难和危险。
李开复：我认为目前，人们对人工智能的强大之处缺乏足够的了解和认识。要得出一个好的结论，人们必须首先理解机会有多大，挑战有多严峻。
其次，我认为我们应该鼓励人们在开发人工智能应用时，考虑到人的因素。人工智能的存在是为了帮助人类，不仅仅是赚钱，也不仅仅是成为一个新的物种，尽管这些事情终将发生。
我还想鼓励进入人工智能领域的人们认真思考，他们能否做一些使人工智能安全的工作，使人类因此变得更好，而不仅仅是思考我如何构建一个更大的模型，我如何使人工智能更智能，我如何打败其他人。
我鼓励那些利用和控制人工智能的企业，花费更多的时间和精力，思考他们的社会责任。因为权力越大，责任越大。现在控制人工智能的人，控制人工智能的公司，基本上对世界，对人类种群，负有最大的责任。
我希望人们能够放下自负和贪婪，至少花部分时间，思考如何为了善的目的使用人工智能，确保人工智能的存在是为了辅助和帮助人们，而不是制造无法解决的问题。
