让我们来想象一下，当我们的穴居祖先们仰望着鸟儿在空中翱翔的时候。他们无法想象，在几千年之后，每天会有数以百万计的人类，坐在飞机上穿梭于世界各地。当我们的祖先仰望着天上的星星和行星时，做梦都不敢想像，我们有朝一日会在月球上行走。曾几何时，人类的平均寿命甚至还无法超过30岁。

人们很容易会低估未来将可能发生的事情。当思考后奇点宇宙时，成功的奇点所带来的好处可能远远超出我们目前可以想象的，认识到这一点极其重要，因为我们的想象力是有限的。

另一件我们必须认清的事情是，这些变化不需要经历几千年才会发生。构建乌托邦所需要的许多技术，目前均已经处于开发的过程中，如果得到增强的整个大脑模拟与超智能人工智能机器的共同开发，未来的技术发展将会突飞猛进 。经济学家罗宾·汉森（Robin Hanson）提醒我们：

虽然如此的快速增长似乎显得荒谬，想一下在那个狩猎和采集的时代，经济翻倍了九次；在耕作的时代，则翻倍了七次；而在当前的工业时代，迄今已经翻倍了十次。假如由于某些未知因素，在这三个时期中发生的翻倍次数竟如此相仿，那么我们似乎已经在接下来的转变中滞后了。

我现在准备要说的话，听起来可能会像科幻小说，但却没有任何理由驳回它。我们拥有一段悠久的历史，将科幻小说变成科学事实。至今仍旧未曾停息。

真实的乌托邦

“乌托邦。”一旦你意识到这就是我们一直在寻找的，它其实就是一个简单、易于理解的概念。与在我们之前的任何其他生物不一样，我们正在改变自己周围的世界，以便满足我们的需求和愿望。但有了机器超智能在我们身边，我们可以史无前例、更为成功地实现乌托邦。让我们来思考下，一个来自后奇点宇宙的时间旅行者可能会告诉我们：

我的意识是宽广而深远的，我的生命是恒久的。我已经读过你们所有的作者——或许是更多。我从多种角度，经历过各种不同形式的生活：丛林与沙漠，贫民区与宫殿，荒野、郊区小溪还有城市后巷。我也曾在文化的狂潮中航行、畅泳与俯冲。相当一部分了不起的宏伟建筑，是侏儒，甚至是卑微的珊瑚虫在礁石的积累等努力之下，经历了一百多万年才建立起来。我曾见到过布满彩色传记鱼类的浅滩，每一条鱼都有一个属于生命的故事，在起伏的海水下闪烁。

乌托邦并不是一个，人类居于其中就能享受取之不尽，空洞的快乐源泉的世界。乌托邦的公民们具备模拟与经历成千上万种环境及世界的技术。那里根本就不缺乏新颖而有意义的体验。

乌托邦的公民们并不是从不用大脑来解决问题的无知懒汉。正如当制作一个视频游戏变得愈加容易时，它也就不会总是愈加有趣了，乌托邦的公民们仍然会面临挑战，同时会体验获胜时带来的快乐。

乌托邦并不是无意义、可预知或者无聊的。随着时间的推移，生活在乌托邦的人们会变得更强大，并非更软弱。他们的生活将变得更加令人兴奋与美妙，他们的情绪也随之更多样化及令人振奋。久而久之他们的满足感将会有增无减。

在乌托邦的国度，我们的体验只会受限于自身的欲望与想象力。

没有痛苦

让我们先从一些简单的事情着手：想象一种没有痛苦的生活。痛苦不再是一条物理定律。而是（1）当前人类生物学和（2）我们对如何修改或超越它的无知，两者所造就的结果。痛苦只是在进化过程中，一个偶然发现的道理，它告知我们，“你应该避开它，”或是“你应该照料好那处伤痛。“但我们应该具备，无需让我们感受痛苦，却能为我们传递这些信息的系统。这正是当今的人工智能机器们所做的。在未来，我们将有能力，在人类的身体和其他载体中驾驭痛苦。

而这跟即将到来的最精彩部分，没有任何的可比性，只要我们将人工智能使用得当。　　

没有死亡或衰老

我们不仅仅能消除痛苦；我们还可能消除死亡以及衰老。死亡与衰老也没有被纳入物理定律中。同样地，它们也仅仅是，当前人类生物学及我们对如何修改或超越它的无知，两者所造就的结果。这个灯塔水母或“永生的水母”在生物学上是永生的，因为它不会像人类一样，经过几十年后就会步入死亡。如果我们能将思想上传到电脑，我们就可以制作备份副本，从而实现数字化永生。

你是否想要长生不老呢？我认为帕特里克·海登（Patrick Hayden）说对了，他说：“就我个人而言，这一生中一直在听到围绕长生术的严肃哲学问题，而我的态度一直是，我很乐意解决这些问题，无论它将耗费多少个世纪的时间。”

消除死亡和衰老并不只是痴心妄想或科幻小说。随着我们对衰老和死亡运作的深入了解，我们就能更好地掌控它。

第一性出产力

在1959年，理查德·费曼（Richard Feynman）作了一场名为“底部尚有充足空间”的演讲。在演讲当中，费曼谈论了在物理学中，没有任何东西能阻止我们进行原子构物。他思考了这为存储信息、化学合成以及生产制造带来的暗示。几十年后，纳米技术 领域的出现，正是受到费曼这一讲座的启发。当今我们具备能力，利用原子来构建某些事物，正如费曼所预言，而且我们的这一能力还在每年递增。

在那之后不久，分子纳米技术（MNT）就被设想出来。MNT是我们将用以构建未来的技术。有了明智指引的纳米工厂或自我复制的纳米机器人，以及储存的材料，我们将能够迅速地建造出任意结构。如果我们能以自己想要的任意结构，重新排列原子（只要它们能够遵守物理定律），无需种植我们就可以得出一个香蕉来。无需大型工厂的组装，我们就可以制造出汽车。只要它是由原子组成，你就可以通过MNT及充分的智慧来将其打造出来。

为什么这一点如此重要？在很大程度上，贫困的存在，是由于贫乏的资源分配造成。假如食物与住房，能像空气般充裕，也就没有人会无家可归或挨饿了，MNT将让花费成千上万美元去买一辆车变得荒唐可笑。那些在如今我们认为是奢侈品的东西，将或多或少地，让每个人都有同等的机会获取。当你能够在原子水平上操纵物质的时候，制造一块钻石就会跟制造一块煤炭同样地简单。

无尽的冒险

一种安全、有效的MNT应用，将胜过消除贫困，并能使我们的生活变得更简单。MNT开辟了创造出更强大的计算机之可能性，因为数据存储和处理结构可得以完美、有效地安排，就跟物理上说的一样可能。

面对如此巨大的计算资源，我们能做些什么呢？不妨思考一下出自詹姆斯·卡梅隆（ James Cameron）电影《阿凡达》中的潘多拉。潘多拉虽是一个虚构的世界，但却如此的壮丽，令人激动不已，不同于我们自己的星球。然而，尽管它充斥着幻想的元素，人们对那个世界的体验却感觉如此的真实。那是由一堆在屏幕上的活动影像，所创建的一次意义深远的体验，以致当人们离开影院的时候，会因为他们不能生活在潘多拉而感到沮丧。

来想象一下，创建一个计算机模拟的潘多拉，甚至能够进入那个模拟世界中。你可以一辈子都住在潘多拉，成为其中的一个居民。你可以看到，听到，尝到，以及感觉这个宇宙，就像在现实中一样的强烈。我们可以模拟成千上万不同的宇宙，并将它们全部体验一番。

建造乌托邦

本着探索性建造的精神，所举的这些例子在最低程度上让人们联想到，一个积极的奇点会是多么的美好。一个积极的奇点所产生的实际结果，可能将会是完全不同的，例如：拟人化的程度大幅减少。

再次重申：我们目前并非受限于物理学，而是由我们的智慧，以及可用于我们当前智能水平的资源而限定。有了自我完善的机器超级智能代表我们，我们的生物极限就能摆脱束缚。

一直以来人类想索取的，远比宇宙默认赐予我们的多更多。我们想要体验在自然界中不存在的声音，因此我们创作出音乐。我们想品尝比任何自然生长的，更加美味可口的东西，所以我们学会烹饪，并研究出不同的烹饪方法。我们想超越进化前的鼻祖去探索世界，所以我们建造出船舶、汽车、飞机还有宇宙飞船，搭载我们进入遥远的领地。我们发明了文学作品、电影和艺术，为了从一个不同的视角去体验世界。

我们是在，而且一直都在，建造自己的乌托邦。有了超智能，我们将有机会比以往任何时候，都做得更快、更好、更完全。

但这只有当我们勇于尝试才会发生。只有当我们决定，相比我们现时富足生活的稍许改善，明日的乌托邦更加重要。

我以前曾这样写道：

我们在地球历史上的关键时刻发现了自己。像一块栖息在山脉顶峰的巨石般，我们立于险峻的巅峰。可是我们不能一直停驻在原点上：只要科学不断进步，人工智能就会到来。很快我们就要从山脉的一侧倒塌，或坠落到另一侧的稳定休憩点上。

你会将这块巨石向哪个方向推呢？

第一种情况就是人类灭绝。（“灭绝？就呆在那个角落吧。”）而另一个休憩点可能是坚定的全球性极权主义，阻止了科学的进步，虽然那听起来似乎不太靠谱。

那么人工智能又会怎样呢？人工智能会引发一场智能大爆炸，然而，正是由于我们不懂得如何给人工智能机器设定仁慈的目标，因此在默认的情况下，智能大爆炸将会以意外的灾难性结局来优化这个世界。一场 受控的智能大爆炸，另一方面可以优化世界，让它变得更加美好。（在接下来的帖子，我们将讨论更多与这一选项相关的内容。）

就我自己来说，正将我自身所有的重量都倾 靠在这座最后的峡谷方向上：一场受控的智能大爆炸。

在这个稍纵即逝的历史时刻，我们能够理解（尽管朦胧）自身的现状，并改变我们将可能坠落到山脉的哪一侧。那又如何，接下来，我们会付诸行动吗？

微分知识发展

我们需要的是微分知识发展：

微分知识发展主要在于，处理增加风险的知识发展前，优先处理降低风险的知识发展。特别是应用到人工智能风险方面，微分知识发展计划会对我们提出忠告，在有关人工智能安全的哲学、科学与技术问题方面的发展，已经超出了人工智能的性能发展，以致我们要在开发出专制的超级人工智能机器前，率先开发出安全的超级人工智能机器。我们的第一个超级人工智能机器必须是安全的，因为我们可能再不会有机会重来一次。

粗略来说，人工智能的安全研究正在与人工智能的性能研究进行赛跑。目前，人工智能的性能研究占了上风，它确实是领先了一步。因为人类正努力研究人工智能的性能，却忽略了安全方面的研究。

如果人工智能的性能在这场竞赛中跑赢了，那么人类就输了。相反，如果人工智能安全研究赢了，人类也会赢。

很多人都明白，推动人工智能的性能研究会有什么后果。那也是你能在人工智能相关的大部分作品中所读到的。反之，如果我们推动人工智能的安全研究，又会怎样呢？

这篇文章 罗列了一连串有关人工智能安全研究的问题类别，现在，还是让我先举几个例子吧。（如果你想避开这些可怕的技术术语，可以跳过这个列表）。　　

• 当一台机器认为对自身决策机制的修改过于激进，它又如何能确保这样做能增加其期望效用呢？当前的决策理论就在这一点上，将Löb’s定理绊倒了，所以需要一种全新的“反映一致的”决策理论。
• 一台机器的实用功能可以指代其状态，或当中的实体，其技术。但正如彼得·德·布兰科（Peter de Blanc）指出，“如果机器能够升级或更改本质 ，它将会面临危机：机器原本的【实用功能】就可能会因为其新的本质而无法明确定义。“如何才能确保，当我们为人工智能机器订下好的目标后，那些目标不会在机器进行本质更新时遭到“毁坏”呢，对此我们需要想出解决办法。
• 我们要如何从人类“希望”的角度出发，解释令人满意的实用功能呢？当前在人工智能机器中的偏好获取方式是不够的：我们需要更新、更强大的方式，以及偏好获取的通用算法。又或许我们应该让人类自己花一段很长的时间，去推算出他们的偏好，直到他们在自身的偏好中找到“反思平衡”。后者可能涉及到模拟整个大脑——但如果没有首先研发出能启发大脑、自我完善却又危险的人工智能机器，我们又怎能构造得出来呢？
• 在人工智能机器被研发出来之前，我们未必能解决好价值理论的问题。也许与之相反，我们需要的是一套关于如何处理这种规范不确定性的理论，例如：像博斯特罗姆（Bostrom）所提出的议会模型。

除了这些“技术”研究问题外，我们也可以考虑用微分知识发展，针对各种“战略”研究问题的发展而提出建议。人类应该将资金投向或抽离哪项技术呢？我们要怎么做才能减低人工智能军备竞赛的风险呢？它会降低人工智能的风险，从而激励广泛的理性培训或仁爱培训吗？我们应该考虑首先进行哪项干预措施呢？

马上，行动

所以，人工智能风险问题的解决方案之一就是：微分知识发展。解决方案之二是：根据我们能做出的最佳策略研究的建议来采取行动。例如：以下的行动可能会减少人工智能的风险：

• 向正在我们上述讨论的人工智能安全领域，进行着各种技术与策略类研究的机构捐资——就像奇点研究所和人类未来研究所这类型的机构。
• 说服人们认真看待人工智能的安全，尤其是人工智能研究人员、慈善家、聪明的年轻人，以及位高权重的人。

机遇

至今为止我一直在谈人工智能的风险，但也不要忽略掉人工智能带来的机遇：

通常我们不会将癌症治疗或经济稳定性与人工智能联想到一起，但是癌症治疗终究是个需要足够聪明才智，才能找出治愈办法的问题，而实现经济稳定终究也是个需要足够聪明才智，才能找出实现办法的问题。无论我们的目标设定在哪一程度之上，只要充分地运用好人工智能，我们将可以在更大程度上实现目标。

在我的最后一张帖子里，我会尝试解释，只要我们能下定决心采取行动并好好利用人工智能，事情将会变得美好。

没错，在物理学上，即使是非常糟糕的后果，也没有任何事情能阻挡其发生，对于这一事实，我们必须保持清醒。但是，我们也必须认楚这一事实，对于比我们原始的猴脑所能想象到的，更大的快乐与和谐这样的结果，在物理学上同样无法阻挡。

“上帝啊，这真是无聊透了！”你抱怨道。

“怎么会这样呢？”于是你向同伴问道。

“任何事物都不具备深度与复杂性，因为对任何事物都没有设定目标。对任何事物都没有进行过优化 。也不曾规划。这只不过是一堆随机产生的废物罢了。比宋飞正传（美国系列喜剧）还要糟糕。”

“真的？看那边，那个是什么东西呀？”

你顺着同伴的目光看过去，注意到岩态行星上，在池水里的一个小颗粒。就在你的眼前，它为自己拷贝了一个复制品。然后又拷贝了另一个。然后复制品又再拷贝另一个复制品。

“那是一个复制基因呢！”你惊叫起来。“几个月内它们的数量就可能会增加到数百万。”

“我想知道这是否会引致松鼠的变化呢?”

“什么是松鼠呀？”

于是，你的同伴又开始解释，他们在希腊厄运（Universe 217）所遇到的，松鼠的功能复杂性。

“那是荒谬的！按照我们当前的优化率来看，我们不会纯属偶然地看到任何松鼠的改变，直到很久之后宇宙热寂的出现。”

但很快地你又注意到某些更为重要的东西：部分的复制品是次品。而这些复制品正在探索概念搜索空间的周边区域。而部分这些区域里有更优等的复制品，而那些上好的复制品最终得到却是，比原始复制基因还更多的自体复制品，并在他们自己的社区里探索。

接下来的数十亿年，是迄今为止你所见过的、最令人兴奋的时刻。简单的复制品变成了简单的生物体，它们引领了复杂的生活，从而形成了大脑，并且进化成了人类行猿。

起初，人类看起来跟任何其他有脑的动物都非常相似。甚至与黑猩猩有着99%相同的DNA编码。如果你认为人类的大脑并不是重点，还会得到原谅——也许它也不过能使优化速度增加50%，或类似的速度。毕竟，动物的大脑已经存在了数百万年，并已逐渐进化，可在功能方面却没有任何明显的提升。

然而，一件事总会衍生出另一件事情来。在你的眼前，人类开始变得聪明，他们引进了农作物，从而形成了定栖生活方式与重复性贸易，再者为了追踪债务产生了文字。农业形成的同时还产生了食物的盈余，从而衍生了专业分工，使人们除了寻觅食物与繁殖后代之外，还能够专攻解决问题。而专业分工则衍生出了科学技术，以及工业革命，进而步入了太空甚至发明出苹果手机。

黑猩猩与人类之间的差异，正阐明了重写机器的认知算法有多么的强大。当然，在这种情况下该算法的起源只不过是进化论、盲目与愚蠢的。一个有点远见的聪明进程，可以更有效地穿越过搜索空间。一位人类计算机程序员可以在一天时间内，开拓出数十亿年的进化都不可能发现的创新技术。

但在大多数情况下，人类仍然没有弄清楚，他们自身的认知算法是如何工作的，或如何将其重写。而我们设计出的电脑程序却不了解它们自身的认知算法，或者说（在大多数的情况下）。但终有一天，它们能够做到。

这意味着，未来包含了一个过去所没有的反馈回路:

如果你是EURISKO语言，就能设法修改自己的部分启发式方法，这些启发式方法明显取得更好的成效，它们甚至还会设法对自己做进一步的修改，可到最后，整个进程却精疲力尽，步向灭亡。

开始的时候正是人类的智慧生产出这些人工产品。但其自身的优化能力却远远落后于人类——如此的乏力，在将自己向前推动一点点后，就不能再往前推进一步了。更糟糕的是，在任何既定水平中，其优化能力的最大特点是机会数量有限，意味着一旦耗尽就会消失——最后得到的是极端的收益锐减。

…当你首次制成一个人工智能机器时，它还只是一个婴儿——如果必须得改进自身，它可能会立即死亡。所以你运用自己的认知……和知识，与它共同前进——这样做并没有得到任何递推式的好处，只是用常见的人类知识习语和见解去喂养它并从见解中引发出见解。最终，这个人工智能机器变得足够成熟了，便开始进行自我改进——而且不仅是小改进，而是足以影响到其他改进的大规模改进……而你得到的却是欧文·约翰·古德（I. J. Good）口中的“智能爆炸”…

…到最后，人工智能已经将我们人类的能力远远抛离其后。

到了那个阶段，我们不妨效仿愚蠢的黑猩猩那样，看着那些新奇怪异的“人类”，发明火药和农业，文字、科学、枪支和飞机，紧接着接管了整个世界。正如黑猩猩一样，到那时我们将不可能与我们的上级进行谈判。我们的未来将取决于 他们想要的是什么。

通常来说，人类对彼此间愿求的理解都会比这个例子好。我们的进化心理统一驱使我们能理解共同的常识及共同的愿求。如果让我给你找一辆自行车，我就会假设你想要的是一辆能满足正常使用、适合你的尺寸，无需用金子打造而成，等等这些条件的车子。——尽管你实际上并未透露任何这类信息。

但如果一个具备不同思想架构，没有与我们一同进化的人，又如何了解我们的共同常识呢。他甚至不知道什么不该做。你会如何做蛋糕呢？“不要用鱿鱼。不要用伽马辐射。也不要用丰田车。”什么不该做这张清单上的名目真是多不胜数啊。

有些人认为，先进的人工智能机器会是某种超级管家，以令人难以置信的效率执行他们发出的任何指令。其实更准确地来说，应该要将其想象成一个结果气泵：一个没有感情的装置，可以使某些结果具有更大的可能，其他的结果则可能性更少些。（虽然这个结果气泵并不具备什么魔法。所以，如果你让它执行一个可能性极低的结果，它就会中断）。

现在，让我们来假设，你的母亲被困在一座着火的大楼里。你正坐在轮椅上，所以你不能直接去救她。但是你却拥有这个结果气泵：

于是你会大喊“将我母亲从大楼里救出来！”…并按下确认键。

过了一会儿，好像什么都没有发生。你向四周张望，等待消防车架起云梯，救援人员的到达——甚至只是一个强壮、又跑得快的人来将你母亲从大楼里拖出来……

轰隆一声！紧随着雷鸣般的咆哮，在大楼底下的煤气总管发生了爆炸。随着大楼整体结构的分裂，像是慢镜头在播放，你瞥见自己母亲支零破碎的尸体被抛到了空中，快速地炸开去，离之前大楼的中心位置越来越远。

幸运的是，结果气泵有一个反悔按钮，可以将时间倒流。于是你按下按键，再次发指令。“不要炸毁大楼，带我母亲离开那儿，”你说完，马上按下确认键。

然后你母亲就从窗外坠落，并摔断了她的脖子。

在按了十多次的反悔按钮后，你又告诉结果气泵：

在接下来的十分钟里，将我母亲（定义为：跟我有着一半相同基因，及生下我的女人）带离，让她舒服地坐在我身旁的这把椅子上，不受任何身体或精神上的伤害。

于是你看到全体13个消防员在第一时间冲进了房子。他们当中的一个碰巧找到了你母亲，并且很快地将她带到安全的地方。剩余的所有人要么丧生，要么受了重伤。那个消防队员将你母亲安放到椅子上，然后转身回到他那些丧生或受重伤的同事们的身边。虽然你的愿望是达成了，但是却没有得到你想要的结果。

问题是，对于你想要与不想要的结果，你的大脑还没有大到足以包含了注明每个可能性细节的指令。你怎么会知道你既希望自己母亲能毫发无损地逃离大楼，同时又不要让一打的消防员丧生或致残呢？这可不是因为你的大脑遍布了“我希望我母亲能毫发无损地逃离大楼，同时不要让一打的消防员丧生或致残”的指令。相反地，当你看到自己母亲得以安全逃离大楼的时候，却牺牲了一打的消防员，你才意识到“哦，该死的。那不是我想要的。”或许，你早就可能已经想像到那具体的情景，并意识到“哦，不，那并不是我想要的。”可是，在事情发生之前，或在你想像当时的情景之前，在你的大脑里却遍寻不着那么具体的信息。那是不可能的，因为你的大脑根本没有这样的空间啊。

但是你承担不起如此大的代价，你不能愣坐在那里，将结果气泵握在手里，一边想像着数百万种可能发生的结果，一边留意哪些是你想要的，哪些是不想要的。当你还在思前想后的时候，你母亲早已命送黄泉了。

要是她的头被压碎了，只留下身体呢？要是她的身体被压碎，只剩下头呢？如果有一支人体冷冻队伍在外等候，准备做头部冷冻呢？一个冷冻的头代表一个人吗？特里·夏沃（Terry Schiavo）是一个人吗？一只黑猩猩会值多少钱？

始终，你的大脑还没达到极其复杂的程度。有部分有限的指令合集，可以描述出那个让你做出判断的系统。如果我们能理解大脑里的每个神经元、神经递质与蛋白质是如何运作的，并且拥有一张大脑的完整地图，那么一个人工智能机器至少能在原则上计算出，对于一个有限的可能性结果合集，你会做出怎样的判断。

这里要阐明的寓意是并没有比整个人类价值体系还小的安全愿望:

有太多可能穿越时间的路径了。你难以想象出你给【结果气泵】发出指令后，能通往目的地的所有的路径来。“如果要将你母亲与大楼中心之间的距离最大化”，更有效的方法莫过于引爆核武器了……或者利用【结果气泵】的更高水平智力，做一些你我都想不到的事情来，就像一只黑猩猩不会想到引爆核武器这个点子一样。你不可能想象出所有穿越时间的路径来，比你对一个象棋机进行编程，通过对每个可能的棋盘里的每一步棋进行硬编码还要多的路径。

而真正的生活要比国际象棋复杂得多。你不能提前预知，提前用你哪个需要的价值观来判断出，【结果气泵】用于穿越时间的路径。特别是，除了从着火的大楼拯救出你母亲之外，如果你还有更长期或更大范围的愿望。

…唯一安全的【人工智能只不过是一台机器】做法是，对其分享你所有的判断标准，在这一点上，你只要说出“我想要你执行我该要做的事情。”

有一群来自家庭作坊的人提出了一个简单的原理，说可以让人工智能机器执行我们想要做的。却没有一个会行得通。我们的行为不仅仅是为了 幸福或快乐。我们所评价的是高度复杂的东西。进化为你带来的是欲望的千块碎片。（如需了解它是如何让你的神经生物学变成一团糟的话，可以阅读神经科学的偏好和选择一书的前两章。）

这也是为什么道德哲学家们花上几千年的时间，还未能找到一套简单、一旦颁布就能创造出一个我们渴求世界的准则。每当有人提出一小套的道德准则，其他人总是能找出些漏洞来。酌情地删减，甚至一些看起来微不足道，却可以引发致命错误的漏洞：

细想下作为极为重要的人类价值之一的“烦恼”——我们希望不要一次又一次地“重蹈覆辙”。你可以想像一种思想，囊括了几乎人类价值的整体规范，几乎所有的道德与元道德，可是唯独遗忘了这件事——

——所以它耗尽了一切，直到时间的尽头，直到光锥的最远点，反反复复地回放着单次高度优化的体验。

或者想像一种思想，几乎囊括了人类最喜欢的感觉类型的整体规范——但并不意味着，那些感觉都有着重要的外部参照对象。这样的话，你的想法只能围绕着感觉打转，就像找到了一项重大发现一样，感觉它已经找到了完美的爱人，感觉它帮助了一个朋友，但其实并没真正在做那些事情，却已经沦为了自己的体验机。并且一旦思想追寻那些感觉和参照对象，它就将成为美好的未来与真理；但却由于这一价值的单面度被忽视了，未来也就成为了枯燥的东西。无聊却不断重复着，因为虽然这种思想觉得它正适逢难以置信的新奇体验，而这种感觉已经不再明智与真实。

或者来看一个相反的问题：一个机器具备了人类所有的价值，除了主观经验的估值之外。因此，得出的结果是，一个没有感情的优化器，绕着制造真实的发现而转，然而这些发现却不见得令人享受与喜爱，因为那里根本没有人这么做……

价值不仅是复杂的，它还是脆弱的。人类的价值绝非单面的，如果这样的话，那么只要失去了一件东西，未来就会变得毫无价值了。只需吹一口气，就能粉碎掉所有的价值。并不是所有价值都如此的不堪一击——但如果使用超过“一口气”的功力，或许能办到。

你应该可以预见事情将会如何进展。因为我们从来没有对整个人类价值体系进行过解码，我们不知道应该如何为人工智能机器制定价值。我们不知道该抱什么希望。如果将来我们创造出超级人工智能机器，我们只能给它一个可悲而不完整的价值体系，然后它将继续做那些我们不愿发生的事情，因为它将会按照我们所希望的去做，而不是我们想要的。

现在，我们只知道如何建造出能够进行优化处理，却并非获得我们想要结果的人工智能机器。我们只知道如何建造出危险的人工智能机器。更糟糕的是，当我们研究如何使人工智能机器变得安全时，要远远落后于研究如何使其强大的速度，因为我们将更多的资源分配到人工智能机器的功能问题上，这要比我们对人工智能的安全性问题投入得多。

时间在流逝。人工智能即将到来。可我们还没准备好。

后来我将所有的这些东西都找了回来。一切都是由原子组成的，可是这并不意味着“仅有”原子存在。事实上，正是原子组成了价值、目标、欢乐与爱的这一事实，将它们在现实中定位。当科学家拆散彩虹之后，彩虹仍然还在那儿，而且它的细节变得更绚丽了。我已经学会了从“仅有的”真实中获取快乐。

有一件东西我找不回来了，那就是生活在一个被全能、仁慈的机器统治世界里的安全感。

当然，我从来不相信上帝会优化一切，并实现我的所有愿望。那种理论太容易被伪造了：

但很明显地，有一些恐怖临界点的可怕程度，已经足够让上帝出面干预了……无爱的父母，为了让他们的孩子能坚强、自立地成长，甚至连学步中的孩子被小车撞倒也置之不理。

不过现在，假设我们提出一个不一样的问题：

鉴于某某初始条件，并受制于如此这般的规则，得出的数学结果将会怎样呢？

即使是上帝也未必能改变这个问题的答案。

在这个虚拟的世界里面，每个步骤只遵循其直接前驱，遵照数学的规则，事情只有发生或不发生两种可能，而关于上帝对每种情况的检视也没有相关的描述，生活究竟会怎样呢？在纯粹数学的世界里，超出了上帝的能力以外时，到底会是什么样子呢？

那个世界是不公平的……复杂的生活可能形成也可能无法形成。那样的生活可能还有感情，也可能变得毫无感情……

假如有类似人类进化的事件发生，那么他们将遭受疾病的折磨——不是为了给他们任何教训，只是因为病毒也发生了变异。即使生活在那个世界里的人们感到快乐抑或不快乐，这都可能与他们所做出的好的或是坏的抉择无关。这与自由意志或经验教训没有任何关系。在假设的世界里，成吉思汗可以随意杀掉一百万人，还继续狂笑，过他富有的生活，却从来未曾遭受天谴，还要比一般人过得更幸福。谁又能阻止呢？

那如果成吉思汗将人折磨至死，只是为了取乐自己呢？人间可能会大声喊叫求救，或许会想象上帝的降临。【但是】在制度里并没有任何上帝。只有当牢房碰巧是0或1的时候，被害者才可能得救。而且也不见得人人都敢于公然反抗成吉思汗；如果他们敢这样做的话，就会有人挥动大刀来殴打他们，当大刀刺穿他们的内脏，他们就会死，那将是最后的结局。

所以即使被害者受迫害而死，拼命地尖叫，也没有人能帮助他们……

这样的世界听起来是否让你开始感到有些熟悉了呢？

难道真的是因为有情众生都已经死了吗，绝对是….已经有几百万年了……没有灵魂，更没有来世……而并不依照任何自然的宏伟计划，不是为了教导我们有关生命的意义。更加不是为了给我们一个关于不可能定义的深刻教训。

就是死了。没有什么理由。

事实上，这个就是我们身处其中的世界；属于数学和物理的世界。

我曾经一度认为，人类是不可能灭绝的，因为上帝定会阻止这样的事情发生。其他人可能认为，因为有“正和游戏”、“民主”或是“技术”的存在，人类才不至于灭绝。而在数学和物理的世界里，人类的灭绝是可能发生的，不管我们是否本能地向那样的想法畏缩。

也就是说，我们其实可以让这个世界更安全一点，只要我们把准备工作选择对了：

我们不能改变物理学。但我们可以建起一些护栏，并放些填充物下去啊。

有朝一日，也许思想会受到庇护。孩子可能会烧伤手指，或弄丢一个玩具，不过他们永远都不会被小车撞倒……

【但是】我们必须从这个世界出发才可能抵达彼岸……一个只有干硬的混凝土却没有填充物的世界。在这个世界，挑战并不是依照你的技能来标定的，如果在【那些挑战】中战败，你就会丧命。

我们常常表现得懦弱而又愚昧，但是我们还是要尝试，因为那儿不会有上帝来拯救我们。如此真正可怕的后果可能是人类始料未及的，因为在物理学上这是不可思议的呀。

尽管传单散落了一地。也留下了报纸。捎来大量的照片与来自亲戚的信件。亲朋好友们开着喇叭大声地召唤。可总是有一些可疑之处，所以他们从不相信战争真的结束了。

小野田的士兵一个接一个地死去，或是屈服了，然而直到1974年，战争结束近30年后，小野田自己始终都不相信日本投降的事实。后来，他回忆道：

突然之间一切都变黑了。我的内心卷起了一阵风暴。我感觉自己像个傻瓜……这么多年来我都做了些什么呀？

作为理性的学生需要的是真正的信念，这样她才得以更好地实现自己的目标。在证据面前，她的回应与小野田截然不同。只要有足够的证据来支持自己这样做正确，她就会马上改变自己的想法（根据她掌握的学识，以及概率论的法则）。坚持错误的信念会带来严重的后果：比方说，30年来都在椰子壳里大便。

小野田曾被军国主义的教条主义洗脑，正是这一教条主义创造过一批神风特攻队飞行员，他一直被灌输日本的战败是能够想象到的最坏结果。因此，面对日本已在这场战争中战败的证据时，小野田很自然地畏惧、退缩了，因为他受到的训练让他在情感上及心理上认定，这个结果是不可思议的。

在理性思维工具箱中的其中一项技能是，要提防这一“退缩”的发生，以及与它抗衡。当我们开始审视大家刚才讨论过的想法中的启示时，我们便需要这一技能——只要科学继续发展，人工智能就是不可避免的，而且人工智能还会比人类更加聪明（因此也会更加强大）。当我们检验这些想法的启示时，将有助于理解当人类的大脑在思考不受欢迎的启示时，它们将会如何运作。正如我们将看到的，它并不会采取军事教化来让人类的大脑退缩。事实上，畏惧、退缩是人类心理学的一种标准特性，通常被冠名为“动机的认知”和“理性化。”

作为一个极端的例子，大家不妨来看一下创世论者。为了维护自己的立场上，他可以接受可疑的证据，甚至会过度怀疑与其立场对立的证据。他会找出可能证实自己立场的证据来，但却忽略反对它的最有力证据。（所以，我就曾遇到过从未听说过内源性逆转录病毒的创世论者）。

我们大多数人是这样处理事情的，每周都以（希望）不太明显及破坏性的方式进行。一旦遇到令人不快的真相和选择时，我们就会畏惧并退缩，并扬言“还是先缓一缓再做决定吧。”我们总是逃避自己信念中的真正弱点。我们从一开始就接受了先入为主的观点，然后再提出与其相反的论据。我们会无意识地筛选掉自己现有的证据，以支持自己当前的信念。我们拒绝反对自己立场的无力论据，并不会尝试思考反对自己立场却最强的可能性论据。

通常这些流程都是自动并下意识执行的。你并不一定是个特别不理性的人才会这样退缩。没错，在默认情况下你会不知不觉地趋于退缩，当面对令人不安的事实时，你必须有意识地发挥精神努力，才能杜绝畏惧、退缩。我的意思并不是高喊“不要犯确认的偏见。不要犯确认的偏见……”我只想更有效点。

需要发挥怎样有意识的精神努力，才得以抵消“畏惧与退缩”的反应？

其中一个建议是为自己留下一条退路：

昨天晚上我碰巧与【某人】交谈，这个人刚宣布了两个观点：（a）她相信灵魂，（b）她不相信人体冰冻法，因为她认为灵魂不会留在冰冻的尸体里。我问道，“可你又从何得知呢？”从她脸上闪过的困惑就能看出，她显然从来没有碰到过这样的问题……

……“要确定喔，”我向她提出建议，“当你想象如果没有灵魂，这个世界将会是怎样，而你又会怎么做。先不要考虑不可能会是这样的所有因素，只要将它当成一个假设，然后想象一下结果。”所以你应该会想，‘嗯，如果没有灵魂的话，我只能报名参加人体冷冻’,或是‘如果没有上帝的话，无论如何我也只能继续做个道德的人，’而不是认为这太过令人畏惧而无法面对。为了个人的自尊，无论这会让你多不舒服，你都应该尝试去相信真相……【并且】在你尝试评估证据之前，人类的天性能使这个信念变得不那么难受。”

当然，你仍然需要公正地权衡证据。遇到让我惊吓的信念，我仍然会拒绝，而那些吸引我的信念，我仍然会欣然接受。但要清楚地想象出这个场景是很重要的，这样会让它变得不那么可怕，从而你的大脑就能在这个问题上，更公正地对证据做出评估。

留下一条退路是一项用于战斗开始之前的工具。而用在战斗过程中一个抵抗畏惧的方法就是，大声叫喊出对畏惧的反应。我留意到了，当自己思考诸如：“我想，自己读到过这样的信息，实际上糖分对我们来说并没有那么糟糕，”这样的问题时，我会在精神上补上一句“但这可能只是动机的认知而已，因为我现在真的很想吃这块饼干。”

这就像在我的决策模块上按下暂停，以便给我时间去启动自己的“好奇心模块”，这是为了要训练自己，去发现到底什么才是真理，而不仅是证明要吃饼干。例如，我会设想，在这个问题上，如果我得到的是错误的信念，事态将可能变得糟糕——由于动机的认知或其他一些思考的失败。在这种情况下，如果自己对糖分摄入量的影响评估出错，我可能会想象一下通过增重，或长跑的方式来降低能量的可能性后果。如果我正在考虑是否要购买火灾保险，我就会想象，一旦我对是否购买保险的直觉判断出错的话，将会发生什么事情。

当我们思考人工智能的启示时，这些工具都是很重要的。我们接下来要谈论那些重量级的废话了，但请谨记：不要退缩。将现实看在眼里，不要退却。

人类处理高效跨领域优化的能力，并非处于智力的自然稳定水平。诸如慢速神经元放电，多大的头骨才能够通过一个灵长类动物的产道这些因素，皆是由于进化产生的一个狭窄、偶然的临时标记。爱因斯坦看来似乎“远”比一个来自乡村的傻瓜聪明得多，但如果拿这种差异跟乡村傻瓜、老鼠间的区别作比较，不过是小巫见大巫罢了。