并非为人工智能的思索而设

在终结者（The Terminator）电影中，天网（Skynet）人工智能变得有自我意识，杀死了数十亿的人们，还派出机器人杀手来歼灭剩余的一群人类抵抗战士。这听起来很糟糕，但在国家公共广播电台（NPR）的关于智力爆炸节目中，易趣网（Ebay）的程序员基夫·罗特沙默（Keefe Roedersheimer）却解释道，创造一个真实的机器超智能会比那更糟糕。

“会比终结者（The Terminator）电影中的还要糟糕吗？NPR的主持人马丁·卡斯特（Martin Kaste）问道。

“对，比那还要糟糕几倍，”基夫回答。

“在电影里面那简直就是一片废墟啊，人们藏匿在被烧毁的建筑物中，躲闪着激光的扫射。还有什么能比那种情景更糟糕的呀？”

“所有的人都死了。”

他为什么会这么说呢？为了确保人工智能的大多数目标——无论是解决黎曼假设（Riemann hypothesis）还是将石油的产量最大化——原因很简单，那就是“人工智能并不爱你，它也不恨你，但由于你是由原子组成的，对它来说还会有其它用途。”而当一个超人类人工智能注意到我们人类很可能会抗拒将我们的原子用作“其它用途”，进而威胁到人工智能的利益与它的目标时，将会激发它想尽快彻底地摧毁人类 ——它当然不希望让一支勇猛、可以拯救世界的英雄队伍了解其致命的弱点，除非是他们能放下自身的分歧……不可能。为了确保人工智能的大多数目标，尽可能高效地消除人类对其目标的威胁，才能实现人工智能的预期效用最大化。

让我们面对现实吧：其实有更多轻易就能杀死我们人类的方法，要比派出走在大街上，似乎很享受将人类扔到墙上，而不是折断他们脖子的人形机器人要简单得多。甚至还有更好的方法，如果采取突然攻击人类的办法，在世界各地引发同步效应，公然向存在的反抗势力宣战，将会来得更加迅速与致命。例如：为什么不运用到超智能的一切能力设计一种能在空气中传播、具高传染性及致命的超级病毒呢？一场1918年的变异流感席卷了地球上3%的人口，而那甚至是发生在空气传播（在全球范围内传播疾病）变得普及之前，可是却没有一丝一毫的智能进入到病毒的设计。只需运用一点小聪明，你就能从荷兰找到一支队伍，制造出一个变种禽流感，“便能消灭掉一半的人类。”一个超智能甚至还可以制造出远比这更糟的后果。或许人工智能还能通过隐藏在地下或将其自身在太空引爆，运用现有的技术：数千核武器，就能杀死我们所有人了。

关键不在于这两种特定场景都很可能。我只是想指出在现实中会出现的情况，当然，这完全与怎样才能让故事更加吸引人无关。正如牛津大学的哲学家尼克·博斯特罗姆（Nick Bostrom）如此表述：

你最后一次看到有关人类突然进入灭绝的电影是什么时候呢（毫无预警地，并且未被其他文明形态取代）？

故事会变得更加有趣，假如任何一方在战争中当真能获胜。如果弗罗多（Frodo）做了明智的抉择，从巨鹰的背后把戒指扔到火山里，魔戒一书就不会如此畅销了。如果人类突然就失败，结局的话，这就不会成为一个有趣的故事了。

当思考人工智能的时候，我们一定不能从虚构的证据中来归纳。不幸的是，我们的大脑会自动这样处理。

一项著名的1978年研究让受试者判断有哪两种危险发生得更频繁一些。受试者们认为意外事故会像疾病一样造成众多人员死亡，以及凶杀要比自杀案件更加频繁。事实上，由疾病导致的死亡人数是事故死亡人数的16倍，自杀案件更是普通凶杀案件的两倍。这究竟是怎么回事呢？

数十个针对可得性启发式的研究提出，我们是通过事情有多轻易在脑海中浮现来判断事情的频率或机率的。当我们不能在维基百科中查出实际的频率，或运用贝叶斯定理来确定实际的可能性时，就会运用到从我们祖辈的生活中进化而来的一种启发式，那情况还不算太糟糕。大脑的启发式是快速、廉价的，而且通常都是对的。

但是就正如我们许多的进化认知启发式一样，可得性启发式常常会得出错误的结果。意外事故要比疾病来得更加逼真，因此更容易让人们联想到，导致我们高估了它们相对于疾病的发生频率。同样地也错误评估了凶杀与自杀案例的频率。

可得性启发式同时还解释了为什么人们认为坐飞机要比驾车更危险，而事实恰恰相反：然而一架飞机坠毁的情景更生动，并且一旦飞机失事就会广泛地报道，所以在人们的印象中它的发生机率更高，而大脑诱使自身联想到意外的可发生性以指示其发生机率。

当你的大脑想到超人类人工智能的时候，它究竟在做什么呢？最有可能的是，它会检索所有你曾遇到过的超人类人工智能的实例——因为它们都是虚构的——而根据它们与最容易联想到的情景的吻合程度（由于你的思维只在虚幻小说中碰到过它们）来判断某些情况的可能性，这样做只会让事情变得更糟。换句话来说：“就是联想到突然冒进脑海的小说情景，并代替你进行思考。”

所以如果你产生了有关超人类人工智能形象的直觉，这些直觉可能只是源自于虚幻小说，而你并不会察觉到。

这就是为什么我要通过谈论理性开始切入面对奇点。在我们开始思考人工智能的那一刻，也是我们直接闯入一个错综复杂但普遍的人为故障模式的时候。收集虚构的证据用于归纳就是其中一种模式。这里再举一些其它例子：

基于可得性启发式的缘故，你的大脑会告诉你人工智能消灭人类是如此令人难以置信，也是不可能的，因为你以前从未遇到过这种情况。此外，即使当事情随着让人精疲力竭而变得糟糕，比方说，外星人入侵这部电影，勇敢的人类英雄最终总是会在在最后一分钟找到获取胜利的方法。
因为我们高估了连环事件发生的机率，但低估了间隔事件发生的机率（这里有一份研究），我们很可能高估了超人类人工智能结果会变好的这一机率，因为X，Y和Z全部都会发生，而我们可能低估了超人类人工智能最后变得更糟的机率，因为有许多方法会让超人类人工智能最后变得更糟，这并不依赖于还有多少其它事件会发生。
基于你大脑的锚定与调整启发式的缘故，你对一种情况的判断将会锚定明显无关的信息。（于是这个出现在幸运陀螺滚动下的数字将会影响你对有多少个国家在非洲的猜测）。尽管我刚刚谈到对于判断超人类人工智能最终会如何，终结者（The Terminator）只是无关紧要的虚构证据，但你的大脑却试图锚定终结者（The Terminator），然后调整远离它，但却还远得不够离开它。
基于情感启发式的缘故，我们会根据自己对事物的感觉来对其做判断。我们对漂亮的人感觉良好，所以我们就会认为漂亮的人同样也会是聪明和勤奋的。我们对智能感觉良好，因此我们可能就会期望一个智能机器是仁慈的。（但是，结果并非如此。）
基于范围低敏度的缘故，相比我们努力阻止1000万人死亡，我们不会感觉到更大的动力去阻止100亿人死亡。

很显然地，我们并不为思考人工智能这一问题而生于世上。

为了能明智地思考关于人工智能问题，我们必须要提防——并且积极地抵制——许多种常见的思维误区。在思考人工智能问题时，我们将不得不运用到思维的定律而不是普通的人类疯狂思维。

或者，换一种方式思考：超人类人工智能将会对我们的世界产生重大的冲击，所以我们迫切地希望“战胜”超人类人工智能，而不是被其“打败”。技术合理性使用得当的话会是一个最佳的获胜系统——事实上，这是一个完美的人工智能会为了尽最大可能获胜而使用的系统。所以，如果我们想要战胜超人类人工智能，我们就应该用理性来解决。
而那仅仅是我们要在下一章里开始做的。