人工智能问题及解决方案
我们在地球历史上的关键时刻发现了自己。像一块栖息在山脉顶峰的巨石般，我们立于险峻的巅峰。可是我们不能一直停驻在原点上：只要科学不断进步，人工智能就会到来。很快我们就要从山脉的一侧倒塌，或坠落到另一侧的稳定休憩点上。
第一种情况就是人类灭绝。（“灭绝？就呆在那个角落吧。”）而另一个休憩点可能是坚定的全球性极权主义，阻止了科学的进步，虽然那听起来似乎不太靠谱。
那么人工智能又会怎样呢？人工智能会引发一场智能大爆炸，然而，正是由于我们不懂得如何给人工智能机器设定仁慈的目标，因此在默认的情况下，智能大爆炸将会以意外的灾难性结局来优化这个世界。一场 受控的智能大爆炸，另一方面可以优化世界，让它变得更加美好。（在接下来的帖子，我们将讨论更多与这一选项相关的内容。）
就我自己来说，正将我自身所有的重量都倾 靠在这座最后的峡谷方向上：一场受控的智能大爆炸。
在这个稍纵即逝的历史时刻，我们能够理解（尽管朦胧）自身的现状，并改变我们将可能坠落到山脉的哪一侧。那又如何，接下来，我们会付诸行动吗？
微分知识发展
我们需要的是微分知识发展：
微分知识发展主要在于，处理增加风险的知识发展前，优先处理降低风险的知识发展。特别是应用到人工智能风险方面，微分知识发展计划会对我们提出忠告，在有关人工智能安全的哲学、科学与技术问题方面的发展，已经超出了人工智能的性能发展，以致我们要在开发出专制的超级人工智能机器前，率先开发出安全的超级人工智能机器。我们的第一个超级人工智能机器必须是安全的，因为我们可能再不会有机会重来一次。
粗略来说，人工智能的安全研究正在与人工智能的性能研究进行赛跑。目前，人工智能的性能研究占了上风，它确实是领先了一步。因为人类正努力研究人工智能的性能，却忽略了安全方面的研究。
如果人工智能的性能在这场竞赛中跑赢了，那么人类就输了。相反，如果人工智能安全研究赢了，人类也会赢。
很多人都明白，推动人工智能的性能研究会有什么后果。那也是你能在人工智能相关的大部分作品中所读到的。反之，如果我们推动人工智能的安全研究，又会怎样呢？
这篇文章 罗列了一连串有关人工智能安全研究的问题类别，现在，还是让我先举几个例子吧。（如果你想避开这些可怕的技术术语，可以跳过这个列表）。
- 当一台机器认为对自身决策机制的修改过于激进，它又如何能确保这样做能增加其期望效用呢？当前的决策理论就在这一点上，将Löb’s定理绊倒了，所以需要一种全新的“反映一致的”决策理论。
- 一台机器的实用功能可以指代其状态，或当中的实体，其技术。但正如彼得·德·布兰科（Peter de Blanc）指出，“如果机器能够升级或更改本质 ，它将会面临危机：机器原本的【实用功能】就可能会因为其新的本质而无法明确定义。“如何才能确保，当我们为人工智能机器订下好的目标后，那些目标不会在机器进行本质更新时遭到“毁坏”呢，对此我们需要想出解决办法。
- 我们要如何从人类“希望”的角度出发，解释令人满意的实用功能呢？当前在人工智能机器中的偏好获取方式是不够的：我们需要更新、更强大的方式，以及偏好获取的通用算法。又或许我们应该让人类自己花一段很长的时间，去推算出他们的偏好，直到他们在自身的偏好中找到“反思平衡”。后者可能涉及到模拟整个大脑——但如果没有首先研发出能启发大脑、自我完善却又危险的人工智能机器，我们又怎能构造得出来呢？
- 在人工智能机器被研发出来之前，我们未必能解决好价值理论的问题。也许与之相反，我们需要的是一套关于如何处理这种规范不确定性的理论，例如：像博斯特罗姆（Bostrom）所提出的议会模型。
除了这些“技术”研究问题外，我们也可以考虑用微分知识发展，针对各种“战略”研究问题的发展而提出建议。人类应该将资金投向或抽离哪项技术呢？我们要怎么做才能减低人工智能军备竞赛的风险呢？它会降低人工智能的风险，从而激励广泛的理性培训或仁爱培训吗？我们应该考虑首先进行哪项干预措施呢？
马上，行动
所以，人工智能风险问题的解决方案之一就是：微分知识发展。解决方案之二是：根据我们能做出的最佳策略研究的建议来采取行动。例如：以下的行动可能会减少人工智能的风险：
- 向正在我们上述讨论的人工智能安全领域，进行着各种技术与策略类研究的机构捐资——就像奇点研究所和人类未来研究所这类型的机构。
- 说服人们认真看待人工智能的安全，尤其是人工智能研究人员、慈善家、聪明的年轻人，以及位高权重的人。
机遇
至今为止我一直在谈人工智能的风险，但也不要忽略掉人工智能带来的机遇：
通常我们不会将癌症治疗或经济稳定性与人工智能联想到一起，但是癌症治疗终究是个需要足够聪明才智，才能找出治愈办法的问题，而实现经济稳定终究也是个需要足够聪明才智，才能找出实现办法的问题。无论我们的目标设定在哪一程度之上，只要充分地运用好人工智能，我们将可以在更大程度上实现目标。
在我的最后一张帖子里，我会尝试解释，只要我们能下定决心采取行动并好好利用人工智能，事情将会变得美好。
没错，在物理学上，即使是非常糟糕的后果，也没有任何事情能阻挡其发生，对于这一事实，我们必须保持清醒。但是，我们也必须认楚这一事实，对于比我们原始的猴脑所能想象到的，更大的快乐与和谐这样的结果，在物理学上同样无法阻挡。