人类已进入一个风险社会，而我们所处的时代至为关键。物种灭绝、文明崩溃、反乌托邦社会的“锁定”，已然不是只出现在科幻电影和政治小说中的情节桥段，而是在我们可见的未来将确确实实面临的生存危机。核战争、气候变化、生物技术、基因工程大流行、反向污染等风险将在多大程度上摧毁人类？人类还有多少机会能安然度过本世纪和接下来的几百年？

这是一个满怀希望的时代，同时也是一个充满道德挑战的时代。人们对人工智能固化社会歧视、导致大规模失业、支持压迫性的监控以及违反战争准则等问题表示严重关切。

人工智能的发展会不会在这个最广泛的范围内构成风险？这种情况发生的可能性有多大，以及什么时候会发生呢？

2016 年，有人对 300 多名机器学习领域的顶级研究人员进行了详细调查。当被问及人工智能系统何时能“比人工更好、成本更低地完成每一项任务”时，他们的平均估计是到2061年有 50% 的可能，而到不久后的 2025 年出现这种情况的可能性为10%。

这份调查结果应该谨慎地解读。它评估的并不是通用人工智能何时会被创造出来，甚至不是专家们认为有可能发生什么事情，而且得的预测众说纷纭。然而，这次调查向我们表明，专家群体基本上认为通用人工智能并不是难以实现的梦想，而是有可能在十年内出现的，在一个世纪之内出现的可能性更大。因此，让我们以此为出发点评估风险，并思考如果通用人工智能被创造出来会发生什么。

人类目前还掌握着自己的命运，我们可以选择我们的未来。当然，每个人对理想未来有着不同的看法，我们中的许多人更注重个人诉求，而不是实现任何这样的理想。但如果有足够多的人愿意，我们可以选择任何一种丰富多彩的未来。而对于黑猩猩、山鸟或者地球上的任何其他物种来说，情况就不一样了。正如我们看到的那样（在第一章中），人类在世界上的独特地位是我们独一无二的心智能力所产生的直接结果。无与伦比的智慧带来了无与伦比的力量，从而让我们得以掌控自己的命运。

如果研究人员在本世纪某个时候创造了一种几乎在每一个领域都超越人类能力的人工智能，会发生什么事情？这种创造的行为会使我们把自己的地位拱手相让，使我们不再是地球上心智能力最强的实体。如果没有一个非常好的计划来保持情况受控，我们还会把最强大物种的地位以及可以掌控自我命运的物种这一地位让出来。

就这种情况本身而言，也许并不值得过于担心。因为有很多方法能让我们有希望保持控制权。我们可能会试着制造总是服从人类命令的系统，或者系统可以自由地做它们想做的事情，但它们的目标与我们的目标完全一致——这样，在构筑它们的理想未来时，它们也会构筑我们的未来。不幸的是，为数不多的正在研究这类计划的研究人员发现，这些计划比预期的要困难得多。事实上，提出担忧的主要就是这些研究人员。