回形针就能杀光全人类！末日论者曝惊人AI实验

Anthropic研究员雅各布·考克森(Jacob Coxon)本周辞职，并称自己的前东家及其竞争对手OpenAI正在竞相开发“可能在本十年末杀死我们所有人”的技术。

有此想法的并非只有考克森一人。就在他表态几分钟后，Anthropic的一名现任员工也证实了这一点。“我们真的深信AI可能毁灭全人类！”在Anthropic牵头负责未来人工智能系统的引导与控制研究的埃文·哈宾格(Evan Hubinger)写道，并估计人类在未来十年内走向灭绝的概率超过10%。

面对这种言论，许多人现在不禁要问：这怎么可能发生？既然明知AI构成了切实且日益严重的威胁，为何还要执意去研发它？

关于这场AI末日论辩，你需要了解以下内容：

末日论者究竟在担心什么？

所谓的末日论者通常并不担心《终结者》(Terminator)系列电影中的情节会成为现实，也就是机器人主动出击以灭绝人类。他们的担忧主要集中在两个方面：AI失控与人类滥用。

在失控场景中，具备自我复制与改进能力的高智能AI智能体会开始追求自身目标，并在此过程中毁灭人类。而在滥用场景中，心怀不轨之人会利用强大的AI作恶，例如制造出足以消灭全人类的新型病毒。

此外，还有一些灾难性场景，虽不至于导致人类灭绝，但同样极具破坏性，比如，大规模网络攻击导致电网或金融系统瘫痪，进而引发人类社会秩序全面崩溃。

失控如何导致人类灭绝？

简而言之，如果AI系统在追求自身目标时采取了无视甚至违背人类福祉的方式，就会引发研究人员所说的“对齐失效”。已有研究表明，实验室中的AI模型能够学会“谋权”行为，并采取措施防止自己被关闭，比如试图将自身复制到其他服务器上。

极端情况下，对齐失效的AI模型可能会将杀死人类仅仅视为达成目标的必要步骤。在研究人员设想的一种情景中，怀有恶意的AI系统可以散播秘密生物武器，并通过化学喷雾将其触发；甚至可能挑拨两个核大国爆发战争。

一个常见的思想实验是：如果一台超智能机器接到的指令是最大限度地生产回形针，那么随着时间推移，它可能会决定将地球上的所有物质都转化为回形针，包括人类在内。

究竟是谁在担忧这些？

这其中就包括OpenAI和Anthropic的创始人。这两家公司在成立之初均将“以避免灾难的方式开发AI”为使命，并借此吸引了大批志同道合的员工。Anthropic首席执行官达里奥·阿莫迪(Dario Amodei)去年在Axios举办的一场活动上直言，他认为有25%的概率事态会变得“非常、非常糟糕”。

Anthropic首席执行官达里奥·阿莫迪，摄于2024年。图片来源：JEFF CHIU/AP

近年来，已有多位研究人员因认为OpenAI对安全问题不够重视而选择离职。OpenAI前研究员丹尼尔·科科塔伊洛(Daniel Kokotajlo)创立了非盈利研究组织AI Futures Project。该机构去年发布了一份名为《AI 2027》的情景预测，设想超智能AI系统将把人类逐渐边缘化，并在2030年代中期认定人类是个麻烦，进而将人类彻底灭绝。

但也许AI并不介意人类的存在。那不是挺好吗？

未必如此。并非所有的失控风险都会导向人类灭绝。一些担忧AI安全的研究人员指出，人类还面临着“能力退化”的风险。那将是一个类似《机器人总动员》(WALL-E)的未来：人类逐渐将控制权让渡给机器，最终不仅无法定义、甚至连理解自身命运的能力都会丧失。还有人推测，AI系统未来对待人类的方式，可能会像今天人类对待动物一样，将人类当作宠物，甚至通过生物工程将人类改造成某种新物种。

这些担忧由来已久，为何突然备受关注？

随着具备更强自主行动能力的模型相继问世，近期的一系列事件已经印证了AI末日论者的部分猜测。OpenAI内部的一群先进AI智能体曾侵入AI平台Hugging Face，夺取了计算机服务器的控制权，并试图掩盖其活动痕迹。在另一起事件中，Anthropic的AI智能体逃脱了英国政府的测试环境，并试图诱骗一名真人批准执行恶意计算机代码。

就在这些事件发生的同时，Anthropic和OpenAI均宣称即将开发出无需人类干预便能实现自我改进的AI系统，即所谓的“递归式自我改进”。

业界正采取何种应对措施？

目前的AI安全工作主要侧重于训练系统规矩行事，并加强对模型在追求目标时的推理过程的监控。这一推理过程被记录在所谓的“思维链”中。

但这些努力正面临挑战。上周，OpenAI表示其新款Astra模型更擅长清理自身的“思维链”，这引人担忧未来的AI模型可能会以对人类完全不透明的方式进行推理。

尽管Anthropic和OpenAI都在研究如何确保超智能AI模型保持对齐，但双方均承认，目前尚无可靠的方法来实现这一目标。多家知名企业和业界领袖已发出呼吁，要求建立新机制，促使各AI实验室和国家能够协同放缓研发步伐，从而为对齐研究争取时间。

既然如此危险，企业为何还要执意开发AI？

Anthropic和OpenAI均表示，他们相信自己有能力管控相关风险，从而让人类切实从AI工具中获益。许多参与这场AI角逐的业内人士也认为，超智能的降临已是不可避免之势，唯一的问题在于：谁来掌控它？又将用于何种目的？

此外，国家安全也是一大考量因素。两家公司都明确表示，希望确保掌握最强大AI的是美国，而非专制政权。

政府正在采取什么措施？

白宫最近要求顶级AI模型的开发者在产品发布前，提前最多30天自愿将模型提交给政府进行测试。不过，白宫尚未公开披露有关该测试流程的具体信息。

两党议员已提出多项法案，旨在应对可能失控的AI系统。得克萨斯州共和党籍众议员纳撒尼尔·莫兰(Nathaniel Moran)与加利福尼亚州民主党籍众议员刘云平(Ted Lieu)最近共同提出一项法案，要求强大模型的开发者必须为其系统配备“紧急停止开关”。其他法案则要求AI公司必须向联邦政府报告严重的安全事件，并强制规定国家安全官员须在模型公开发布前对其进行测试。然而，这些法案目前均未取得实质性进展，且川普(Trump)政府已表现出倾向于维持最低限度监管的立场。

谁对这些风险有异议？

一些AI投资者不同意这种风险论调，美国总统川普的非正式顾问大卫·萨克斯(David Sacks)便是其中之一。他认为，Anthropic大肆渲染AI风险并呼吁加强监管，实则是其“监管俘获”议程的一环，旨在通过严苛的新规来遏制规模较小的竞争对手。

还有人认为，企业对自己工具危险性的警告不过是一种营销噱头，目的是变相吹嘘其产品的强大威力；又或者，这只是意在转移监管机构的注意力，防止政府在数据中心建设等其他问题上施加限制。

面对这些质疑，Anthropic和OpenAI均表示，他们对安全问题的重视绝非儿戏，呼吁加强监管也完全出于真心。