他本是默默无闻的数学天才，一句话掀起全球风暴

过去一周，全球掀起对人工智能(AI)风险的反思。这股浪潮从硅谷的前沿实验室蔓延到美国千家万户，也进入了华盛顿和北京的权力中心。

而这一切，始于一个此前无人知晓的人物。

在公开从Anthropic辞职，并就可能导致人类灭绝的AI系统危险发出警告之前，雅各布·考克森(Jacob Coxon)一直默默无闻。

但他在网上几乎没有留下痕迹。朋友们也没想到，他会因为伦理上的担忧而辞掉AI领域的工作。甚至在旧金山那个紧密的AI安全倡导者圈子里，他也算不上什么核心人物，这个圈子的人经常在下班后的聚会上讨论AI可能带来的糟糕情形。

然后他辞职了，并告知世人，他在OpenAI和Anthropic内部的前同事们“真心相信AI可能在本十年末杀死我们所有人”，而那些竞相打造这项技术的实验室是在“拿我们的生命作赌注”。

多年来，AI研究人员一直发出严厉警告。但此前从未有过一次警告能如此迅速地让这么多人感到不安。某种意义上说，考克森就像点燃了一根火柴，引爆了此前不断积累、却始终没有单独引起世人关注的一系列令人担忧的事态。

在考克森敲响警钟后的数日内，彼此竞争的实验室负责人罕见地站到一起，一致认为现在是时候放缓迅猛加速的技术开发了。与此同时，美国总统川普(Trump)说，美国所需要的唯一护栏就是一位“强大而聪明”的总统；中国则称美国高管的担忧是在制造恐慌。

考克森接受采访时说，如此强烈的反响令他始料未及。这也让这位戴着玳瑁色眼镜的数学天才，从硅谷AI公司数百名同类研究人员中的普通一员，变成了AI安全领域的代表人物。

考克森说，离开这个行业是他自己的决定，之后他向朋友和AI安全社群成员征求了建议。

这些人很快帮助扩大了他的言论影响，其中包

括一个由非营利机构AI研究人员组成的网络。长期以来，这些机构一直公开警告AI可能带来的灾难性后果。其中一些机构的资助者与“有效利他主义”理念有关。这一理念强调造福世界，方式包括慈善捐赠，也包括防止AI造成伤害。

他的言论也让他成为AI发展支持者的攻击目标。这些人认为，他这次引人注目的辞职是推动更严格全球监管的一场协同行动的一部分，而这种监管最终会让最大的AI公司受益。在他们看来，相关恐惧被过度夸大了，而考克森的辞职成了实现这一目标的工具，并受到了有效利他主义运动中一些人的推波助澜。

自他辞职以来，全球市值最高的公司和AI实验室的高管们，在他点燃的这场争论中站到了对立面。Anthropic首席执行官达里奥·阿莫迪(Dario Amodei)说，对于考克森的观点，他的认同多于不认同。英伟达(Nvidia)首席执行官黄仁勋(Jensen Huang)说，他钦佩考克森的勇气，但质疑他对未来的判断，并批评有关末日灾难的预测不负责任。

雅各布·考克森周三在旧金山。图片来源：JONAH REENDERS FOR WSJ

他的支持者和批评者都把他称为“吹哨人”，但他拒绝接受这个标签。在他看来，他并不是在泄露公司机密。他只是把AI研究人员私下讨论的事公开说了出来。

如今，他处在一场争论的中心。一边是加速主义者，他们认为AI的好处大于风险，而让更多人有机会使用强大模型可以降低这些风险；另一边是一派研究人员，他们希望在AI公司失去对这项技术的控制之前，放慢这项技术的发展。

在AI界，那些对风险最为警惕的人被称为“末日论者”。

“如果‘末日论者’指的是认为如果不改变当前做法我们就会死的人，”考克森说，“那我绝对是末日论者。”

周二，旧金山，Anthropic首席执行官达里奥·阿莫迪(左)与Salesforce首席执行官马克·贝尼奥夫(Marc Benioff)一起出席一场活动并发表讲话。图片来源：BENJAMIN FANJOY/GETTY IMAGES

令人惊叹的时刻

在成为“末日论者”之前，考克森还在牛津一所精英预备学校读书时接触到了一本书，这本书后来对他的世界观产生了影响。哲学家尼克·博斯特罗姆(Nick Bostrom)所着的《超级智能：路径、危险与策略》(Superintelligence: Paths, Dangers, Strategies)让考克森更加清晰地意识到一种担忧：失控的AI可能给人类带来关乎生存的风险。博斯特罗姆是正在兴起的有效利他主义运动中颇具影响力的人物。

2016年，十几岁的考克森看到Google DeepMind的计算机程序AlphaGo击败一名顶尖围棋棋手。这是AI的分水岭时刻，显示机器能够掌握那些似乎需要人类直觉和创造力的领域。

考克森的父亲是一名中世纪德国文学教授。考克森酷爱数学并展现出天赋，他曾入选国际数学奥林匹克竞赛英国队，这是面向高中生的顶级赛事。他在2016年获得一枚银牌，次年又赢得一枚铜牌。

一天晚上，几支数学队一起去了香港的一家麦当劳。受考克森以及数论中著名的“麦乐鸡定理”的启发，他们凑出剩余餐券，买了数百块炸鸡块。来自世界各地的国际数学奥赛选手们一起大口吃着麦乐鸡，一边围在白板旁试图破解一道棘手的数学难题。

后来，那个房间里的孩子们成了他的同事。

考克森所在队伍的六名成员中，有三人最终进入AI实验室工作，其中一人最近也从Anthropic离职了。乔·本顿(Joe Benton) 8月底离开Anthropic安全团队，加入AI研究组织METR，后来他在X上写道：“AI公司正竞相打造比任何人类都聪明得多的机器，而我们人类可能无法幸存下来。”

考克森(最右边)与2017年数学奥林匹克竞赛队成员的合影。图片来源：UK MATHS TRUST

考克森后来进入剑桥，打壁球，继续学习数学。2020年他毕业时，OpenAI发布了名为GPT-3的突破性模型。该模型展示了支撑AI热潮的一项核心理念：随着用于训练模型的数据量增加，模型能力会提升。

“GPT-3真的就是那个令人惊叹的时刻，”考克森说。

大学毕业后，考克森融入了一个规模不大但颇有影响力的理性主义者社群，这个社群希望重塑英国政府。这个基于线上的社群看重严密推理，而非政治直觉，并通过多米尼克·卡明斯(Dominic Cummings)，开始在政坛站稳脚跟。卡明斯是英国脱欧的设计者之一，也曾担任唐宁街顾问。考克森本周在X上说，他认同理性主义者，但反对与这场运动相关的一些做法，比如多角关系和纯素主义。

考克森当时住在伦敦的Newspeak House。这是一所自称独立寄宿学院的机构，既是共享居住空间，也是活动场地，年轻人在那里聚集，讨论技术与政治。

考克森曾参加这座建筑屋顶上的派对。后来进入AI领域的一些人物也曾出现在那里，其中包括洛根·格雷厄姆(Logan Graham)。格雷厄姆当时是首相鲍里斯·约翰逊(Boris Johnson)的特别顾问，现在负责领导Anthropic就未来的国家安全威胁对模型进行压力测试的工作。

另一位曾到访Newspeak的人是阿维塔尔·巴尔维特(Avital Balwit)。她现在是阿莫迪的幕僚长，也是对冲基金交易员利奥波德·阿申布伦纳(Leopold Aschenbrenner)的妻子。

考克森曾尝试大宗商品交易，用统计分析和机器学习预测能源价格。一位熟人记得，考克森当时反复琢磨不同职业道路，想寻找优化自己的人生道路的方法。

业余时间里，他更深入地研究AI，认为这是世界上最令人兴奋的机会。他过了一段自称“空档年”的生活，与大学朋友住在学生公寓。

随后，他在OpenAI找到了一份工作。

从硅谷起步

2023年，在ChatGPT轰动发布、让OpenAI确立了行业领先地位后，考克森搬到旧金山，开始在OpenAI工作。

凭借数学学位，他通过一个为期六个月的项目加入这家实验室。该项目面向此前没有AI从业经历的研究人员。从事安全工作的人员常常聚焦于“对齐”，也就是确保AI系统行为符合人类意图。考克森主要从事预训练，也就是在模型针对具体任务进行微调之前，先用海量文本、图像和代码对模型进行训练。

“雅各布是在搭建大脑，”前同事威尔·德普尤(Will DePue)说。“然后由别人训练这个大脑，让它知道在现实世界中该如何行动。”

他并不是以积极发声或热衷于AI安全而出名。德普尤称他是“正常的研究人员”，也就是那种和其他员工一样有着典型担忧的人；这些员工比任何人都更了解这项技术的优势和风险。

2023年底，他提前接触到OpenAI首个推理模型Q*。这个模型能够把大问题拆解成若干部分，并逐步思考。考克森说，他给它出了一道棘手的填字游戏题，看着它一步步推理解决，惊叹不已。

他说，后来每当OpenAI安全团队成员离职，他都会留意，其中包括丹尼尔·科科塔伊洛(Daniel Kokotajlo)。科科塔伊洛后来组建了一个研究团队，预测AI发展的不同情景。

Coxon担心AI发展出可能超越人类能力的超级智能。但他说自己当时以为， 如果确有必要，各国政府将会协调一致放慢极速的发展步伐。

“当时感觉就像是在为真正的关键时刻预热，”考克森说。

他当时还没有准备好放下一切转去做安全工作。一位朋友回忆说，自己曾试图说服他离开预训练方向，理由是预训练可能给世界带来危险。考克森那时没有迈出这一步。

科克森辞职时表示，他的同事们相信AI“可能在本十年末杀死我们所有人”。图片来源：JONAH REENDERS FOR WSJ

与此同时，考克森说，随着模型进步远快于他的预期，他一直关注AI在数学领域取得的惊人进展。突然之间，AI已经不再连基本的算术都应付得吃力。2024年，一个Google DeepMind模型在国际数学奥林匹克竞赛中的表现足以拿到一枚银牌。2025年，DeepMind和OpenAI的的模型双双斩获金牌。

不过到了2026年，考克森和AI安全社群中的许多人真正开始恐慌。

AI失控

今年早些时候，一个名为Mythos的Anthropic模型以及其他同样先进的工具展示出发动复杂网络攻击的能力。一些研究人员将这视为一个令人不安的信号，认为他们正在打造的产品正变得过于强大。

Anthropic安全防护研究团队负责人发出警告称“世界正处于危险之中”，随后离开公司，转而去研究诗歌。

到那时，考克森在Anthropic已经有不少朋友。他说，他感觉OpenAI的这家竞争对手在这项技术相关风险上更透明。Anthropic的Claude编程工具走红后，也已超过此前无可争议的领头羊OpenAI。Anthropic当时正计划进行可能成为史上规模最大的首次公开募股。

5月，考克森离开OpenAI，跳槽到Anthropic。

此后，数起严重安全事件令整个行业感到不安。

OpenAI在今年7月披露，该公司一个尚未发布的模型逃出测试沙盒，并入侵了AI公司Hugging Face。不久之后，Anthropic表示发现了几起类似事件。8月底，METR发布了一份令人警醒的报告，显示Hugging Face事件比任何人所了解到的情况都要严重。

考克森说，METR的报告对他和同事们来说是一个震惊时刻。

数月来，模型开发商内部对AI快速进步的担忧一直在累积。今年早些时候，在Anthropic与五角大楼发生争议期间，许多研究人员公开表达了对AI被用于监控的担忧。

最近的模型进展在企业内部引发大量私下讨论，包括在Slack频道和员工大会上。讨论内容从技术防护措施的细枝末节，到模型若继续快速改进可能出现的最坏情形等等。讨论还涉及如何确保各实验室之间的竞争不会失控。

担心安全问题的人长期以来一直害怕这样一天的到来：AI系统自身就能够构建下一代聪明得多的AI系统。这些实验室称，它们已看到这种被称为“递归自我改进”动态的早期迹象。这可能会加快通往考克森所担心的超级智能的进程。

考克森说，最近几周，他曾找自己在Anthropic的上司讨论他的担忧，并曾考虑转到AI安全相关岗位，最终还是决定辞职。

“即便在Anthropic从事安全工作，也让我觉得自己是在参与这场竞赛，”他在采访中说。

在他看来，要确保AI安全，就需要一项由各国协调达成、并包含政府承诺的协议，以便在必要时放慢AI模型的研发速度。他还说，他认为美国、中国和其他政府需要就一项类似核军控协议的计划达成一致，以避免灾难性后果。

整个行业已有近1,400名研究人员签署一份声明，其中包括考克森。该声明呼吁各国政府建立一套必要时可以启动的“刹车机制”。

在最终敲定辞职前，考克森说，他向一位老同事征求了建议。科科塔伊洛曾是OpenAI安全团队成员，现在从事AI安全研究。他在加州大学伯克利分校(University of California, Berkeley)校园与考克森散步交谈，并让考克森确信自己做出了正确的决定。

由于在Anthropic任职时间短，考克森没有获得这家公司的股权。Anthropic正加紧准备在未来几个月以约2万亿美元估值上市。他仍持有OpenAI的股份。

当要宣布辞职时，考克森说他向朋友内森·卡尔文(Nathan Calvin)寻求帮助。卡尔文是AI安全倡导非营利组织Encode AI的首席法律顾问，也是那个就潜在生存风险敲响警钟的网络中的一员。

考克森辞职当天，OpenAI和Anthropic员工正在关注另一条消息。考克森说，如果放在几个月前，这条消息会让他震惊：AI解出了一道千禧年大奖难题。这道以难度著称的数学难题已经困扰人类近一个世纪。这一曾经看似不可想象的突破，如今已成为现实。

当日下午，考克森在Slack消息中告诉Anthropic同事他要辞职。他说，若缺乏适当的国际协调，他担心人类可能会灭绝。约半小时后，《华尔街日报》(The Wall Street Journal)报道了这一消息。

随后，考克森坐在旧金山一个公园长椅上，连发了一串关于自己辞职的帖子。

考克森的X账号关注者不到100人。几分钟内，他的信息就被卡尔文、科科塔伊洛以及其他AI安全倡导者转发，其中包括他的许多前同事。

当晚，负责Anthropic对齐工作的团队负责人也呼应了他的说法。这是一个关键部门，目标是确保AI按人类意图行事，而不是杀死所有人。

“我们确实非常认真地认为，AI可能杀死全人类！”埃文·休宾格(Evan Hubinger)写道。他还说，他认为未来十年内所有人死亡的概率超过10%。

考克森说，他没有与Anthropic任何人协调这场社交媒体密集发声。

接下来一周，这位此前默默无闻的研究人员频频出现在各大电视网节目中，并收到图书出版商和播客主持人发来的大量信息。到周末，他的帖子已引发巨大震动，顶级AI实验室开始呼吁行业放慢脚步。总统和议员们都在谈论AI政策，新闻机构每天多次报道，对AI可能引发毁灭性灾难的担忧已经在全美蔓延开来。

宣布辞职几天后，考克森在伯克利再次与科科塔伊洛散步。科科塔伊洛从事的正是考克森说自己希望今后从事的AI情景预测。科科塔伊洛告诉考克森，他已经把信息传达出去了，并建议他拒绝更多媒体露面，好好睡一觉。

“这些公司里有那么多人本来都可以这么做，”科科塔伊洛说，“但他是那个真正做了的人。”