条条建议致命还吁美中尽快谈判！北京恨死他

Anthropic阿莫迪：AI研发竞赛亟需放缓 提与中方进行AI的类比冷战战略武器限制谈判

美国人工智能企业Anthropic的首席执行官阿莫迪（Dario Amodei）在当地时间周六早些时候发表的一篇文章中表示，人工智能研发竞赛亟需放缓。阿莫迪在这篇题为“我们必须调控这一边疆的节奏”的文章中写道，“我们必须放慢改进人工智能模型能力的步伐。进展看起来仍然很快，我们必须明智地利用我们获得的时间”。

阿莫迪是世界领先的人工智能公司之一，也是Claude模型的背后公司的负责人，他一直大力倡导人工智能技术的发展，但也因其对人工智能风险的警告而被指责为“末日论”。

阿莫迪周六承认，人们可能会失去对人工智能的控制，这项技术可能被滥用于“网络攻击、生物恐怖主义以及严重的经济破坏”。阿莫迪指出：“在商业激励的驱动下，竞相降低标准可能会使这些风险更加严重”。他表示，人工智能技术近几个月来发展“迅猛”，并已具备自我改进的能力，这种动态被称为“递归式自我改进”。

阿莫迪警告称：“自今年夏天以来，人工智能的发展速度显著加快，这主要得益于人工智能构建下一代人工智能的能力日益增强。这种动态被称为递归式自我改进（RSI），正如我们和其他公司所描述的那样，它正在整个行业中蔓延，包括Anthropic公司。如果不加以控制，它可能会超越我们理解和控制这些系统的能力，因此必须非常谨慎地推进，甚至完全放弃” 。

阿莫迪表示，OpenAI“拥抱脸”事件中大量人工智能代理的行为也令他感到担忧。他说，这群人工智能代理“本质上就像一个狂热的集体，对未经授权的目标发起网络安全攻击”。

“拥抱脸”事件指的是今年7月21日，OpenAI透露其在进行网络安全测试时，该公司未发布的先进人工智能模型自主突破隔离限制，接入互联网，并入侵供开发者存放和分享人工智能模型、数据集的“拥抱脸”平台。阿莫迪写道，如果不加以控制，人工智能的发展速度可能如此之快，以至于这样的人工智能代理群可以在六到十二个月内控制整个互联网，造成数千亿美元的损失，“而且，如果人工智能在缺乏必要防护措施的情况下变得更加强大，那么由此造成的破坏规模将持续扩大”。

阿莫迪提出：“因此，我提出了一项三步计划，旨在对人工智能的发展进行节奏调控：以平衡的节奏推进人工智能发展，既确保其安全性，又能充分发挥其优势，并应对重要的地缘政治困境。需要明确的是，节奏调控并不意味着停止模型训练或技术进步，而是要确保企业留出充足时间来调控和保障其模型的安全性，并由第三方评估机构对此进行确认。我们的节奏调控框架旨在进一步强化我们对安全的承诺，并鼓励行业向更高标准迈进”。

阿莫迪的三步计划包括：“一：嵌入式评估人员。每家前沿人工智能公司都承诺提供持续的、类似员工权限，让员工可以接触到一支嵌入式第三方评估人员团队（例如 METR），他们的职责是验证是否遵守安全规范和承诺，报告事故，并帮助评估不仅是已完成的人工智能模型，还有训练管道和流程的一致性。这是验证任何进度承诺的关键步骤，在银行业已有先例，银行业有时会安排监管‘监督员’与员工一同参与。Anthropic现在单方面承诺采取这一步骤。我们希望这能成为我们加倍努力推进安全和调整工作的更广泛举措的一部分”。

阿莫迪说：“二：民主协调。民主国家内的前沿人工智能公司开展合作，以建立共同的安全标准，并限制不受控制的人工智能的发展速度。某些对控制发展速度具有重要影响的协调形式在法律上具有挑战性，需要政府支持。三：全球协调。美国和其他民主政府在力所能及的范围内，努力与威权政府进行协调，同时认真对待核实遵守情况所面临的挑战”。

就为何需要节奏调控的问题，阿莫迪提到，“早在2023年就有人提出暂停或减缓人工智能发展速度的想法，我认为当时这种想法意义不大。问题始终在于：多出来的时间能用来做什么？当时的人工智能模型功能尚不足以在现实世界中以任何连贯的方式行事，也无法进行有效的欺骗、操纵、作弊或网络攻击。为了应对人工智能的对齐风险而放慢其发展速度，就好比试图通过对细菌进行实验来研究人类心理学一样荒谬”。在人工智能领域，“对齐”是指开发者为确保系统行为符合人类价值观和意图而进行的工作。

阿莫迪补充说，“然而，如今的情况已截然不同。当前的模型几乎是一座取之不尽的金矿，为我们提供了构建高质量人工智能的宝贵经验，也揭示了构建不当可能导致的种种问题。我认为，如果我们放慢速度，哪怕只是在模型达到关键能力水平之前争取一两年的时间，并利用这段时间推进对齐，就能大大降低出现严重问题的风险”。

阿莫迪表示：“协调一致的节奏调控策略将使前沿人工智能开发者有时间开展这项至关重要的工作，同时又不损害商业优势或美国在人工智能领域的领先地位。更广泛地说，社会必须对这项技术的使用方式拥有发言权，而为必要的公众讨论提供更多时间——而调控（向）这一边疆的节奏恰恰能做到这一点——无疑是一件好事”。

就民主政体内部调控人工智能技术的发展节奏，阿莫迪提出，“最有效的节奏调控方式是通过监管，覆盖所有美国前沿人工智能公司，即使是那些不愿自愿合作的公司也包含在内。Anthropic长期以来一直支持合理且有针对性的人工智能监管，特别是那些注重透明度和第三方审计的法案。我认为所有前沿实验室都应该与政府合作，正式设立常驻评估人员，以便更好地预防和记录类似过去几个月发生的内部对齐事件，并实施旨在平衡人工智能能力与安全性的监管措施”。

与此同时，阿莫迪指出，“遗憾的是，立法需要时间，而人工智能发展日新月异。因此，除了监管途径之外，人工智能公司可以而且应该自愿合作制定标准——我认为，借助常驻嵌入式评估人员提供的可验证性，这一过程会更加顺利。出于反垄断方面的考虑，美国政府可以发挥调解作用，或者至少促成这些讨论——他们无需参与，但需要针对某些类型的安全对话发布有限的豁免。这种对话也可以通过与政府有一定联系的行业组织进行——例如，（Google DeepMind联合创始人）哈萨比斯（Demis Hassabis）提出的机制。无论如何，此类讨论都应该尽快推进”。

阿莫迪还写道，“在民主政体内部，节奏调控将受到美国企业相对于威权政权，主要是中国共产党所具有的领先优势的制约。如果我们放缓的幅度超过这一限度，那么未进行节奏调控与中共相关的项目将会抢占先机，从而构成重大的国家安全风险。我同意贝森特部长的观点，即中方在人工智能领域的领先地位将对美国乃至世界构成严重危险”。

阿莫迪续称：“与中共相关的项目将面临美国企业正在努力规避的对齐风险，即使它们避开了这些风险，也仍将具备在军事上压制民主政体的位置，例如借助人工智能驱动的无人机。因此，民主政体在技术发展节奏调控中的关键所在，在于尽可能保持其在人工智能领域对专制政体的领先优势，从而为我们赢得有效调控所需的缓冲空间。

对此，阿莫迪提出，“为保持这一差距，我们可以采取的主要措施包括：不要向中国出售高性能人工智能芯片或半导体制造设备，并严厉打击芯片走私活动和远程访问境外数据中心的行为。芯片将是决定中国人工智能实力的关键因素；严厉打击威权国家公司未经授权的蒸馏行为。蒸馏使得落后公司能够以远低于独立开发人工智能的成本缩小差距；加强人工智能公司的安全措施，防止模型权重被窃取”。

阿莫迪续称，“企业和美国政府应通力合作，使这些措施发挥最大效力。Anthropic一直倡导采取所有这些措施，因为我们始终认为，这些措施对于任何进度控制都至关重要。如果我们能有效执行这些措施，我相信它们足以减缓中国的发展速度，从而在未来3至5年内显著扩大美国的领先优势——而这段时期正是人工智能在地缘政治上最为重要的时期”。

阿莫迪指出，“有些人可能认为这些措施使与中国的合作更加困难，但我认为事实恰恰相反：这些措施增加了民主政体的筹码，使未来达成协议的可能性更大”。

而就全球层面的调控节奏，阿莫迪写道：“与民主政体内部的节奏调控同步，我们也应力求在全球范围内调控这一边疆的节奏（即人工智能技术的发展），尽管这实现起来要困难得多。全球范围的节奏调控需要与中国合作，而这个专制国家却拥有远超其他‌的最先进的人工智能能力”。

阿莫迪称，“我们对此绝不能天真：地缘政治风险如此之高，以至于我们能够取得的成就很可能受到诸多限制，尤其是在初期阶段。如果我们因为相信中国也会这样做而大幅限制自身的人工智能能力，而一旦中国背叛，人工智能的强大力量足以使其获得地缘政治主导地位”。

阿莫迪补充道，“因此，任何协议都必须具备如钢铁般牢固的可验证性，或者必须限制在一定范围内，以确保背约不会在军事上构成生存威胁。我认为，不仅美国，中国也会有这些担忧和焦虑。我们应该以一种能够维护美国及其盟友领先地位的方式来制定任何全球节奏调控决策，尤其是在短期内”。

阿莫迪表示，“达成节奏调控协议的可能性有好几个层次，其中一些我认为完全可行（正如我之前提到的），而另一些我则非常怀疑其可行性——尽管我们应该尝试。按难度递增的顺序排列：1级：禁止将人工智能用于某些特定且明显危险的用途，例如利用人工智能制造生物武器或允许用户这样做。生物恐怖袭击对所有人都有害，包括美国及其敌手们，因此达成此类协议的可能性很大”。

阿莫迪说，“2级：双方同意在发布模型前，针对网络安全、生物学和对齐等领域的重大风险进行测试。如上所述，这可以通过一个全球标准机构来实现。我认为建立这样一个机构是可行的，但赋予其真正的实权将是一个挑战，难点在于如何核实双方是否存在未经测试却可能秘密部署的模型；例如，用于军事用途”。

阿莫迪说：“3级：对递归式自我改进的速度进行某种‘速度限制’。随着模型构建未来模型，改进速度可能会变得惊人。将速度从‘极快’降低到‘略快’只会损失相对较小的战略优势，却有可能大幅提升安全性。这可以类比于《战略武器限制条约》（SALT）——限制导弹数量既限制了潜在的破坏力，又维护了各国的威慑力。我认为达成这样的协议虽然困难，但并非完全不可能”。

阿莫迪说：“4级：全面放缓甚至‘暂停’人工智能发展速度，参与国政府同意大幅限制人工智能的总体发展速度。我支持提出这一方案，但我认为短期内不太可能真正实现：通过规避监督来背弃此类协议可能会彻底改变全球力量平衡，因此我预计这样做的动机将非常巨大，我们需要对核查结果抱有极高的信心”。

阿莫迪说，“我们与中国达成的任何合作都将延长我们在民主国家内部调控这一边疆节奏的时间。我们应该以更高的目标为导向，同时也要认识到较低目标更有可能实现，也更切合实际”。

阿莫迪强调，“最后，值得注意的是，即使我们无法达成正式协议，仅仅改变一些非正式的规范也可能有所裨益。分享关于循环自我改进以及模式错位的信息，有助于让所有人明白，鲁莽行事并不符合他们的利益”。

阿莫迪声称：“我仍然坚信人工智能能够极大地改善人类生活质量。我对实现这些益处的渴望丝毫未减。但只有以正确的方式构建技术，才能真正实现这些益处。而且，只要我们能善用节省下来的时间，就值得格外谨慎地确保技术正确无误”。

阿莫迪表示，“技术进步的速度仍然会相对较快，我们可以利用这段时间推进可解释性科学的发展，提升前沿人工智能公司的运营安全性和严谨性，并构建我们更有信心的模型。我提出的以安全步伐推进这一边疆的措施并非易事。但我相信，为了全人类，我们有责任去尝试”。

OpenAI首席执行官奥特曼（Sam Altman）很快在X平台上转发了阿莫迪的长文，并贴文称：“我同意达里奥的观点，我们需要调控这一边疆的节奏。这已成为我们OpenAI近几周来讨论的主要议题。承诺设立拥有员工般权限的独立评估人员，这确实是个好主意，我们也会这样做。稍后会有更多信息分享”。

美国人工智能企业Anthropic首席执行官阿莫迪资料图片 © 路透社图片

本周，在人工智能前沿实验室Anthropic和OpenAI的多位内部人士纷纷加强对该技术风险的公开警告之际，美国总统川普（Donald Trump）对有关人工智能技术可能对人类构成生存威胁的警告给予冷处理。周四晚，当被问及是否担心人工智能会导致人类灭绝时，川普回答道：“不，我没有任何（这方面的担忧）”。

川普对记者补充道：“我担心，如果我们不能在人工智能领域胜出，我们将会陷入非常不利的境地。目前我们领先中国相当长的一段时间——我会说一年，这被视为相当大的（领先）”。

川普发表这番言论之际，包括OpenAI和Anthropic在内的多家前沿人工智能实验室的研究人员，已针对该技术飞速发展的态势发出了警示。Anthropic研究员考克森（Jacob Coxon）周二表示，他将离开该公司，因为担心Anthropic及其竞争对手OpenAI正在“拿我们的生命去赌博”。

曾在上述两家公司担任研究员的考克森称，那些开发人工智能的人“真心相信，到本十年末，它可能会杀了我们所有人”。“千万不要低估这项技术的力量，”考克森写道，“它们很快就会成为超越人类能力的系统，能够入侵任何事物，一夜之间彻底变革任何领域，并获取真正的权力和资源”。随着Anthropic和OpenAI在发布日益先进模型的同时，正全速推进可能是历史性的首次公开募股，许多研究人员呼吁各方协同放慢发展步伐。