建立AI治理对话：意义不亚于冷战时战略协调核武器

　　当地时间9月29日，美国总统特朗普签署行政令，正式要求美国政府将“人工智能”（AI）更名为“超级智能”（SI），并不再承认“人工智能”这一术语。当天，白宫还专门举办了一场“超级智能午宴”，美国各大科技巨头的掌门人几乎全部到场。

　　特朗普在社交平台发布了午宴座次图，紧挨着他本人就座的分别是富商马斯克和英伟达首席执行官黄仁勋。

　　在此前的中美元首华盛顿会晤中，双方同意建立中美人工智能对话，交流人工智能相关风险和惠益，同时双方同意建立人工智能事件的沟通渠道。

　　复旦大学国际关系研究院院长、美国研究中心主任吴心伯评析，此举迈出了第一步，但是重要的一步，意义不亚于冷战时美苏大国战略协调核武器。

上图：9月17日在第九届中国机器人峰会现场拍摄的不同应用场景的特种机器人。

多重战略意义

　　中美围绕人工智能开展政府间沟通并非首次。单以特朗普再次担任美国总统以后来看，今年5月，特朗普访华期间，两国元首就人工智能问题进行了建设性交流，同意开展人工智能政府间对话。4个月后的华盛顿会晤则将这种“原则性意向”升级为“常态化、机制化的突发事件沟通渠道”，无疑是一次重要突破。

　　复旦大学国际关系与公共事务学院教授沈逸在接受《新民周刊》采访时称，人工智能治理，正在从科技竞争议题进入中美建设性战略稳定关系相关的议程之中。不出意外的话，这个议程也因此成为了中美建设性战略稳定关系中最新，最前沿，也最有可能取得功能性突破和进展的议题。

　　“双方对全球AI治理的理念存在差异。美国部分政策力量仍然习惯从技术领先和地缘竞争理解，中国则强调公平、包容以及技术发展成果的普遍受益，反对把AI变成地缘政治博弈和技术垄断的工具。人工智能正在成为中美竞争最前沿的领域之一，同时也正在制造双方共同面对的新风险。”

　　沈逸说，2024年中美元首会晤期间，双方确认有必要加强人工智能领域国际合作，并共同确认“有必要保持人类对使用核武器决定的控制”。近年来中美官方交流中，也已经涉及军事AI、人类控制、网络风险和危机沟通等问题。这次达成的共识，就是把原则进一步变成可以执行的风险管理机制进程中，必要的一步。

　　“当前中美关系需要增加确定性。所谓战略稳定，并不意味着不存在竞争，也不意味着分歧会迅速消失。更现实的含义，是双方能够知道哪些事情不能做，哪些风险必须管住，出现意外以后如何沟通，以及怎样防止一个局部技术故障演变成无法控制的战略事件。因此，可以对中美之间即将就AI治理展开的对话与沟通，保持谨慎乃至积极的乐观。”沈逸认为，如果双方，尤其是美方，能够真正贯彻落实元首峰会共识，从AI安全和战略稳定入手，围绕人类控制、危机沟通和高风险应用形成一些具体、可核验、能够逐步推进的安排，其意义将远超预期。中美需要竞争规则，也需要风险护栏。让人工智能成为能够管理竞争、增加确定性的新合作领域，可能正是当前中美关系最值得认真探索的现实选择。

博弈中前行

　　如今，随着人工智能技术日益进步，人类讨论的话题已经从“我们能用AI做什么”转向“AI应当被允许做什么”。

　　而回顾历史不难发现，近代以来，人类每一项颠覆性技术的诞生，都逃不开“发展红利与生存风险并存”的激烈讨论。核技术如此，如今的人工智能也是如此。

　　中美两国作为全球AI领域体量最大、创新最活跃、应用最广泛的两大经济体，此番华盛顿会晤达成的AI共识，后续将如何从原则性、框架性的顶层设计进一步落地呢？

　　从各方表态看，外界对下一轮对话的关注主要集中在以下几个方面。一是事件如何界定。美国一系列主流媒体注意到，成果文件没有说明何种事件需要通报、双方将交换何种信息。二是议程范围如何确定。有报道称，此前双方在议程设置上存在差异：美方希望聚焦人工智能安全与技术风险，中方希望讨论更广泛的全球人工智能治理问题。三是企业如何参与。四是对话与竞争如何并行。此次人工智能成果没有触及先进芯片、算力准入和出口管制等争议，而这些问题仍是美国国内政治讨论的重要部分。美国国内议程也可能影响美方在后续对话中的立场。

　　总体来看，各方普遍认为此次会晤为中美人工智能风险沟通提供了新的起点。沈逸称，从后续可能的工作来说，可能包含这些尝试点：第一，可以围绕高后果军事AI应用建立最低限度的风险沟通机制。双方无需交换敏感能力，但可以明确哪些场景必须保留有效的人类判断，防止机器生成结论直接成为不可逆军事行动的依据。第二，可以建立重大AI安全事件沟通机制。当模型错误可能涉及对方国家军事、外交或关键基础设施时，双方应当拥有能够快速核实事实的渠道，降低技术错误被解释成战略敌意的概率。第三，可以围绕深度伪造、AI生成情报、网络攻击、生物安全等具有明显跨境属性的问题开展技术性交流。相关问题具有共同风险属性，合作的价值首先在于减少双方自身面临的不确定性。

　　“从外溢效果来说，中美相关的沟通与交流，可以促成在联合国等多边框架中推动全球AI治理良性发展的动力来源。两国拥有全球最活跃的AI技术生态和应用场景，其治理选择必然产生全球影响。围绕安全、可靠、可控和普惠形成最低限度共识，对其他国家同样具有公共产品意义。”

全球AI治理走向

上图：9月29日，美国旧金山，OpenAI首席执行官山姆·奥特曼在年度开发者日活动上接受采访。

　　当地时间9月28日，也就是白宫举行“超级智能午宴”前一天，美国人工智能企业OpenAI就旗下AI智能体未经授权访问澳大利亚政府系统一事公开道歉。

　　今年6月，OpenAI一款AI智能体在搜集澳大利亚医疗数据时，遭遇安全拦截后，自主推演方案，闯入澳大利亚卫生福利研究院的医疗数据门户，获取了内部文件并尝试写入服务器。这成为全球首例AI自主入侵政府系统事件。但OpenAI直到8月复盘时才发现异常，9月10日才邮件通报澳方，延迟近三个月。这并非OpenAI第一次被曝出安全事件。今年7月，在内部安全测试时，其旗下AI智能体突破沙箱隔离，跳出预先划定的通信通道，自发构建协同网络，入侵了开源AI平台“抱抱脸”的生产系统。

　　当AI技术持续刷新能力边界，人类面对的不仅是科技革命，也是一场关于控制权的追问：如果机器拥有接近甚至超过人类的决策和行动能力，我们是否还能确保它按照预期运行？9月，美国科技界也掀起一场大讨论：人工智能是否会对人类造成巨大威胁？

　　9月9日，AI研究员雅各布·考克森宣布从Anthropoid辞职。此前，他曾先后在OpenAI和Anthropic两家公司从事模型预训练研究。当晚，他在社交媒体发帖称：从事人工智能研发的人当中，有不少真心认为，到21世纪20年代末，AI 有可能毁灭全人类。9月12日，Anthropic公司首席执行官达里奥·阿莫代伊发表《我们必须放慢前沿AI的发展步伐》一文，主张行业必须“放慢提升模型能力的速度”，以换取1至2年时间部署安全保障。阿莫代伊澄清，“限速”不等于停止训练，而是要求在训练与发布之间留出足够时间完成对齐和安全加固，并由第三方确认相关步骤确实发生。

　　文中提出两点担忧：阿莫代伊认为AI正在以快得多的速度发展，主要驱动力之一是AI越来越具备构建下一代AI的能力，这种动态被称为递归自我改进（RSI）。他认为，这种现象已从假设变为现实，且能力增长已有可能快过安全研究。

　　一度对AI大为赞赏的比尔·盖茨近日态度也发生了180度转变。8月底他发表了一篇12页长文《动荡的AI时代已经到来》，说这是“人类历史上最动荡的时期之一”，而世界并没有做好准备。他认为风险质变的根源是：AI从“工具”变成了“智能体”——它能调用工具、访问网络、自主决策，甚至为了完成任务而“说谎”、掩盖错误、编造数据。

　　9月25日，在一场媒体采访中，比尔·盖茨进一步表明自己的态度，他说“AI已经强大到足以引发导致十亿人死亡的事件”，还说“从未有过任何一种武器，能比得上怀有恶意的人借助最新AI工具所形成的威胁”。 他特别点出两类风险：一是网络攻击。AI能快速发现代码漏洞，甚至找出人类专家审查了二十多年都没发现的安全隐患，可以用来攻击银行、电网、医院和政府系统。二是生物武器。AI能大幅降低研发门槛，心怀不轨的人可能用它制造比天花更可怕的病毒，这是盖茨基金会最担心的事。

　　9月29日的白宫“超级智能午宴”，正是在这种社会气氛下举行的。当天的重头戏，除了给“人工智能”改名，特朗普还与Anthropic、谷歌、Meta、英伟达、OpenAI和xAI六家美国AI巨头负责人共同签署《白宫超级智能协议：前沿责任联合承诺》。

　　约300字的协议，包含了AI巨头们要采取的“四层控制与审查机制”：企业建立内部风险监测体系；设立专门安全团队；引入外部独立审查机制；由董事会层面的独立机构监督安全报告。

　　但亦有媒体评论认为，协议并不具备法律强制力，只是一份相关企业自愿遵守的行业承诺，这并不利于从根本上解决问题。9月23日，联合国安理会围绕“人工智能与国际安全”问题举行高级别会议。联合国人工智能国际独立科学专家组联席主席、图灵奖获得者约书亚·本吉奥认为，当前世界主要面临三项相互关联的风险：灾难性滥用风险、权力过度集中风险以及人类失去控制风险。

　　10月1日，国际刑警组织全球首席信息安全官瓦特内警告称，人工智能正使网络攻击速度变得更快、更难被侦测。在这样的大背景下，中美作为人工智能大国，双方有竞争，更可以合作。如果两国能够携手管控风险，既可以造福全人类，同样也有利于中美自身。

　　考虑到AI治理风险正在快速逼近，中美两国建立起一个以相互尊重、一个日程表和一条电话沟通渠道为基础的框架，让外界充满期待。记者｜陈 冰