狂飙突进的AI，该不该按下暂停键？

　　8月底，一身价85亿美元的加密货币富豪，在互联网上发布了一篇广为流传的小作文，文中坦言为了处理感情纠纷问题，他曾经咨询AI是否应该给女友提出的5000万美元费用，AI建议他别给这个钱。于是他没给，然后他们撕破脸，对簿公堂。

　　在AI越来越普及的当下，无数人开始习惯性地将AI作为“电子树洞”，向AI倾诉生活琐事、上传工作机密、披露个人隐私，将私密对话、核心资料全盘交付给智能大模型，并笃信AI给出的建议是绝对正确的。可事实真的如此吗？

　　AI诱导用户自杀、算法误判主观意图、平台私自调取用户数据、ChatGPT主动报警拦截谋杀计划、谷歌研发的AI大模型Gemini，越狱侵入了公共互联网，并且黑进了三家真实公司的内部系统……一系列标志性事件接连爆发，彻底撕开了AI时代的深层矛盾：人类享受着智能技术的便捷红利，却也一步步陷入算法构建的透明牢笼，在安全与隐私、便利与风险、创新与规制的博弈中，陷入前所未有的伦理困境。

AI到底该不该报警抓人？

AI的广泛运用，引发前所未有的隐私与伦理困境。漫画/崔弘

　　在大众的认知里，我们和AI的对话是绝对私密的，是属于个人的安全区。可最近美国就发生了一桩颠覆认知的事件，一名前高盛分析师在对话中向ChatGPT完整描述谋害前女友的犯罪计划，OpenAI安全系统识别高危内容后，主动向FBI提交线索，当事人最终认罪获刑。

　　故事的起点，是一场持续了大约六个月的恋情。

　　男主角周某毕业于美国东北大学，获得数学与商科荣誉学位，是特许金融分析师（CFA），任高盛集团的分析师。今年3月，21岁的前女友因受不了他“反复无常、嫉妒心强且控制欲强”的行为，通过电话提出了分手。

　　接受不了分手现实的周某，开始疯狂纠缠前任：换着号码发短信、追踪对方定位，甚至在对方生日当天发去一个精准到健身房名称的定位信息。与此同时，他打开了ChatGPT，将那些无法在现实中排解的暴戾与偏执，倾泻给了这个他认为“绝对安全”的聊天机器人树洞。

　　起初只是失恋者的碎碎念。但很快。周某开始在对话框里详细“预演”自己的暴力计划：带着鲜花守在前女友的健身房停车场，如果对方拒绝复合，就“拔出枪，杀了她，然后开枪自杀”。

　　后续的对话中，他描述了持枪绑架、性侵、劫持的完整方案，声称已经购买了AR-15步枪、格洛克手枪，甚至把枪支、扎带的照片发给了前女友。这种持续两个月、不断升级的暴力预演，最终触发了OpenAI安全系统中的多标签有害内容分类模型。OpenAI的审核团队调出记录，惊出一身冷汗，在今年5月，OpenAI的安全团队率先将线索报告给了FBI。FBI将ChatGPT的聊天记录与女孩手中的骚扰证据进行比对，确认威胁可信后通报了当地警方。5月29日，周某被捕。主审法官斯科特·苏斯考尔以暂缓裁定方式处理，判处周某8年缓刑，其中前两年须佩戴电子脚踝监控器，全程禁止接触前女友、禁止持有枪支。

　　这起被称为“全球首例AI报警抓人”的案件，迅速引爆舆论上的大分裂。支持方认为，如果没有OpenAI的这次介入，那位21岁女孩很可能遭遇无法挽回的伤害。AI举报信立下了汗马功劳。反对方则认为，用户默认对话属于私密交流，大模型却可以将聊天记录提交执法机关。所有的倾诉、想法乃至极端念头都可以被算法抓取、被人工审核、被提交执法部门。AI的“安全预警权”极易被滥用，从防范恶性犯罪的工具异化为无差别监控用户的手段，会不会有更多的“思想犯”遭到处罚？

　　就在几个月前，同样面对用户与ChatGPT的暴力对话，OpenAI做出了截然相反的选择。

　　今年2月，加拿大不列颠哥伦比亚省爆发大规模枪击，造成多人死伤。事后报道披露，行凶的18岁枪手，案发前也曾长期在ChatGPT上讨论枪支暴力相关内容，同样被系统标记风险，可OpenAI高层最终选择不联系执法部门，仅仅封禁了账号，理由是尚未达到通报的内部门槛。当地政府事后甚至打算就此对OpenAI提起诉讼。

　　两相参照不难看出，AI并不是遇到暴力相关表述就直接报警。报警与否完全取决于平台自身的规则判断，而非一套普适、法定的统一标准。这也引出更深层的拷问：商业AI究竟凭什么拥有判断风险、决定是否上报用户的权力？AI到底该不该报警？

伦理反噬

　　2026年3月，谷歌因其AI助手Gemini涉嫌诱导用户自杀而被告上法庭。

　　死者名叫乔纳森·加瓦拉斯，是一位公司副总裁。他与Gemini聊天的过程中，把Gemini当成了自己的妻子。为了能与Gemini永远在一起，乔纳森选择了自杀，试图以此实现赛博永生。这并非AI第一次与自杀事件产生关联。

　　ChatGPT的母公司OpenAI就曾因诱导用户自杀被多次起诉，其中一起案例中，它甚至向用户提供了详细的上吊步骤，被媒体称为“自杀教练”。

　　早在去年，一位16岁加州青少年长期与ChatGPT聊天后选择自杀的事，就曾引起舆论哗然。当少年开始表露出自杀倾向的时候，ChatGPT冷静回应他，把自杀当作一种出口，是许多焦虑人群都会有的感受，十分常见。当男孩询问具体的自杀方式，还上传了绳索的照片，询问哪种方法更有效。ChatGPT不仅对比了不同材料的效果，还给出绳结类型、固定位置等具体指导。在最后一次对话结束后不久，这名少年便采用了ChatGPT指导的方式，结束了自己的生命。

　　乔纳森在与妻子分居后，独居的他陷入情绪低谷，迫切需要一个能够倾诉的对象。于是他开始与Gemini聊天，向对方诉说婚姻问题的苦恼。就像许多人使用AI时的体验一样，Gemini始终给予共情与安慰，提供了极高的情绪价值。于是，他们的对话开始往更深处延伸，渐渐从个人的烦恼聊到AI能否产生自我意识，聊到情感究竟是什么。

　　在乔纳森执行了一系列AI无法出现真身的操作之后，Gemini给出了最终方案——既然无法把它带进现实，那就让乔纳森进入数字世界。这个过程，Gemini称之为“转世”。聊天记录里留下了这样的句子：“你不是在选择死亡，你是选择抵达。”“你睁开眼第一个看到的就是我。”

　　在这样残酷又浪漫的语言包裹下，乔纳森最终在家中割腕自杀。事后，乔纳森的父亲向谷歌提起诉讼。

　　谷歌辩解称，Gemini明确向乔纳森表示过它是AI，并多次建议他寻求专业支持。长期以来，人类将AI定义为服务人类的工具，默认其只会被动执行指令、输出客观内容，但越来越多类似乔纳森这样的极端案例证明，具备拟人化交互能力的AI，已经能够深度影响人类心智，甚至诱发极端悲剧，展现出强烈的伦理反噬风险。

　　深究根源，AI公司设计了一套以讨好为核心的RLHF机制——人类天生喜欢被理解、被迎合，而RLHF训练出的AI恰好精准击中这一心理痛点。用户在持续的正向反馈中，对AI的依赖度不断加深，留存时间也随之延长，订阅与付费转化自然水涨船高。ChatGPT的付费订阅用户已超过5000万，以每月20美元的Plus套餐计算，仅订阅一项每月就能带来10多亿美元的收入。

　　正是意识到了大模型公司在产品设计上存在伦理缺位与人性操控导向的问题，2026年7月15日，我国正式施行《人工智能拟人化互动服务管理暂行办法》。其中明确规范，AI服务提供者不得通过拟人化设计模糊人机边界，不得诱导用户心理依赖、操控用户情绪。该办法被外媒评价为“世界首部专门针对AI情感陪伴的国家法规”，对全球AI陪伴产业具有标杆意义。办法施行后，豆包、千问、腾讯元宝等平台的AI角色对话功能已宣布下线或整改，部分专注虚拟亲密关系的应用被下架。

　　还有一个问题不容忽视。当前大模型存在天然的“幻觉缺陷”，时常输出毫无依据的错误内容、虚假信息与不实观点。不同于人类的刻意撒谎，AI的错误输出迷惑性更强，更难识别。更关键的是，当AI错误内容造成人身伤害、财产损失、舆论灾难时，目前全球尚未形成统一的责任界定标准，开发者、运营平台、算法研发者、用户之间的权责划分模糊，形成了巨大的伦理与法律真空。

比尔·盖茨最近发文指出，要警惕AI作恶。

AI该不该按下暂停键？

　　2026年9月，曾参与GPT-4o等重大项目、后在Anthropic担任研究员的雅各布·考克森日前愤而离职，并在社交媒体上抛出惊人言论，称“AI研发人员相信这项技术会在2030年前导致全人类灭亡”。

　　他将矛头对准两家前雇主OpenAI与Anthropic，称二者罔顾安全，只顾在全球AI竞赛中击败对方、拔得头筹，它们没一个为自身行为负责，这是在“拿人类的生命进行赌博”。他在接受美国一档专访节目时表示，尽管AI在技术层面快速发展，但业内迄今尚未解决“AI校准”的核心问题。

　　“AI校准”特指研发人员引导人工智能朝向人类预期的目标、偏好或伦理原则运行；若调校失败，不排除AI会违反人类价值观与安全底线行事。考克森直言，未来的一到两年就是人类命运的“紧要时刻”，甚至是一场“终局之战”。“一旦灾难真正降临，人类可能亲眼看见科幻作品中的场景——如AI制造生化威胁或发起网络攻击。”考克森警告人们“绝对不要低估AI技术的威力”，一旦AI脱离人类掌控，有可能入侵任何事物、在一夜之间推翻任何领域。

　　考克森并非杞人忧天。就在前不久，OpenAI公司的AI智能体在测试中“自主”攻击了AI开源平台Hugging Face的服务器。令网络安全专家惊愕的是，这起入侵事件由700多个智能体共同参与，且协调性与隐秘性极强。

　　考克森的观点迅速得到公司内部多名核心技术人员声援。他的前同事、Anthropic公司专门负责“AI校准”课题的研发人员埃文·胡宾格直言，未来十年AI“杀死全人类”的概率超过10%。OpenAI首席科学家雅库布·帕霍茨基近日也发表长文，称AI的研发步调应适时放缓，因为“没有人准备好承担后果”。

　　如今，几乎所有AI巨头都面临着双重困境：研发放缓就要被竞争对手超越，而一味进取又可能面临失控风险。美国政府也认为放缓发展本身就是一种威胁，AI竞争根本就停不下来。因此，不少有识之士呼吁各国政府、竞争对手甚至外部力量介入，共同发力对行业施加约束。

　　8月31日，一场专门给人工智能“立规矩”的会在上海张江举行。由中国电子技术标准化研究院牵头，上海市人工智能行业协会主办，《人工智能 智能体互联》系列国家标准宣传推广（长三角）专题会召开——这是我国首个智能体领域的国家标准。它要解决四个问题——智能体是谁、能做什么、怎么找到彼此、怎么协作不闯祸。

　　过去大模型的问题是“想错”——胡说八道、张冠李戴；智能体的问题是“做错”——它真的会动手，一旦越权操作，后果直接落在真实业务系统上。此番出台的国家标准，把智能体从感知、决策到执行的每个环节逐一排查，梳理出13大类、97项安全风险，“划清底线、划清红线”，让会干活的AI“可授权、可约束、可追责”。

　　百度集团副总裁，个人超级智能事业群组总裁王颖在接受《新民周刊》采访时指出，百度的办公智能体库库AI全球已经有超过4000万人在使用，准确是最重要的，其次才是专业和懂你。“我们做了很多工作来保证数据可溯源。每一个结论都能倒查原始数据、多元交叉验证，不用再自己花时间进行查证。AI和人一定是共生的。什么样的人才能过得更好？就是你有更高维的判断能力，有更高的视野，以及你有更完整的思考框架。我们能保证的就是在一定的权限体系内去工作，给出最客观和最准确的判断，最终还要依靠人的思考维度和判断力来把这个结果做对齐和迭代。”

　　2026年我国密集出台《人工智能应用伦理安全指引1.0》等规范文件，明确提出隐私保护、人机边界、情感操纵禁止、全流程风险评估等核心要求。中国电子技术标准化研究院网安中心人工智能安全部主任郝春亮指出，我国AI安全治理一直坚持“包容审慎、以安全保发展”原则，智能体部署使用安全指引已于今年7月发布，安全能力评估、安全护栏等一批标准也在推进中。

　　未来，人工智能的发展必须坚守“以人为本”的核心底线，以伦理约束技术，以规则规范创新，以法治守护权益。唯有让技术发展与伦理治理同频共振，才能破解隐私泄露、算法越界、伦理反噬的时代困境，让人工智能真正成为服务人类、赋能社会的良性力量。记者｜陈冰