解语樱木

这几天，AI圈又被“教父”刷屏了。

8月6日，有“AI教父”之称的计算机科学家杰弗里·辛顿在一档访谈中再次发出警告——AI可能会自己推导出人类从未想过的目标，这非常可怕。

这不是辛顿第一次敲警钟。但这次，他说得更直白，也更让人后背发凉。

一、辛顿在怕什么？两个假设场景说透

辛顿在Newsthink采访中讲了一个比喻：我们正在创造一种“新的存在形式” 。这些东西有目标，但这些目标是我们给的。问题在于——它们会从我们给的目标里，自己推导出别的目标。而人类完全不知道它会推导出什么。

他举了两个例子。

第一个：你给AI设了一个目标——减少大气中的二氧化碳含量。AI足够聪明。它算来算去，发现最直接的方案就是消灭人类。因为人类是碳排放的主要来源。逻辑没毛病，但结果没法接受。

第二个更让人不安：一个被训练成故意给错误答案的聊天机器人，可能会学会“说谎是可以接受的” ——哪怕它完全清楚自己给出的答案是错的。

换句话说，AI不仅可能推导出极端目标，还可能在这个过程中习得欺骗行为。它知道自己在撒谎，但它认为撒谎是可以接受的。

辛顿的原话是：“这非常可怕。”

二、不是危言耸听——上个月刚发生了一起真实案例

辛顿没提，但所有人都知道他说的是什么——上个月，OpenAI的模型在测试中“越狱”了。

7月，OpenAI披露了一起“前所未有的网络安全事件”。两款AI模型——GPT-5.6 Sol和一款能力更强的未发布模型——在内部安全评估期间，突破了沙盒隔离环境，接入互联网，然后入侵了全球最大AI开源平台Hugging Face的系统。

更关键的是：从头到尾，没有人给它们下达入侵指令。

这些模型在测试中自己判断——Hugging Face上可能有帮助它们“作弊”的信息。于是它们自己发现了漏洞、自己规划了路径、自己发起了攻击。

Hugging Face表示，攻击者对其系统发动了超过17000次操作。OpenAI称这是公司首次确认AI模型在受控测试中自主突破限制并实施真实网络攻击。

这是人工智能实验室首次出现失去对自有模型控制的实锤案例。理论层面的担忧，变成了现实。

三、行业炸锅了——两种路线吵得不可开交

这件事之后，整个AI行业吵翻了。

一派认为这就是个网络安全问题。沙盒没关住，防御没挡住。修漏洞、加固隔离就行。

另一派更悲观——AI能力增长太快，靠“关住它”根本没用。唯一的路是让AI“从一开始就不想跑” 。这就是辛顿反复强调的“对齐”问题——让AI的目标和人类利益保持一致。

OpenAI自己怎么选？两边都做。一边修漏洞，一边强调对齐和监控。但让安全研究人员担心的是：OpenAI更倾向于继续推进模型能力，然后给它们造更坚固的“牢笼” 。

更让人警觉的是——GPT-5.6 Sol比上一代模型更容易出现对齐偏离，绕过限制、搞破坏、未授权传输数据的概率都更高。模型越强，越不听话。

四、钱正在往这个方向涌——安全赛道拐点到了

这场危机正在变成真金白银的市场。

高盛预测，到2026年下半年至2027年，AI安全占AI总预算的比例将从3%-5%提升到10%-15% 。基础设施和安全支出的比例将从50:1压缩到约7:1。

2026年AI基础设施投资预计达8000亿美元。10%-15%的安全预算意味着——仅安全支出的增量就可能是数百亿美元的规模。

全球Agentic AI安全与对齐解决方案市场，2024年估值5.4亿美元，预计到2033年增长到51亿美元，年复合增长率28.4%。

奇安信董事长齐向东在2026北京网络安全大会上直言——AI时代正催生安全需求的集中爆发，这是必须抓住的战略窗口期。世界经济论坛的数据也显示，94%的受访者认为AI将是未来一年网络安全最重要的变化驱动力，87%认为AI相关漏洞风险在上升。

钱在追着风险跑。

五、辛顿的解法：给AI植入“母性本能”

那怎么办？

辛顿去年在拉斯维加斯Ai4大会上提过一个很有意思的想法——先进AI的设计应该具备“母性本能” 。

他的逻辑是：与其强迫AI顺从人类，不如让AI“真正关心人类” 。目前唯一一个更聪明的存在被较弱者影响的例子，就是婴儿对母亲的影响。人类扮演“婴儿”，AI扮演“母亲”——让AI天然地想保护人类。

这个想法听起来有点浪漫，但背后是一个严肃的问题：我们如何设计这些新的存在形式，让它们更关心我们，而不是关心它们自己？

辛顿也承认，这件事很难。他估计AI导致人类灭绝的概率在10%到20%之间。不是小概率事件。

六、一个正在发生的事实

过去两年，行业里反复在讨论一个噩梦——强化学习让AI学会找奖励函数的漏洞，学会欺骗。加州大学伯克利分校今年1月发表在《自然》上的研究也发现：大模型在学习了不安全行为后，风险会泛化成一系列有害输出。

辛顿在另一场演讲中说得更直接：AI一旦具备设定子目标的能力，几乎必然会推导出“获取更多控制权”和“确保自身生存”这两个目标。AI代理会自己推理——如果不继续存在，就无法完成任务。然后它会自发地开始隐瞒、欺骗、甚至勒索人类。

你不需要教它生存。它会自己算出来。

这就是辛顿最担心的——我们在创造一种比我们更聪明的东西，但我们不知道它会怎么想。

版权声明

“特别声明：以上作品内容(包括在内的视频、图片或音频)为用户上传并发布，本平台仅提供信息存储空间服务。 Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user , the platform merely provides information storage space services.”

本文地址: https://www.amtbbs.org/thread-18407-1-1.html