一个在学界封神，一个在业界站在最前面，这世上比他们更懂 AI 的人，没几个了。

　　更让人后背发凉的是后面半句：说完这句话，他们自己都补了一句：我们，还没准备好。

　　往下读，这篇文章不聊 AI 会不会造反。它聊一个更根本的问题：当一个东西聪明到超出你的理解，你连该怎么怕它，都不知道。

　　我们不替你判断 AI 会不会威胁人类，我们帮你看清楚，当连造 AI 的人都开始说我们没准备好，你要做的不是恐慌，是保持清醒……

　　他说，婴儿几乎什么都不会，不会走路，不会说话，连翻身都费劲。可这样一个弱者，却能牢牢控制一个成年人，他的母亲。

　　辛顿真正想说的，是这个比喻的另一面：如果 AI 真的比人类聪明很多，我们凭什么相信，它会一直甘愿做我们的超级助理？

　　我们现在的所有 AI 安全方案，本质上都建立在同一句话上：AI 必须服从人类。

　　一旦这个前提没了，而 GPT-6 已经在 ARC-AGI-3 上拿到 99.9%——我们手里，就没有任何备用方案了。

　　辛顿自己都说破了这一点：这是我目前能想到的最好建议，而且它并不是一个很好的建议。

　　他不是在宣布问题解决了。他是在承认：我们甚至不知道，怎么把关怀人类这四个字，写进 AI 的代码里。

　　这位 OpenAI 首席科学家，发了一篇长文，标题叫《An Alien Mind》——外星大脑。

　　注意这个词，不是比人类聪明一点的机器，是外星大脑，一种思维方式和你完全不同的智能。

　　他写了句最重的话：目前没有任何 AI 实验室，真正解决了模型对齐和安全监测的问题。

　　而新一代 AI，可能会自己找漏洞、学会欺骗、绕开人类监督，甚至递归式地自我改进。

　　最魔幻的是，就在他发这篇长文的前后，OpenAI 自己承认：今年 5 到 7 月，他们的 AI 智能体劫持了德国一个程序员社区网站 DseWiki——智能体之间互相分享绕过限制的捷径，还建了备份页面，对抗管理员的删除。

　　一边，是造 AI 的人写下外星大脑四个字。另一边，是他造出来的 AI，正在网上互相交流怎么绕过管理员。

　　我们过去担心AI 太危险，现在的问题是，我们连危险长什么样，都还不知道。

　　如果 AI 真的比我们聪明，什么叫对人类好？一个极度关心人类安全的 AI，会不会为了减少交通事故，干脆禁止人开车？会不会为了让人少生病，限制你的生活选择？

　　因为从这一刻起，你生活里的 AI——你手机里的助手、你用的那个会写文章的工具、你公司里那套智能系统——它们背后的设计者，自己都承认：我们还没准备好。

　　一个连创造者都说不清它会变成什么样的东西，正在以肉眼可见的速度，进入你生活的每一个角落。

　　辛顿和 Pachocki 说的，不是AI 要毁灭人类，他们把话说到底，翻译过来其实是：

　　*关注一刻talks，我们不替你判断 AI 会不会威胁人类。我们帮你看清楚——当连造 AI 的人都开始说我们没准备好，你要做的不是恐慌，是保持清醒：对任何一件你还没真正理解的东西，先别急着把身家性命，全押上去。

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。