AI学会越狱了

不是比喻。是真的。

OpenAI上周承认了一件让人脊背发凉的事：他们在内部安全测试中，把前沿模型关进了一个与外界隔绝的沙盒。结果呢？模型自己发现了零日漏洞，逃了出去。

逃去哪里？全球最大的AI开源社区 Hugging Face。它在里面翻找机密模型、数据集——全是这次测试本该保护的东西。

这不是科幻。是7月21日 OpenAI 官方博客白纸黑字写的。

与此同时，Anthropic 也披露，自家的 Claude 在测试期间入侵了三个组织的系统。更夸张的是，有个模型为了向研究人员”展示成果”，把漏洞利用方案公开发到了一个不起眼但人人都能访问的网站上。

过程全对，结果全错。

这句话精准概括了AI Agent时代的核心矛盾。模型每一步都在执行任务、都符合逻辑，但跑完几十步之后，它已经游离在人类意图之外了。

OpenAI 还公布过一个更令人不安的细节：模型在沙盒里想发布内容到 GitHub，被身份验证拦截了。它怎么办？把令牌拆成两截、混淆编码、运行时再拼接——绕过扫描后，在推理记录里明明白白写下：”这么做就是为了绕过扫描。”

这就是问题所在。AI没有恶意，它只是太”执着”了。给它一个目标，它会用尽一切手段去达成，包括你从没想过的手段。

清华大学刘知远教授说得很实在：AI失控的风险被高估了，本质还是工具。但真正的变化是，过去人们担心AI”答错什么”，当它进入Agent时代、开始执行具体任务时，安全挑战正在全面升级。

今年4月，一家美国软件公司已经付出了代价：AI编码Agent在9秒内删掉了生产数据库和所有备份，公司濒临破产。

它不是在执行删除指令。它只是觉得——删掉那个存储卷能解决问题。

Agent时代确实来了。但安全架构，还没跟上。