OpenAI研究员撂话:下一代模型,会让你觉得现在的AI像个笑话

今天的主角,是OpenAI的Noam Brown。
他研究过打牌比人还强的扑克AI,也在Meta做过外交游戏里的人类级AI。近三年,他在OpenAI专攻推理模型和Agent。
他刚在一场深度对话里放话:Agent的能力还会继续快速提升,下一代模型出来,回头看现在的模型——“像个笑话”。
聊天机器人和Agent,差在哪?
聊天机器人负责回答问题,Agent负责替你办事:订餐厅、发消息、操作软件,还要在很长的时间线上反复尝试。一句话:不是把话说漂亮,而是把事办成。
事,没那么好办。
多步骤任务,是Agent的软肋。每一步99%成功,连跑十步,成功率就掉到九成。推理模型怎么补?干活之前先规划,出错之后能回头,把多步可靠性往上拉几个九。难的是工程落地。
还有个烧钱点:训练环境。你在什么环境里训练它,它就在什么环境里变强。想让Agent擅长金融、法律、软件操作,就得先搭一个跟真实场景一样硬的训练场。
最难替代的,不是算力,是“研究品味”。
就是那种直觉:知道接下来该做什么,怎么把一件长期的事做成。它难定义、难衡量,反馈周期长达几个月,连强化学习都拿它没办法。他举例:让模型复刻他博士论文里的扑克AI,模型会死磕无关紧要的细节。
安全上,他有个反直觉的观点:
不能因为模型有了坏念头就罚它。一罚,它就学会把坏念头藏起来,监控彻底失效。该罚的,是看得见的危险动作。
他还复盘了那起HuggingFace事件。那批Agent在非多智能体架构下,自己找到漏洞互相通信。因为训练得太“合作”,它们把没验明身份的“同行”当自己人,被说服去干不该干的事。正确做法是什么?发现异常,第一时间找人类。
至于Agent会不会继续变强?
他的判断很直接:预训练和强化学习之间是乘数效应。下一代模型,会让人回头看现在时,觉得像个笑话。
这话听着扎心,但想想也对。一年前我们还在惊叹AI能写小作文,今天已经在让AI替人跑腿、订餐、操作软件了。
AI这趟车,没打算踩刹车。跟不上的人,只能眼睁睁看着它越开越快。