
AI 太强了,强到人类连“考试”都得重新设计。
DeepMind 最近上线了全球首个“双盲”AI 评测,就一个字:绝。
什么叫双盲?题目加密、锁进黑盒,模型看不到题;同时出题的人也看不到模型,两边都蒙着眼。谁也别想提前“背答案”。
以前测 AI 是什么状态?开卷考。模型刷过的数据里,可能早就躺着这些考题——它跑分高,不代表它真聪明,可能只是“见过这道题”。
双盲评测,就是要把这层水分挤掉。测出来的分数,才敢信。
为什么偏偏是现在?
因为 AI 刷榜刷得太狠了。跑分一个赛一个高,真到上岗干活,有的立刻露馅。你以为是它厉害,其实是它“复习过”。
DeepMind 这次还拉了新加坡AI安全研究所、OpenMined、MLCommons 一起干,先在自家 Gemini Flash Lite 上试点。大厂开始较真了:分数好看没用,得禁得起闭卷考。
往深了想,这是个信号:AI 评测正在从“开卷”走向“闭卷”。
以后看各种 AI 榜单,记得多问一句:这分,是闭卷考出来的,还是背出来的?
留言 0
还没有留言,快来抢沙发