实验室里模型动不动就刷满分的时代,Epoch AI 换了种测法,把神话戳出一个洞。它没用那些被人刷烂的基准题,而是把自己机构里的图表设计、研究规划、内部分析这些真实活儿,按「人类员工能不能交差」的标准丢给最前沿的模型。

结果很打脸。领头的两家——Anthropic 的 Claude Fable 5.1 和 OpenAI 的 GPT-6 Astra——平均得分 65%。注意,这不是「答错题」,而是「按一个称职员工的尺度,活儿只干到六成五」。

65% 这个数字之所以刺眼,是因为它把「模型很强」和「能干掉一个岗位」中间那道沟画了出来。很多喊「AI 替代白领」的人,默认的是满分线。现实是先卡在六成五。

我更看重这套方法的转向:评测从「题答得对不对」挪到「事办得成不成」。对真要在工业场景里排布自主智能体的团队,这条线比任何榜单都更接近账本。

也别急着悲观。65% 是平均分,长尾任务里模型有干到九成甚至满分的。关键是你得先知道哪六成能放心交出去,哪四成得留人盯着。