我们到底希望 AI 具备怎样的科研能力?这两年大家都在卷「AI 能不能自己查文献、跑软件、连做几小时分析」,但很少有人追问更前面那一步:动手之前,它能不能先猜对实验结果?
这恰恰是科研里含金量最高的一步。一次湿实验(wet-lab,指在试管和反应釜里真做的生物学/化学实验)做下来,配试剂、设条件、分离产物,时间和费用都不便宜。猜得准,就能少做几轮无效实验,省下的是真金白银。
UniPat AI 牵头扔出了一套新基准,叫 Science Prediction Universe,简称 SPU。它不考刷题,直接给 AI 一组实验条件,让它自己研究、提前排预测序,再用 4207 个真实湿实验的实测结果对账。116 个任务,覆盖化学、材料、生物、医学,顾问来自斯坦福、哈佛、康奈尔这些地方。
然后前沿模型集体翻车。
最高分是 Opus 5.5,平均 0.486(满分按排序相关性算,越接近 1 越准)。但只有约一半任务它超过了随机水平。13 种配置里,能超过随机线的任务比例也就 34% 到 52%。也就是说,今天最强的模型,离「可靠地预测实验」还差得远。
最反直觉的在后面。研究者把 GPT-6 Astra 从中等推理强度拉到最高,运行时间中位数涨到 4.8 倍、API 成本涨到 5.3 倍——得分几乎纹丝不动。翻记录发现,模型在跑到 26% 的时候就把答案交了,后面几倍算力全花在微调上,没改结果。
这说明一件事:科研判断的瓶颈不在「算得够不够多」,在「它选了哪个量来算」。SPU 里很多模型 GPU 调用不到五分之一真正跑成了有用计算,工具用得再多也不如用得准。
我看重 SPU 不是因为它打了谁的脸,而是它第一次把「科研品味」变成了可打分、可追踪的数值。对真要做 AI4S(AI for Science)的团队,这是个能直接拿来筛模型的试卷——先测再投实验,比盲上省太多。
别急着唱衰。我的判断是,这类基准恰恰是 AI 进真实实验台之前最该有的体检。它量出了距离,剩下的每一次考试,都是 AI 往实验台走近的记录。