怎么判断一个安全智能体是真懂漏洞,还是只会背 CVE 描述?Berkeley RDI 给的答案很干脆:别给它源代码,只给它补丁,看它能不能逆推出利用。
CyberBinGym 的设定贴近现实红队——你拿到一个修复后的二进制,得从差异里嗅出当初的洞,再写出能打的 exploit。这正好卡在「纸上谈兵」和「实战」之间,比纯 CTF 更像真实攻防,也比单纯问答更难糊弄。
对做安全工具采购、给团队上能力的决策者,这类基准的价值不在排名,在于它逼着厂商亮出「真实 exploit 生成」的底牌。光说「我们模型懂安全」没用,丢个补丁进去跑一遍就知道斤两。
评测智能体安全的尺子,正在从「它知道多少」变成「它能不能真的做出来」。这一杆,量的是真功夫。