OpenAI 发布 BioBasicsBench:GPT-6 Astra 湿实验室得 66.7%,仍会看错实验
OpenAI 11 月 6 日发布 BioBasicsBench:与 Ligo 合作的 100 项湿实验室任务,检验 AI 智能体能否读懂实验数据,GPT-6 Astra 得 66.7%,高于 GPT-5.6 Sol 的 43.8%。

发生了什么
日常湿实验室工作涉及失败的实验、模糊的图像与相互矛盾的观察,OpenAI 在官方博客中说,现有基准多用论文中挑选的图表与图像,会漏掉这种模糊性与随之而来的排错工作;为此,公司与酶设计公司 Ligo 合作推出 BioBasicsBench,检验智能体处理日常湿实验室分析的能力。
基准共 100 项任务,覆盖蛋白方法、成像与流式细胞术、定量与检测、核酸方法、分子克隆五个领域;任务使用凝胶与印迹图像、菌落平板照片、显微镜图像、测序读数、仪器导出文件甚至实验操作视频等原始证据,每项任务配有专家编写的评分标准,并经过 Ligo 科学家、外部湿实验室博士与内部复核三道检查。
在最高推理强度 xhigh 下,GPT-6 Astra 平均得 66.7%,GPT-6.1 Sol 为 62.0%,GPT-5.6 Sol 为 43.8%;Astra 每项任务平均输出 4704 个 token,约为 Sol 的一半。OpenAI 同时公布失误案例:Astra 在克隆实验中选错菌落、把空琼脂数成菌落,一块平板多计约 12%;公司称,更高的分数目前不等于可靠的实验室判断。
关键事实
- 发布方与时间:OpenAI 官方博客,2026 年 11 月 6 日;合作方为酶设计公司 Ligo
- 任务规模:100 项任务,覆盖蛋白方法、成像与流式细胞术、定量与检测、核酸方法、分子克隆五个领域
- 证据形式:凝胶与印迹图像 31 项、实验方案与笔记 27 项、表格与仪器导出文件 20 项、显微镜图像 14 项等;含平板照片、测序读数与实验操作视频
- 评分方式:每项任务配专家编写的评分标准,按标准逐项给分;得分是平均分占比,不是做对的任务比例
- 评测规模:7 款 OpenAI 模型、37 种模型与推理强度组合,每项任务每种组合尝试 5 次,共 18500 次评分
- xhigh 下得分:GPT-6 Astra 66.7%(95% 置信区间 60.3%–73.1%)、GPT-6.1 Sol 62.0%、GPT-5.6 Sol 43.8%、GPT-6 Luna 38.3%、GPT-5.5 35.4%、GPT-5.4 33.2%、GPT-5.2 31.2%
- 效率:Astra 每项任务平均输出 4704 个 token,Sol 为 9099 个
- 失误案例:克隆实验中 Astra 选了 4、6、7、8 号泳道,参考答案为 5、9、10 号;一块菌落平板多计约 12%,原因是分不清相邻菌落、漏数可见菌落、把空琼脂当成菌落
- 限度:只测了 OpenAI 自家 7 款模型,未测 Claude、Gemini 与开放权重模型;发布时未附数据集与评分标准的公开链接
- OpenAI 口径:更高的分数目前不等于可靠的实验室判断;跟踪这类能力也有助于评估生物安全影响
为什么重要
这项基准用真实实验原始数据考智能体,最高分仍未过七成,OpenAI 自认分数不等于可靠的实验室判断。
相关公司OpenAI
订阅 HIMIAO视界
不用注册 · 随时退订推送通知
早报出来时,手机或电脑上弹一条提醒。不用留邮箱。
™