OpenAI推出药物化学基准 考察AI分子推理表现

   时间:2026-11-22 20:18 来源:互联网作者:虎啸

11月21日消息,当地时间11月20日,OpenAI 发布 MedChemBench 基准,用来衡量 AI 模型在药物化学研究中的推理水平。该基准覆盖分子结构识别、实验结果解读、化合物比较以及性质预测等任务。OpenAI 称,模型在重建分子结构和解释实验依据时表现较好,但在化合物筛选和数值性质预测上仍有较大提升空间。

MedChemBench 共收录99道题,来自117篇论文与专利,包含761个不同分子结构。多数题目会给模型提供研究进行到某一节点时的背景,如生物靶点、研究人员目标、已研究化合物以及部分实验结果。

评测被分成四个部分。分子结构部分要求模型根据结构图与化学基团组装分子,检查原子连接和立体化学是否正确;科学解释部分要求模型用给定证据支持判断,比如说明为何在多个化合物中选中某一个。

排序与选择部分看化合物排序和最终选择是否符合题目要求;性质预测部分则与原始材料给出的数值或类别对照,既包含实测性质,也包含计算得到的分子性质。

官方公布的数据显示,在 xhigh 推理档下,GPT-6.2 Astra 获得84.5%的可用分数,GPT-6 Astra 为83.3%,GPT-6.1 Sol 为82.0%,GPT-5.6 Sol 为58.2%。官方称,提高推理档位可以带来分数提升,但模型之间的差距依然明显。

分项表现方面,Astra 在 xhigh 档的分子结构部分拿到95.4%的可用分数,而化合物选择与数值性质预测两项只获得约一半分数。

官方举了一个例子:题目要求模型用给定中心结构和两个侧基组装分子,并保留一个18原子环。在11个模型共用的 xhigh 档下,GPT-6 Astra 的十次回答全部正确;GPT-5.6 Sol 和 GPT-5.6 Luna 十次全部出错,前者组装出的环只有15个原子,后者把分子拆成两个互不相连的片段。

另一道题取材于 PRMT5 抑制剂研究,PRMT5 是肿瘤药物研发中受到关注的蛋白。模型需要预测三种相关化合物在细胞内阻断 PRMT5 的强度、穿过细胞屏障的难易,以及在实验室检测中被肝酶降解的速度。

官方在题目中隐去的后续实验显示存在取舍:化合物23在更低浓度下即可在细胞内阻断 PRMT5,化合物24更易穿过细胞屏障,在肝酶检测中的降解速度也更慢。

官方指出,这些结果并不能确定模型是否能够发现新药或改善实验室决策,也不能排除模型此前接触过已发表资料的可能性。每一次回应都没有工具、反馈或新实验。该基准基于历史证据,并非真实药物发现过程。

 
 
更多>同类内容
全站最新
热门内容