CritPt v2 基準發布，評測大模型科研級物理推理能力
CritPt v2 基准发布：面向科研级物理推理的大模型评测数据集上线
阿貢國家實驗室與伊利諾伊大學厄巴納－香檳分校主導開發的 CritPt v2 正式發布，用於評測大模型解答前沿物理科研難題的推理能力。數據集由全球 60 多位物理科研人員編寫，測試集包含 70 道挑戰題；公開榜單統計 11 款模型，GPT‑6 Astra (Max) 以 83.1% 得分排名第一。數據集不對公眾開放，審核通過的實驗室及科研人員可申請使用打分 API。
10月26日消息，由阿贡国家实验室、伊利诺伊大学厄巴纳‑香槟分校主导开发，Artificial Analysis 独立评测的CritPt v2正式对外发布，这是 CritPt 基准的修订升级版本，专门用来衡量大模型解决前沿物理学科研难题的真实推理能力。
传统数理基准大多取材教科书、公开竞赛试题，容易存在训练集污染。CritPt 整套数据集由全球 60 余位一线物理科研人员原创编写，全部是未公开发表的研究级物理问题，模拟科研助理需要处理的真实课题场景，覆盖量子物理、天体物理、统计力学、凝聚态等十一大现代物理方向。
CritPt v2 核心更新与评测机制
v2 版本由原作者与物理专家团队重新审核全部题目，修正 v1 版本里描述模糊、错误、笔误等问题，测试集包含70 道综合科研挑战题。
评测环境为离线 Linux 沙箱，允许大模型调用代码执行工具完成计算推导，不允许直接联网搜索；由 Artificial Analysis 提供独立的免费打分 API，不对公众开放数据集，仅向审核通过的实验室、科研人员开放申请，研究者发送邮件 critpt@artificialanalysis.ai 申请权限即可使用该 API 开展评测工作。
评测体系不只统计答题正确率，同时完整采集多维度指标：
1. 任务得分：模型解决物理科研题目的准确率；
2. Token 消耗：区分推理 token、答案输出 token；
3. 成本指标：拆解输入、缓存读写、推理、输出各环节的单任务美元成本；
4. 推理速度：单任务加权平均解码耗时，数值越低性能越好。
最新榜单结果
CritPt v2 公开榜单共统计 11 款前沿大模型：
1. GPT‑6 Astra (Max)：83.1%，榜单第一位；
2. GPT‑6.1 Sol (Max)：82.0%，第二位；
3. Claude Opus 5.5 (Max, Default Fallback)：77.7%，位列第三。
平台同时提供多组对比视图：得分‑单任务成本、得分‑输出 token、得分‑推理耗时、得分‑模型发布时间等，方便研究者做帕累托最优选型分析。
來源：DoNews · donews.com