TheoPhysEval 用 50 道研究级理论物理题评测 AI 智能体自主解题能力
TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving
TheoPhysEval 论文提出 50 道带可验证答案的未发表研究级理论物理题，测试现成 AI 智能体在无人工提示下自主解题。最强的 GPT-6-Astra（Codex 中）在可搜索文献和写脚本条件下达到 98% 准确率，平均每题成本低于 3 美元；关闭网络搜索与背景论文后准确率变化很小，作者认为这提示对文献的显著记忆化，并讨论了智能体解题能力突出却未带来理论物理突破的可能原因。
原文给出 50 道研究级理论物理题的实测结果与成本数据，还指出关闭搜索后准确率变化暗示的记忆化问题。
作者：A. Ramesh Chandra、Aaghaz Mahajan、Ainesh Sanyal、Mianqi Wang、Shubhadeep Chakraborty、Sudip Chakraborty、Shailesh Chandrasekharan、Rama Govindarajan、Akshit Goyal、Jonathan J. Heckman、Yasir Iqbal、Divya Jaganathan、Saumav Kapoor、Andreas Karch、Pushkar Khandare、Sandeep Krishna、Anupam Kundu、Alok Laddha、Tongyan Lin、Swarnendu Maity、Nilmani Mathur、Shani Nadir Meynet、Alessandro Mininno、Abhijeet Mishra、Vidur Niranjan、Abhishodh Prakash、Pratik Rath、Durbar Roy、Debargha Sarkar、Srikanth Sastry、Gary Shiu、Aninda Sinha、Thomas Van Riet、Praneeth Netrapalli、Suvrat Raju
摘要：我们提出了一套包含 50 道未发表的研究级理论物理问题的题集，每道题都有可验证的答案。在没有 AI 辅助的情况下，我们题集中的一道典型题目，世界顶尖专家可在约一天或更短时间内解出，但相邻专业的专家则需要长得多的时间。我们测试了现成 AI 智能体在无人提示的情况下自主解决这些问题的能力。在允许使用真实场景中可用工具的条件下，包括搜索文献以及编写用于数值和符号计算的脚本，表现最好的智能体——在 Codex 中运用的 GPT-6-Astra——以接近完美的 98% 准确率得出最终答案，每道题的平均成本低于 3 美元。平均而言，在被禁止使用网络搜索和背景研究论文时，智能体的准确率仅出现小幅变化，这表明它们对文献存在显著的记忆。这些结果表明，最先进的智能体能够准确完成理论物理研究所需的各类具体计算。我们评论了这些发现的更广泛影响，并讨论了尽管智能体具备出色的问题解决能力，但目前理论物理领域仍缺乏由智能体主导的突破的可能原因。
| 评论： | 8+48 页（v2）补充了参考文献 |
| 学科： | 高能物理 - 理论（hep-th）；统计力学（cond-mat.stat-mech）；强关联电子（cond-mat.str-el）；人工智能（cs.AI）；广义相对论与量子宇宙学（gr-qc） |
| 引用格式： | arXiv:2610.16733 [hep-th] |
| （本版本请引用 arXiv:2610.16733v2 [hep-th]） | |
| https://doi.org/10.48550/arXiv.2610.16733 arXiv-issued DOI 经由 DataCite 提供 |
提交历史
来自：Suvrat Raju [查看邮件]
[v1]
2026年10月9日 星期五 13:47:49 UTC（451 KB）
[v2]
2026年11月12日 星期四 09:30:15 UTC（453 KB）
来源：arXiv cs.AI · arxiv.org