arXiv cs.AI· Zeyu Zheng, Yiyang Liu, Yuyang Zhao, Congmin Zheng, Jiachen Zhu, Jianian Chen, Kangning Zhang, Kayue Daniel Wong, Lingyu Yang, Rong Shan, Shihao Chen, Thomas Zhu, Wentao Zhang, Xiaopeng Li, Yan Hu, Yongxi Lin, Yuxiang Chen, Zhuoying Ou, Jianghao Lin, Jeremy Avigad, Prasad Tetali, Jingbang Chen, Sean Welleck·· 1 天前AI 评分49
ReuF2F：基于形式化本科研究问题评测编程智能体的 Lean 4 基准
ReuF2F: Benchmarking Coding Agents on Formalized Undergraduate Research Problems
AI 导读
ReuF2F 是一个 Lean 4 基准，从 REU 项目收集 244 个形式化的入门级开放研究问题，用于评估编程智能体在 Lean 中端到端解决开放问题的能力。评测将问题及其逻辑否定放入 Docker 容器中的 Lean 项目，并基于 mini-SWE-agent 构建了统一测试框架 Leanimum-agent。结果显示表现最好的模型也只解决约 40% 的问题，仍有较大提升空间。
来源：arXiv cs.AI · arxiv.org