首个自动形式化鲁棒性基准:七个模型在扰动下多不过关
热点事件持续更新
首个自动形式化鲁棒性基准:七个模型在扰动下多不过关
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Zhengtao Gui 等研究者称提出了首个针对证明自动形式化模型鲁棒性的研究,评估模型在非理想自然语言证明下将证明翻译为 Lean 4 形式证明的能力。基准在 miniF2F 和 MATH-500 上构建,包含全局扰动(改写风格)与局部扰动(更改数值、符号或证明步骤)两类。 对七个近期模型的评测显示:正确性在全局扰动下会波动,且大多数模型在局部扰动下无法忠实反映改动。
AI 根据报道生成 · 58 分钟前更新
最新进展10月31日 12:00
评估 Lean 4 证明自动形式化的鲁棒性报道时间线
沿着报道,了解事件的不同侧面。
10月31日
- arXiv cs.AI评估 Lean 4 证明自动形式化的鲁棒性
一项研究首次系统评估了证明自动形式化模型的鲁棒性,即在非理想自然语言证明下将证明翻译为 Lean 4 形式证明的能力。研究提出全局扰动(改写风格)与局部扰动(更改数值、符号或证明步骤)两类扰动,在 miniF2F 和 MATH-500 上构建基准。对七个近期模型的评估显示,正确性在全局扰动下会波动,且大多无法在局部扰动下忠实反映改动。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。