研究者发布HOLogicBench高阶逻辑推理基准
热点事件持续更新
研究者发布HOLogicBench高阶逻辑推理基准
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
论文作者发布HOLogicBench基准，包含1,379个实例，系统评测五种高阶推理操作，答案经Isabelle/HOL形式化与证明验证，并附参考推理路径。 在16个模型配置上平均准确率为53.86%，最佳为65.99%。研究者称结果显示LLM与有效推导的对齐有限，且易受最小反事实扰动影响。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 12:00
HOLogicBench：评测 LLM 高阶逻辑推理能力的基准报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.AIHOLogicBench：评测 LLM 高阶逻辑推理能力的基准
研究者推出 HOLogicBench，一个包含 1,379 个实例的基准，系统评测五种高阶推理操作，并配有 Isabelle/HOL 形式化与验证过的答案和参考推理路径。在 16 个模型配置上平均准确率为 53.86%，最佳为 65.99%。结果显示 LLM 与有效推导的对齐有限，且易受最小反事实扰动影响。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。