发布LGMT工具测试LLM逻辑推理一致性

Zenghui Zhou 等研究者发布开源工具 LGMT，通过基于一阶逻辑的蜕变关系检测大语言模型的推理不一致性，无需真值标签即可比对等价测试用例间的预测是否一致，代码已在 GitHub 公开。 工具内置 20 种蜕变关系，支持经 Z3 定理证明器验证的自定义关系，提供 CLI 与网页界面，并有无需 API key 的离线模式。在 3,091 组蜕变关系的基准测试中，六种常用 LLM 的不一致率介于 20.84% 至 29.44%。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。