arXiv cs.AI· Mar Gonz\`alez I Catal\`a, Haitz S\'aez de Oc\'ariz Borde, George D. Monta\~nez, Pietro Li\`o·· 2 小时前AI 评分42
步进信息量假设：LLM 中熵动态何时能追踪推理正确性
The Stepwise Informativeness Assumption: When Do Entropy Dynamics Track Reasoning Correctness in LLMs?
AI 导读
一项 arXiv 研究提出步进信息量假设（SIA），从理论上刻画熵降低类推理信号何时与 LLM 推理正确性对齐，指出这种对齐取决于训练机制如何将推理轨迹与正确答案耦合。实验覆盖 GSM8K、ARC、SVAMP、MATH 四个基准及 base、指令微调、RL 训练等多种开源权重模型，发现熵-正确性对齐随 post-training 增强，但在任务难度超出模型能力时会减弱。
来源：arXiv cs.AI · arxiv.org