预注册研究解析评测框架分数提升的来源

Bowen Xu 与 Boyu Chen 在 arXiv（2610.05533）发布一项预注册研究，分析评测 harness 搜索带来的分数提升究竟来自哪些来源。研究提出三类可能来源：解析器此前读不到的答案、基线设置偏弱，以及评测本身的缺陷，并报告全部 65 个主要终点。 实验覆盖两次预注册研究：一为三个 1.7B–8B 参数的模型，二为 Qwen3-14B（对比 base 与 longevity-tuned 的 Qwen3-1.7B，并含一次第二 GPU 复跑，属描述性结果）。两项冻结的预注册文件、增补文件及汇总报告作为附属文件一并公开。

AI 根据报道生成 · 3 小时前更新