研究揭示 prefill 阶段解码长度预测的根本极限

Haowen Shi 等在 arXiv:2610.40541 发布论文，研究仅用 LLM prefill 阶段隐状态预测解码 token 数的根本极限。论文称当前基准混淆了预测器质量与任务难度：当目标模型、数据集或采样配置改变时，即使预测器不变，报告的准确率也会大幅下降。 论文将自回归解码建模为停时随机过程，推导出每提示词解码长度近似服从正态分布，且方差满足仿射律 σ=αμ+b，实测误差在几个百分点内。代码与分析工具已在论文链接公开。

AI 根据报道生成 · 41 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。