arXiv cs.AI· Allen G. Roush, Minh Nhat Nguyen, Ravid Shwartz-Ziv, Judah Goldfeder, Sanjay Basu·· 46 分钟前精选AI 评分65
NeurIPS 2026 论文提出长文本生成本质是采样问题,top-nsigma 高温下表现突出
Long-Context Generation Is a Sampling Problem (When You Turn Up the Heat)
AI 导读
一项被 NeurIPS 2026 接收的研究测试了 29 个 1B 至 122B 开源模型与十项基准加一百万 token 检索,指出长文本生成退化主要取决于采样器如何随温度放大候选 token 池。
推荐理由
论文用 29 个开源模型和一百万 token 检索实验说明长文本退化主要源自采样器,读者可获得采样策略层面的可复用结论。
正文 · AI 翻译
摘要:人们普遍观察到,开放权重语言模型生成的内容越长,质量就越差。通常,解决这一问题的尝试涉及更多训练。在高温度下,采样器(即从模型的概率中挑选下一个 token 的规则)决定了长程和智能体式生成是存活还是繁荣。我们在十个既有基准测试外加百万 token 级别的“大海捞针”检索上测试了 29 个参数量从 1B 到 122B 的开放权重模型,涵盖 SWE-bench Verified 编程智能体、长思维链推理、长篇写作、长结构化输出和长上下文阅读。随着温度升高仍保持候选 token 池小而稳定的采样器不会损失准确率;允许低概率 token 进入的采样器则会崩溃。在温度 2 下,运行 top-p、top-k 或 Top-H 的编程智能体在三个 Qwen3.5 模型上 100 个 GitHub issue 中解决了 0 个,而运行 top-nsigma 的相同智能体解决了 46 到 62 个,并在两个采样器意见不一致的所有 issue 上全部获胜。在所有基准测试上,top-nsigma 保持了其温度 1 得分的中位数 100%,而 top-p 仅保持 26%。统计每个采样器放行的 token 数量可以解释其中的原因。在一个 Llama-3.1-8B 的故事生成中,温度从 1 升到 2 时,top-p 的池子从 4 个 token 增长到 51,845 个,而 top-nsigma 保持在 3 个。在 133 种采样器设置与温度的组合中,典型池子大小能预测评判质量(Spearman 相关系数为 -0.77),而且当我们在温度 1 时选定池子、之后再应用温度时,Top-H、min-p 和 p-less 便不再崩溃。在默认温度 1 下,大多数采样器表现大致相同。我们向公众发布了全部代码和数据。
| 评论: | 10 页,已被第 40 届神经信息处理系统会议(NeurIPS 2026)接收。评估与数据集方向 |
| 主题: | 人工智能 (cs.AI);计算与语言 (cs.CL) |
| 引用方式: | arXiv:2611.22148 [cs.AI] |
| (本版本请引用 arXiv:2611.22148v1 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2611.22148 通过 DataCite 获取 arXiv 签发的 DOI(注册中) |
提交历史
来自:Allen Roush [查看邮件]
[v1]
2026年11月17日 周二 03:30:03 UTC (457 KB)
来源:arXiv cs.AI · arxiv.org