论文用"条件无毛定理"量化Transformer对提示词的遗忘
热点事件持续更新
论文用"条件无毛定理"量化Transformer对提示词的遗忘
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Shuyang Xiang 发布 arXiv 论文(arXiv:2610.24133),研究自回归 Transformer 生成时对提示词的保留程度。论文类比黑洞无毛定理,称"条件无毛定理":当两个不同提示词接相同续文时,模型隐藏状态的差异按幂律 t^{-α} 衰减,即生成越久,提示词信息遗忘越多。 实验发现训练后的模型遗忘更快,α≈0.55–0.7;未训练模型 α≈0.2–0.5。作者还公开了可测量任意 Hugging Face 因果语言模型 α 值的工具包。
AI 根据报道生成 · 45 分钟前更新
最新进展11月18日 13:00
Transformer 的条件无毛定理:大语言模型如何在生成中“遗忘”提示词报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- arXiv cs.AITransformer 的条件无毛定理:大语言模型如何在生成中“遗忘”提示词
一篇 arXiv 论文类比黑洞无毛定理,研究自回归 Transformer 生成 t 个 token 后对提示词的保留程度:两个提示词接相同续文时,隐藏状态差异按幂律 t^{-α} 衰减,训练后的模型遗忘更快(α≈0.55–0.7,未训练模型 α≈0.2–0.5)。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。