DualBudget论文提出双预算约束的稀疏文本扩散分析
热点事件持续更新
DualBudget论文提出双预算约束的稀疏文本扩散分析
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Paul Raj 等在 arXiv 公布论文(arXiv:2610.41487),提出把长上下文扩散模型的计算成本拆分为注意力图可用边数和每 token 激活专家数两个独立预算,并给出归一化掩码注意力与图和计算开销上界。稀疏专家配置 DualBudget 在科学摘要、多跳问答、对话和句对预测上评测,长度研究显示 16K 以内优于所列基线,超过后出现退化。 成本记录显示 DualBudget 相对 DiffuSeq 减少 20%,但计时约定未说明。论文将上述观测与训练速度、吸收态、全局连贯性和部署内存等未实测的声明区分开来。
AI 根据报道生成 · 2 小时前更新
最新进展11月3日 13:00
DualBudget:双预算约束下的稀疏文本扩散分析——上下文连接与专家激活报道时间线
沿着报道,了解事件的不同侧面。
11月3日
- arXiv cs.AIDualBudget:双预算约束下的稀疏文本扩散分析——上下文连接与专家激活
arXiv 论文提出把长上下文扩散模型的成本拆分为注意力图可用边数和每 token 激活专家数两个独立预算,给出归一化掩码注意力与图和计算开销上界。稀疏专家配置 DualBudget 在科学摘要、多跳问答、对话和句对预测上评测,长度研究显示在 16K 以内优于所列基线且随长度增加出现退化;消融指标变化不一,成本记录显示相对 DiffuSeq 减少 20%(计时约定未说明)。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。