论文指出推理重要性归因用于剪枝并不可靠
热点事件持续更新
论文指出推理重要性归因用于剪枝并不可靠
1 篇报道1 个报道来源46 分钟前更新
先了解这件事
AI 综述
Himanshu Mishra 等人在 arXiv 论文(arXiv:2611.22234)中检验了基于归因度量对大语言模型进行剪枝的可靠性,发现在四个小型推理模型上,推理重要性度量存在三方面脆弱性,且每一方面都会改变剪枝决策。例如以最终答案 token 打分时,在所有链式思考模型中打分饱和,答案 token 负对数似然仅为 10^-4 到 10^-3 量级。 论文称,若要可靠测量,应针对推理 token 打分、以较粗粒度归因,并用准确率而非困惑度评估。
AI 根据报道生成 · 23 分钟前更新
最新进展11月18日 13:00
剪枝大语言模型时推理重要性归因的脆弱性研究报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- arXiv cs.AI剪枝大语言模型时推理重要性归因的脆弱性研究
一项研究在四个小型推理模型上检验归因引导剪枝的可靠性,发现推理重要性度量存在三方面脆弱性:以最终答案 token 打分在所有链式思考模型中饱和(答案 token NLL 为 10^-4--10^-3)。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。