跳到正文
热点事件持续更新

论文指出推理重要性归因用于剪枝并不可靠

1 篇报道1 个报道来源46 分钟前更新

先了解这件事

AI 综述

Himanshu Mishra 等人在 arXiv 论文(arXiv:2611.22234)中检验了基于归因度量对大语言模型进行剪枝的可靠性,发现在四个小型推理模型上,推理重要性度量存在三方面脆弱性,且每一方面都会改变剪枝决策。例如以最终答案 token 打分时,在所有链式思考模型中打分饱和,答案 token 负对数似然仅为 10^-4 到 10^-3 量级。 论文称,若要可靠测量,应针对推理 token 打分、以较粗粒度归因,并用准确率而非困惑度评估。

AI 根据报道生成 · 23 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. arXiv cs.AI
    剪枝大语言模型时推理重要性归因的脆弱性研究

    一项研究在四个小型推理模型上检验归因引导剪枝的可靠性,发现推理重要性度量存在三方面脆弱性:以最终答案 token 打分在所有链式思考模型中饱和(答案 token NLL 为 10^-4--10^-3)。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。