跳到正文
热点事件持续更新

审计冻结LLM:几何约束可解码却难控制

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Man Liang、Xinzhao Cheng、Faizan Wajid 在 arXiv 发表研究,提出基于参数化 CAD 的受控审计框架,区分冻结 LLM 在几何约束上的编码、表达与激活控制三类失败。对 8 个预训练模型及随机初始化对照的测试显示:局部关系可线性解码,但零样本预测远低于监督探针性能,激活转向也无法提供可靠定向控制。 研究同时发现,仅用 400 个标注关系对做低秩微调,即可显著提升三个代表性模型的生成表现,说明这种表征与行为之间的落差可通过适配缩小。

AI 根据报道生成 · 54 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月31日
  1. arXiv cs.AI
    解码却不可控:审计冻结 LLM 中表征与行为在几何约束上的落差

    一项 arXiv 研究提出基于参数化 CAD 的受控审计框架,区分 LLM 在几何约束上的编码、表达与激活控制三类失败。对 8 个预训练模型和随机初始化对照的测试显示,局部关系可线性解码但零样本预测远低于监督探针性能,激活转向也无法提供可靠定向控制。仅用 400 个标注关系对做低秩微调即可显著提升三个代表性模型的生成表现,说明表征—行为落差可通过适配缩小。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。