arXiv 论文提出 Mechanistic Shaping 框架，通过内部表征塑造并监测模型
Shaping & Monitoring Models through their Internal Representations
Thomas Fel 等人在 arXiv 发表论文（arXiv:2611.07071），提出 Mechanistic Shaping 框架，在训练中通过内部表征让模型遵循规范，控制其表达和依赖的概念。
论文提出用模型内部表征在训练期约束行为，并给出监测概念是否被规避的三种几何机制，对可解释性训练有方法参考价值。
作者：Thomas Fel, Matthew Kowal, Matt Feiszli, Satchel Grant, Andrew Lee, Chris Earls, Fatih Dinc, Vasudev Shyam, Usha Bhalla, Leon Bergen, Siddharth Boppana, Ching Fang, Michael Byun, Tristan Gallent, Nicholas Wang, Tal Haklay, Dron Hazra, Neehar Kondapaneni, Connor Watts, Ryan Panwar, Thomas Dooms, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana, Thomas McGrath, Owen Lewis
摘要：我们提出 Mechanistic Shaping，这是一个通过模型内部表征来塑造模型的统一框架。Mechanismic Shaping 在训练过程中应用，使模型遵循关于它们表达哪些概念（通过输出或内部表征来衡量，例如不产生有害内容），以及它们依赖哪些概念（即它们用来做决策的依据，例如筛选简历时不考虑候选人性别）的规范（规则）。在多个领域（视觉、医学影像、语言）、多个规模（最高 32B 参数）和多种训练范式（分类、SFT、DPO、GRPO）中，我们发现 Mechanistic Shaping 在保持任务性能的同时显著减少了目标行为。由于针对某个表征进行训练也可能改变该表征，我们提出这样一个问题：被塑造的概念是否仍可被监测，这取决于所考虑的监测器类别。因此我们引入了这些类别的层级结构，以区分逃过某一探测器的概念与真正消失的概念。我们刻画了三种规避的几何机制：概念可能漂移远离监测器、从该层被抹除，或作为非线性编码持续存在于高阶统计量中，我们通过乘积码构造对此进行解释。尽管在其他设置或更大规模下可能出现其他机制，这三种机制解释了我们的全部观察结果，且每种机制都可以由相应的监测器检测到。在实践中，我们发现被塑造的概念在很大程度上仍可被监测：重新拟合的线性探测器在大多数设置中能恢复该概念，而且只要梯度不流经原始探测器，它就保持可靠。综合来看，这些结果表明可解释性有望成为训练工具，并呼唤一门相应严谨的基于可解释性的训练科学。
| 学科分类： | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| 引用格式： | arXiv:2611.07071 [cs.LG] |
| （本版本为 arXiv:2611.07071v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2611.07071 arXiv 通过 DataCite 签发的 DOI（注册中） |
提交历史
来自：Thomas Fel [查看邮件]
[v1]
2026年11月4日 星期三 19:29:13 UTC（19,265 KB）
来源：arXiv cs.AI · arxiv.org