arXiv 综述：机制可解释性如何服务于 AI 安全
Understanding AI from the Inside: The State of Mechanistic Interpretability for AI Safety
Fazl Barez、Yoshua Bengio、Stella Biderman 等人在 arXiv 发布综述（arXiv:2611.08438），系统梳理面向 AI 安全的机制可解释性研究，回答理解模型内部机制是否真能让模型更安全。
这篇综述由 Yoshua Bengio 等多位研究者撰写，系统梳理了机制可解释性方法及其对 AI 安全的实际支撑，并附可复现代码仓库。
作者：Fazl Barez、Tung-Yu Wu、Hunar Batra、Gabriele Dominici、Florent Draye、Yanai Elazar、Damiano Fornasiere、Antía García、Abir Harrasse、Riley Harris、Sara Hooker、Michael Lan、Belinda Z. Li、Aaron Maiwald、Narmeen Fatimah Oozeer、Naomi Saphra、Or David Shafran、Adi Simhi、Robert Trager、Shriyash Kaustubh Upadhyay、Ziyu Yao、Yu Zhao、Shay B. Cohen、Mor Geva、Yoshua Bengio、Stella Biderman、Hassan Sajjad
摘要：神经网络很可能是人类历史上影响最深远的造物之一。随着这些系统变得更加能力强大和自主，其造成社会危害的潜在风险也在增长，使 AI 安全成为我们这个时代的核心挑战之一。然而，我们仍在持续构建日益强大的系统，却并未充分理解它们如何运作、在不熟悉的情况下会如何表现，以及如何可靠地控制它们。机制可解释性通过研究这些系统的内部表示与计算，为理解它们提供了一条路径，其目标是评估、预测和控制行为。本文综述了面向 AI 安全的机制可解释性，以回答一个问题：理解模型的运作方式真的能让它们更安全吗？我们将机制可解释性置于更广泛的可解释性研究背景中，并将其机制性证据与行为评估进行比较。我们介绍了机制可解释性的基础，包括特征、多义性、Transformer 计算和电路，并综述了特征提取与分析、电路发现与因果验证、用自然语言解释中间表示、学习动力学以及训练数据归因等方法。除了综述现有方法之外，我们还提出了一个用于评估机制可解释性主张的统一框架，并按目标、假设和权衡刻画了六种研究方向。最后，我们考察了机制层面的理解如何支持 AI 安全，包括知识编辑、引导和监控，并评估其局限、失效模式、开放问题以及与行为安全措施的关系。我们还发布了一个包含实用示例的代码笔记本仓库，可复现所综述方法的关键发现，让读者通过动手实验建立直觉。
| 学科分类： | 计算与语言 (cs.CL)；人工智能 (cs.AI)；机器学习 (cs.LG) |
| 引用格式： | arXiv:2611.08438 [cs.CL] |
| （本版本为 arXiv:2611.08438v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2611.08438 arXiv 通过 DataCite 签发的 DOI（注册中） |
提交历史
来自：Tungyu Wu [查看邮件]
[v1]
2026年11月5日 星期四 18:30:54 UTC（3,892 KB）
来源：arXiv cs.AI · arxiv.org