对抗训练下表征简洁性与电路规模依区间解耦

Adam Elimadi 发布论文（arXiv:2609.35890），从同一 GPT-2 Small 预训练检查点出发做匹配的标准与对抗持续训练，称这是首次以受控实验实证检验表征简单性是否能转化为因果电路层面的简单性。结果显示两者按区间解耦。 具体而言，鲁棒模型更易被 SAE 分解，任务归因中参与的 SAE 特征更少；而电路规模依忠实度区间而定：在能力匹配的 IOI 任务上，忠实度低于 85% 时标准模型领先或持平，90% 和 95% 高忠实度下鲁棒模型所需边数显著更少。该优势在七点对抗强度扫描和第二语料上均成立。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。