Matteo He 等提出参数轨迹 crosscoding 追踪 readout 学习动态
热点事件持续更新
Matteo He 等提出参数轨迹 crosscoding 追踪 readout 学习动态
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Matteo He 等在 NeurIPS 2026 论文中提出参数轨迹(parameter-trajectory)crosscoding 方法,对每个 checkpoint 的 readout 行拟合稀疏字典,以追踪语言模型预训练中 unembedding 矩阵的演化。与基于激活值的 crosscoder 不同,该方法只需 checkpoint 权重即可运行。 在 Pythia 案例研究中,他们发现模型隐藏状态可能在自己 readout 表达之前就已编码任务信息,这意味着从输出读取的行为出现时间可能晚于能力实际习得的时间。他们还从头预训练仅在 readout 学习率上不同的小模型,发现相关变化集中在预训练早期一个较窄的窗口(约前 0.4–1.1% 的训练进度)。
AI 根据报道生成 · 3 小时前更新
最新进展11月16日 13:00
语言模型预训练中的 Unembedding 动力学:行为出现时间可能晚于能力习得报道时间线
沿着报道,了解事件的不同侧面。
11月16日
- arXiv cs.AI语言模型预训练中的 Unembedding 动力学:行为出现时间可能晚于能力习得
一项 NeurIPS 2026 研究提出参数轨迹 crosscoding 方法,通过对每个 checkpoint 的 readout 行拟合稀疏字典,直接追踪语言模型预训练中 unembedding 矩阵的演化。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。