跳到正文
热点事件持续更新

Matteo He 等提出参数轨迹 crosscoding 追踪 readout 学习动态

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Matteo He 等在 NeurIPS 2026 论文中提出参数轨迹(parameter-trajectory)crosscoding 方法,对每个 checkpoint 的 readout 行拟合稀疏字典,以追踪语言模型预训练中 unembedding 矩阵的演化。与基于激活值的 crosscoder 不同,该方法只需 checkpoint 权重即可运行。 在 Pythia 案例研究中,他们发现模型隐藏状态可能在自己 readout 表达之前就已编码任务信息,这意味着从输出读取的行为出现时间可能晚于能力实际习得的时间。他们还从头预训练仅在 readout 学习率上不同的小模型,发现相关变化集中在预训练早期一个较窄的窗口(约前 0.4–1.1% 的训练进度)。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. arXiv cs.AI
    语言模型预训练中的 Unembedding 动力学:行为出现时间可能晚于能力习得

    一项 NeurIPS 2026 研究提出参数轨迹 crosscoding 方法,通过对每个 checkpoint 的 readout 行拟合稀疏字典,直接追踪语言模型预训练中 unembedding 矩阵的演化。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。