跳到正文
热点事件持续更新

提出TopicScope:SAE特征训练逐token话题监控器

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Rishikesh Mallagundla 等在 arXiv:2611.12935 提出 TopicScope 框架,用稀疏自编码器(SAE)特征训练因果话题分类器,为生成中每个 token 分配话题标签,标签可在响应中途变化;代码、数据集和模型检查点已公开。方法是在 prefill 阶段用隐状态的 SAE 特征训练,在 decode 阶段进行监控。论文称在 Gemma-3 1B 和 4B 上,该监控器可泛化到 decoding,在七话题、三种检测器架构下扰动最多损失 5 个 macro-F1 点;去掉 SAE 后需数倍大小的分类器才能达到同等性能。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. arXiv cs.AI
    在 prefill 阶段训练、decode 阶段监控:用稀疏自编码器实现主题监控

    arXiv 论文提出 TopicScope 框架,用 SAE 特征训练因果主题分类器,为生成中每个 token 分配主题,标签可在响应中途变化。在 Gemma-3 1B 和 4B 上,基于 prefill 隐状态特征训练的监控器可泛化到 decoding,七话题、三种检测器架构下扰动最多损失 5 macro-F1 点,且去掉 SAE 后需数倍大小的分类器才能达到同等性能。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。