提出TopicScope:SAE特征训练逐token话题监控器
热点事件持续更新
提出TopicScope:SAE特征训练逐token话题监控器
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Rishikesh Mallagundla 等在 arXiv:2611.12935 提出 TopicScope 框架,用稀疏自编码器(SAE)特征训练因果话题分类器,为生成中每个 token 分配话题标签,标签可在响应中途变化;代码、数据集和模型检查点已公开。方法是在 prefill 阶段用隐状态的 SAE 特征训练,在 decode 阶段进行监控。论文称在 Gemma-3 1B 和 4B 上,该监控器可泛化到 decoding,在七话题、三种检测器架构下扰动最多损失 5 个 macro-F1 点;去掉 SAE 后需数倍大小的分类器才能达到同等性能。
AI 根据报道生成 · 2 小时前更新
最新进展11月11日 13:00
在 prefill 阶段训练、decode 阶段监控:用稀疏自编码器实现主题监控报道时间线
沿着报道,了解事件的不同侧面。
11月11日
- arXiv cs.AI在 prefill 阶段训练、decode 阶段监控:用稀疏自编码器实现主题监控
arXiv 论文提出 TopicScope 框架,用 SAE 特征训练因果主题分类器,为生成中每个 token 分配主题,标签可在响应中途变化。在 Gemma-3 1B 和 4B 上,基于 prefill 隐状态特征训练的监控器可泛化到 decoding,七话题、三种检测器架构下扰动最多损失 5 macro-F1 点,且去掉 SAE 后需数倍大小的分类器才能达到同等性能。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。