ST-OPSD:用激活引导修复思考模型自蒸馏失效
热点事件持续更新
ST-OPSD:用激活引导修复思考模型自蒸馏失效
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Tiejin Chen 等人在 arXiv 提出 Steered-Teacher OPSD(ST-OPSD),用激活引导改进思考模型的同策略自蒸馏(OPSD)。该方法针对教师模型因能访问参考答案而出现的两类失效模式:参考幻觉和 reconsideration(重新思考)被抑制。 论文称,在 AIME 和 HMMT 上的实验显示,ST-OPSD 相比原始 OPSD 及其他干预方法提升了准确率,同时将 reconsideration 和参考幻觉率恢复到基础模型水平。
AI 根据报道生成 · 59 分钟前更新
最新进展10月27日 12:00
ST-OPSD:用激活引导改进思考模型的同策略自蒸馏报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- arXiv cs.AIST-OPSD:用激活引导改进思考模型的同策略自蒸馏
论文提出 Steered-Teacher OPSD(ST-OPSD),解决同策略自蒸馏(OPSD)中教师模型因访问参考答案导致的参考幻觉和 reconsideration 抑制两类失效模式。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。