arXiv论文提出熵形状指标ESC预测OPD教师选择
热点事件持续更新
arXiv论文提出熵形状指标ESC预测OPD教师选择
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Shiping Yang等研究者在arXiv论文2610.39020中提出，on-policy蒸馏（OPD）不仅学习「如何分支」（考虑哪些候选token），还学习「在哪里分支」（在何处保留推理路径），后者可用序列的next-token熵序列（entropy shape）刻画。论文据此提出熵形状相关性（ESC）指标，度量学生与教师在熵形状上的一致性。 论文称，在OPD前计算ESC即可为学生模型选出最佳教师，且效果优于现有预测方法。此为论文作者的说法，属于新提出的研究结论。
AI 根据报道生成 · 37 分钟前更新
最新进展10月31日 12:00
On-policy 蒸馏（OPD）学到了什么、如何预测：熵形状与教师选择报道时间线
沿着报道，了解事件的不同侧面。
10月31日
- arXiv cs.AIOn-policy 蒸馏（OPD）学到了什么、如何预测：熵形状与教师选择
一项 arXiv 研究指出，大语言模型的 on-policy 蒸馏（OPD）不仅学习「如何分支」（考虑哪些候选 token），还学习「在哪里分支」（在何处保留推理路径），后者由序列的 next-token 熵序列即 entropy shape 刻画。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。