研究者提出时间变异性分数追踪预训练知识习得

Chang Su 等研究者提出时间变异性分数（TVS），用基于不同年份网页快照训练的时点模型，量化知识条目在历年网络文本中的一致程度，以分析语言模型预训练中的知识获取动态。 基于 6 个开源模型家族和 6 个基准的评测显示，高 TVS 与低 TVS 条目早期学习速度相近，但高 TVS 条目在训练后期提升更快：预训练结束时，高 TVS 条目在 36 个模型-基准组合中的 34 个上领先，平均优势为 7.3 点机会归一化准确率。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。