研究者提出Conceptizer：在下一个词预测之外为语义提供奖励

Haoran Zheng 与 Chen Shani 在 arXiv 发布论文，提出 Conceptizer 训练框架，在下一个词预测（NTP）之外为"语义"提供奖励。该框架使用约 9K 个由上下文同义词构建的概念作为含义单元，不增加模型参数。 论文称，将该框架应用于 3 个 1B-8B 参数规模的模型家族后，Conceptizer 在概念目标位置取得最低的 held-out NTP 困惑度，优于全部 3 个基线；同时提升知识与情感任务的下游表现，并在常识任务上保持相当水平。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。