研究：给预训练模型加循环仅对0.8B小模型划算

Rhea Sanjay Sukthanker 和 Pashmina Cameron 发布论文（arXiv 2610.42030），在 Qwen3 和 Qwen3.5（0.8B–9B 参数）上评估向已预训练模型添加循环层的收益，结论是这种做法只对固定参数预算下的小模型划算。 实验中，只有 0.8B 的循环模型同时胜过两个基线；在 4B 和 9B 规模上，循环模型未能胜过不加循环训练的同一模型。循环的代价是每个 token 的推理成本变为原来的 (N+m)/N 倍，需要性能提升才能抵偿这笔额外算力。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。