研究考察预训练容量与因果任务适配后性能的关系

Qi Xu 等作者在 arXiv 提交论文（arXiv:2610.33311），基于 Qwen 2.5 家族构建 CausalLLM 与 CausalGen 两个系统：前者用处理特定输出头估计标量潜在结果，后者用软前缀结合事实 SFT、反事实 SFT 和偏好对齐生成以处理为条件的文本或代码，考察预训练容量与因果任务适配后性能的关系。论文已被 NeurIPS 2026 Workshop「Transitioning from Pre-Training to Post-Training」接收。 作者称，由于仅使用两个小型骨干模型和三次重复实验，结果支持的是容量与适配对齐的假说，而非一般性的缩放规律或已证实的因果机制。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。