跳到正文
Hugging Face Daily Papers· Pan Wang, Yihao Hu, Guangyuan Dong, Yitong Lin, Hang Wang, Zimi Liu, Zhihao Wen, Jianshe Li, Jiang-Ming Yang, Wei Wu, Yongqi Tong·· 3 天前AI 评分33

PAR:面向状态跟踪长度泛化的进度对齐循环方法

PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking

AI 导读

研究者提出进度对齐循环方法 PAR,训练循环语言模型第 k 次迭代的预测对齐前 k 步操作后的状态,并将循环状态重缩放到首轮范数。在 swap-S5 任务上,基于 Qwen2.5-0.5B、最多训练 32 步的模型在 512 步(16 倍训练长度)下达到 95.5% 平均全状态准确率,而同骨干上 RLT 为 55.7%、显式思维链仅 0.8%。消融显示去掉范数锚定后外推倍数降至 2.2 倍以下。

来源:Hugging Face Daily Papers · arxiv.org