arXiv cs.AI· Hongxiang Zhang, Yuan Tian, Tianyi Zhang·· 1 天前AI 评分40
ATAR：面向大语言模型的注意力对齐推理方法
Attention-Aligned Reasoning for Large Language Models
AI 导读
研究者提出 ATAR，一种利用推理结构引导 LLM 注意力的推理方法，解决长推理链中关键中间步骤和原始提示词被淹没、注意力不足的问题。实验显示 ATAR 在六个基准上超越 SOTA 方法，绝对提升最高达 15.39%；"非推理"模型借助 ATAR 在多数基准上达到与同规模推理模型相当甚至更好的表现。消融实验表明注意力对齐组件贡献显著，且提升在不同注意力引导后端下均保持稳定。
来源：arXiv cs.AI · arxiv.org