跳到正文
arXiv cs.AI· Emile Anand, Mohammed Rehan Parwani, Xinyuan Cao·· 1 天前AI 评分30

自适应多 token 预测 AMTP:推测视野该选多远

Adaptive Multi-Token Prediction: How far should we go?

AI 导读

arXiv 论文提出自适应多 token 预测(AMTP),把多 token 预测的视野选择形式化为在线控制问题,用验证反馈在每次生成前预测草稿接受概率并选出期望吞吐量最高的视野,无需重训练、不改动验证器。

来源:arXiv cs.AI · arxiv.org