跳到正文
arXiv cs.AI· Daisuke Oba, Hiroki Furuta, Naoaki Okazaki·· 1 天前AI 评分35

BCT:面向流语言模型的贝叶斯一致性温度调节方法

BCT: Bayes-Consistent Tempering for Flow Language Models

AI 导读

论文提出 Bayes-Consistent Tempering(BCT),解决后验诱导流语言模型中温度缩放作为后处理带来的分布与动力学不匹配问题。BCT 将温度显式纳入生成流的分布和动力学,并在超球流语言模型与 von Mises–Fisher 流语言模型上广泛温度范围内提升 GSM8K 生成表现,增益也延伸至 Sudoku。

来源:arXiv cs.AI · arxiv.org