自回归语言模型下基于 potentials 的期望估计方法
Estimating Great Expectations Under Autoregressive Language Models with Potentials
AI 导读
arXiv 论文提出用 potentials（前缀上的实值函数）改进自回归语言模型下测试泛函期望的估计精度，利用采样时顺带获得的 next-token 条件概率构造一族方差缩减估计器。在熵估计、水印检测和小概率事件估计等任务中，该方法在计算成本相当的情况下，相比 Monte Carlo 和重要性采样基线显著降低方差。
来源：arXiv cs.AI · arxiv.org