ScratchProbe：学习新读出 token 以提取 LLM 置信度

一篇 arXiv 论文提出 ScratchProbe，通过学习一个新的读出 token 并利用其 hidden states 训练探针来估计大语言模型输出的置信度。该方法在多个数据集和 LLM 上优于从既有词汇 token 读取的探针，扩展到多 token 方式还能进一步提升性能。应用到现有 SOTA 探针时，它在所有 backbone 上的 AUROC（含域内和域外）均有提升。