arXiv cs.AI· Sahil Kale·· 1 天前AI 评分33
超越校准：跨语言与本地化场景下 LLM 置信度的时间维度评估
Beyond Calibration: Temporal LLM Confidence Assessment Across Languages and Local Settings
AI 导读
一项 arXiv 研究将 LLM 置信度分为解题前的 FOK 与解题后的 JOL 两类信号，在两个前沿大语言模型、多推理领域、翻译版马拉地语基准及新构建的本地马拉地语事实问答基准上评估其可靠性。结果显示，成本更低的解题前信号校准较弱，解题后置信度认知对齐更强但推理成本更高；英语与马拉地语间校准趋势经翻译可较好迁移，但在本地化知识上明显退化，且模型幻觉答案在生成后仍保持持续偏高的置信度。
来源：arXiv cs.AI · arxiv.org