arXiv cs.AI· Kaiyang Wan, Forrest Sheng Bao, Amin Ahmad, Yuxia Wang·2026-10-21 12:00· 1 天前AI 评分46

微调目标如何塑造 LLM 幻觉检测中的逐层信息

How Fine-Tuning Objectives Shape Layer-Wise Information in LLM Hallucination Detection

AI 导读

一项 arXiv 研究发现，在幻觉二分类检测中，分类头微调（cls）始终优于 LLM-as-Judge 的序列到序列（s2s）范式，因为 cls 学习出判别方向，使隐藏状态形成更清晰的两簇几何结构，而 s2s 依赖预训练语言建模头，表征更接近预训练骨干。

来源：arXiv cs.AI · arxiv.org