arXiv cs.AI· Shailesh Rana·· 1 天前AI 评分55
The Shape of Wisdom：语言模型如何在内部状态中收敛到同一答案
The Shape of Wisdom: How Language Models Converge on an Answer
AI 导读
arXiv 论文让 Llama-3.1-8B、Qwen2.5-7B、Gemma-2-9B 和 Llama-3.2-1B 回答 2,256 个有重复答案的事实性问题，发现同答案的问题在各层收敛到状态空间的共享区域即答案质心。答案可读性在网络深度 47%-71% 的某一层跳变；跳变后将错误答案状态移向正确质心可使模型在 83%-97% 的情形给出正确答案，随机移动仅 2%-4%。
来源：arXiv cs.AI · arxiv.org