研究:LLM错误跨题目结构源于共享种子、提示词与答案字母偏好
热点事件持续更新
研究:LLM错误跨题目结构源于共享种子、提示词与答案字母偏好
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Izhar Ali 在 arXiv 论文(2607.20464,v2)中分析 LLM 错误间的跨题目结构来源:用题目相关矩阵特征值检验后,单模型独立抽样的答案没有可检测的结构,只有当一次评测中所有题目共享随机种子或 few-shot 提示词时才出现这种结构。 在覆盖 24 个模型的检验中,超出整体能力水平的最大结构是对答案字母的偏好:当选项被轮换时,结构跟随字母而非题目,且该结果依赖 Llama-3.2-1B 这一个模型;去除它之后只剩较小的超出量。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 12:00
LLM 错误中的跨题目结构从何而来:共享随机种子、共享提示词与答案字母偏好报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- arXiv cs.AILLM 错误中的跨题目结构从何而来:共享随机种子、共享提示词与答案字母偏好
一项 arXiv 研究用题目相关矩阵特征值检验 LLM 错误间的跨题目结构:单模型独立抽样的答案无可检测结构,只有当一次评测中所有题目共享随机种子或 few-shot 提示词时才出现。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。