纽约大学团队审计113项社会世界模型评估研究

纽约大学Denglin Jiang与Annie Wang发表一项被NeurIPS 2026 FMTS Workshop接收的研究，审计1999至2026年间的113篇社会世界模型评估文献，结论是现有评测很少直接检验系统对他人响应的预测能力。 审计发现，113篇中仅9篇的主评测测量真实人对系统或实验者所选动作的响应，仅2篇同时比较显式响应预测与实际响应；另对25篇语言模型论文的全文检查未发现符合这些条件的实验。研究并提出一个分离上述问题的单步谈判实验。 作者说明，这些发现描述的是被审计的样本，不能直接推断整个领域该评测缺口的普遍程度。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。