arXiv cs.AI· Zihan Chen, Di Zhu, Lei Nico Zheng·· 1 天前AI 评分50
审计递归自我改进(RSI)研究:114 篇论文的评估证据分析
Auditing the Product, Not the Recursion: The Evaluation Evidence Behind Recursive Self-Improvement Claims
AI 导读
一项 arXiv 研究对 114 篇递归自我改进(RSI)相关研究做全文编码,其中 90 篇自称 RSI 系统。结果显示,60% 的 RSI 研究在未用于选择的任务上做评估,仅 22% 审计两次及以上完整循环的重跑;在 26 篇声称改进流程更好的研究中,只有 4 篇在相同起始产物和匹配预算下比较前后流程。研究支持将每项声明与所需评估设计关联的报告标准。
来源:arXiv cs.AI · arxiv.org