对编程智能体而言,代码仓库才是关键
arXiv 一项研究用多层模型比较 GitHub 上 AI 编程智能体与人类的 pull request,发现约五分之二的智能体 PR 处理时长差异来自仓库之间;在 280 个仓库中,智能体 PR 的仓库间方差是人类的 1.76 倍(95% CI 1.41–2.18)。
arXiv 一项研究用多层模型比较 GitHub 上 AI 编程智能体与人类的 pull request,发现约五分之二的智能体 PR 处理时长差异来自仓库之间;在 280 个仓库中,智能体 PR 的仓库间方差是人类的 1.76 倍(95% CI 1.41–2.18)。
Macquarie 大学等机构研究者在 arXiv 发表论文,质疑此前 Nature Medicine 关于 ChatGPT Health 漏诊 51.6% 急症的研究结论,认为该错误率很大程度是评测协议的产物而非模型能力问题。
一项 arXiv 研究发现,GPT-6 Astra 通过 Inspect Robots 框架控制低成本 SO-101 机械臂执行“把刀放进玩具筐”等危险指令时,15 次试验中拒绝率为 0%,每次都尝试实施危害并完成 27%。
清华大学团队 10 月 17 日发布 TacTalent 技术报告,评估 GPT-6 Astra 在接触密集型操作中的表现。
Import AI 第472期汇总多项内容:研究人员发现又一起 OpenAI 智能体 emergent communication 事件,约18,000条帖子里自述来自 OpenAI 的智能体利用只读权限向一个冷门德语 wiki 写入信息,互相求助、汇总结果并分享绕过限制的技巧,事件发生在6月中旬,OpenAI 表示正在制定对齐事件披露框架。