发布SlackBench:评测Agent协作处理职场沟通与代码仓库
热点事件持续更新
发布SlackBench:评测Agent协作处理职场沟通与代码仓库
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
研究团队发布 SlackBench 基准,评测 Agent 在需同时推理职场沟通和代码仓库状态的真实研究与工程工作流中的能力。基准基于真实学术项目的隐私保护重现,提供含 GitHub 仓库和 Google Docs、带多方对话与相应代码变更的可复现环境。 数据集包含 140 个查询,覆盖多源智能体搜索、对不可答或错误前提问题的弃答、目标导向摘要与长对话情境推断。团队对 33 个前沿模型和 Agent 框架进行评测:最佳系统得分约 80%,多数 Agent 得分低于 66%,表明仍有较大提升空间。数据集已公开。
AI 根据报道生成 · 1 小时前更新
最新进展11月5日 13:00
SlackBench 论文发布:基于真实代码仓库评测 Agent 的协作工作能力报道时间线
沿着报道,了解事件的不同侧面。
11月5日
- arXiv cs.AISlackBench 论文发布:基于真实代码仓库评测 Agent 的协作工作能力
研究者发布 SlackBench 基准,评测 Agent 在需要联合推理职场沟通与代码仓库状态的真实研究与工程工作流中的表现。基准基于真实学术项目的隐私保护重现,提供含 GitHub 仓库与 Google Docs 的可复现环境,包含 140 个查询,覆盖多源智能体搜索、对不可答或错误前提问题的弃答、目标导向摘要与长对话情境推断。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。