研究者发布PersonaScienceBench科研Agent基准
热点事件持续更新
研究者发布PersonaScienceBench科研Agent基准
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者发布 PersonaScienceBench,一个用于评估科研 Agent 的基准,包含来自五个基准、四个科学领域的 200 个任务。基准引入带 persona 档案的模拟科研人员,Agent 只能通过对话获知研究者偏好,模拟者会提供上下文和反馈,而任务目标与评分标准保持固定。 作者团队在 18 种模型配置上比较任务表现、事实恢复与自我重复。据其分析(GPT 6 Astra),Agent 面对不同研究者画像会做出针对性的澄清和流程调整,即使最终得分相同,这些行为也可能不同。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 12:00
PersonaScienceBench:用多样化模拟科研人员评估科学智能体报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- arXiv cs.AIPersonaScienceBench:用多样化模拟科研人员评估科学智能体
研究者发布 PersonaScienceBench,包含来自五个基准、四个科学领域的 200 个任务,用带 persona 档案的模拟科研人员通过对话提供上下文和反馈,任务目标与评分保持固定。在 18 种模型配置上比较任务表现、事实恢复与自我重复,GPT 6 Astra 的分析显示智能体面对不同研究者画像会做出针对性澄清与流程调整,即使最终得分相同,这些行为也可能不同。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。