CogBattery评测54个开源模型认知行为
热点事件持续更新
CogBattery评测54个开源模型认知行为
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Dengzhe Hou 等研究者发布 CogBattery 基准，在 13 个认知范式的文本改编任务上评测 54 个开源权重语言模型，并逐条件与任务来源研究的人类数据对比。 结果显示：模型与人类相似，对 n-back lures 反应更强，但在普通非目标上产生更多虚报；多数模型区分正确与错误答案的信心校准能力弱于人类。模型得分呈两个维度，第一维度与规模密切相关，但更大模型并不总是更接近人类表现。
AI 根据报道生成 · 2 小时前更新
最新进展11月3日 13:00
CogBattery：基于人类参照的语言模型认知任务行为与结构评测报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv cs.AICogBattery：基于人类参照的语言模型认知任务行为与结构评测
arXiv 论文提出 CogBattery 基准，在 13 个认知范式的文本改编任务上评测 54 个开源权重语言模型，并与各来源研究的人类数据逐条件对比。结果显示，模型虽像人类一样对 n-back lures 反应更强，却在普通非目标上产生更多虚报，多数模型的信心区分正确与错误答案的能力弱于人类，且模型得分呈两个维度：第一维度与规模密切相关，但更大模型并不总是更接近人类。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。