CulturalRiddles:一个多文化谜语评测基准
CulturalRiddles 是一个由人工创作、社区协作完成的多文化谜语基准,覆盖 62 种文化、45 个国家、51 种语言,要求模型具备溯因与组合推理及文化特有知识。研究评测了 28 个 LLM 配置,结合自动评估与大规模人工评估,前沿模型在某些文化社区中准确率最高仅 22%。全部数据与代码已公开,并开放贡献渠道以扩展语言与文化覆盖。
CulturalRiddles 是一个由人工创作、社区协作完成的多文化谜语基准,覆盖 62 种文化、45 个国家、51 种语言,要求模型具备溯因与组合推理及文化特有知识。研究评测了 28 个 LLM 配置,结合自动评估与大规模人工评估,前沿模型在某些文化社区中准确率最高仅 22%。全部数据与代码已公开,并开放贡献渠道以扩展语言与文化覆盖。
arXiv 一项研究用多层模型比较 GitHub 上 AI 编程智能体与人类的 pull request,发现约五分之二的智能体 PR 处理时长差异来自仓库之间;在 280 个仓库中,智能体 PR 的仓库间方差是人类的 1.76 倍(95% CI 1.41–2.18)。
研究者发布 Africa-Papers,迄今最大的多领域泛非学术预训练语料库,包含 844,807 篇全文论文、101.5 亿 token、879 个 Parquet 分片,已在 Hugging Face Hub 的 AfriSpeech 组织下开源。