CulturalRiddles：一个多文化谜语评测基准
CulturalRiddles 是一个由人工创作、社区协作完成的多文化谜语基准，覆盖 62 种文化、45 个国家、51 种语言，要求模型具备溯因与组合推理及文化特有知识。研究评测了 28 个 LLM 配置，结合自动评估与大规模人工评估，前沿模型在某些文化社区中准确率最高仅 22%。全部数据与代码已公开，并开放贡献渠道以扩展语言与文化覆盖。
#评测/基准
Hugging Face Daily PapersAI 评分3939
arXiv cs.AIAI 评分5959 BreakingWeb 通过受控环境干预构造更难的浏览器智能体任务
研究者提出 BreakingWeb，通过可控修改网站内容、服务器状态或渲染页面把已有任务变难，包含 7 个自托管网站上的 519 个任务对。六款浏览器智能体在干预下平均下降 22.9 个百分点，人类仅降 10.0 点；智能体 75% 的失败是信念失败，即在未完成所需改动时宣布任务完成。
arXiv cs.AIAI 评分4343 OPIS：面向视频世界模型多目标记忆的输入锚定基准
研究者推出 OPIS，一个以初始观测中的固定目标实例为锚点的输入锚定基准，用于评估视频世界模型的多目标记忆能力。数据集包含 500 个案例，覆盖真实世界、具身机器人和游戏世界领域，为 12,672 个刚体、铰接和可形变实例提供密集目标级标注。
arXiv cs.AIAI 评分3434 双重差分在受限评分量表上可人为制造效应：一项预注册的 LLM-judge 审计
一项 NeurIPS 2026 NewInML Workshop 接收的预注册审计研究以闭式推导证明：当评分量表有界时，两回答共同经历的严重度偏移会因量表上下界衰减不均而伪造成差异中的差异交互效应。
arXiv cs.AIAI 评分4747 VibeTraining-Bench：面向迭代系统改进的数据-训练器-推理框架协同设计基准
arXiv 论文提出 VibeTraining-Bench，评估智能体联合优化训练数据、训练器与推理框架的跨组件协同设计能力，任务覆盖终端操作、软件工程、多轮工具使用和数学推理，并设置测试数据隔离、独立容器和网络限制三重防作弊机制。
arXiv cs.AIAI 评分3737 HSPR：通过分层后验推理恢复软件智能体基准测试分数
研究者提出分层分数后验恢复方法 HSPR，用历史响应因子与带不确定性的组成功率，结合后验引导的自适应任务选择，以小预算估计软件智能体在完整基准上的分数。在 SWE-bench 系列四个任务库上以 10% 任务预算评测时，HSPR 在其中三个任务库取得最低平均绝对误差（MAE），四个任务库均取得最低最大绝对误差（MaxErr），且代码与项目资源已公开。
arXiv cs.AIAI 评分5959 AM-Bench：面向智能体失准的统一分类与评测基准
研究团队提出 AM-Bench，一个基于欺诈三角框架、覆盖七个行业 35 个场景的智能体失准评测基准，沿感知威胁、感知机会和推理三个维度构建评测与检测系统。
arXiv cs.AIAI 评分4949 FDE-Bench：评估 AI 智能体端到端交付模糊真实业务需求的新基准
研究者推出 FDE-Bench，首个基于真实客户项目构建的基准，用于评估 AI 智能体在需交互式需求澄清与迭代优化的端到端交付任务上的表现。基准包含 49 个涵盖组合优化与机器学习的案例，智能体需从模拟客户处挖掘缺失需求，并由专属评估器按客户验收标准打分。
arXiv cs.AIAI 评分3939 AIMO Interpretability Challenge：基于模型内部机制区分稳健与虚假数学推理的竞赛
研究者提出 AIMO Interpretability Challenge，一项基于模型内部机制区分前沿数学大语言模型稳健推理与虚假推理的竞赛，已被 NeurIPS 2026 接收为竞赛项目。
arXiv cs.AIAI 评分3535 PReMISE：将策略评分标准作为 LLM 评测裁判的测量规范
论文提出 PReMISE 框架，基于成对人类偏好数据自动发现策略级评分标准集，并从结构充分性、可靠性、偏好契合度和对抗鲁棒性四个维度审计 LLM 裁判所用评分标准。研究引入偏好排序选择将裁判准确率从 65.0% 提升至 68.6%，可靠性约束优化将 exploit 回复获高分比例从 46.4% 降至 36.0%，且裁判间一致性基本不变（α=.531→.519）。
arXiv cs.AIAI 评分4949 Agents-as-Peers：以多智能体同行互评实现偏差可控的 LLM 评测
Agents-as-Peers 是一种分布式 LLM 评测协议：每个智能体生成任务、作答并互评同伴答案，不设特权评测者，自我评分不计入排名。在 12 个 LLM、420 道智能体生成问题的实例中，每个 regime 聚合 55,440 条非自我同伴判断，测得自评偏高、可见身份影响分数、首个固定答题位得分比打乱基线高 0.39 分等偏差。
arXiv cs.AIAI 评分3535 Code2Video-Compass：覆盖 T2V、I2V 与 V2V 的通用代码式视频生成综合基准
研究者推出通用代码式视频生成基准 Code2Video-Compass，覆盖文本到视频（T2V）、图像到视频（I2V）和视频到视频（V2V）三类设定。基准包含 2,104 个任务，横跨 10 个类别、24 个子类型和三个复杂度维度，并采用 12 项客观指标与 5 项主观指标的双层评测框架。
arXiv cs.AIAI 评分4141 事实回忆中的“指令税”：基座模型可胜过其指令微调版本
该论文介绍 AKBC LM-KBC 2026 共享任务的解决方案，在官方榜单取得 0.6836 分，超过 0.2964 基线一倍以上。在不使用检索和微调、参数上限 32B 的条件下，基座模型用文本补全提示得 0.6836，而指令微调版本经聊天界面仅得 0.5681，作者称之为“指令税”。方案用训练集示例提示基座模型，生成 64–256 个输出并保留重复项，再针对不同关系做两项专门处理。
arXiv cs.AIAI 评分2929 CountVideoBench：评估视频语言模型物体计数预测偏差的新基准
研究者推出 CountVideoBench，包含 2,600 段合成视频、覆盖 [5, 50] 区间 26 个基数（各 100 段），用于诊断视频语言模型的物体计数偏差。
arXiv cs.AIAI 评分3131 ABACUS：评估图像编辑模型在场景保持下的对象类别与计数能力基准
研究者提出 ABACUS，一个针对指令式图像编辑模型数值编辑能力的基准，用于评估模型在保持场景不变的前提下增、删或改变指定数量对象的能力。该协议无需 VLM 打分，基于 panoptic 真值和检测器共识在实例级验证编辑结果。对主流图像编辑模型的评测显示，数值编辑失败随场景复杂度和对象数量增加而显著加剧。
arXiv cs.AIAI 评分4141 超越标量排行榜：多目标 LLM 竞技场中识别 Pareto 前沿的自适应采样方法 VB-EGE
arXiv 论文提出 VB-EGE，一种固定置信度的自适应采样算法，用于在竞技场式评测中以尽可能少的成对比较识别处于 Pareto 前沿的 LLM。在多目标 Bradley-Terry 模型下，该算法能以高概率返回正确的 Pareto 前沿，并给出依赖实例的样本复杂度上界，证明其在对数因子内 minimax 最优。
arXiv cs.AIAI 评分2828 INCARBench：评估大语言模型为 VASP 生成 INCAR 参数的科学配置基准
研究者推出 INCARBench 基准，通过配置生成与修复两类任务评估大语言模型为 Vienna Ab initio Simulation Package（VASP）编写 INCAR 输入参数的能力。
arXiv cs.AIAI 评分2828 衡量 AI 生成辩论中的价值观表达与组织方式：arXiv 新研究提出诊断性指标框架
一篇 arXiv 论文提出用于比较人类参考辩论与 AI 生成辩论中价值表达和价值组织的诊断性指标框架，基于 Schwartz 基本价值理论，在话语、立场和整场辩论等多个层级上度量价值覆盖、对齐、扩散与跨轮动态。
arXiv cs.AIAI 评分3535 RTL 修复基准究竟在测什么？——RTLRepairBench 构建与评测偏差审计
一篇 arXiv 论文构建了 RTL 修复评测体系：含 5,784 对（broken, fixed）训练数据的 RTLRepairDataset、459 个留出用例的 RTLRepairBench（374 个语法变异、85 个行为变异）及支持仿真与形式等价的评测框架。
arXiv cs.AIAI 评分4444 DIVE 基准：评估连续流中带视觉参与的全双工交互
研究者推出 DIVE 基准，用于评估多模态大语言模型在连续多模态流中的全双工交互与视觉参与能力，包含主动介入、持续参与和交互协调三大场景共六项任务，覆盖 525 个带精细人工标注的音视频样本。实验显示，主流实时模型平均响应延迟已低于 1 秒，但平均窗口响应率最高仅 53.77%，且根据新到达信息调整进行中回复仍然困难。
arXiv cs.AIAI 评分4242 给模型一根手指：从儿童计数发展视角评测视觉语言模型的计数能力
一项 arXiv 研究借鉴儿童借助手指点物学会计数的发展规律，用无智能的标注图像工具构建免训练 agent 循环，评测 9 个视觉语言模型在 682 张图片、7 种测试条件下的计数行为。
arXiv cs.AIAI 评分4141 TriGeoBench：带图形与 TikZ 的多模态数学几何基准
研究者推出 TriGeoBench，一个基于中国初高中数学考试构建的几何多模态基准，包含 7,000 道问答对和 12,235 张带 TikZ 代码的几何图形，覆盖平面几何、立体几何、解析几何、函数与向量几何。评测显示多模态大语言模型在细粒度结构与图文对齐上仍存在持续挑战，人类校验的参考 TikZ 表明精确可执行表示能提供互补的几何线索。
arXiv cs.AIAI 评分3636 TxnQA：面向交易事件序列的分析推理与证据溯源基准
TxnQA 是一个针对商户交易历史分析问答的基准，包含 27 个任务族（81 个模板）和 5 场景欺诈风险推理套件，答案由程序化计算。对 6 个 LoRA 适配的开源权重模型评测显示，Gemma-4-31B-IT 与 Qwen3-8B 的 E2E 得分分别为 0.867 和 0.816，被测 MoE checkpoint 仅 0.632-0.713。
arXiv cs.AIAI 评分4747 EGI-BENCH：企业级通用智能评测套件发布
Salesforce 等机构的研究者发布 EGI-BENCH，一个统一的企业级 LLM 智能体评测套件，整合 CRMARENA、HERB、MCP-UNIVERSE 等 8 个基准，提供单一命令行界面和 quick/deep 两种运行预算模式，并定义了 M1-M6 六维 EGI 分数。
arXiv cs.AIAI 评分4949 ReuF2F：基于形式化本科研究问题评测编程智能体的 Lean 4 基准
ReuF2F 是一个 Lean 4 基准，从 REU 项目收集 244 个形式化的入门级开放研究问题，用于评估编程智能体在 Lean 中端到端解决开放问题的能力。评测将问题及其逻辑否定放入 Docker 容器中的 Lean 项目，并基于 mini-SWE-agent 构建了统一测试框架 Leanimum-agent。结果显示表现最好的模型也只解决约 40% 的问题，仍有较大提升空间。
Hugging Face Daily PapersAI 评分3535 EvaOmni：一个证据锚定的音视频推理评测基准
EvaOmni 是一个证据锚定的音视频推理评测基准，包含 392 个视频和 1,027 条纯人工标注的问答对，覆盖 15 项能力和检索定位、基础理解、复杂推理三个层级。
Hugging Face Daily PapersAI 评分4242 DecisionPivot：面向 LLM 系统决策模型的诊断基准
DecisionPivot 是一个诊断基准，包含 48 个任务、40,033 个条目、七种决策角色，用于评估 LLM 系统中负责路由、护栏与输出验证的决策模型。
Hugging Face Daily PapersAI 评分3232 MMEnterprise-Bench：评估企业智能体处理演化多模态记录的能力
研究者推出 MMEnterprise-Bench 基准，包含 1,613 道基于模拟协作项目中演化多模态记录的问题，覆盖证据推理、冲突消解与不可回答三类任务。对 10 个专有和开源多模态 LLM 的评测显示，即使最强模型在证据存在跨来源或时间冲突、或跨越多张图像时仍表现不佳。增大检索预算或使用更大检索器能提升证据召回，但不必然带来更高的答案准确率。
Hugging Face Blog精选AI 评分7171 Ai2 发布 FairStress 基准，揭示大模型公平决策中的隐性不对称
Ai2 发布 FairStress 基准，测量大模型在涉及人口群体决策中超越最终选择的隐性公平问题，覆盖 300 个场景、扩展为超过 1300 万测试用例。实验发现模型更易在有利于少数群体的对抗性前缀下放弃正确答案，15 个模型的放弃正确答案差距平均为隐含身份 6.9 个百分点、显性标签 9.3 个百分点；对照 BBQ 表明测量偏差方向部分取决于评测方式。
推荐理由：Ai2 官方技术报告，提出用对抗性前缀测试模型决策稳定性，并审计训练数据与九种去偏方法的效果。
Hugging Face Daily PapersAI 评分5757 Agent4Sci 测试床发布：前沿智能体在科学 ML 基准上的表现与局限
论文提出 Agent4Sci，一个衡量前沿编程智能体能否改进科学 ML 基准已发表最优模型的长程测试床，覆盖 11 个领域共 20 个基准。Claude Opus 平均相对提升 10.4%，但增益几乎全部来自常规 ML 工程技巧而非研究级洞察，并呈现新颖性误判、资源利用不足和快速坍缩为局部工程扫参三类局限。
Hugging Face Daily PapersAI 评分4242 StreamEval：交互式流式视频生成模型评测基准
研究者推出 StreamEval，一个面向交互式流式视频生成的统一基准，涵盖 avatar 对话、avatar 表演、世界生成、指令编辑和参考编辑五类任务。基准包含 300 个时长 15-300 秒的脚本化测试用例，从任务执行、状态一致性、视觉保真度和视听协调四个维度、十项指标按 0-100 分评估。
机器之心AI 评分5050 PhAI Labs 等机构提出 DiscoveryRSI，让科研 Agent 从研究假设中递归自我改进
PhAI Labs 联合 16 个机构、23 位作者提出 DiscoveryRSI，一套面向科学发现的递归自我改进范式，论文、代码与模型已公开（https://arxiv.org/abs/2610.23839）。
新智元AI 评分7373 南京大学与UIUC研究动态并发Coding Agent收益与28种失败模式
南京大学和UIUC研究人员对Codex、Claude Code、Kimi Code三种Coding Agent开展大规模配对实验，覆盖354个任务、2124次执行、约112亿Token，分析动态并发是否有效。
Import AIAI 评分4040 Import AI 475：群体智能体扩展、Google DeepMind 水印合成生物学与 AI 科学经济
Toby Ord 发文分析 AI 智能体群体（swarm）的扩展规律，指出 4 个智能体的群体总 token 需求约为单智能体两倍，但并行运行可将任务时间缩短一半；智能体数量扩 10 倍的收益仅为 10λ（约 3x 到 5x），存在类似人类团队的“踩脚”递减效应。