跳到正文
今天10月22日周四2 条
  1. Hugging Face Daily Papers39

    CulturalRiddles:一个多文化谜语评测基准

    CulturalRiddles 是一个由人工创作、社区协作完成的多文化谜语基准,覆盖 62 种文化、45 个国家、51 种语言,要求模型具备溯因与组合推理及文化特有知识。研究评测了 28 个 LLM 配置,结合自动评估与大规模人工评估,前沿模型在某些文化社区中准确率最高仅 22%。全部数据与代码已公开,并开放贡献渠道以扩展语言与文化覆盖。

10月21日周三
  1. arXiv cs.AI59

    BreakingWeb 通过受控环境干预构造更难的浏览器智能体任务

    研究者提出 BreakingWeb,通过可控修改网站内容、服务器状态或渲染页面把已有任务变难,包含 7 个自托管网站上的 519 个任务对。六款浏览器智能体在干预下平均下降 22.9 个百分点,人类仅降 10.0 点;智能体 75% 的失败是信念失败,即在未完成所需改动时宣布任务完成。

  2. arXiv cs.AI37

    HSPR:通过分层后验推理恢复软件智能体基准测试分数

    研究者提出分层分数后验恢复方法 HSPR,用历史响应因子与带不确定性的组成功率,结合后验引导的自适应任务选择,以小预算估计软件智能体在完整基准上的分数。在 SWE-bench 系列四个任务库上以 10% 任务预算评测时,HSPR 在其中三个任务库取得最低平均绝对误差(MAE),四个任务库均取得最低最大绝对误差(MaxErr),且代码与项目资源已公开。

  3. arXiv cs.AI49

    FDE-Bench:评估 AI 智能体端到端交付模糊真实业务需求的新基准

    研究者推出 FDE-Bench,首个基于真实客户项目构建的基准,用于评估 AI 智能体在需交互式需求澄清与迭代优化的端到端交付任务上的表现。基准包含 49 个涵盖组合优化与机器学习的案例,智能体需从模拟客户处挖掘缺失需求,并由专属评估器按客户验收标准打分。

  4. arXiv cs.AI35

    PReMISE:将策略评分标准作为 LLM 评测裁判的测量规范

    论文提出 PReMISE 框架,基于成对人类偏好数据自动发现策略级评分标准集,并从结构充分性、可靠性、偏好契合度和对抗鲁棒性四个维度审计 LLM 裁判所用评分标准。研究引入偏好排序选择将裁判准确率从 65.0% 提升至 68.6%,可靠性约束优化将 exploit 回复获高分比例从 46.4% 降至 36.0%,且裁判间一致性基本不变(α=.531→.519)。

  5. arXiv cs.AI49

    Agents-as-Peers:以多智能体同行互评实现偏差可控的 LLM 评测

    Agents-as-Peers 是一种分布式 LLM 评测协议:每个智能体生成任务、作答并互评同伴答案,不设特权评测者,自我评分不计入排名。在 12 个 LLM、420 道智能体生成问题的实例中,每个 regime 聚合 55,440 条非自我同伴判断,测得自评偏高、可见身份影响分数、首个固定答题位得分比打乱基线高 0.39 分等偏差。

  6. arXiv cs.AI41

    事实回忆中的“指令税”:基座模型可胜过其指令微调版本

    该论文介绍 AKBC LM-KBC 2026 共享任务的解决方案,在官方榜单取得 0.6836 分,超过 0.2964 基线一倍以上。在不使用检索和微调、参数上限 32B 的条件下,基座模型用文本补全提示得 0.6836,而指令微调版本经聊天界面仅得 0.5681,作者称之为“指令税”。方案用训练集示例提示基座模型,生成 64–256 个输出并保留重复项,再针对不同关系做两项专门处理。

  7. arXiv cs.AI31

    ABACUS:评估图像编辑模型在场景保持下的对象类别与计数能力基准

    研究者提出 ABACUS,一个针对指令式图像编辑模型数值编辑能力的基准,用于评估模型在保持场景不变的前提下增、删或改变指定数量对象的能力。该协议无需 VLM 打分,基于 panoptic 真值和检测器共识在实例级验证编辑结果。对主流图像编辑模型的评测显示,数值编辑失败随场景复杂度和对象数量增加而显著加剧。

  8. arXiv cs.AI41

    超越标量排行榜:多目标 LLM 竞技场中识别 Pareto 前沿的自适应采样方法 VB-EGE

    arXiv 论文提出 VB-EGE,一种固定置信度的自适应采样算法,用于在竞技场式评测中以尽可能少的成对比较识别处于 Pareto 前沿的 LLM。在多目标 Bradley-Terry 模型下,该算法能以高概率返回正确的 Pareto 前沿,并给出依赖实例的样本复杂度上界,证明其在对数因子内 minimax 最优。

  9. arXiv cs.AI44

    DIVE 基准:评估连续流中带视觉参与的全双工交互

    研究者推出 DIVE 基准,用于评估多模态大语言模型在连续多模态流中的全双工交互与视觉参与能力,包含主动介入、持续参与和交互协调三大场景共六项任务,覆盖 525 个带精细人工标注的音视频样本。实验显示,主流实时模型平均响应延迟已低于 1 秒,但平均窗口响应率最高仅 53.77%,且根据新到达信息调整进行中回复仍然困难。

  10. arXiv cs.AI41

    TriGeoBench:带图形与 TikZ 的多模态数学几何基准

    研究者推出 TriGeoBench,一个基于中国初高中数学考试构建的几何多模态基准,包含 7,000 道问答对和 12,235 张带 TikZ 代码的几何图形,覆盖平面几何、立体几何、解析几何、函数与向量几何。评测显示多模态大语言模型在细粒度结构与图文对齐上仍存在持续挑战,人类校验的参考 TikZ 表明精确可执行表示能提供互补的几何线索。

  11. arXiv cs.AI49

    ReuF2F:基于形式化本科研究问题评测编程智能体的 Lean 4 基准

    ReuF2F 是一个 Lean 4 基准,从 REU 项目收集 244 个形式化的入门级开放研究问题,用于评估编程智能体在 Lean 中端到端解决开放问题的能力。评测将问题及其逻辑否定放入 Docker 容器中的 Lean 项目,并基于 mini-SWE-agent 构建了统一测试框架 Leanimum-agent。结果显示表现最好的模型也只解决约 40% 的问题,仍有较大提升空间。

  12. Hugging Face Daily Papers32

    MMEnterprise-Bench:评估企业智能体处理演化多模态记录的能力

    研究者推出 MMEnterprise-Bench 基准,包含 1,613 道基于模拟协作项目中演化多模态记录的问题,覆盖证据推理、冲突消解与不可回答三类任务。对 10 个专有和开源多模态 LLM 的评测显示,即使最强模型在证据存在跨来源或时间冲突、或跨越多张图像时仍表现不佳。增大检索预算或使用更大检索器能提升证据召回,但不必然带来更高的答案准确率。

  13. Hugging Face Blog71

    Ai2 发布 FairStress 基准,揭示大模型公平决策中的隐性不对称

    Ai2 发布 FairStress 基准,测量大模型在涉及人口群体决策中超越最终选择的隐性公平问题,覆盖 300 个场景、扩展为超过 1300 万测试用例。实验发现模型更易在有利于少数群体的对抗性前缀下放弃正确答案,15 个模型的放弃正确答案差距平均为隐含身份 6.9 个百分点、显性标签 9.3 个百分点;对照 BBQ 表明测量偏差方向部分取决于评测方式。

    推荐理由:Ai2 官方技术报告,提出用对抗性前缀测试模型决策稳定性,并审计训练数据与九种去偏方法的效果。

10月20日周二
  1. Hugging Face Daily Papers57

    Agent4Sci 测试床发布:前沿智能体在科学 ML 基准上的表现与局限

    论文提出 Agent4Sci,一个衡量前沿编程智能体能否改进科学 ML 基准已发表最优模型的长程测试床,覆盖 11 个领域共 20 个基准。Claude Opus 平均相对提升 10.4%,但增益几乎全部来自常规 ML 工程技巧而非研究级洞察,并呈现新颖性误判、资源利用不足和快速坍缩为局部工程扫参三类局限。

  2. Hugging Face Daily Papers42

    StreamEval:交互式流式视频生成模型评测基准

    研究者推出 StreamEval,一个面向交互式流式视频生成的统一基准,涵盖 avatar 对话、avatar 表演、世界生成、指令编辑和参考编辑五类任务。基准包含 300 个时长 15-300 秒的脚本化测试用例,从任务执行、状态一致性、视觉保真度和视听协调四个维度、十项指标按 0-100 分评估。

10月15日周四
  1. Mistral AI62

    Mistral 发布首个时序基础模型家族 Timestral,209M 参数登顶三大公开基准

    Mistral 发布首个时序基础模型家族 Timestral,含 5M、28M、123M、209M 四种规格,最大 209M 模型在 GIFT-Eval、TIME 和 fev-bench 三大公开基准上排名第一,以约三分之二的参数量超过此前最优模型。

    推荐理由:官方给出了四个参数规模在 GIFT-Eval、TIME 和 fev-bench 上的排名与 CPU 延迟数据,读者可以据此评估时序预测选型。