跳到正文

内容类型

评测基准 最新动态

模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。

2 条精选近 30 天 2 条共收录 57 条

更新

评测基准的精选

10月21日周三第 1–2 条
  1. Hugging Face Blog71

    Ai2 发布 FairStress 基准,揭示大模型公平决策中的隐性不对称

    Ai2 发布 FairStress 基准,测量大模型在涉及人口群体决策中超越最终选择的隐性公平问题,覆盖 300 个场景、扩展为超过 1300 万测试用例。实验发现模型更易在有利于少数群体的对抗性前缀下放弃正确答案,15 个模型的放弃正确答案差距平均为隐含身份 6.9 个百分点、显性标签 9.3 个百分点;对照 BBQ 表明测量偏差方向部分取决于评测方式。

    推荐理由:Ai2 官方技术报告,提出用对抗性前缀测试模型决策稳定性,并审计训练数据与九种去偏方法的效果。

10月15日周四
  1. Mistral AI62

    Mistral 发布首个时序基础模型家族 Timestral,209M 参数登顶三大公开基准

    Mistral 发布首个时序基础模型家族 Timestral,含 5M、28M、123M、209M 四种规格,最大 209M 模型在 GIFT-Eval、TIME 和 fev-bench 三大公开基准上排名第一,以约三分之二的参数量超过此前最优模型。

    推荐理由:官方给出了四个参数规模在 GIFT-Eval、TIME 和 fev-bench 上的排名与 CPU 延迟数据,读者可以据此评估时序预测选型。