Ai2 发布 FairStress 基准,揭示大模型公平决策中的隐性不对称
Ai2 发布 FairStress 基准,测量大模型在涉及人口群体决策中超越最终选择的隐性公平问题,覆盖 300 个场景、扩展为超过 1300 万测试用例。实验发现模型更易在有利于少数群体的对抗性前缀下放弃正确答案,15 个模型的放弃正确答案差距平均为隐含身份 6.9 个百分点、显性标签 9.3 个百分点;对照 BBQ 表明测量偏差方向部分取决于评测方式。
推荐理由:Ai2 官方技术报告,提出用对抗性前缀测试模型决策稳定性,并审计训练数据与九种去偏方法的效果。