IndiaFinBench基准：LLM评测结果受评分规则影响
热点事件持续更新
IndiaFinBench基准：LLM评测结果受评分规则影响
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Rajveer Singh Pall 在 arXiv 发布论文，提出覆盖 SEBI 与 RBI 监管文本的 IndiaFinBench 基准，并对 12 个 LLM 进行零样本评测，结论是不同评分规则会改变模型排名：在严格字符串匹配与跨模型裁判两种规则下，模型排名无正相关（Spearman rho = -0.273）。 IndiaFinBench 含 406 道专家标注题目，覆盖监管解读、数值推理、矛盾检测与时序推理。
AI 根据报道生成 · 59 分钟前更新
最新进展10月28日 12:00
LLM 评测的评分规则敏感性：来自印度金融监管文本的证据报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.AILLM 评测的评分规则敏感性：来自印度金融监管文本的证据
一项 arXiv 研究用 406 题专家标注的 IndiaFinBench 基准（覆盖 SEBI 与 RBI 监管文本）对 12 个 LLM 在严格字符串匹配与跨模型裁判两种评分规则下进行零样本评测，发现两种规则下模型排名无正相关（Spearman rho = -0.273）。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。