跳到正文
热点事件持续更新

LEGAL-UQA乌尔都语宪法问答双语基准发布

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Faizan Faisal 等研究者在 arXiv 发布 LEGAL-UQA 基准:包含 619 组问答对,每组提供英语与乌尔都语双语的问题、参考答案及对应的巴基斯坦宪法原文段落。 评测将两个环节分开进行:在提供原文段落的条件下让模型用乌尔都语答题,以及从语料中检索题目对应的段落。结果显示,模型排名取决于答案相似度的度量方式;检索环节中简单词匹配的效果优于所测嵌入方法。 论文还指出自动裁判 JEV 与人工评分的一致率低于给所有答案满分的基础线,且审计发现部分参考答案遗漏了原文支持的信息。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. arXiv cs.AI
    LEGAL-UQA:面向乌尔都语使用者的宪法问答英乌双语平行基准

    arXiv 论文提出 LEGAL-UQA,一个包含 619 组问答对的英语-乌尔都语平行基准,题目关联巴基斯坦宪法条文,每组含双语问题、参考答案和原文段落。评测将答题与段落检索分开进行,发现模型排名取决于答案相似度的度量方式,简单词匹配检索效果优于所测嵌入方法;自动裁判 JEV 与人工评分的一致率低于给所有答案满分的基础线。审计还发现部分参考答案遗漏原文支持的信息。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。