arXiv cs.AI· Jens Frankenreiter·· 1 天前AI 评分37
DECODEM:从公司组织文件中提取治理数据的 LLM 基准评测
DECODEM: Data Extraction from Corporate Organizational Documents via Enhanced Methods
AI 导读
一篇 arXiv 论文提出 DECODEM 基准,用于评测大语言模型能否从美国上市公司章程和细则中提取公司治理变量,数据来自 SEC 的 EDGAR 数据库并配有人工标注标签。结果显示,当前模型能以较高准确率提取多数治理变量,但对章程的提取准确率低于细则;各前沿模型表现相当,更复杂的提取流程并不能持续提升性能,但对效率导向模型可显著缩小与前沿模型的差距。
来源:arXiv cs.AI · arxiv.org