跳到正文
arXiv cs.AI· Christine Park, Valerie Chen, Tim Dettmers·· 3 小时前精选AI 评分60

Synthetic Hospital:开放可验证、经医生校验的纵向 EHR 基准

Synthetic Hospital: An Open, Verifiable, Physician-Validated Longitudinal EHR Benchmark

AI 导读

Christine Park、Valerie Chen、Tim Dettmers 等发布 Synthetic Hospital,一个完全合成、可开放共享的纵向 EHR 基准,含 1,268 名纵向患者和 5,602 次就诊,全部事实锚定于 ICD-10-CM、SNOMED CT、LOINC 等标准本体,并可溯源至公开医学教育材料。

推荐理由

论文提供了开放可验证的纵向 EHR 基准,并给出 10 个模型与医生对比的具体差距数据。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:前沿语言模型很少用于临床工作流程,因为开发它们所需的真实的纵向基准非常稀缺。真实的电子健康记录(EHR)数据由于隐私、伦理或数据使用问题无法公开共享,而且由于病历只记录了临床医生所记录的内容,它也不包含可验证的真实标准答案。我们提出了 Synthetic Hospital,一个开放的、完全合成的、以事实为依据的纵向 EHR 基准,解决了公开共享和可验证真实标准答案这两大障碍。它完全基于公开的医学教育材料构建,不含任何受保护的健康信息,包含 1,268 名纵向患者和 5,602 次就诊记录,其中每个诊断、发现和时间关系均基于标准本体(ICD-10-CM、SNOMED CT、LOINC),并且具有可追溯至其来源医学教育材料的完整溯源链。Synthetic Hospital 通过一个模拟的医院记录系统提供,该系统镜像了真实的 EHR 基础设施(标准互操作性 API、基于角色的访问控制和函数调用接口)。在一项盲评中,医生区分其记录与真实患者病历的准确率接近随机水平(53%)。在 10 个前沿和开放模型中,没有一个接近上限:最好的模型重建患者纵向问题清单的严重程度加权 F1 为 0.73,与七位医生在匹配子集上的平均水平相当,但远低于其中最好者(0.89),并且在总结病历时会遗漏大约一半的临床相关发现。总体而言,这些结果表明 Synthetic Hospital 是对临床 AI 性能的一个困难且真实的测试。
评论: 29 页,2 幅图,12 张表
学科: 人工智能(cs.AI);数据库(cs.DB)
引用方式: arXiv:2609.30027 [cs.AI]
  (或 arXiv:2609.30027v2 [cs.AI] 为此版本)
  https://doi.org/10.48550/arXiv.2609.30027

通过 DataCite 获取 arXiv 签发的 DOI

提交历史

来自:Christine Park [查看邮件]
[v1] 2026 年 9 月 24 日 星期四 16:00:56 UTC(1,333 KB)
[v2] 2026 年 10 月 27 日 星期二 13:03:57 UTC(1,335 KB)

来源:arXiv cs.AI · arxiv.org