评估大语言模型临床推理能力的量表全景:已有、缺失与需要组合的评估方法
A rubric landscape for evaluating clinical reasoning in large language models: what exists, what is missing, and what needs to be combined
AI 导读
一项结构性叙述综述梳理了大语言模型临床推理评估的现有工具,覆盖问题表征、时间综合、鉴别与管理推理、反事实推理、校准不确定性和推理忠实性六个维度。现有工具无一覆盖全部六个维度:问题表征与鉴别/管理推理覆盖较好,TIMER-Eval 针对时间综合,ER-Reason 评估序贯诊断信念更新,而忠实性最薄弱,仅有一项选择题因果消融研究。
来源:arXiv cs.AI · arxiv.org