论文展示模拟环境中多轮强化学习训练提升语言模型精神科问诊能力

计算机科学 > 人工智能

arXiv:2610.40476 (cs)

作者：Samuel Schmidgall、Tim Strother、Alex Bijamov、Min Woo Sun、Anil Palepu、Akshay Goel、Ulysse Marteau-Ferey、Théo Moutakanni、Yubin Kim、Joseph Breda、Christina Chen、Justin Chen、Paul Jhun、Andrew Marshall、Sarah Montgomery-Taylor、Eun Kyoung Hong、Shashank Ravi、Kameron C. Black、David J. H. Wu、Austin Schoeffler、John Lyon Havlik、Elizabeth C. Stade、Jared Moore、Johannes C. Eichstaedt、Logan Pierce、Jeff Jopling、Johannes Thrul、Thomas H. McCoy、Neguine Rezaii、Mark S. Chen、Ellen E. Fitzsimmons-Craft、Shirley Wang、Desmond C. Ong、Katharina Schultebraucks、Torrey Creed、Bhavna Daryani、Aleksandra Faust、S. Sara Mahdavi、Caroline Figueroa、Eric Lin、Kate H. Bentley、Ernest Lim、Zhihan Jiang、Xuhai "Orson" Xu、Daniel McDuff、John Torous、Yun Liu、Po-Hsuan Cameron Chen、Mike Schaekermann、Joelle Barral、Alvin Rajkomar、Tao Tu、Lin Yang、Isaac Galatzer-Levy、David Racz、Valentin Liévin

查看 PDF HTML（实验性）

摘要：在精神科临床实践中，临床接诊访谈仍然是最主要的诊断工具，要求临床医生在建立信任关系的同时理清复杂、相互重叠的症状表现。在本研究中，我们展示了在仿真环境中进行多轮强化学习（RL）可以提升语言模型在结构化文本式精神科接诊任务上的表现，涵盖病史采集、鉴别诊断和初始管理规划。在一项随机、双盲交叉研究中（$N = 60$ 组匹配情景对，120 次接诊），我们将经 RL 训练的智能体与其使用完全相同提示的基础模型进行对比：32 名持有执业资格的精神科医生扮演标准化病人，另一个由 15 名独立执业精神科医生组成的评审组对去标识化的转录文本进行评分。训练后的智能体在 76.7% 的匹配情景对中优于基础模型（$p < 0.0001$），在改编后的临床考核评分表（$d_z = 0.77$，$p < 0.0001$）、以患者为中心的沟通（82.0% 对 65.2%，$p < 0.001$）以及鉴别诊断的恰当性（68.3% 对 33.3%，$p < 0.001$）方面均有所提升。在 127 个经精神科医生验证的模拟接诊情景中，训练后的智能体在临床评分表上的得分几乎达到基础模型的两倍（0.706 对 0.379；综合奖励 0.564 对 0.294，$p < 0.0001$）。为了系统地探查会话安全性，我们建立了两个德尔菲共识分类体系，分别针对临床安全风险和关系能力，并由此衍生出 256 个具有挑战性的对抗性病例表现；我们发现，在仿真环境中进行训练使对急性安全风险的分诊不足减少了一半以上（12.9% 对 30.5%，$p < 0.0001$）。因此，仿真环境为精神科会话智能体的训练和压力测试提供了一个可控的试验平台，其成果可以迁移到由精神科医生扮演的接诊场景中，尽管残余差距仍需要安全防护措施和临床医生的监督。

评论：	76 页，8 幅图，15 张表（正文 27 页，主要插图 7 幅，主要表格 2 张）
学科：	人工智能 (cs.AI); 计算与语言 (cs.CL)
ACM 分类：	I.2.7; J.3
引用格式：	arXiv:2610.40476 [cs.AI]
	（本版本请引用 arXiv:2610.40476v1 [cs.AI]）
	https://doi.org/10.48550/arXiv.2610.40476 通过 DataCite 获取 arXiv 签发的 DOI

提交历史

来自：Valentin Liévin [查看邮件]
[v1] 2026 年 10 月 29 日星期四 17:10:32 UTC（6,075 KB）

当前浏览上下文：

cs.AI

切换浏览范围：

文献与引用工具

与本文相关的代码、数据和媒体

演示

arXivLabs：与社区合作者共同开展的实验性项目

arXivLabs 是一个框架，允许合作者直接在我们的网站上开发和分享新的 arXiv 功能。

与 arXivLabs 合作的個人及机构均已认同并接受我们关于开放性、社区、卓越和用户数据隐私的价值观。arXiv 致力于这些价值观，并只与遵循这些价值观的伙伴合作。

有一个能为 arXiv 社区增加价值的项目构想吗？进一步了解 arXivLabs。