跳到正文
热点事件持续更新

决策模型与生成式LLM在医学选择题上的基准比较

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Oscar Freyer 等在 arXiv 发布论文(arXiv:2610.38448),在 1,273 道 MedQA 四选项题、纯文本条件下,比较了 13 个决策模型与 15 种生成式大语言模型配置。结果显示:决策模型准确率为 67.71%–89.08%,生成式配置为 78.32%–96.86%。成本与速度方面,Mercury Decide 的均值最终尝试成本最低(每千题 0.0069 美元),Clef Omni 的中位请求时长最短(0.291 秒)。

AI 根据报道生成 · 48 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月31日
  1. arXiv cs.AI
    医学选择题基准评测:13 个决策模型对比 15 种生成式大语言模型配置

    一项 arXiv 研究在 1,273 道 MedQA 四选项题上,用纯文本条件对比 13 个决策模型与 15 种生成式大语言模型配置。决策模型准确率 67.71%–89.08%,生成式配置为 78.32%–96.86%;Mercury Decide 均值最终尝试成本最低(每千题 USD 0.0069),Clef Omni 中位请求时长最短(0.291 秒)。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。