实证审计发现罕见病诊断LLM评测存在数据泄漏
热点事件持续更新
实证审计发现罕见病诊断LLM评测存在数据泄漏
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Jian Yang 等作者在 arXiv 发布实证审计论文，基于超过 60,000 例临床病例量化了增强型大语言模型（LLM）罕见病诊断评测中的数据泄漏问题。研究发现，先进 agentic 框架此前的高分部分来自评测伪象：实施严格的跨数据集隔离后，平均 Recall@1 从 54.3% 降至 40.3%（Hedges' g = 0.94），监督分类器外部准确率从 42.9% 跌至 16.7%。 作者称，据此提出了一个严格评测框架，将严格数据隔离协议与标准化基准测试防护措施相结合。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 12:00
审计大语言模型罕见病诊断评测中的数据泄漏与评测缺陷报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv cs.AI审计大语言模型罕见病诊断评测中的数据泄漏与评测缺陷
一项实证审计研究基于超过 60,000 例临床病例，量化了增强型大语言模型（LLM）罕见病诊断评测中的数据泄漏问题。重建先进 agentic 框架后发现，严格跨数据集隔离使平均 Recall@1 从 54.3% 降至 40.3%（Hedges' g = 0.94），监督分类器外部准确率从 42.9% 跌至 16.7%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。