研究审计Text-to-SQL置信度评分：区分对错能力弱
热点事件持续更新
研究审计Text-to-SQL置信度评分：区分对错能力弱
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Raghu Venkat 与 Tricha Anjali 发布论文，审计某生产级 Text-to-SQL 系统的置信度分数设计，结论是该分数难以可靠判断答案对错：在 BIRD dev 的 1,534 个问题上，GPT-5.1 每题采样五次，分数区分对错的 AUROC 仅 0.624，并会拦截 35.7% 的正确答案。 研究者随后在 Spider 基准上按预注册规则做了验证。论文中的答案标签由模型判定；一次 10 个答案的人工试点未发现分歧，但完整的人工审计尚未进行。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv cs.AI受治理的置信度分数能判断 Text-to-SQL 答案的对错吗？基于 BIRD 的探索性研究与 Spider 上的预注册验证
一项 arXiv 研究审计了某生产级 Text-to-SQL 系统的置信度分数设计：在 BIRD dev 的 1,534 个问题上，GPT-5.1 每题采样五次，该分数区分对错的 AUROC 仅 0.624，且会拦截 35.7% 的正确答案。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。