跳到正文
热点事件持续更新

研究:开放语言模型弃答率受格式约束主导,不随明示阈值变化

1 篇报道1 个报道来源53 分钟前更新

先了解这件事

AI 综述

一项 arXiv 研究(arXiv:2611.14661,作者含 Dongsun Moon)测试 4 个完全开源 3-8B 训练配方的 12 个检查点(另有最高 32B 的探索性模型)对提示中明示评分规则的服从程度,发现模型弃答主要由格式约束驱动,而非服从提示中的阈值规则。具体而言:在 t=0.75 下,加入限定回答为答案或“我弃答”的格式约束后,平均弃答率从 20% 升至 91%;但在该格式内,把阈值 t 从 0.5 提到 0.9 仅改变 -0.8 个百分点,且无该格式约束时提高阈值甚至会降低弃答。研究还发现,在 OLMo 3 7B 上用条件化阈值目标训练出的弃答决策,对未见过的阈值并不能稳定服从。

AI 根据报道生成 · 17 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月14日
  1. arXiv cs.AI
    研究分析:弃答不等于阈值服从——开放语言模型中的明示评分规则

    一项 arXiv 研究测试了 4 个完全开源 3-8B 训练配方(共 12 个检查点,另有最高 32B 的探索性模型)对提示词中明示阈值评分规则的服从程度。结果显示,加入弃答格式约束后平均弃答率从 20% 升至 91%,但阈值 t 从 0.5 提到 0.9 仅改变 -0.8 个百分点;无该约束时提高阈值甚至降低弃答。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。