研究称接口不匹配导致工具调用评测分数失真

Wenbo Wang 和 Di Sang 发布 arXiv 论文 2609.03966，提出“接口诱导的轨迹遮蔽”：模型输出可能包含调用形状的载荷，但服务接口未将这些调用计入，导致工具调用评测分数取决于接口配置而非模型能力。在模型权重和其他评测设置不变的情况下，仅更换服务适配器，官方打分下 BFCL v4 的 simple_python 从 0.00 升至 0.96，multi_turn_base 从 0.00 升至 0.19。模板与解析器需联合替换才能恢复对 196/200 个首请求的解析。 论文还报告，在一项预注册、单随机种子、150 步的 7B LoRA 实验中，仅更换 verl 中注册的解析器使工具执行次数从 10 次增至 16,844 次；但无论是共享的程序化反馈评测，还是事后通用的原生函数调用评测，都未检测到修复带来的留出集成功率提升，救援次数也未增加。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。