研究者发布 CallScreenBench 评测小模型电话秘书能力

Simiao Ren 等研究者发布 CallScreenBench 基准，用于评测可在手机端运行的小语言模型（0.6-4B 参数的 4-bit 量化模型，覆盖三个模型家族）代接电话、充当电话秘书的能力。该基准报告五组自动化通话与记录指标，并配有反向指标与不确定性估计。 基准不设统一的排行榜分数。评测范围仅限文本域的对话决策层，语音识别、音频交互、端到端延迟和手机端执行均不在评测范围内。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。