系统评测 System One 模型 Jev

Tobias Deußer 等人发布了 TypeSafe AI 的商用 "System One" 模型 Jev（jev-1.13.0）的评测结果：在 37 个数据集上做零样本评测，涵盖分类、路由、内容审核和评分标准打分等任务，共 346,009 次请求，花费不足 10 美元。 评测中每个数据集使用一个固定模板和完整评估划分。Jev 不生成文本，只对固定选项、评分标准和真伪概率给出判断。评测者已公开代码、评估框架和全部原始响应。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。