Hugging Face 生态引入 decision model 统一接口与 DecisionPipeline
Decision Models in Hugging Face
AI 导读
Hugging Face 在 transformers 中新增 DecisionPipeline、AutoModelForDecision 与 DecisionConfig，统一 decision model 接口，该模型不生成文本而是直接返回选项概率分布。
推荐理由
原文给出了 decision 模型的接口设计和 transformers 与 llama.cpp 的服务用法，读者可以据此评估分类路由类任务替代生成式 LLM 的方案。