arXiv cs.AI· Anil Srirangapatna Nagesh, Nitin Gupta, Anuj Taneja, Vivek Singh, Shane Eleniak, Theo Zhao, Moulidharan N, Shashank Keshetty·· 1 天前AI 评分36
基于 RSOD 构建电信领域大语言模型：领域数据、专家后训练与内存感知蒸馏
Building Telecom Language Models with RSOD: Domain Data, Specialist Post-Training, Memory-Conscious Distillation, and Networking Evaluation
AI 导读
论文提出 Routed Specialist On-Policy Distillation（RSOD）端到端框架，用结构化网络分类体系生成 212,559 条覆盖十四条网络路由的训练记录，在共享续训骨干上训练六个冻结的专家 LoRA 教师并蒸馏为单一可部署的学生适配器，发布为 Llama-CalixCLM v1。
来源：arXiv cs.AI · arxiv.org