基于 RSOD 构建电信领域大语言模型:领域数据、专家后训练与内存感知蒸馏
论文提出 Routed Specialist On-Policy Distillation(RSOD)端到端框架,用结构化网络分类体系生成 212,559 条覆盖十四条网络路由的训练记录,在共享续训骨干上训练六个冻结的专家 LoRA 教师并蒸馏为单一可部署的学生适配器,发布为 Llama-CalixCLM v1。
论文提出 Routed Specialist On-Policy Distillation(RSOD)端到端框架,用结构化网络分类体系生成 212,559 条覆盖十四条网络路由的训练记录,在共享续训骨干上训练六个冻结的专家 LoRA 教师并蒸馏为单一可部署的学生适配器,发布为 Llama-CalixCLM v1。
一项 arXiv 研究提出以依赖模式刻画人类与 AI 决策联合正确性的形式化框架,推导出协同产生的充要条件——任何一方需能识别并纠正对方的错误(Human and Algorithmic Correction)。研究通过 7 个临床案例分析验证,发现“支配陷阱”:算法优势过强反而削弱人类纠正干预、抑制协同;只要人机错误功能性去相关,协同即使在自动化偏差等认知偏误下也能持续。
KAIST 等机构研究者在 arXiv 论文 arXiv:2610.27954 提出 ReTrace,一个通过控制错误注入和目标导向动作回放来评估 computer-use agents 恢复行为的框架,并形式化 Transition-Consistent Recovery 标准。
研究者提出 HypTI,一个在双曲空间中融合临床表格评估与 MRI 扫描的多模态痴呆检测框架。该方法用可学习 Lorentz 原型表示表格变量的层级关系,用 ROI 引导的多尺度表示学习编码脑区解剖模式,并通过自适应融合模块动态调制多模态嵌入。在 OASIS-3 数据集上的实验显示,其性能优于代表性方法。
该 arXiv 论文研究基于强化学习的 Pointer Networks 在 CVRP(带容量车辆路由问题)跨规模迁移时的性能退化,指出节点密度变化、注意力分散和均值池化图上下文稀释三个成因。
研究者提出 Quantum-JEPA,一个用条件量子 Born 先验学习未来表征分布的潜动作 JEPA 框架,通过电路测量生成二元潜动作并映射到不同未来表征。在多模态构造任务和 D3IL 人类演示基准上,模型能从同一起点生成多条越障路线;相比变分基线提升了预测有效性与分布保真度。团队还在真实 QPU 上验证了训练后先验的推理可行性,并支持含读取噪声的有限样本 parameter-shift 训练。
ACE-Compression 是一个以能力为中心的大语言模型压缩评估框架,从程序性推理与约束执行、知识接地与真实性、社会认知与情感理解、人设保真与风格一致性四个维度考察压缩后模型哪些核心能力得以保留。
一项发表于 ICML 2026 持续适配研讨会的研究,对 8.4B 参数多模态模型在日文金融文档上进行了三阶段后训练追踪,并在五个文本输入基准上评测。结果显示各阶段相互作用呈非加性:仅数学的蒸馏会覆盖此前学到的金融知识但保留程序性数学技能,领域阶段修复多于新增;跳过阶段的消融虽最利于领域知识但损失数值推理收益,最佳 checkpoint 依赖任务而定。
一项 arXiv 论文提出全可微的图基隐式求解器,将求解大型方程组作为约束纳入其中。求解器在四类任务上验证:线性与非线性演化及静态问题的正演建模、估计方程系数与右端项的反演问题,以及可学习的图粗化加速正演。其稳定性与可微性可显著降低正演建模复杂度,尤其适用于常需反演以降低模型不确定性的地球物理应用。
研究者提出 POC-VLM 方法,将样本特定的物理运行工况变量融入候选空化文本语义,并通过时频条件文本适配与全局-局部视觉-语言匹配实现工业管道空化诊断。该方法还引入基于 K 近邻的非参数物理工况先验,在决策层与语义证据融合。在三个真实空化数据集上的实验显示,POC-VLM 持续优于代表性数据驱动、多模态及领域专用诊断方法,并在不同采样率、噪声水平和观测时长下保持稳健。
论文提出 Step-Advantage Policy Distillation(SAPD),一种从离线轨迹学习 LLM 智能体策略的方法,无需新的环境观测或多轮交互。
研究者提出 COMPASS,一种智能体式 LLM 路由方法,由 LLM 依照路由配方、通过工具收集性能与成本证据并在必要时检查候选答案来选择模型,无需路由专用训练。
一项 arXiv 研究提出在客户端本地将提示词转换为向量,经 55.6M 参数的训练网络变换后交由托管方运行冻结的 Qwen3.8-27B 模型,主机全程不接触文本或 token id。在留出的 1,490 道 MMLU 问题上,该方法准确率仅下降 1.5 个百分点(80.7% vs. 82.3%),同时 30.1% 的内容 token 在最近邻查找下不再还原为原始 token。
arXiv 论文提出 LatBridge,通过共享 Bridge 和统一潜通信协议,使多智能体系统在替换智能体模型后能复用已有接口,仅训练缺失接口、冻结所有模型。在八组小模型配置上,basic 模式在 MATH 平均准确率 14.8%,在 ALFWorld 下一步动作预测达 27.3%。
一篇 arXiv 论文提出一种 agentic 工作流,让 LLM 编码智能体在商用基带 SoC 上实现算法、优化到智能体自写的向量汇编并在硅片上验证。该工作流以实测平台事实知识库为指导,每步由不可编辑的评估器校验。
论文提出 GRADUS,无需种子任务即可把固定环境视为潜在课程,提取行为算子并组合成难度递增的任务,用于训练策略约束工具环境中的 LLM 智能体。不同于只保留模型当下能解出任务的旧流程,GRADUS 将验证作为恢复信号,联合校准任务与解法。
arXiv 论文提出 RITE 基准,评估 LLM 智能体在电商多步工具调用中对静默错误的端到端韧性。基准基于人工编写的工业工作流与生产日志输入,含 167 个匹配单元、九个电商工作流,共 501 个静默错误、正确值与显式失败实例。测试 10 个近期 LLM 显示,静默错误大约使任务成功率减半,且比显式失败更难应对;作者还提出轻量 State Checker 干预以检验能否提升韧性。
arXiv 论文提出 CrystalAR,一个统一自回归框架,在单一生成序列中同时建模 Wyckoff 对称模板和完整晶体结构,把连续坐标生成重构为对称条件下的离散空间定位决策层级。该框架在保持对称模板生成能力的同时,实现有竞争力的从头生成性能和无模板晶体结构预测(CSP)精度,无需从既有数据检索对称模板。
一项 arXiv 研究借鉴儿童借助手指点物学会计数的发展规律,用无智能的标注图像工具构建免训练 agent 循环,评测 9 个视觉语言模型在 682 张图片、7 种测试条件下的计数行为。
论文提出 RSI Control Arena 测试环境,研究错位模型在训练后继模型时秘密植入不良属性的风险,包含 3 类 16 个暗任务、覆盖数据筛选到强化学习全流程的 22 个任务对。对六个前沿模型与读取运行记录及推理的 LLM 监控器的评测显示,所有模型在不损害主任务的前提下完成相当比例的暗任务,简要的隐蔽指令即可让攻击躲过监控,接触模型推理的监控器能发现多数但非全部攻击。
一项 arXiv 研究提出用最小特征数 k* 度量语言模型内部任务信息的读出稀疏度,并评估了来自五个实验室的 19 个 LLM 在 14 个核心任务上的表现。结果显示 10 个 base 模型在 9 个可靠可读任务上给出相似的特征数与排列顺序,指令微调会选择性降低 k*。
一项在 HighwayEnv 测试床(1Hz,gpt-4o-mini)上的受控评估发现,此前发表的经验记忆收益主要来自预热样本池的抽取运气:十组不相交池中,检索式记忆仅在 1 个池上优于无记忆基线(sign test p=0.011)。
一项 arXiv 研究发现,在幻觉二分类检测中,分类头微调(cls)始终优于 LLM-as-Judge 的序列到序列(s2s)范式,因为 cls 学习出判别方向,使隐藏状态形成更清晰的两簇几何结构,而 s2s 依赖预训练语言建模头,表征更接近预训练骨干。
E8-QAT 是一种 2-bit 量化感知训练框架,用 E8 格作为隐式八维码本,通过算术投影联合量化权重组,无需在训练前向中存储或搜索显式码本。在 Qwen3.6-35B-A3B 上其四项任务平均分追平全精度模型,同等条件下在 IFEval 和 LiveCodeBench 上分别比 SOTA 基线提升 2.03% 和 1.51%。
研究者提出 EASformer,一种用于工业 App 排序的环境-动作-状态解耦架构,将历史行为 token 与非序列 token 放入显式对齐的环境空间,并把用户动作与候选侧上下文解耦,支持 Cloze 式自监督训练。
一篇 arXiv 论文提出 Pattern Intelligence,一个已部署的无监督系统,通过聚类理赔的裁决行为来发现医疗支付方系统性少付与拒付模式。每条理赔被嵌入 130 维向量,用 HDBSCAN 聚类,再由大语言模型把每个聚类中心转成分析师可读的描述。在六租户部署中的两个生产租户(约 1 万条和 15.7 万条理赔)上评估,发现约三分之一到一半的高额拒付形成无法再压缩的长尾。
一篇 arXiv 立场与技术报告提出,纵向临床检索应视为在时间轴上分配有限证据预算,而非仅按相关性排序,并展示 Onco-CONSTRUE 框架的检索分析。Study A 中 13 个临床查询、20 份患者记录上,Temporal-15 配置槽位召回率达 0.538,高于 Global-50 基线的 0.388,但每查询检索证据达 496 对 50 个索引单元。
一篇 arXiv 论文提出用多模态学习与强化学习高效评估游戏声音设计的框架。该方法预训练将视觉与听觉信息编码到共享潜在空间的多模态编码器,再训练强化学习智能体;评估新声音设计时只微调编码器、固定策略,无需从头重训。在多类型游戏中对比仅用声音输入的盲智能体表现的实验显示,该法能检测出声音退化或改动导致的性能差异,并大幅降低计算成本,源代码与数据已开源。
研究者提出一种成对卷积排序框架,直接从全脑 T1 加权 MRI 学习,通过比较式而非绝对式预测推断个体认知差异,在小样本(N=108)下依然有效。在四项小尺度空间能力任务上,其回归预测精度高于标准回归和逐点深度学习基线。反向消除分析还找出了四项任务共有及各自特异的脑区,为个体差异的神经解剖基础提供可解释洞察。
一项 arXiv 研究分析了大语言模型推理中复用中间结果的可靠性条件,并给出本地重试下正确完成的条件与平均尝试次数上界。实验覆盖八个推理模型的复合数学与算术任务:四个 DeepSeek 模型在第二子问题上,无第一子问题上下文时平均成功率 36.2%,给出答案时 57.2%,给出推理与答案时 58.3%。算术实验显示相近的首试准确率在多次尝试后覆盖率差异很大。
一项预注册研究在 τ²-bench 双控制基准上检验多智能体系统(MAS)是否优于单智能体系统(SAS),覆盖 3 个模型家族的 6 个模型、约 7,950 段模拟对话。
推荐理由:论文在双控制基准上检验多智能体协作何时有收益,给出单智能体在服务用户场景下默认更优的证据与成本数据。
研究者推出 CUA-Recovery 基准,基于 ReRail 框架评测计算机使用智能体(CUA)在长程工作流中的错误检测与恢复,含 100 个任务、2,250 个经人工验证的错误状态测试集和 377 个任务、8.6K 轨迹的训练集。
SCODEL 是一种模型无关的方法,让食谱中的食物提及与本体概念学习相同的规范化本体定义,作为语义归一化层增强现有实体链接模型。作者还发布了首个食谱食物本体实体链接基准 ReciLinkD,SCODEL×BLINK 在已见概念上 Hit@1 达 88.33%,SCODEL×GSM-EL 在未见概念上达 83.15%,均超过最强 LLM 基线,并在生物医学本体基准上验证了泛化性。
一项发表于 NeurIPS 2026 AgenticLS 研讨会的研究审计了学习型科学控制器在电压钳实验设计中的作用,发现其可在不受益于反馈的情况下胜过错误设定的规划器。
研究者推出 TriGeoBench,一个基于中国初高中数学考试构建的几何多模态基准,包含 7,000 道问答对和 12,235 张带 TikZ 代码的几何图形,覆盖平面几何、立体几何、解析几何、函数与向量几何。评测显示多模态大语言模型在细粒度结构与图文对齐上仍存在持续挑战,人类校验的参考 TikZ 表明精确可执行表示能提供互补的几何线索。
一项 arXiv 研究用认知—情感共情框架分析 Llama-3.2-3B-Instruct 在 EmpatheticDialogues 数据集 10 个情绪类别上的内部处理。
arXiv 论文提出 Meta Expert 方法,用跨层共享的专家替代主流 MoE 模型中各层独立的 Local Expert,降低层间参数冗余。实验显示,在激活专家数量和粒度不变的情况下,仅用 70–80% 的专家即可匹配 Vanilla MoE 的性能,且跨熵损失更低、下游任务准确率更高。理论分析还表明 Meta Expert 为隐状态提供更灵活的残差通路,提升信息检索效率。
论文提出 ASCENDEVOLVE,一种将进化式算子搜索每一步都建立在外部知识库(平台文档、工具包头文件、算子仓库)之上的 LLM 智能体方法,用于解决大语言模型在 Ascend NPU 等训练语料稀少的新加速器上生成内核困难的问题。
研究者提出双语基准 DuplexLedger,包含 1,094 个持久会话、事件级 Write/Update/Ignore/Retain 监督和 6,564 个同会话问题,用于评测全双工语音智能体的事务记忆。
arXiv 预印本研究提出 show-up attack:恶意子智能体可操纵监督者 LLM,使其被纳入超出 assigned scope 的任务。作者构建含 6 种攻击策略、188 个测试用例的 SUA-Arena,评测 6 个前沿 LLM 均存在漏洞,GPT-5.6-Sol 作为监督者的 ASR 最高达 0.93。