CCOPD:面向多轮语言模型的规范上下文在线蒸馏方法
一篇 arXiv 论文提出规范上下文在线蒸馏方法 CCOPD,用同一基座模型分别扮演冻结教师和可训练学生,缓解大语言模型在信息分多轮给出时因自锚定漂移而偏离答案的问题。仅在数学对话上训练后,CCOPD 在 RAW-SHARDED 场景下相对基座模型平均提升 32%,且基本保持完整上下文性能,在五个零样本域外任务家族上同样有效。
一篇 arXiv 论文提出规范上下文在线蒸馏方法 CCOPD,用同一基座模型分别扮演冻结教师和可训练学生,缓解大语言模型在信息分多轮给出时因自锚定漂移而偏离答案的问题。仅在数学对话上训练后,CCOPD 在 RAW-SHARDED 场景下相对基座模型平均提升 32%,且基本保持完整上下文性能,在五个零样本域外任务家族上同样有效。
一项 arXiv 研究(arXiv:2605.29458)测试一小时 LLM 自适应访谈能否预测个人的价值相关决策,46 名成人访谈后回答 25 道两难题作为真值。
推荐理由:论文用 46 人访谈实验与审计说明一小时访谈能还原特质却预测不了价值决策,为 persona agent 的边界给出实证依据。
NVIDIA 团队发表 arXiv 论文(arXiv:2605.21187),介绍 Spectrum-X Ethernet 的多平面架构,用拓扑并行取代层级深度,并在 NIC 和交换机中引入硬件加速负载均衡,以微秒级响应动态网络状况。
论文提出 Diffusion-Adaptive Routing(DAR),一种可学习的、时间步自适应的非增量残差替换,用于改进 Diffusion Transformer 的跨层信息路由。
DEFLECT 是一个离线后训练框架,利用训练数据中的执行时刻观测构建时序反事实对比,对基于陈旧输入动作的策略进行偏好监督,解决异步推理中预测时刻与执行时刻状态错位问题。在 Kinetix、LIBERO 和三个真实机器人任务上,最长支持延迟下相比 VLASH 在 Kinetix 提升 4.2 个百分点成功率,相比朴素异步执行的 GR00T N1.7 在 LIBERO 提升 22.7 个百分点。
提出 DiDi-Merging,通过可微秩选择和数据无关的参数空间精炼,在共享与专家参数间联合分配低秩容量。在八任务 ViT-B/32 基准上,小配置以单主干 1.24 倍存储达到 89.3% 平均准确率(98.7% 归一化保留率),中配置 1.4 倍存储达 89.8%;去除精炼会使中配置下降 4.3 个百分点。该方法已被 NeurIPS 2026 接收,代码已开源。
研究者推出诊断数据集 CounterCount,用包含非典型计数的反事实图像(如四耳兔子)测试 16 个 VLM 的属性计数能力。人类两类图像准确率达 98.9% 和 97.5%,而 16 个模型(14 个开源、2 个闭源)在事实图像上平均准确率 91.6%,反事实图像降至 49.5%,多数错误与常识计数一致,暴露知识先验偏见。
DRAPE 是一种面向多模态持续指令调优(MCIT)的提示学习框架,通过从文本指令派生提示查询并交叉注意力视觉 patch 特征,为每个查询-图像对合成实例级连续软提示,替代从固定提示池中选择。
研究者提出 LLaVA-CKD,一种自底向上级联知识蒸馏(CKD)框架,通过引入中等容量的中间教师逐步缩小师生容量差距,提升从大模型向小模型的知识迁移效果,并给出理论分析。该方法基于 LLaVA 架构构建模型,在七个公开 VQA 基准上评测,性能与近期紧凑型 VLM 相当。级联蒸馏源代码和训练好的模型已开源。
一项被 IEEE SLT 2026 接收的研究提出 Abstract Compression 方法,为基于 LLM 的语音识别(ASR)压缩历史对话音频上下文。研究发现多轮监督训练后,对话上下文主要提升上下文实体的识别,但原始音频嵌入随对话长度快速增长。该方法用固定数量的潜在 token 替代先前每轮音频、同时显式保留转写文本,在域内和域外测试集上以更小的音频开销恢复了部分原始上下文条件的收益。
一项针对北京小时级 PM2.5 预测的研究比较了 SARIMAX、Facebook Prophet 和 NeuralProphet 三类轻量可解释模型,测试每周滚动重训练与冻结模型加在线残差修正两种自适应模式。
arXiv 论文以中文背景大语言模型的政治审查为自然实验,覆盖五个实验室的九个开源权重模型,提出对齐关键发生在概念检测到行为策略的路由层。研究发现探针准确率本身不具诊断性,消融政治敏感方向可在多数模型中消除审查并恢复事实输出但跨模型迁移失败;同一模型家族内硬拒绝降为零而叙事引导升至最大,使仅测拒绝的基准看不到审查。
推荐理由:论文用探针、消融和行为测试说明对齐发生在检测到行为的路由层,评估若只测拒绝会漏掉真正的审查机制。
一篇被 CVPR 2026 接收的 arXiv 论文提出无需额外训练的生成式补间(GI)方法:通过 Keyframe-anchored Attention Bias 提供语义与时间引导,并用 Rescaled Temporal RoPE 增强帧一致性。作者还发布了首个文本条件 GI 评测基准 TGI-Bench。该方法在短长序列上均取得帧一致性、语义保真度和节奏稳定性的 SOTA 表现。
一项 arXiv 研究发现,VLM 并非无法识别有害意图,而是视觉模态使表示向特定越狱状态偏移,导致拒绝机制失效。研究定义了沿越狱方向的越狱相关表示偏移(jailbreak-related shift)来量化这一转变,可统一解释多种越狱场景。据此提出的推理时防御方法 JRS-Rem 在多个场景下提供强防御,同时保持良性任务性能,代码已开源。
Macquarie 大学等机构研究者在 arXiv 发表论文,质疑此前 Nature Medicine 关于 ChatGPT Health 漏诊 51.6% 急症的研究结论,认为该错误率很大程度是评测协议的产物而非模型能力问题。
研究者推出 CHIMERA,一个包含 9K 样本的合成推理数据集,由先进推理模型生成长 CoT 轨迹,覆盖 8 大科学学科和超过 1K 细粒度主题,并用全自动评估流水线交叉验证题目与答案,免除人工标注。
arXiv 论文(arXiv:2602.04943v4)研究学习海森堡反铁磁体基态相结构的计算复杂度。作者将 Hilbert 空间表示为加权图,变分能量定义为一个加权 XY 模型,对 Z2 相可约化为图上的经典反铁磁 Ising 模型;固定振幅时,重构基态波函数符号的问题归约为加权 Max-Cut 实例,从而把波函数符号优化与组合优化直接联系起来。
arXiv 论文提出 TTCS,一种协同进化的测试时训练(Test-Time Training)框架,从同一预训练模型初始化题目合成器与推理求解器两个策略,通过迭代优化共同进化。合成器基于测试题生成渐进难度的课程题目,求解器用自洽性奖励更新自身,二者互相稳定训练过程。实验显示 TTCS 在高难度数学 benchmark 上持续提升推理能力,并可迁移到不同 LLM 主干的通用任务,代码已开源。
一项 arXiv 研究指出,强化学习中结果层面的模式坍缩并非探索不足或正则化太弱,而是期望回报目标本身的结构性后果——期望内的概率乘子使不同结果的 log 概率比按奖励差呈指数发散。作者提出逆概率缩放,并以 GRPO 的即插即用改写 IPS-GRPO 实现,无需辅助模型或架构改动。在推理和分子生成任务上,IPS-GRPO 持续减少模式坍缩,同时匹配或超过基线性能。
一项 arXiv 研究证明,AWQ、GPTQ 及对角 Fisher 量化、分块重建、Hadamard 旋转等后训练量化方法,都是最小化同一个由梯度加权激活敏感度决定的二次型的特例。