跳到正文

官方站

arXiv cs.AI

共收录 790 条近 30 天 790 条

更新

收录归档 · 第 20 页

10月21日周三第 381–400 条
  1. arXiv cs.AI37

    CCOPD:面向多轮语言模型的规范上下文在线蒸馏方法

    一篇 arXiv 论文提出规范上下文在线蒸馏方法 CCOPD,用同一基座模型分别扮演冻结教师和可训练学生,缓解大语言模型在信息分多轮给出时因自锚定漂移而偏离答案的问题。仅在数学对话上训练后,CCOPD 在 RAW-SHARDED 场景下相对基座模型平均提升 32%,且基本保持完整上下文性能,在五个零样本域外任务家族上同样有效。

  2. arXiv cs.AI31

    DEFLECT 提出时序反事实偏好学习,提升异步 VLA 策略的抗延迟鲁棒性

    DEFLECT 是一个离线后训练框架,利用训练数据中的执行时刻观测构建时序反事实对比,对基于陈旧输入动作的策略进行偏好监督,解决异步推理中预测时刻与执行时刻状态错位问题。在 Kinetix、LIBERO 和三个真实机器人任务上,最长支持延迟下相比 VLASH 在 Kinetix 提升 4.2 个百分点成功率,相比朴素异步执行的 GR00T N1.7 在 LIBERO 提升 22.7 个百分点。

  3. arXiv cs.AI46

    DiDi-Merging 动态模型合并方法被 NeurIPS 2026 接收

    提出 DiDi-Merging,通过可微秩选择和数据无关的参数空间精炼,在共享与专家参数间联合分配低秩容量。在八任务 ViT-B/32 基准上,小配置以单主干 1.24 倍存储达到 89.3% 平均准确率(98.7% 归一化保留率),中配置 1.4 倍存储达 89.8%;去除精炼会使中配置下降 4.3 个百分点。该方法已被 NeurIPS 2026 接收,代码已开源。

  4. arXiv cs.AI47

    CounterCount:诊断视觉语言模型计数属性时的知识偏见

    研究者推出诊断数据集 CounterCount,用包含非典型计数的反事实图像(如四耳兔子)测试 16 个 VLM 的属性计数能力。人类两类图像准确率达 98.9% 和 97.5%,而 16 个模型(14 个开源、2 个闭源)在事实图像上平均准确率 91.6%,反事实图像降至 49.5%,多数错误与常识计数一致,暴露知识先验偏见。

  5. arXiv cs.AI34

    LLaVA-CKD:面向视觉语言模型的自底向上级联知识蒸馏方法

    研究者提出 LLaVA-CKD,一种自底向上级联知识蒸馏(CKD)框架,通过引入中等容量的中间教师逐步缩小师生容量差距,提升从大模型向小模型的知识迁移效果,并给出理论分析。该方法基于 LLaVA 架构构建模型,在七个公开 VQA 基准上评测,性能与近期紧凑型 VLM 相当。级联蒸馏源代码和训练好的模型已开源。

  6. arXiv cs.AI38

    Abstract Compression:面向 LLM 语音识别的对话音频上下文压缩方法

    一项被 IEEE SLT 2026 接收的研究提出 Abstract Compression 方法,为基于 LLM 的语音识别(ASR)压缩历史对话音频上下文。研究发现多轮监督训练后,对话上下文主要提升上下文实体的识别,但原始音频嵌入随对话长度快速增长。该方法用固定数量的潜在 token 替代先前每轮音频、同时显式保留转写文本,在域内和域外测试集上以更小的音频开销恢复了部分原始上下文条件的收益。

  7. arXiv cs.AI67

    arXiv 论文提出检测、路由、生成三阶段框架,指拒绝式对齐评估失效的原因

    arXiv 论文以中文背景大语言模型的政治审查为自然实验,覆盖五个实验室的九个开源权重模型,提出对齐关键发生在概念检测到行为策略的路由层。研究发现探针准确率本身不具诊断性,消融政治敏感方向可在多数模型中消除审查并恢复事实输出但跨模型迁移失败;同一模型家族内硬拒绝降为零而叙事引导升至最大,使仅测拒绝的基准看不到审查。

    推荐理由:论文用探针、消融和行为测试说明对齐发生在检测到行为的路由层,评估若只测拒绝会漏掉真正的审查机制。

  8. arXiv cs.AI40

    锚定与重缩放注意力实现语义一致的生成式视频补间研究

    一篇被 CVPR 2026 接收的 arXiv 论文提出无需额外训练的生成式补间(GI)方法:通过 Keyframe-anchored Attention Bias 提供语义与时间引导,并用 Rescaled Temporal RoPE 增强帧一致性。作者还发布了首个文本条件 GI 评测基准 TGI-Bench。该方法在短长序列上均取得帧一致性、语义保真度和节奏稳定性的 SOTA 表现。

  9. arXiv cs.AI45

    通过越狱相关表示偏移理解与防御 VLM 越狱(JRS-Rem)

    一项 arXiv 研究发现,VLM 并非无法识别有害意图,而是视觉模态使表示向特定越狱状态偏移,导致拒绝机制失效。研究定义了沿越狱方向的越狱相关表示偏移(jailbreak-related shift)来量化这一转变,可统一解释多种越狱场景。据此提出的推理时防御方法 JRS-Rem 在多个场景下提供强防御,同时保持良性任务性能,代码已开源。

  10. arXiv cs.AI34

    海森堡反铁磁体中哈密顿量与基态符号结构的图论表述

    arXiv 论文(arXiv:2602.04943v4)研究学习海森堡反铁磁体基态相结构的计算复杂度。作者将 Hilbert 空间表示为加权图,变分能量定义为一个加权 XY 模型,对 Z2 相可约化为图上的经典反铁磁 Ising 模型;固定振幅时,重构基态波函数符号的问题归约为加权 Max-Cut 实例,从而把波函数符号优化与组合优化直接联系起来。

  11. arXiv cs.AI41

    TTCS:面向自我进化的测试时课程合成框架

    arXiv 论文提出 TTCS,一种协同进化的测试时训练(Test-Time Training)框架,从同一预训练模型初始化题目合成器与推理求解器两个策略,通过迭代优化共同进化。合成器基于测试题生成渐进难度的课程题目,求解器用自洽性奖励更新自身,二者互相稳定训练过程。实验显示 TTCS 在高难度数学 benchmark 上持续提升推理能力,并可迁移到不同 LLM 主干的通用任务,代码已开源。

  12. arXiv cs.AI47

    期望回报导致强化学习结果层面模式坍缩:逆概率缩放(IPS-GRPO)如何修复

    一项 arXiv 研究指出,强化学习中结果层面的模式坍缩并非探索不足或正则化太弱,而是期望回报目标本身的结构性后果——期望内的概率乘子使不同结果的 log 概率比按奖励差呈指数发散。作者提出逆概率缩放,并以 GRPO 的即插即用改写 IPS-GRPO 实现,无需辅助模型或架构改动。在推理和分子生成任务上,IPS-GRPO 持续减少模式坍缩,同时匹配或超过基线性能。