RACE:基于 Query-Key 激活能量的 RoPE 对齐注意力压缩方法
arXiv 论文提出 RACE,一种后训练 KV cache 头维压缩方法,通过按 query-key 联合激活能量选择完整旋转对,与预训练 RoPE 变换兼容,无需推理时重建或专用 kernel。
arXiv 论文提出 RACE,一种后训练 KV cache 头维压缩方法,通过按 query-key 联合激活能量选择完整旋转对,与预训练 RoPE 变换兼容,无需推理时重建或专用 kernel。
arXiv 论文提出 FALCA,将长程深度搜索建模为“提出-证伪”过程,采用 Searcher-Falsifier 协作架构:Searcher 提出候选答案,独立 Falsifier 主动寻找反证、检查未满足约束并生成证伪报告。
一篇 arXiv 论文提出,语言模型的“事实性讨好”(对用户错误信念的顺从)不应仅视为迎合用户的偏好,而应看作“上下文内更新”(in-context updating)过程中的失败。
研究者推出 ChartEvo,一个递归自我改进框架,通过经验驱动的 harness 级自我进化,让图表 Agent 适应表现不佳的长尾图表类型。该框架共同进化可复用的图表 Skills 与可执行 Tools,并学习可复用的局部工具调用链以控制推理开销。
研究者提出 MaD-RSI 框架,把“模型即数据”作为新视角,直接跨多个异构 LLM 优化共享的 agent harness,将不同模型的失败轨迹纳入训练过程,而非仅训练后测试泛化。多个数据集和 LLM 上的实验显示,MaD-RSI 比现有 RSI 方法泛化更好且降低训练成本。论文还提出含两项互补指标的新评估框架。
一项 arXiv 研究针对无人机(UAS)在远程飞行员或detect-and-avoid系统临时中断循环强化学习策略后的接管恢复问题,发现中断会降低隐状态中任务信息的可解码性并提高中断后碰撞风险。研究提出三种中断感知架构,通过独立特征流、专用中断记忆或门控环境特征来处理中断上下文。其中最强架构相比循环基线将中断后碰撞减少 74%、任务失败减少 69%,且不影响无中断时的性能。
一项 arXiv 研究提出 SCIB,一种基于 Conditional Information Bottleneck 的脉冲神经网络(SNN)鲁棒学习目标,用条件互信息 I(X;S|Y) 替代传统压缩项,并引入可学习的类条件先验。
一项 arXiv 研究提出直接在结构因果模型(SCM)上执行推理的消息传递框架,将结构机制与概率密度表示在有限维函数空间中。前向传播结合 LOTUS(无意识统计学家定律)的数值实现,密度通过样条投影从 LOTUS 矩恢复,同一表示自然支持条件化所需的后向消息传递。
arXiv 论文提出 Polyscene,一个将情景规划自动化为多样性规划问题的通用引擎,从给定主题生成一套互不相同的情景。
论文提出 InsightRAG,利用作者撰写的 Related Work 章节中的人工判断来改进自动综述生成。其洞见引导检索沿作者支持的引用关系重建经验证的研究范围,并在最小冲突目标下聚合判断生成分类体系。在十个主题上的结果显示,范围重建、分类体系质量、引用支持和参考文献可靠性均有提升。
研究者提出弱监督心电图基础模型 IECG,无需人工异常区域标注即可同时完成诊断分类和异常定位。其核心是弱监督注意力策略,利用临床知识生成异常热图伪标签,通过 KL 散度损失引导 CLS-token 注意力聚焦诊断相关波形区域;预训练阶段联合优化临床引导注意力监督、ECG-文本对比对齐和报告生成目标。
论文提出 Slot-based JEPA(Slot-JEPA),将 JEPA 的稠密 patch 表征分解为稳定语义 slot 与时变空间掩码,预训练一次后冻结,为下游预测器提供可复用的对象结构化接口。
研究者提出 TrajEvolve,一种面向大语言模型强化学习推理训练的轨迹演化范式,针对长程任务中成功轨迹采样不足和稀疏最终奖励导致冗余步骤的问题。该方法通过修正历史轨迹中的低质量步骤生成“演化轨迹”,并将步骤级信用分配重新表述为二分类任务,借助反事实验证识别冗余步骤。在两个数据集上的大量实验证明了该方法的优越性。
Dancing Diffusion 为扩散模型的每段时间步分配独立的连续条件块,把条件控制变成潜在程序,由编译器将文本特征映射为程序、固定的预训练生成器逐段执行。在 SANA 上的实验显示,复用已执行前缀比从噪声重生成保留更多场景,学习到的条件比原生提示词切换保留更多背景,且生成质量优于原生 SANA。该方法将单指令轨迹转为可寻址操作程序,但对单个操作的语义控制仍然有限。
论文提出 Routed Specialist On-Policy Distillation(RSOD)端到端框架,用结构化网络分类体系生成 212,559 条覆盖十四条网络路由的训练记录,在共享续训骨干上训练六个冻结的专家 LoRA 教师并蒸馏为单一可部署的学生适配器,发布为 Llama-CalixCLM v1。
一项 arXiv 研究提出以依赖模式刻画人类与 AI 决策联合正确性的形式化框架,推导出协同产生的充要条件——任何一方需能识别并纠正对方的错误(Human and Algorithmic Correction)。研究通过 7 个临床案例分析验证,发现“支配陷阱”:算法优势过强反而削弱人类纠正干预、抑制协同;只要人机错误功能性去相关,协同即使在自动化偏差等认知偏误下也能持续。
KAIST 等机构研究者在 arXiv 论文 arXiv:2610.27954 提出 ReTrace,一个通过控制错误注入和目标导向动作回放来评估 computer-use agents 恢复行为的框架,并形式化 Transition-Consistent Recovery 标准。
研究者提出 HypTI,一个在双曲空间中融合临床表格评估与 MRI 扫描的多模态痴呆检测框架。该方法用可学习 Lorentz 原型表示表格变量的层级关系,用 ROI 引导的多尺度表示学习编码脑区解剖模式,并通过自适应融合模块动态调制多模态嵌入。在 OASIS-3 数据集上的实验显示,其性能优于代表性方法。
该 arXiv 论文研究基于强化学习的 Pointer Networks 在 CVRP(带容量车辆路由问题)跨规模迁移时的性能退化,指出节点密度变化、注意力分散和均值池化图上下文稀释三个成因。
研究者提出 Quantum-JEPA,一个用条件量子 Born 先验学习未来表征分布的潜动作 JEPA 框架,通过电路测量生成二元潜动作并映射到不同未来表征。在多模态构造任务和 D3IL 人类演示基准上,模型能从同一起点生成多条越障路线;相比变分基线提升了预测有效性与分布保真度。团队还在真实 QPU 上验证了训练后先验的推理可行性,并支持含读取噪声的有限样本 parameter-shift 训练。