TPO:面向 OOD 直接偏好优化的三层分布鲁棒学习
论文提出 TPO,一个三层分布鲁棒框架,用于 OOD 偏好对齐,联合建模组级、提示级和偏好级三层分布偏移的不确定性。该方法用 Wasserstein 距离实例化,得到包含闭式偏好级 margin 惩罚、提示级对抗嵌入扰动和最坏情况组重加权的可解目标,各层由独立半径控制。论文给出了有限样本收敛保证,并实证验证 TPO 优于现有鲁棒 DPO 方法,已被 NeurIPS 2026 接收。
论文提出 TPO,一个三层分布鲁棒框架,用于 OOD 偏好对齐,联合建模组级、提示级和偏好级三层分布偏移的不确定性。该方法用 Wasserstein 距离实例化,得到包含闭式偏好级 margin 惩罚、提示级对抗嵌入扰动和最坏情况组重加权的可解目标,各层由独立半径控制。论文给出了有限样本收敛保证,并实证验证 TPO 优于现有鲁棒 DPO 方法,已被 NeurIPS 2026 接收。
一篇 arXiv 论文从数据系统视角分析长上下文 LLM 在单机 GPU 上本地推理的瓶颈。研究发现 self-attention 主导长上下文推理的运行时间,且其现有结构使关键 GPU 资源利用不足,最新一代 GPU 反而常常表现最差。作者将 KV cache 分页、缓存利用率和 GPU 同步等问题归结为数据管理问题,并以实验观察和建议的形式供数据系统社区参考。
该研究提出面向南非食品包装照片 R3337 草案标准的区域引导证据提取与弃权式筛查流程,先用三类检测器定位营养成分表、配料表和产品标识区域,再以 PaddleOCR 和结构化提取恢复证据并按确定性规则判定,证据不全时弃权。
研究者发布 JAXbounce,一个用于评估主动推理的连续控制类 Pong 基准,结合连续状态、随机动力学与可组合的观测模型,基于 JAX 完全可微且可并行。论文在三种难度场景和八种噪声条件下运行超过 10,000 次智能体仿真,比较确定性基线、基于 Unscented Kalman Filter 感知与期望自由能规划的智能体,以及使用预训练神经网络编码器的像素智能体,并已开源为可复现基准。
一项研究以 MOIRAI 1.0 Large 为主干,在四个电力负荷聚合层级上比较预训练推理、全量微调与 LoRA 的预测精度和适配效率,并用 Chronos-2 验证结论是否跨模型成立。
论文提出对象相对坐标系 ORCA,将实体放在以锚点为参照的相对坐标系中,并引入基于 Transformer 的架构 ORBiT 处理锚点相对输入。ORBiT 在 13 个 Atari 游戏上聚合 HNS IQM 超过 1.0,优于基于像素的 PPO 基线,并能从零学会 Foosball 游戏。实验还显示 ORCA 可扩展到旋转,ORBiT 能泛化到未见过的干扰物数量,且增益依赖与决策相关的锚点。
arXiv 论文提出 AP-OPD(Adaptive Pullback OPD),改进 on-policy distillation。作者通过对比同一 response 内相邻 token block 识别出 penalty jump——惩罚骤升且持续存在,同时 teacher 置信度下降,称其为 penalty-confidence tension。
论文提出 CALM(Calibrated Allocation for Layer-Head Merging),针对自回归视频生成中的 token merging 压缩。
arXiv 论文(arXiv:2610.28184)提出推理型视觉-语言-行动(VLA)驾驶模型存在感知-行动绑定鸿沟:危险信息在模型中被编码,但对轨迹生成控制不足,纵向规划主要跟随自车速度历史,对危险距离和自身推理痕迹仅弱响应。
研究者提出 Temporal Evidence-Parameter Co-Alignment(TEPCA)框架,用于提升 LLM 在时序知识图谱(TKG)上的推理能力。
研究者发布 Africa-Papers,迄今最大的多领域泛非学术预训练语料库,包含 844,807 篇全文论文、101.5 亿 token、879 个 Parquet 分片,已在 Hugging Face Hub 的 AfriSpeech 组织下开源。
arXiv 论文提出一个工厂感知的对话式 copilot,将 PLC(可编程逻辑控制器)编程从一次性代码生成扩展为持续工程陪伴。系统在检索增强大语言模型生成符合厂商规范的 Structured Text 基础上,新增三项能力:工厂特定上下文摄取、面向解释与调试的聊天优先交互,以及从聊天到部署的分级工具访问阶梯。系统面向真实工厂基础设施设计,让工程师对每个产生实际影响的步骤保持控制。
研究者提出 LinADMG 框架,通过可识别表示学习为线性因果模型学习 ADMG(无环有向混合图),处理含隐混杂的因果发现问题。该方法不依赖非高斯性或 bow-freeness 等图约束,而是利用多域设定识别噪声变量;论文证明噪声变量的可识别性足以恢复所有直接因果关系,并在附加的 latent-confounding no-cancellation 条件下可识别整个 ADMG。
arXiv 论文提出 DirectWAM,通过动作充分蒸馏将级联世界-动作模型(WAM)中预训练的视频与动作专家转为单步预测器,去除扩散的随机采样迭代推理。该方法在 LIBERO 四个套件上取得 97.1% 平均成功率,在 RoboTwin 2.0 上达到 85.4%,超过同等单次评估预算下的 Flash-WAM,并扩展到三个真实世界任务。相比完整迭代教师模型,推理延迟降低 28.0 倍。
研究者提出 ClawMMU,一个为 LLM 智能体长期记忆设计的安全保护层,为每条记忆标注所有者、范围、来源与权限。该层在内容进入模型上下文、写入或读出存储、驱动工具调用时检查标签,核心规则是信息可提升权限但权限不能自授权。
研究者推出 BAIT(Bias Annotation In Text),用于检测新闻中的认知偏见触发因素,包含九类触发的标注规范和 50 篇由训练有素的标注者在文章与片段两级标注并裁定为金标准的英文新闻。
一篇 arXiv 论文提出,连续时间图学习应识别足以预测未来的低维状态,而非重构完整交互历史,并定义了可独立估计的内在预测维度。实验显示模型性能饱和主要由该维度决定。据此提出的轻量模型 PreDyG 仅用代表性复杂基线 0.07% 的参数即取得更优预测性能。
论文提出 MoDDiT,对 Diffusion Transformer(DiT)做简单架构改动,让 token 学习通过 MLP 和自注意力块路由,实现跨 token、图像和去噪时间步的动态算力分配。
PULSE 是一种事件驱动的个性化机会式学习框架,把设备间的每次相遇视为在线协作决策,仅在邻居梯度与本地学习方向兼容时才引入。在人类活动识别、跌倒检测和压力识别任务上,其相比机会式模型平均减少 80-94% 的同伴协作交换,同时保持或提升个性化分类性能。真机实验显示完整实现仅占 149.8 KiB RAM 和 561.8 KiB flash,peer-assisted 操作能耗有限。
一项 arXiv 研究测试八种模型在六种语言、最多 105 个道德情境上的 110 万条回答,考察不同引答与读答方式何时测得相同判断、何时测得答题习惯。结果显示 token 读法与句子读法的画像中位相关性仅 r = 0.67,而句子读法与自由句读法一致性达 0.94;去除语言共识后,48 个模型-语言组合中有 39 个在命题标签下最接近自身跨语言的画像。