个性化对齐中的奖励模型选择危机:奖励模型准确率无法预测部署表现
arXiv 论文指出,个性化对齐领域长期依赖奖励模型(RM)准确率选模型,但该指标与下游策略准确率仅弱相关(Kendall's tau = 0.08--0.31),无法预测奖励引导解码(RGD)的部署效果。
arXiv 论文指出,个性化对齐领域长期依赖奖励模型(RM)准确率选模型,但该指标与下游策略准确率仅弱相关(Kendall's tau = 0.08--0.31),无法预测奖励引导解码(RGD)的部署效果。
研究者提出 PAVE(Purifying TAsk Vectors)方法,在知识感知子空间中对任务向量进行净化,以缓解模型合并中因任务无关冗余导致的性能下降。该方法采样各任务的训练样本获取协方差矩阵,执行面向上下文的奇异值分解,将微调权重拆分为任务相关与冗余成分并剪枝冗余部分,同时引入谱秩分配策略平衡各模型的剪枝力度。
研究者提出 VRPAgent 框架,将 LLM 生成的组件嵌入共享元启发式框架,并通过新型遗传搜索优化,为车辆路径问题(VRP)自动发现启发式算子。该方法在容量约束 VRP、带时间窗 VRP 和奖赏收集 VRP 上发现的开创了超越人工方法与近期学习方法的算子,且仅需单个 CPU 核心。作者称这是首批推进 VRP 最先进水平的 LLM 方法之一,论文发表于 TMLR。
研究者提出 EMMA 框架,通过生成式数据增强 VLA 模型的机器人操作策略,其中 DreamTransfer 是基于 diffusion Transformer 的架构,可生成多视角一致、几何合理的具身操作视频,支持对前景、背景和光照的文本驱动编辑。
一项 arXiv 研究提出将多智能体公交车间隔控制问题重构为单智能体强化学习框架,通过在状态空间中加入车辆 ID、站点 ID、时段等类别标识,并采用脊形奖励函数兼顾均匀间隔与时刻表遵守。在双向时刻表网络与动态客流仿真中,改进的 SAC 比基准 MADDPG 表现更优更稳定(随机条件下 -430k vs. -530k),为非环形真实线路提供了可扩展的 MARL 替代方案。
研究者提出 SAGE(Symbolic Acceleration via Generative Evolution)框架,利用 LLM 初始化候选不等式、经可行性筛选和进化交叉变异自动发现加速不等式族,用于改进整数规划求解。
一篇 arXiv 论文提出用三步 NLP 评估加符号规划修正的流水线,细粒度衡量 LLM 生成规划的质量。实验发现 LLM 生成规划时缺乏逻辑推导或状态跟踪的明确证据:非空规划平均只有 3.55 个动作可执行,而符号生成的最优规划平均长度为 9.47 个动作,表明 LLM 作为长程规划器仍远不如符号规划器可靠。
GenoMAS 是一个由多个 LLM 智能体组成的基因组数据分析框架,通过类型化消息传递协议和引导式规划,将任务指南分解为 Action Units 并动态推进、修订或回溯。
斯坦福团队在 CVPR 2018(spotlight)发表论文,提出 Gibson 虚拟环境,用于训练主动智能体的真实世界感知。Gibson 基于真实空间虚拟化构建,包含来自 572 栋完整建筑的 1400 多个楼层空间,并通过"Goggles"内部合成机制使训练模型无需域适应即可部署到真实世界,同时让智能体受物理与空间约束。代码、数据集与项目网站已公开。
arXiv 一篇论文提出一个模型,可为任意骨骼同时生成视频和 3D 运动,并通过相机将运动对齐到 3D 场景。该模型将支持任意骨架的运动模型与预训练视频模型通过少量 cross-attention 层连接,并用生成式视频编辑器与人形、机器人视频构建了近 200K 训练对。评测显示其文本驱动骨骼动画比视频优先管线更忠实,还能实现视频转骨骼运动、骨骼运动转视频及关键帧控制。
研究者提出 GBClaw,一个用于研究一般晶界结构与变形的智能体 AI 框架,将 LLM 集成到由编排器、专用智能体、领域工具、模拟接口和分层记忆组成的模块化架构中。该框架通过动态重规划与迭代式工作流优化,对镍中 14 个一般非对称倾斜晶界进行界面缺陷结构表征,并识别出多种变形机制。对比有/无次级晶界错配位错的边界滑移发现剪切强度差异显著,后续计算还将异常高剪切阻力追溯到亚稳边界结构。
研究者提出 UniWALM,在单一 mixture-of-transformers 骨干中统一学习视频、动作与语言三种模态,各模态扩散头同步协同去噪,无需独立规划阶段即可在解码动作同时生成子任务与文本记忆。
NVIDIA 等研究者提出 IndustrialRemembr,一个将 ReMEmbR 扩展到机器人车队的共享时空记忆系统,通过仅在需要时生成场景描述来减少服务端计算。
研究者推出 MindView 基准,用于评测生成式多视角空间智能,包含来自 513 个场景的 1,500 个样本,涵盖几何主导与语义主导两类共 7 项任务。对 11 个生成模型的评测显示其提升空间较大,微调 BAGEL 后总分提高 24.3 分,且在三个空间理解基准上也有提升。团队还提出免训练的空间证据选择器 MindCue,可逆转扩展上下文下的得分下降并超过标准上下文基线。
研究者推出 DAR-MGSM,首个面向方言阿拉伯语数学推理的人工整理基准,涵盖五大阿拉伯方言及现代标准阿拉伯语(MSA),包含纯翻译版与文化本地化版两个平行版本。对 11 个阿拉伯语中心及多语言大语言模型的评估显示,本地化版本上性能普遍下降,但各模型受影响程度不同。机制可解释性分析表明,同一题目的翻译版与本地化版常引发不同的内部推理轨迹。
研究者通过合成语料预训练、双视角输入(原始振幅与实例归一化形状)和知识蒸馏三项改动,将 TS2Vec 转化为可在数据集间复用的基础模型 TS2Vec-FM。该 1.6M 参数的扩张卷积网络在冻结状态下线性探测达到 UCR-128 83.3%、UEA-27 75.3%,距当前 SOTA 的 MantisV2 仅 0.3 pp,且不依赖注意力、patch tokenizer 或中间层提取。
Shu Zhao 和 Tan Yu 在 arXiv 论文(arXiv:2610.28586)中提出 R2S(Rollout-to-Scorer Distillation),认为智能体在策略蒸馏(OPD)的失效源于下一 token 打分的短视而非复合误差,并将其命名为 rollout-scorer gap。
研究者提出 SceneRig,一个将单张图像转化为可编辑、可用于仿真的 3D 场景的智能体系统。该系统结合几何、视觉与物理工具重建场景,并由智能体在物理仿真器内执行“编辑-验证”循环以确保物体物理稳定。
研究者提出空间表示学习框架 Tessera,将空间感知的基因选择与建模相对细胞关系的几何归纳偏置相结合,在保留方向信息的同时保持平移不变性。在held-out组织与技术平台上,Tessera 在表示质量上超越现有空间基础模型,并可零样本泛化到比训练时大最多 16 倍的上下文。该工作已被 NeurIPS 2026 AI4DD workshop 接收。
一项系统性实证研究在 18 个数据集框架(10 个 GRPO 训练、2 个验证、6 个留出评估)上,比较五种经典基线、冻结的 Qwen2.5-7B 与 Llama-3.3-70B 选择器及两个 GRPO 适配的 Qwen2.5-7B 模型。