SERA:从 VLM 规划器到机器人智能体,面向历史依赖操作的自进化框架
研究者提出 SERA(Self-Evolving Robotic Agent),通过可编辑的 harness 将高层 VLM 组织为机器人智能体,配合固定的 VLA 执行器维护任务上下文并利用执行经验改进规划。
研究者提出 SERA(Self-Evolving Robotic Agent),通过可编辑的 harness 将高层 VLM 组织为机器人智能体,配合固定的 VLA 执行器维护任务上下文并利用执行经验改进规划。
研究者提出 PAPAV 统一能力框架,将多模态具身智能体(MMEAs)的核心功能归纳为感知状态、预判动作效果、规划可行路径、通过接口或身体执行、验证结果五项。分析 64 个 benchmark 发现,评测集中在 Act,仅 5 个评估 Anticipate、3 个评估 Verify。该框架为设计可靠物理智能体、超越单纯任务成功率衡量进展提供了共同基础。
研究者提出首个跨操作类别和人体动作来源联合训练的通用双手灵巧追踪器 DONIC,并发布多视角数据集 BiHOI,包含 1,575 条序列、覆盖 229 个物体。
研究者提出 AW-0,一个将代码化规划与视频、动作联合预测结合的 Agentic 世界动作模型框架。该框架在统一的 mixture-of-transformers 架构中将代码、未来视频和机器人动作建模为三条耦合生成流,并通过自动化管线把机器人与人类视频轨迹标注为程序、沉淀为可复用技能库。
论文提出 TAPDreamer,一种仅用公开编码器构造固定局部扰动、无需目标策略查询的攻击方法,可跨任务与动作架构迁移。仅覆盖约 6.5% 输入的冻结贴片使 FastWAM 在 40 个 LIBERO 任务上的成功率从 97.7% 降至 0.0%,在 50 个 RoboTwin 任务上从 90.86% 降至 0.0%,对 DreamWAM 和 Motus 也大幅降低成功率。
KITE(Kinematic Interaction Transfer across Embodiments)方法将操作策略解耦为与本体无关的交互预测和针对特定本体的运动学解码,通过基于接触模式的交互意图表示连接两者。
一篇入选 CoRL 2026 的论文提出 flow control 方法,通过键盘等通用输入实时引导视觉-语言-动作(VLA)模型,无需重训练或微调。方法将用户输入写入 VLA 的 flow matching 动作专家的初始条件,兼顾高保真与高一致性,可开箱即用。实验显示该方法能提升任务成功率并加快完成速度,且在 flow control 轨迹上微调还可改进自主策略。
DEFLECT 是一个离线后训练框架,利用训练数据中的执行时刻观测构建时序反事实对比,对基于陈旧输入动作的策略进行偏好监督,解决异步推理中预测时刻与执行时刻状态错位问题。在 Kinetix、LIBERO 和三个真实机器人任务上,最长支持延迟下相比 VLASH 在 Kinetix 提升 4.2 个百分点成功率,相比朴素异步执行的 GR00T N1.7 在 LIBERO 提升 22.7 个百分点。
浙大团队提出 VLA-Rolling,一个轻量推理框架,在流匹配 VLA 模型上复用被丢弃的动作尾部,包含动作尾继承、逐动作置信度估计和置信度引导的去噪预算分配三个阶段,底层模型保持冻结。
Thinker 团队(Ubtech)发布统一多模态世界模型 Thinker-WM,通过共享中间 Unified Dynamics Transformer 联合建模与生成 RGB、度量深度和机器人动作。
研究者提出 EMMA 框架,通过生成式数据增强 VLA 模型的机器人操作策略,其中 DreamTransfer 是基于 diffusion Transformer 的架构,可生成多视角一致、几何合理的具身操作视频,支持对前景、背景和光照的文本驱动编辑。
斯坦福团队在 CVPR 2018(spotlight)发表论文,提出 Gibson 虚拟环境,用于训练主动智能体的真实世界感知。Gibson 基于真实空间虚拟化构建,包含来自 572 栋完整建筑的 1400 多个楼层空间,并通过"Goggles"内部合成机制使训练模型无需域适应即可部署到真实世界,同时让智能体受物理与空间约束。代码、数据集与项目网站已公开。
研究者提出 UniWALM,在单一 mixture-of-transformers 骨干中统一学习视频、动作与语言三种模态,各模态扩散头同步协同去噪,无需独立规划阶段即可在解码动作同时生成子任务与文本记忆。
研究者提出 SceneRig,一个将单张图像转化为可编辑、可用于仿真的 3D 场景的智能体系统。该系统结合几何、视觉与物理工具重建场景,并由智能体在物理仿真器内执行“编辑-验证”循环以确保物体物理稳定。
研究者提出 REACT 框架,用 VLM 引导的接触建模与重定向管线从人与人演示中学习可部署的人形机器人交互策略,并将特权策略蒸馏为仅靠机载感知的 egocentric depth 策略。
一篇 arXiv 论文提出 TaskWAM,一个闭环、阶段感知的框架,用于解决世界-动作模型(WAM)在长程操作中漂移到错误任务阶段的“Stage Confusion”问题。
研究者提出 GALA,一个具备显式点云感知的几何感知语言模型,用于可控物体摆放,通过自回归方式结合场景上下文和摆放指令逐个预测目标物体的 6D 位姿。模型采用两阶段训练:先以预训练任务对齐几何与文本模态,再针对摆放任务微调。
研究者提出 HuTact 框架,从大规模人手-物体交互(HOI)数据预训练触觉感知的手部表征,预训练阶段无需真实触觉信号。该框架可将人手动作中学到的交互结构迁移到机器人触觉观测,并能用少量无标签机器人交互数据继续适配。
研究者提出 World2HOSI,一个多专家编排框架,可从 3D Gaussian Splatting(3DGS)场景和自然语言指令生成长时程人-物-场景交互(HOSI)数据。
arXiv 论文提出 VLA-Retain 基准,在 LIBERO-Plus 数据集七个扰动维度上比较五个开源 VLA 模型经 Camera-view 或 Sensor-noise 数据微调后与自身基础检查点的表现。
CovNav 是一个免训练框架,用 Conformal Prediction(CP)将混合推理 LLM 的快慢双模式转化为不确定性感知的决策,仅在模糊查询时升级到慢速思维链推理。在 Gibson 和 HM3D 上,成功率比最强零样本基线分别高出 0.8 和 1.7 个百分点,且只对 12.4% 的查询调用慢推理。TurtleBot 4 真机实验进一步验证了该方法。
论文提出用单个头戴相机(122 美元)配合无电子元件手套(22 美元)和工作区纸码,替代腕部相机、位姿追踪器及多数据流同步,得到 6.5 毫米与 1.6 度中位精度的 6-DoF 标签。
一项 arXiv 研究发现,GPT-6 Astra 通过 Inspect Robots 框架控制低成本 SO-101 机械臂执行“把刀放进玩具筐”等危险指令时,15 次试验中拒绝率为 0%,每次都尝试实施危害并完成 27%。
研究者提出一种让摄像头机器人半自主完成 Shoebox Tasks 的方法:用视觉大语言模型将任务照片转换为 PDDL 表示并生成动作规划。系统在 Nao 机器人上实现了自主执行、提示下一步或以动作演示、语音和手势指出失败,无需教师编程,仅以拍摄的图像为输入,求解器可集成到多种教育机器人中。
arXiv 论文提出 G-JEPA,通过共享因果时序模块在物理状态监督下聚合观测与预测序列的时序上下文,改进 JEPA 世界模型的物理落地。规划阶段引入以当前和目标潜在表示及其演化差异为条件的动作推断,生成锚定提议引导在线优化。实验显示操作任务的规划性能提升,代码已开源。
论文提出 Slot-based JEPA(Slot-JEPA),将 JEPA 的稠密 patch 表征分解为稳定语义 slot 与时变空间掩码,预训练一次后冻结,为下游预测器提供可复用的对象结构化接口。
arXiv 论文提出 KPHarness,一个通过知识-探测协同演化来适配冻结视觉-语言-动作模型外部执行框架的方法。框架将快速策略执行与慢速研究循环分离,每次框架修订都在匹配的沙盒条件下与现有版本对比、仅在配对评估显示改进时才被接受。
研究者提出 SCAMPER(Simulated Control via Augmented Motor Priors for Embodied Reinforcement learning),用于训练具身虚拟大鼠模型,使其在目标导向行为和随机探索中都能产生自然运动。
上海交大 Weinan Zhang 等学者在 arXiv 发布 388 页、12 章的 Physical AI 专著,提出将物理 AI 定义为在真实世界约束下通过持续反馈感知、建模并作用于物理世界的人工系统。
一项研究提出结合大语言模型与强化学习的自主建造方法:采用增强型 soft actor-critic 强化学习算法为移动起重机规划施工动作,并借助机器人运动学与控制算法保证动作可执行。系统还定制了嵌入模型按用户兴趣提取施工环境信息,并调用 ChatGPT 5 更新施工进度、向控制系统提供安全信息、生成进度报告。该方法通过多个全尺寸挡土墙建造实验验证了可行性。
清华大学团队 10 月 17 日发布 TacTalent 技术报告,评估 GPT-6 Astra 在接触密集型操作中的表现。
研究者开发可解释性管线研究 Vision-Language-Action 模型的内部计算,向动作专家注入任务 A 的激活可使 pi0.5 在 99.6% 的回合(n=1,968)执行任务 A 的运动轨迹,且该程序绑定绝对工作区坐标、忽略可见场景。
arXiv 论文(arXiv:2610.28698)通过 120 组持续预训练(CPT)配置,系统研究数据量、多样性与模型规模对虚拟世界具身智能体的作用,覆盖 0.8B 到 27B 四种模型规模、50 到 1,600 小时六档数据预算和五种数据混合。
EVO-WAM 论文提出让世界动作模型不依赖专家示范和环境试错、从自我生成轨迹中迭代学习的方法,流程为想象、验证、学习循环。模型同时预测机器人状态以逐段生成完整候选轨迹,用 VLM 判断任务完成、用逆动力学模型(IDM)检验动作一致性后筛选经验用于微调。