SERA:从 VLM 规划器到机器人智能体,面向历史依赖操作的自进化框架
研究者提出 SERA(Self-Evolving Robotic Agent),通过可编辑的 harness 将高层 VLM 组织为机器人智能体,配合固定的 VLA 执行器维护任务上下文并利用执行经验改进规划。
研究者提出 SERA(Self-Evolving Robotic Agent),通过可编辑的 harness 将高层 VLM 组织为机器人智能体,配合固定的 VLA 执行器维护任务上下文并利用执行经验改进规划。
研究者提出首个跨操作类别和人体动作来源联合训练的通用双手灵巧追踪器 DONIC,并发布多视角数据集 BiHOI,包含 1,575 条序列、覆盖 229 个物体。
研究者提出 AW-0,一个将代码化规划与视频、动作联合预测结合的 Agentic 世界动作模型框架。该框架在统一的 mixture-of-transformers 架构中将代码、未来视频和机器人动作建模为三条耦合生成流,并通过自动化管线把机器人与人类视频轨迹标注为程序、沉淀为可复用技能库。
arXiv 论文(arXiv:2610.25946)提出由人类主导、编码智能体迭代在代码空间中搜索策略的工作流,结合仿真反馈与正确性验证,并给出两个案例研究。
推荐理由:论文展示了用编码智能体在代码空间直接搜索策略的方法,两个案例的量化结果对多智能体路径规划工程实践有参考。
KITE(Kinematic Interaction Transfer across Embodiments)方法将操作策略解耦为与本体无关的交互预测和针对特定本体的运动学解码,通过基于接触模式的交互意图表示连接两者。
一篇入选 CoRL 2026 的论文提出 flow control 方法,通过键盘等通用输入实时引导视觉-语言-动作(VLA)模型,无需重训练或微调。方法将用户输入写入 VLA 的 flow matching 动作专家的初始条件,兼顾高保真与高一致性,可开箱即用。实验显示该方法能提升任务成功率并加快完成速度,且在 flow control 轨迹上微调还可改进自主策略。
一项 arXiv 研究提出在深度强化学习的关节级力矩控制中引入归纳偏置:从小规模专家示范数据中学习潜在动作,作为策略的行动先验。该先验让智能体利用专家动作知识、提升探索效率,迁移任务表现显著改善,且不受示范奖励水平限制;结合风格奖励做模仿时,能更贴近复现专家行为。论文已被 Humanoids 2026 接收。
Thinker 团队(Ubtech)发布统一多模态世界模型 Thinker-WM,通过共享中间 Unified Dynamics Transformer 联合建模与生成 RGB、度量深度和机器人动作。
研究者提出 UniWALM,在单一 mixture-of-transformers 骨干中统一学习视频、动作与语言三种模态,各模态扩散头同步协同去噪,无需独立规划阶段即可在解码动作同时生成子任务与文本记忆。
NVIDIA 等研究者提出 IndustrialRemembr,一个将 ReMEmbR 扩展到机器人车队的共享时空记忆系统,通过仅在需要时生成场景描述来减少服务端计算。
研究者提出 REACT 框架,用 VLM 引导的接触建模与重定向管线从人与人演示中学习可部署的人形机器人交互策略,并将特权策略蒸馏为仅靠机载感知的 egocentric depth 策略。
一篇 arXiv 论文提出 TaskWAM,一个闭环、阶段感知的框架,用于解决世界-动作模型(WAM)在长程操作中漂移到错误任务阶段的“Stage Confusion”问题。
arXiv 论文提出 DirectWAM,通过动作充分蒸馏将级联世界-动作模型(WAM)中预训练的视频与动作专家转为单步预测器,去除扩散的随机采样迭代推理。该方法在 LIBERO 四个套件上取得 97.1% 平均成功率,在 RoboTwin 2.0 上达到 85.4%,超过同等单次评估预算下的 Flash-WAM,并扩展到三个真实世界任务。相比完整迭代教师模型,推理延迟降低 28.0 倍。
论文提出用单个头戴相机(122 美元)配合无电子元件手套(22 美元)和工作区纸码,替代腕部相机、位姿追踪器及多数据流同步,得到 6.5 毫米与 1.6 度中位精度的 6-DoF 标签。
研究者提出一种让摄像头机器人半自主完成 Shoebox Tasks 的方法:用视觉大语言模型将任务照片转换为 PDDL 表示并生成动作规划。系统在 Nao 机器人上实现了自主执行、提示下一步或以动作演示、语音和手势指出失败,无需教师编程,仅以拍摄的图像为输入,求解器可集成到多种教育机器人中。
一项 arXiv 研究针对无人机(UAS)在远程飞行员或detect-and-avoid系统临时中断循环强化学习策略后的接管恢复问题,发现中断会降低隐状态中任务信息的可解码性并提高中断后碰撞风险。研究提出三种中断感知架构,通过独立特征流、专用中断记忆或门控环境特征来处理中断上下文。其中最强架构相比循环基线将中断后碰撞减少 74%、任务失败减少 69%,且不影响无中断时的性能。
上海交大 Weinan Zhang 等学者在 arXiv 发布 388 页、12 章的 Physical AI 专著,提出将物理 AI 定义为在真实世界约束下通过持续反馈感知、建模并作用于物理世界的人工系统。
Byungwoo Jeon 等人发布论文,提出 Video-Point Model(VPM),基于多视角视频历史和语言指令,联合预测任意视角的未来视频与场景持久点的 3D 轨迹。
研究者推出 AgenticRoboRL 框架,用监督微调结合多轮强化学习对不同机器人 harness 的规划器做后训练,通过 harness 专属适配器统一 RL 训练流程。在 LIBERO-PRO 上,9B 参数规划器的成功率从 18.1% 提升至 71.0%,接近 Codex(GPT-5.5)配合外部记忆达到的 72.1%。框架与训练好的规划器 checkpoint 将开源发布。
EVO-WAM 论文提出让世界动作模型不依赖专家示范和环境试错、从自我生成轨迹中迭代学习的方法,流程为想象、验证、学习循环。模型同时预测机器人状态以逐段生成完整候选轨迹,用 VLM 判断任务完成、用逆动力学模型(IDM)检验动作一致性后筛选经验用于微调。