SERA:从 VLM 规划器到机器人智能体,面向历史依赖操作的自进化框架
研究者提出 SERA(Self-Evolving Robotic Agent),通过可编辑的 harness 将高层 VLM 组织为机器人智能体,配合固定的 VLA 执行器维护任务上下文并利用执行经验改进规划。
研究者提出 SERA(Self-Evolving Robotic Agent),通过可编辑的 harness 将高层 VLM 组织为机器人智能体,配合固定的 VLA 执行器维护任务上下文并利用执行经验改进规划。
研究者提出 PAPAV 统一能力框架,将多模态具身智能体(MMEAs)的核心功能归纳为感知状态、预判动作效果、规划可行路径、通过接口或身体执行、验证结果五项。分析 64 个 benchmark 发现,评测集中在 Act,仅 5 个评估 Anticipate、3 个评估 Verify。该框架为设计可靠物理智能体、超越单纯任务成功率衡量进展提供了共同基础。
特斯拉CFO瓦伊巴夫·塔内贾10月22日在财报电话会上表示,未来几年资本开支将继续扩张,方向包括扩大Robotaxi车队规模、Optimus产能、太阳能制造产能、采购AI算力基础设施和建设芯片工厂。他称这套战略将支撑公司迈入新一轮增长周期,并表示自动驾驶、人形机器人、储能打下的基础将带来光明前景。
推荐理由:CFO 在财报电话会上给出资本开支的具体投向,读者可据此判断特斯拉未来投入的重点方向。
研究者提出首个跨操作类别和人体动作来源联合训练的通用双手灵巧追踪器 DONIC,并发布多视角数据集 BiHOI,包含 1,575 条序列、覆盖 229 个物体。
在2026世界物理AI大会暨宇树合作伙伴生态大会上,宇树科技创始人王兴兴表示,随着GPT-6的发布,目前物理AI已经看到被击穿的苗头,具身智能很可能在最近1-2年或2-3年迈过ChatGPT时刻。他认为当前最核心挑战是AI模型的输入输出和真实机器人的对齐,商业服务领域的落地会比家庭、工业领域更快。
财联社报道,美东时间周三特斯拉财报电话会上,马斯克表示坚信人形机器人将成为全球最大产业,未来地球上人形机器人数量甚至会超过人类。他预计到明年年末,机器人AI、机电设计、可靠性及使用寿命等问题有望解决,届时才能向特斯拉以外的企业交付 Optimus。
研究者提出 AW-0,一个将代码化规划与视频、动作联合预测结合的 Agentic 世界动作模型框架。该框架在统一的 mixture-of-transformers 架构中将代码、未来视频和机器人动作建模为三条耦合生成流,并通过自动化管线把机器人与人类视频轨迹标注为程序、沉淀为可复用技能库。
Noetix Robotics 已秘密递交香港 IPO 申请,募资规模或达数亿美元。该公司获宁德时代(CATL)支持,此消息来自知情人士。
工业和信息化部等八部门印发《产业基础能力提升“十五五”规划》,提出加强产业基础前沿技术创新布局。规划瞄准量子科技、生物制造、氢能和核聚变能、脑机接口、具身智能、6G、深空深海深地极地等前沿领域,按“场景牵引、基础先行”思路前瞻布局关键基础产品创新任务,并鼓励企业与国家实验室、高校等合作,加快概念验证、商业化验证和工程化产业化适配。
截至10月22日发稿,港股物理AI概念股延续涨势,SENASIC(06675.HK)涨6.63%,五一视界(06651.HK)涨4.54%,乐动机器人(01236.HK)涨2.87%。消息面上,五一视界附属公司51Sim被列入NVIDIA在GTC公布的NVIDIA Halos SAFE生态名单,是名单中唯一的中国企业。
马斯克 10 月 22 日表示,预计与 Optimus 相关的问题将在 2027 年底之前得到解决。
World Mechanics 联合创始人兼 CEO Sonia Joseph 在 AI Deep Dive 节目中表示,世界模型与机械可解释性是一体两面。她指出,研究者通常将二者分开处理:世界模型研究者不关注模型内部机制,可解释性研究则多聚焦语言模型。她认为理解这种联系是让 AI 在医疗、制造等物理世界中发挥作用的关键。
NVIDIA 与 Hugging Face 推出 SimReady Central Library,汇集超过 2,000 个仿真就绪(SimReady)OpenUSD 资产,免费开放获取,用于机器人训练环境和 AI 工厂数字孪生。
德国检测认证机构TÜV SÜD与埃森哲宣布借助英伟达技术加快工业自动化的独立认证流程,并展示“Physical AI Safety Suite”概念方案。该方案利用数字孪生、AI智能体和仿真技术,对工厂及仓库布局、机器人集群运行和单台机器人作业安全进行分层评估。TÜV SÜD预计数字化流程有望使生产设施提前最多30%投产,其自身仍负责独立评估与认证。
宇树科技21日发布人形机器人“H2-X 功夫传奇”,最长续航时间约8小时。
论文提出 TAPDreamer,一种仅用公开编码器构造固定局部扰动、无需目标策略查询的攻击方法,可跨任务与动作架构迁移。仅覆盖约 6.5% 输入的冻结贴片使 FastWAM 在 40 个 LIBERO 任务上的成功率从 97.7% 降至 0.0%,在 50 个 RoboTwin 任务上从 90.86% 降至 0.0%,对 DreamWAM 和 Motus 也大幅降低成功率。
KITE(Kinematic Interaction Transfer across Embodiments)方法将操作策略解耦为与本体无关的交互预测和针对特定本体的运动学解码,通过基于接触模式的交互意图表示连接两者。
一篇入选 CoRL 2026 的论文提出 flow control 方法,通过键盘等通用输入实时引导视觉-语言-动作(VLA)模型,无需重训练或微调。方法将用户输入写入 VLA 的 flow matching 动作专家的初始条件,兼顾高保真与高一致性,可开箱即用。实验显示该方法能提升任务成功率并加快完成速度,且在 flow control 轨迹上微调还可改进自主策略。
DEFLECT 是一个离线后训练框架,利用训练数据中的执行时刻观测构建时序反事实对比,对基于陈旧输入动作的策略进行偏好监督,解决异步推理中预测时刻与执行时刻状态错位问题。在 Kinetix、LIBERO 和三个真实机器人任务上,最长支持延迟下相比 VLASH 在 Kinetix 提升 4.2 个百分点成功率,相比朴素异步执行的 GR00T N1.7 在 LIBERO 提升 22.7 个百分点。
浙大团队提出 VLA-Rolling,一个轻量推理框架,在流匹配 VLA 模型上复用被丢弃的动作尾部,包含动作尾继承、逐动作置信度估计和置信度引导的去噪预算分配三个阶段,底层模型保持冻结。
Thinker 团队(Ubtech)发布统一多模态世界模型 Thinker-WM,通过共享中间 Unified Dynamics Transformer 联合建模与生成 RGB、度量深度和机器人动作。
研究者提出 EMMA 框架,通过生成式数据增强 VLA 模型的机器人操作策略,其中 DreamTransfer 是基于 diffusion Transformer 的架构,可生成多视角一致、几何合理的具身操作视频,支持对前景、背景和光照的文本驱动编辑。
斯坦福团队在 CVPR 2018(spotlight)发表论文,提出 Gibson 虚拟环境,用于训练主动智能体的真实世界感知。Gibson 基于真实空间虚拟化构建,包含来自 572 栋完整建筑的 1400 多个楼层空间,并通过"Goggles"内部合成机制使训练模型无需域适应即可部署到真实世界,同时让智能体受物理与空间约束。代码、数据集与项目网站已公开。
研究者提出 UniWALM,在单一 mixture-of-transformers 骨干中统一学习视频、动作与语言三种模态,各模态扩散头同步协同去噪,无需独立规划阶段即可在解码动作同时生成子任务与文本记忆。
研究者提出 SceneRig,一个将单张图像转化为可编辑、可用于仿真的 3D 场景的智能体系统。该系统结合几何、视觉与物理工具重建场景,并由智能体在物理仿真器内执行“编辑-验证”循环以确保物体物理稳定。
研究者提出 REACT 框架,用 VLM 引导的接触建模与重定向管线从人与人演示中学习可部署的人形机器人交互策略,并将特权策略蒸馏为仅靠机载感知的 egocentric depth 策略。
一篇 arXiv 论文提出 TaskWAM,一个闭环、阶段感知的框架,用于解决世界-动作模型(WAM)在长程操作中漂移到错误任务阶段的“Stage Confusion”问题。
研究者提出 GALA,一个具备显式点云感知的几何感知语言模型,用于可控物体摆放,通过自回归方式结合场景上下文和摆放指令逐个预测目标物体的 6D 位姿。模型采用两阶段训练:先以预训练任务对齐几何与文本模态,再针对摆放任务微调。
研究者提出 HuTact 框架,从大规模人手-物体交互(HOI)数据预训练触觉感知的手部表征,预训练阶段无需真实触觉信号。该框架可将人手动作中学到的交互结构迁移到机器人触觉观测,并能用少量无标签机器人交互数据继续适配。
研究者提出 World2HOSI,一个多专家编排框架,可从 3D Gaussian Splatting(3DGS)场景和自然语言指令生成长时程人-物-场景交互(HOSI)数据。
arXiv 论文提出 VLA-Retain 基准,在 LIBERO-Plus 数据集七个扰动维度上比较五个开源 VLA 模型经 Camera-view 或 Sensor-noise 数据微调后与自身基础检查点的表现。
CovNav 是一个免训练框架,用 Conformal Prediction(CP)将混合推理 LLM 的快慢双模式转化为不确定性感知的决策,仅在模糊查询时升级到慢速思维链推理。在 Gibson 和 HM3D 上,成功率比最强零样本基线分别高出 0.8 和 1.7 个百分点,且只对 12.4% 的查询调用慢推理。TurtleBot 4 真机实验进一步验证了该方法。
论文提出用单个头戴相机(122 美元)配合无电子元件手套(22 美元)和工作区纸码,替代腕部相机、位姿追踪器及多数据流同步,得到 6.5 毫米与 1.6 度中位精度的 6-DoF 标签。
一项 arXiv 研究发现,GPT-6 Astra 通过 Inspect Robots 框架控制低成本 SO-101 机械臂执行“把刀放进玩具筐”等危险指令时,15 次试验中拒绝率为 0%,每次都尝试实施危害并完成 27%。
研究者提出一种让摄像头机器人半自主完成 Shoebox Tasks 的方法:用视觉大语言模型将任务照片转换为 PDDL 表示并生成动作规划。系统在 Nao 机器人上实现了自主执行、提示下一步或以动作演示、语音和手势指出失败,无需教师编程,仅以拍摄的图像为输入,求解器可集成到多种教育机器人中。
arXiv 论文提出 G-JEPA,通过共享因果时序模块在物理状态监督下聚合观测与预测序列的时序上下文,改进 JEPA 世界模型的物理落地。规划阶段引入以当前和目标潜在表示及其演化差异为条件的动作推断,生成锚定提议引导在线优化。实验显示操作任务的规划性能提升,代码已开源。
论文提出 Slot-based JEPA(Slot-JEPA),将 JEPA 的稠密 patch 表征分解为稳定语义 slot 与时变空间掩码,预训练一次后冻结,为下游预测器提供可复用的对象结构化接口。
arXiv 论文提出 KPHarness,一个通过知识-探测协同演化来适配冻结视觉-语言-动作模型外部执行框架的方法。框架将快速策略执行与慢速研究循环分离,每次框架修订都在匹配的沙盒条件下与现有版本对比、仅在配对评估显示改进时才被接受。
研究者提出 SCAMPER(Simulated Control via Augmented Motor Priors for Embodied Reinforcement learning),用于训练具身虚拟大鼠模型,使其在目标导向行为和随机探索中都能产生自然运动。
上海交大 Weinan Zhang 等学者在 arXiv 发布 388 页、12 章的 Physical AI 专著,提出将物理 AI 定义为在真实世界约束下通过持续反馈感知、建模并作用于物理世界的人工系统。