苹果HALO论文用合成数据实现真机数据scaling

苹果发布HALO论文，针对真机遥操数据费时费力的问题，用提示词直接生成机器人长序列动作并放入仿真房间，通过随机修改光照和传感器噪点提高泛化性，并在仿真中复原现实动作延时、电机输出与指令的差异来缩小sim2real差距。实际跑下来，模型在仿真环境和现实环境的同类单任务成功率均达91%。 论文里的训练数据仅包含摄像头视觉数据。作者承认缺乏触觉等其他模态数据，无法判断用力精度等问题；此外换一台机器人需要重新标定。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。