方案概述
当前机器人操作模型依赖真实机械臂遥操作数据进行训练。传统采集流程需要同时部署机械臂、夹爪、相机、遥操作设备及控制系统,并由操作人员在固定工作空间内完成示教。这种方式存在以下问题:
- 一是采集成本高。每套采集系统都需要占用真实机器人本体,机械臂数量直接限制了数据生产规模。
- 二是采集效率低。遥操作受到机器人运动速度、控制延迟、碰撞保护及复位流程的限制,难以快速、连续地完成大规模示范。
- 三是场景覆盖有限。机器人固定在实验室或产线工位中,难以进入家庭、商超、办公室等真实环境采集多样化数据。
- 四是数据与本体强耦合。不同机械臂的自由度、运动学结构、控制频率和夹爪形式不同,一套机器人采集的数据很难直接迁移到另一套机器人上。
因此,要扩大机器人训练数据规模,仅依靠“增加机器人数量”和“增加遥操作人员”并不经济,需要建立一种不依赖目标机器人本体的数据采集方式。
UMI,即Universal Manipulation Interface,通过手持式示教夹爪同步采集腕部视觉、夹爪位姿轨迹和夹爪开合状态,使示教人员可以直接在真实环境中完成操作,而不需要现场部署机械臂。原始UMI工作将其定位为一种便携、低成本、信息密度较高的数据采集与策略学习框架,并重点解决从自然人类示范到可部署机器人策略的迁移问题。
这里的“无本体数据”并不是完全没有动作或状态信息,而是指采集阶段不包含目标机器人的关节角、关节速度、电机状态及机器人控制指令。采集数据主要由以下内容组成:
- 腕部或夹爪视角的RGB图像。
- 手持夹爪在空间中的位姿轨迹。
- 夹爪开合状态。
- 时间戳及必要的相机标定信息。
- 双手任务中的左右手相对关系。
这些数据描述的是“任务空间中的操作意图”,而不是某一台机械臂的具体关节运动。通过相对轨迹动作表示、动作重定向和部署时延匹配,可以进一步将人类示范转换为机器人可执行的末端轨迹。UMI原始方案也使用相对轨迹表示降低不同环境坐标和机器人平台之间的差异。
整体方案设计
本实践的目标不是简单完成UMI数据采集,而是打通从“无本体示范数据”到“真实机器人闭环执行”的完整链路:
数据采集 → 数据清洗与轨迹重建 → 模型训练 → 本体接入 → 真机推理。
重点解决以下关键问题:
- 数据可用性问题
建立UMI数据质量检测机制,识别视觉模糊、位姿漂移、轨迹跳变、夹爪状态错误以及时间不同步等异常数据。
- 数据表达统一问题
将世界坐标系或采集设备坐标系中的绝对轨迹,转换为模型更容易学习、跨场景更稳定的相对末端位姿,例如相对当前末端、相对首帧或相对任务参考物体的位姿变化。
- 无机器人本体状态下的模型训练问题
训练阶段不能依赖真实机器人关节状态,需要明确模型的输入输出接口,使模型主要根据视觉观测、语言指令和末端历史轨迹预测未来末端动作。
- 人手示范到机器人执行的迁移问题
人手可以到达的位置和姿态不一定满足机械臂工作空间、关节限位及碰撞约束,因此需要通过运动学求解、轨迹缩放、可达性检查和平滑控制完成动作重定向。