具身智能数据准备与共享

前置条件

本章节用于指导用户高效使用具身智能系统中的数据准备服务。当个人或企业需处理物理设备（如机器人、智能终端）产生的初始交互数据、环境感知数据时，可通过具身数据准备模块实现多源异构数据的自动化处理与分析，实现数据格式转换及数据评测。

• 用户已经开通了CloudRobo账号；

• 用户已有一批数据在本地，或者使用平台预置的数据集；
• 用户终端最低硬件配置，客户已采购数据处理的算力资源；

预期效果

• 数据生产：通过高保真场景重建与物理仿真，自动生成符合真实世界约束的机器人交互数据，为模型训练提供高质量训练数据。
• 数据处理：将多模态传感器原始数据转换为带时空对齐的标准化格式，如rosbag转换为LeRobot3.0。
• 数据评测：通过多维度量化指标（如覆盖率、分布相似度、异常检测能力）建立数据集质量评估体系，驱动数据闭环优化。

触发事件

模型训练需要特定数据集。

基本流程

图1 基本流程图

数据准备是为了获得训练具身模型的数据集，适用场景如下：

• 场景1：源数据是本地的原始数据，需要导入到OBS，进行数据处理、评测后，发布到资产空间。
• 场景2：源数据已发布到资产空间，需进一步处理，如数据评测等，再发布到资产空间。
• 场景3：如果没有源数据，可以使用仿真轨迹合成，可以在数据生产功能上线后 ，再发布到资产空间。

数据处理

1. 登录CloudRobo控制台。
2. 在左侧菜单栏中单击“数据准备 > 数据处理”，进入数据处理页面。
3. 单击右上角“创建任务”，进入创建页面，配置相关信息。
   图2 创建数据处理任务1
   
   图3 创建数据处理任务2
   
   

   • 基础信息：任务名称会进行正则校验，名称由中文、数字、字母、下划线（_）、连字符（-）、点（.）、斜线（/）组成，长度为3~64个字符。
   • 预置算法：目前有4个预置算法（数据处理--逆运动学求解器不支持ray作业），如选择“数据转换--ros转LeRobotV3”，自动带出启动命令。（预置算法启动命令不支持编辑修改）
   • 空间资产-算法：在下拉框中选择自定义上传的算法，对数据进行处理。（空间资产-算法启动命令支持编辑修改）
   • 环境变量默认。
   • 运行环境配置：

     k8s作业：仅单机运行任务。

     RAY作业可以多线程并发，也支持挂载动态存储。

     专属资源池不支持动态存储。

   • 数据配置：原始数据可以从空间资产中已有的数据集中选择，也可以选择用户上传到OBS桶的原始数据包。

4. 完成配置项后，单击“立即创建”，生成一条新的数据处理任务。可在任务列表中进行查看。
5. 单击列表的任务名称，进入任务详情页面。
   图4 任务详情页
   

6. 在OBS或资产空间的保存路径目录，查看数据集归档。