# 数据入门：一键将LeRobot V2.1转换成LeRobot V3格式数据集 #### 场景介绍 具身广场中的模型仅支持LeRobot V3格式的数据集输入。由于历史原因，许多已采集的数据集仍为LeRobot V2.1格式，需要将LeRobot V2.1版本的数据集转换成LeRobot V3格式。 为方便您格式转换，CloudRobo内置了Huggingface标准的LeRobot V2.1转V3的处理逻辑，本案例介绍如何在CloudRobo中使用该功能。 #### 计费影响 数据处理可以调用公共资源池或专属资源池。数据处理功能本身不收费，数据处理使用的资源计费： - 公共资源池：不收费，但限制个人资源配额。 - 专属资源池：CloudRobo采用纳管用户自有计算资源方式运行，用户需要自行购买CCE资源。 #### 前提条件 - 已完成华为云账号注册、实名认证及相关权限授权。 - 已将LeRobot V2.1格式的数据集上传至自己的OBS空间，并在该空间完成资产注册。 #### 约束限制 仅"西南-贵阳一"区域支持。 #### 创建数据处理任务 1. [登录CloudRobo控制台](https://console.huaweicloud.com/cloudrobo/)。 2. 在左侧导航栏中单击"数据准备 \> 数据处理"，进入数据处理页面。 3. 单击右上角"创建任务"，进入创建页面，参照[表1]配置参数，单击"立即创建"。 表1一键LeRobot V2.1转LeRobot V3格式数据集参数说明 | 参数 | 说明 | 本案例推荐值 | |:---|:---|:---| | 任务名称 | 数据处理任务名称，用于标识和管理数据处理任务。支持3\~64个字符，可以包含中文、数字、字母、下划线（_）、连字符（-）、点（.）、斜线（/）。 | - | | 描述 | 本数据处理任务的描述信息，用于说明本数据处理任务的功能等。 | - | | 处理算法 | 本数据处理任务具体使用的算法，来源包括"预置算法"、"空间资产-算法"或"OBS 算法"，其中： - 预置算法：CloudRobo自带的数据处理算子，仅支持标准输入、输出。当前内置的算子有：数据转换--LeRobotV21转LeRobotV3、数据转换--ros转LeRobotV21、数据转换--ros转LeRobotV3、数据处理--逆运动学求解器、数据处理--LeRobot数据合并。 - 空间资产-算法：用户自定义数据处理算子，用户可以根据自有业务需求开发定制。 - OBS 算法：选择算法在OBS的路径，对数据进行处理。 **需要在当前工作空间默认存储路径（以实际情况为准）下进行选择，其他路径会导致创建失败。** | 预置算法-\>数据转换--LeRobotV21转LeRobotV3 | | 启动命令 | 数据处理算子的入口命令，内置算子会默认填写；自定义算子根据实际代码位置及入口函数和参数设置。 | 无需修改 | | 环境变量 | 如果数据处理算子需要读取环境变量以便控制内部逻辑，可以在此设置。 | 无需设置 | | 作业类型 | CloudRobo支持分布式作业和单容器作业两种作业类型，其中分布式作业以Ray Job方式运行，用户需要将分布式作业及作业依赖制作为容器镜像，支持大型分布式运行，需要设置head和worker节点的资源规格；单容器作业当前仅支持单容器运行，仅需设置worker节点的资源规格即可。 | 分布式作业和单容器作业均支持 | | 资源池 | 选择资源池类型，支持公共资源池和专属资源池。 | 公共资源池 | | worker资源规格 | - 当选择"单容器作业"时，只需要在下拉框中选择worker资源规格。 - 当选择"分布式作业"时，需要选择head资源规格和worker资源规格。 | 2 vCPUs \| 4 GiB | | head资源规格 | 当选择"分布式作业"时，需要先在下拉框中选择head资源规格。当选择"单容器作业"时，不涉及该配置项。 | 2 vCPUs \| 4 GiB | | workNum并发数量 | 仅在作业类型选择"分布式作业"时有效。 配置workNum并发数量。 说明： 并行处理数据的worker数量，数值越大处理速度越快，但消耗的集群CPU、内存、带宽资源越多，过高数值会导致集群资源不足、任务调度排队、甚至单个Worker资源不足导致处理失败。 | 1 | | 动态存储 | 如果数据集规模比较大，如：超过50GB，建议每个节点挂载一个动态存储，以便作业运行时本地可以有更大的存储空间。 | 根据自己的实际需求申请 | | 输入数据集 | 待处理数据集，可以选择 "预置数据"、"空间资产-数据"或"OBS存储"。 | 空间资产-数据 | | 输出路径 | 处理后的数据集保存位置，可以选择 "空间资产-数据"或"对象存储服务OBS"。 | 空间资产-数据 | | 输出数据集名称 | 处理后的数据集名称。 | - | 创建完成后，系统自动返回数据处理列表页面，等待一段时间后，状态为"进行中"即为创建成功。 #### 删除或重启任务 在数据处理页面，可以单击某个数据处理任务"操作"列的删除按钮，删除该任务。 当任务状态为"失败"时，可以单击"操作"列的重启按钮，重启该任务。 #### 查看任务详情 在数据处理页面，单击某个数据处理任务的名称即可进入详情页面，查看数据详情及日志信息。