# 创建数据处理任务 数据处理是数据准备的核心环节，负责将原始多模态数据（视觉、触觉、力觉、位姿）转化为高质量训练样本，解决时序失配、噪声干扰和仿真-现实差异问题。 #### 约束限制 - 计算资源限制：实时处理需高性能CPU，否则时延会降低响应速度。 - 数据质量约束：传感器故障或标定误差会导致数据不可用（如LiDAR点云缺失\>20%需丢弃）。 - 存储与带宽瓶颈：原始多模态数据量庞大（1小时≈500GB），需分布式存储（如HDFS）和压缩算法。 #### 前提条件 - 用户已经开通了CloudRobo账号。 - 用户已有一批数据在本地，或者使用平台预置的数据集。 - 用户终端最低硬件配置为4U8G，用户已采购数据处理的算力资源。 - 用户当前工作空间绑定的OBS桶需可用且OBS桶策略正常，否则功能无法正常使用。 - 如果OBS桶不可用，可根据界面提示重新选择存储地址。普通成员如遇配置失败，请联系管理员处理。 - 如果OBS桶策略异常，可根据界面提示重新配置OBS桶策略。普通成员如遇配置失败，请联系管理员处理。 - 如果因其他服务异常导致查询当前工作空间绑定的OBS桶详情失败，请联系华为云技术支持人员处理或[提交工单](https://support.huaweicloud.com/usermanual-ticket/zh-cn_topic_0127038618.html)。 #### 创建数据处理任务 1. [登录CloudRobo控制台](https://console.huaweicloud.com/cloudrobo/)。 2. 在左侧导航栏中单击"数据准备 \> 数据处理"，进入数据处理页面。 3. 单击右上角"创建任务"，进入创建页面，参照如下参数说明配置相关信息。 表1数据处理参数说明 | 参数 | 说明 | |:---|:---| | **基础信息** || | 任务名称 | 数据处理任务的名称。 命名规则：名称是由中文、数字、字母、下划线（_）、连字符（-）、点（.）、斜线（/）组成，输入长度范围为3\~64个字符。 | | 描述 | 数据处理的简介。 长度为512个字符以内。 | | **处理信息** || | 处理算法 | 可选"预置算法"、"空间资产-算法"或"OBS 算法"。 - 预置算法：选择预置的算法，对数据进行处理。当预置算法选择"数据处理--逆运动学求解器 "或"数据处理--LeRobot数据合并"时，不支持分布式作业类型。平台支持的预置算法可参考[数据处理算子说明](https://support.huaweicloud.com/usermanual-cloudrobo/cloudrobo_02_0051.html)章节。 - 空间资产-算法：选择自定义上传的算法，对数据进行处理。 - OBS 算法：选择算法在OBS的路径，对数据进行处理。 **需要在当前工作空间默认存储路径（以实际情况为准）下进行选择，其他路径会导致创建失败。** | | 启动命令 | 系统会根据您选择的处理算法类型自动填充命令行或用户自行输入启动命令。 - 选择"预置算法"，系统自动填充命令行，不支持修改启动命令。 - 选择"空间资产-算法"：系统自动填充命令行，支持修改启动命令。 - 选择"OBS 算法"：用户自行输入启动命令行。 说明： 算法默认执行命令，无需修改，支持一键复制。 | | 环境变量 | 根据业务需求设置环境变量的参数名称、值。 - 单击"添加"，输入"参数名称"和"值"，添加环境变量信息，总数不超过90条。 参数名称：请输入以字母或下划线开头的1\~64个字符，仅支持字母、数字、连字符（-）、下划线（_）。 值：请输入1--512个字符，支持中英文、字母、数字及特殊符号（_/\\.,:@\<\>{}$-）。 - 可单击操作栏的删除图标进行删除。 说明： 为了确保您的数据安全，在环境变量中，请勿输入敏感信息，如明文密码。 | | 运行镜像 | 选择运行镜像（[在资产中心注册的镜像资产](https://support.huaweicloud.com/usermanual-cloudrobo/cloudrobo_02_0018.html)）。 说明： "处理算法"选择"OBS 算法"有效。 | | 容器注入位置 | 算法目录在容器中的挂载地址。 说明： "处理算法"选择"空间资产-算法"和"OBS 算法"有效。 | | **运行环境配置** || | 作业类型 | 可选"单容器作业"或"分布式作业"。 | | 资源池 | 选择资源池类型，支持"公共资源池"和"专属资源池"。 - 专属资源池：专属资源池不与其他用户共享，资源更可控。在使用专属资源池之前，您需要先创建专属资源池，然后在开发过程中选择此专属资源池。不同业务使用的专属资源池有所不同，请参考[资源准备](https://support.huaweicloud.com/usermanual-cloudrobo/cloudrobo_02_0147.html)创建对应的专属资源池。 - 公共资源池：公共资源池提供公共的大规模计算集群，根据用户作业参数分配使用，资源按作业隔离。用户下发训练作业、部署模型、使用开发环境实例等情况下，均可以使用公共资源池完成。开通账号并申请公测后即可使用CloudRobo的公共资源池。 | | worker资源规格 | - 当选择"单容器作业"时，只需要在下拉框中选择worker资源规格。 - 当选择"分布式作业"时，需要选择head资源规格和worker资源规格。 | | head资源规格 | 当选择"分布式作业"时，需要先在下拉框中选择head资源规格。当选择"单容器作业"时，不涉及该配置项。 | | workNum并发数量 | 仅在作业类型选择"分布式作业"时有效。 配置workNum并发数量。默认值为1。 说明： 并行处理数据的worker数量，数值越大处理速度越快，但消耗的集群CPU、内存、带宽资源越多，过高数值会导致集群资源不足、任务调度排队、甚至单个Worker资源不足导致处理失败。 | | 动态存储 | 勾选"动态存储"后，可在数字微调器中输入值，默认为10。输入的值必须在10到32768之间。 说明： - 单容器作业动态存储使用值 = 配置的动态存储容量。 - 分布式作业动态存储使用值 = 配置的动态存储容量 ×（1 + workNum并发数量）。 - 当选择"专属资源池"时，不支持选择"动态存储"。 | | **数据配置** || | 输入数据集 | 单击"添加"设置输入数据集。数据集来源可选"预置数据"、"空间资产-数据"或"OBS存储"。最多可添加10个。 - 预置数据：单击![](https://support.huaweicloud.com/usermanual-cloudrobo/zh-cn_image_0000002744091475.png "点击放大")在弹出框中选择具身广场-数据（预置，单击数据右侧"预览"可预览该数据详情）。 - 空间资产-数据：单击![](https://support.huaweicloud.com/usermanual-cloudrobo/zh-cn_image_0000002714332572.png "点击放大")在弹出框中选择空间资产-数据（单击数据右侧"预览"可预览该数据详情）。或者单击左下角"创建数据集"，在弹出的窗口中填写参数信息。可参考[空间资产-创建数据资产](https://support.huaweicloud.com/usermanual-cloudrobo/cloudrobo_02_0015.html)章节。 - OBS存储：单击![](https://support.huaweicloud.com/usermanual-cloudrobo/zh-cn_image_0000002744091477.png)在弹出的窗口中选择数据在OBS的存储路径。 说明： 1. 不支持选择跨区域（Region）的OBS桶。如果您的OBS桶中有需要特别保护的敏感数据，请自行对数据加密后再存放到OBS桶。 2. 需选择符合格式要求的数据文件，可参考[数据处理算子说明](https://support.huaweicloud.com/usermanual-cloudrobo/cloudrobo_02_0051.html)章节内容。 3. **需要在当前工作空间默认存储路径（以实际情况为准）下进行选择，其他路径会导致创建失败。** 4. 选择内置算子（LeRobot 合并算子除外）进行数据处理，当输入为多个数据集时，输出结果会按输入数据集分别存放到独立目录中。如果训练需要使用单个合并后的 LeRobot 数据集，可以对上述多数据集处理的输出再次执行合并操作，或使用自定义数据处理任务。 | | 输出路径 | 可选"空间资产-数据"或"对象存储服务OBS"。 - 当选择"空间资产-数据"时，默认"空间资产-数据"为保存路径。 - 当选择"对象存储服务OBS"时，单击![](https://support.huaweicloud.com/usermanual-cloudrobo/zh-cn_image_0000002714172604.png)在弹出的窗口中选择OBS存储路径为保存路径。若任务失败，执行任务重启时会删除该地址下全部文件，请谨慎选择。 | | 输出数据集名称 | 在输入框中输入输出数据集名称。 命名规则：由中文、数字、字母、下划线（_）、连字符（-）、点（.）、斜线（/）组成，长度为2\~64个字符，且支持空格，但不能以空格开头或结尾。 | 4. 填写完相关参数后，单击"立即创建"，数据处理任务创建完成，系统自动返回数据处理列表页面，等待一段时间后，状态为"进行中"即为创建成功。 #### 常见问题 创建数据处理任务时，如果系统提示配额或资源不足，请参考"[创建执行作业时遇到系统提示配额或资源不足怎么解决](https://support.huaweicloud.com/cloudrobo_faq/cloudrobo_06_0003.html)"章节描述来解决。