文档首页/ 具身智能开发平台 CloudRobo/ 最佳实践/ 基于自定义模型进行模型训练调优与真机推理
更新时间:2026-11-11 GMT+08:00
分享

基于自定义模型进行模型训练调优与真机推理

概述

CloudRobo提供基于自定义模型的训练与调优服务,开发者也可通过Notebook进行模型开发。模型开发完成后,可快速部署并将本体接入云端,在智能体中进行真机测试。

本实践案例是:训练模型用于SO-ARM101机械臂单臂把笔放入笔筒。

  • 使用自定义模型:VLA-Base。
  • 使用自定义镜像:ros2lerobot-custom-1021。
  • 数据集:so101_place_pen_holder-sim-dataset。

前提条件

  • 已注册华为云账号,开通CloudRobo与相关服务。
  • 已有一台适配CloudRobo的SO-ARM101。

操作流程

经过以下步骤完成整个操作流程。

图1 操作流程图示

步骤一、创建自定义模型

  1. 登录CloudRobo控制台。
  2. 在左侧导航栏选择“空间资产 > 模型”,进入“模型”页面。

    如果是首次操作,请务必仔细查看新手引导,有利于后续操作的便利性。

  3. 在页面右上角单击“创建模型”,进入“创建模型”页面。
  4. 请按照页面提示配置创建模型参数。

    表1 创建模型参数

    参数

    说明

    基础信息

    模型名称

    请输入模型名称,本实践以“VLA-Base”为例。资产名称一经创建不支持修改,请谨慎填写。

    模型名称是由中文、数字、字母、下划线(_)、连字符(-)、点(.)、斜线(/)、空格组成,不能以空格开头或结尾。输入长度范围为2~64字符。

    模型类型

    本实践选择“操作模型”。

    资产来源

    必填项。单击在OBS存储数据路径下选择OBS路径。

    说明:

    需选择符合格式要求的模型资产文件,建议包含以下内容:

    • r2c.json:操作模型需上传,用于记录模型输出与机器人本体各类接口的绑定关系,请参考r2c协议配置说明。
    • README.md:用于描述模型资产的详细内容。
    • 资产文件:模型的资产文件集合。
    • 需要在当前工作空间默认存储路径(以实际情况为准)下进行选择,其他路径会导致创建失败。
    • 目标路径下,单文件最大值为30GB。
    • 目标路径下,文件数最大值为100个(文件夹不统计)。
    • 目标路径下,嵌套深度最大值为10。

    模型优势技能

    本实践选择的模型类型是“操作模型”,需配置模型优势技能。

    模型优势技能指模型经过训练后,在各项能力中表现相对优异、可作为该模型优势能力的技能。

    单击“添加”,配置模型优势技能。需配置“技能名称”和“prompt”信息。

    • 技能名称:由中文、数字、字母、下划线(_)、连字符(-)、空格组成,不能以空格开头和结尾。长度为1~64个字符。
    • prompt:长度在 1~1024个字符之间的字符串。且prompt必须唯一。

    如不需要可单击删除。最多添加50个模型优势技能。

    仅执行模型优势技能

    开启是否仅执行模型优势技能。

    开启后,部署后的模型服务在智能体调试时仅能执行当前的模型优势技能。未开启则默认可执行模型的全部技能。

    说明:

    仅添加了“模型优势技能”时有效。

    标签

    在下拉框中选择平台预置或自定义的标签,本实践选择“基模型”。

    描述

    创建模型任务的简介。

    长度为512个字符以内。

    图2 创建自定义模型

  5. 所有参数配置完成后,单击“确定”,创建模型任务完成,将自动返回模型列表,可查看新创建任务的信息。

步骤二、注册自定义镜像资产

  1. 在左侧导航栏中选择“空间资产 > 镜像”。
  2. 在镜像页面右上角单击“注册镜像”,填写参数信息。

    • 镜像源:单击输入框,在选择镜像页面,勾选镜像源地址。选择目标镜像后,在右侧可选择对应的镜像版本。
    • 应用场景:必选字段,本实践选择:模型部署、模型训练,支持多选。
    • 描述:可选字段,无格式要求,长度不超过512个字符。
    • 架构:本实践选择“ARM”。
    • 类型:本实践选择“ASCEND”、“CPU”。
    • 规格:本实践选择“ASCEND_SNT9B”。
    图3 注册镜像

  3. 单击“确定”后,形成一条镜像资产的任务,可在镜像资产列表中查看。

步骤三、创建自定义数据资产

  1. 在左侧导航栏中选择“空间资产 > 数据”。
  2. 在数据页面右上角单击“创建数据”,填写参数信息。

    • 数据集名称:由中文、数字、字母、下划线(_)、连字符(-)、点(.)、斜线(/)、空格组成,不能以空格开头或结尾。输入长度范围为2~64字符。

      本实践以“so101_place_pen_holder-sim-dataset”为例,数据集名称一经创建,不支持修改,请谨慎填写。

    • 资产来源:必填项。单击输入框在弹出的存储位置页面选择OBS存储路径。
      • 需要在当前工作空间默认存储路径(以实际情况为准)下进行选择,其他路径会导致创建失败。
      • 需选择符合格式要求的数据资产文件,建议包含以下内容:
        • README.md:用于描述数据资产的详细内容。
        • 资产文件:数据的资产文件集合。
    • 数据集已标注:可选择是否勾选“数据集已标注”选项。
    • 标签:可选字段,在下拉框中选择平台预置或自定义的资产标签,支持多选。
      • 系统预置标签:如“商业”、“家居”、“工业”、“办公”、“户外”等选项。
      • 自定义标签:参考《CloudRobo 用户指南》中“资产标签管理”章节创建或管理标签。
    • 描述:可选字段,无格式要求,长度不超过512个字符。
    图4 创建数据集

  3. 单击“确定”后,形成一条数据资产的任务,可在数据资产列表中查看。

步骤四、创建模型调优训练作业(基于空间资产-模型)

  1. 在左侧导航栏选择“模型开发-模型训练”,进入模型训练作业管理页面。
  2. 单击右上角“创建训练作业”按钮,开始作业创建过程。根据如下图示配置相关信息。

    图5 创建训练作业
    图6 算法配置
    图7 输入配置
    图8 训练产物配置

  3. 单击“立即创建”之后,形成一条模型训练的任务,可查看训练状态,如有异常可查看异常事件,如图4。

    图9 任务创建中状态
    图10 任务运行中状态

步骤五、创建部署模型服务

部署模型之前,需检查模型训练作业是否已正常完成。

  1. 模型训练结束后,本地创建一个r2c.json文件,文件内容如下:

    {
        "model_feature_mapping": {
            "input_features": {
                "observation.state": {
                    "shape": [6],
                    "dtype": "float32",
                    "values": [
                        "observation.joint_states.position@{joint_1}",
                        "observation.joint_states.position@{joint_2}",
                        "observation.joint_states.position@{joint_3}",
                        "observation.joint_states.position@{joint_4}",
                        "observation.joint_states.position@{joint_5}",
                        "observation.joint_states.position@{joint_6}"
                    ]
                },
                "observation.images.external": {
                    "dtype": "uint8",
                    "value": "observations.images.color.front"
                },
                "observation.images.wrist": {
                    "dtype": "uint8",
                    "value": "observations.images.color.wrist"
                },
                "task":{
                    "type": "PROMPT"  
                }
            },
            "output_features": {
                "action": {
                    "chunk_size": 50,
                    "shape": [6],
                    "values": [
                        "actions.joint_states.position@{joint_1}",
                        "actions.joint_states.position@{joint_2}",
                        "actions.joint_states.position@{joint_3}",
                        "actions.joint_states.position@{joint_4}",
                        "actions.joint_states.position@{joint_5}",
                        "actions.joint_states.position@{joint_6}"
                    ]
                }
            }
        },
        "stop_condition": { 
            "max_iter_num": 60,
            "max_run_time": 5
        }
    }

  2. 单击导航栏“运行管理 > 模型部署”,进入模型部署作业管理页面,单击右上角“部署模型服务”,开始创建任务。

    图11 部署模型服务1

    图5r2c协议配置上传的文件内容为3.a中r2c.json文件。

    图12 部署模型服务2

  3. 单击“立即部署”之后,生成一条部署作业,可以查看部署进度状态,可以进入模型评测或者真机调测,本用例可进入“真机调测”。

    图13 模型部署列表-任务部署中
    图14 模型部署列表-任务运行中

步骤六、智能体调试

  1. 接入机器人实例。

    1. 单击导航栏“运行管理 > 机器人”,进入机器人实例管理页面,单击右上角“接入机器人”按钮开始创建任务。开发者可选择厂家型号信息,或者自己录入型号。
      图15 接入机器人
    2. 单击“立即接入”之后,会生成一个本体接入所需要的接入配置文件(图10),并且同时生成一条机器人实例(图11)。
      图16 接入配置文件
      图17 机器人列表1
    3. 按照5的指引安装R2C SDK后,执行本体接入命令python -m r2c_sdk.cloudroboclient --bundle config/cert_config_xxx.zip --robot-config config/robot_so101_lerobot_config.yaml。
    4. 完成本体接入之后,机器人实例状态将变为“在线”(图12),单击“智能体调试”进行技能测试。
      图18 机器人列表2

  2. 本体接入运行管理。

    此步骤为线下操作。

    • 前置条件:使用上一步平台提供的R2C SDK以及接入配置文件,成功之后机器人实例的状态将变为“在线”。
    • 参考流程:参考使用R2C SDK接入机器人 章节。SDK已适配SO-ARM101。

  3. 智能体调试。

    前置条件:完成本体的接入调试工作,模型部署后正常运行。

    1. 在创建好的机器人实例中,单击“智能体调试”,进入智能体页面配置模型与技能。
      图19 智能体调试
    2. 单击上图“选择模型技能”,之后进入模型与技能的配置环节,选择并确定之后,即可进入智能体进行调试交互。
      图20 选择对应的模型技能

    3. 进入图15所示的智能体调试窗口,在调试窗输入框上方,开发者可以选择不同的模型以及不同的技能,通过发送prompt的方式实现模型推理到本体执行的过程。
      图21 智能体调试窗口
    4. 完成上述操作后,开发者就可以在智能体中与本体进行交互,体验本体的执行过程。

相关文档