基于自定义模型进行模型训练调优与真机推理
概述
CloudRobo提供基于自定义模型的训练与调优服务,开发者也可通过Notebook进行模型开发。模型开发完成后,可快速部署并将本体接入云端,在智能体中进行真机测试。
本实践案例是:训练模型用于SO-ARM101机械臂单臂把笔放入笔筒。
- 使用自定义模型:VLA-Base。
- 使用自定义镜像:ros2lerobot-custom-1021。
- 数据集:so101_place_pen_holder-sim-dataset。
前提条件
- 已注册华为云账号,开通CloudRobo与相关服务。
- 已有一台适配CloudRobo的SO-ARM101。
操作流程
经过以下步骤完成整个操作流程。
步骤一、创建自定义模型
- 登录CloudRobo控制台。
- 在左侧导航栏选择“空间资产 > 模型”,进入“模型”页面。
如果是首次操作,请务必仔细查看新手引导,有利于后续操作的便利性。
- 在页面右上角单击“创建模型”,进入“创建模型”页面。
- 请按照页面提示配置创建模型参数。
表1 创建模型参数 参数
说明
基础信息
模型名称
请输入模型名称,本实践以“VLA-Base”为例。资产名称一经创建不支持修改,请谨慎填写。
模型名称是由中文、数字、字母、下划线(_)、连字符(-)、点(.)、斜线(/)、空格组成,不能以空格开头或结尾。输入长度范围为2~64字符。
模型类型
本实践选择“操作模型”。
资产来源
必填项。单击
在OBS存储数据路径下选择OBS路径。说明:需选择符合格式要求的模型资产文件,建议包含以下内容:
- r2c.json:操作模型需上传,用于记录模型输出与机器人本体各类接口的绑定关系,请参考r2c协议配置说明。
- README.md:用于描述模型资产的详细内容。
- 资产文件:模型的资产文件集合。
- 需要在当前工作空间默认存储路径(以实际情况为准)下进行选择,其他路径会导致创建失败。
- 目标路径下,单文件最大值为30GB。
- 目标路径下,文件数最大值为100个(文件夹不统计)。
- 目标路径下,嵌套深度最大值为10。
模型优势技能
本实践选择的模型类型是“操作模型”,需配置模型优势技能。
模型优势技能指模型经过训练后,在各项能力中表现相对优异、可作为该模型优势能力的技能。
单击“添加”,配置模型优势技能。需配置“技能名称”和“prompt”信息。
- 技能名称:由中文、数字、字母、下划线(_)、连字符(-)、空格组成,不能以空格开头和结尾。长度为1~64个字符。
- prompt:长度在 1~1024个字符之间的字符串。且prompt必须唯一。
如不需要可单击删除。最多添加50个模型优势技能。
仅执行模型优势技能
开启是否仅执行模型优势技能。
开启后,部署后的模型服务在智能体调试时仅能执行当前的模型优势技能。未开启则默认可执行模型的全部技能。
说明:仅添加了“模型优势技能”时有效。
标签
在下拉框中选择平台预置或自定义的标签,本实践选择“基模型”。
描述
创建模型任务的简介。
长度为512个字符以内。
图2 创建自定义模型
- 所有参数配置完成后,单击“确定”,创建模型任务完成,将自动返回模型列表,可查看新创建任务的信息。
步骤二、注册自定义镜像资产
- 在左侧导航栏中选择“空间资产 > 镜像”。
- 在镜像页面右上角单击“注册镜像”,填写参数信息。
- 镜像源:单击输入框,在选择镜像页面,勾选镜像源地址。选择目标镜像后,在右侧可选择对应的镜像版本。
- 应用场景:必选字段,本实践选择:模型部署、模型训练,支持多选。
- 描述:可选字段,无格式要求,长度不超过512个字符。
- 架构:本实践选择“ARM”。
- 类型:本实践选择“ASCEND”、“CPU”。
- 规格:本实践选择“ASCEND_SNT9B”。
图3 注册镜像
- 单击“确定”后,形成一条镜像资产的任务,可在镜像资产列表中查看。
步骤三、创建自定义数据资产
- 在左侧导航栏中选择“空间资产 > 数据”。
- 在数据页面右上角单击“创建数据”,填写参数信息。
- 数据集名称:由中文、数字、字母、下划线(_)、连字符(-)、点(.)、斜线(/)、空格组成,不能以空格开头或结尾。输入长度范围为2~64字符。
本实践以“so101_place_pen_holder-sim-dataset”为例,数据集名称一经创建,不支持修改,请谨慎填写。
- 资产来源:必填项。单击输入框在弹出的存储位置页面选择OBS存储路径。
- 需要在当前工作空间默认存储路径(以实际情况为准)下进行选择,其他路径会导致创建失败。
- 需选择符合格式要求的数据资产文件,建议包含以下内容:
- README.md:用于描述数据资产的详细内容。
- 资产文件:数据的资产文件集合。
- 数据集已标注:可选择是否勾选“数据集已标注”选项。
- 标签:可选字段,在下拉框中选择平台预置或自定义的资产标签,支持多选。
- 系统预置标签:如“商业”、“家居”、“工业”、“办公”、“户外”等选项。
- 自定义标签:参考《CloudRobo 用户指南》中“资产标签管理”章节创建或管理标签。
- 描述:可选字段,无格式要求,长度不超过512个字符。
图4 创建数据集
- 数据集名称:由中文、数字、字母、下划线(_)、连字符(-)、点(.)、斜线(/)、空格组成,不能以空格开头或结尾。输入长度范围为2~64字符。
- 单击“确定”后,形成一条数据资产的任务,可在数据资产列表中查看。
步骤四、创建模型调优训练作业(基于空间资产-模型)
- 在左侧导航栏选择“模型开发-模型训练”,进入模型训练作业管理页面。
- 单击右上角“创建训练作业”按钮,开始作业创建过程。根据如下图示配置相关信息。 图5 创建训练作业
图6 算法配置
图7 输入配置
图8 训练产物配置
- 单击“立即创建”之后,形成一条模型训练的任务,可查看训练状态,如有异常可查看异常事件,如图4。 图9 任务创建中状态
图10 任务运行中状态
步骤五、创建部署模型服务
部署模型之前,需检查模型训练作业是否已正常完成。
- 模型训练结束后,本地创建一个r2c.json文件,文件内容如下:
{ "model_feature_mapping": { "input_features": { "observation.state": { "shape": [6], "dtype": "float32", "values": [ "observation.joint_states.position@{joint_1}", "observation.joint_states.position@{joint_2}", "observation.joint_states.position@{joint_3}", "observation.joint_states.position@{joint_4}", "observation.joint_states.position@{joint_5}", "observation.joint_states.position@{joint_6}" ] }, "observation.images.external": { "dtype": "uint8", "value": "observations.images.color.front" }, "observation.images.wrist": { "dtype": "uint8", "value": "observations.images.color.wrist" }, "task":{ "type": "PROMPT" } }, "output_features": { "action": { "chunk_size": 50, "shape": [6], "values": [ "actions.joint_states.position@{joint_1}", "actions.joint_states.position@{joint_2}", "actions.joint_states.position@{joint_3}", "actions.joint_states.position@{joint_4}", "actions.joint_states.position@{joint_5}", "actions.joint_states.position@{joint_6}" ] } } }, "stop_condition": { "max_iter_num": 60, "max_run_time": 5 } } - 单击导航栏“运行管理 > 模型部署”,进入模型部署作业管理页面,单击右上角“部署模型服务”,开始创建任务。 图11 部署模型服务1
图12 部署模型服务2
- 单击“立即部署”之后,生成一条部署作业,可以查看部署进度状态,可以进入模型评测或者真机调测,本用例可进入“真机调测”。 图13 模型部署列表-任务部署中
图14 模型部署列表-任务运行中
步骤六、智能体调试
- 接入机器人实例。
- 单击导航栏“运行管理 > 机器人”,进入机器人实例管理页面,单击右上角“接入机器人”按钮开始创建任务。开发者可选择厂家型号信息,或者自己录入型号。 图15 接入机器人
- 单击“立即接入”之后,会生成一个本体接入所需要的接入配置文件(图10),并且同时生成一条机器人实例(图11)。 图16 接入配置文件
图17 机器人列表1
- 按照5的指引安装R2C SDK后,执行本体接入命令python -m r2c_sdk.cloudroboclient --bundle config/cert_config_xxx.zip --robot-config config/robot_so101_lerobot_config.yaml。
- 完成本体接入之后,机器人实例状态将变为“在线”(图12),单击“智能体调试”进行技能测试。 图18 机器人列表2

- 单击导航栏“运行管理 > 机器人”,进入机器人实例管理页面,单击右上角“接入机器人”按钮开始创建任务。开发者可选择厂家型号信息,或者自己录入型号。
- 本体接入运行管理。
此步骤为线下操作。
- 前置条件:使用上一步平台提供的R2C SDK以及接入配置文件,成功之后机器人实例的状态将变为“在线”。
- 参考流程:参考使用R2C SDK接入机器人 章节。SDK已适配SO-ARM101。
- 智能体调试。
前置条件:完成本体的接入调试工作,模型部署后正常运行。
- 在创建好的机器人实例中,单击“智能体调试”,进入智能体页面配置模型与技能。 图19 智能体调试
- 单击上图“选择模型技能”,之后进入模型与技能的配置环节,选择并确定之后,即可进入智能体进行调试交互。 图20 选择对应的模型技能

- 进入图15所示的智能体调试窗口,在调试窗输入框上方,开发者可以选择不同的模型以及不同的技能,通过发送prompt的方式实现模型推理到本体执行的过程。 图21 智能体调试窗口
- 完成上述操作后,开发者就可以在智能体中与本体进行交互,体验本体的执行过程。
- 在创建好的机器人实例中,单击“智能体调试”,进入智能体页面配置模型与技能。