# 基于自定义模型进行模型训练调优与真机推理
#### 概述
CloudRobo提供基于自定义模型的训练与调优服务，开发者也可通过Notebook进行模型开发。模型开发完成后，可快速部署并将本体接入云端，在智能体中进行真机测试。
本实践案例是：训练模型用于SO-ARM101机械臂单臂把笔放入笔筒。
- 使用自定义模型：VLA-Base。
- 使用自定义镜像：ros2lerobot-custom-1021。
- 数据集：so101_place_pen_holder-sim-dataset。
 
#### 前提条件
- 已注册华为云账号，开通CloudRobo与相关服务。
- 已有一台适配CloudRobo的SO-ARM101。
 
#### 操作流程
经过以下步骤完成整个操作流程。
图1操作流程图示   
![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002795491003.png)
#### 步骤一、创建自定义模型
1. [登录CloudRobo控制台](https://console.huaweicloud.com/cloudrobo/)。
2. 在左侧导航栏选择"空间资产 \> 模型"，进入"模型"页面。 
   如果是首次操作，请务必仔细查看新手引导，有利于后续操作的便利性。
   
   
3. 在页面右上角单击"创建模型"，进入"创建模型"页面。
4. 请按照页面提示配置创建模型参数。 
   表1创建模型参数 
   | 参数      | 说明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   |
   |:---|:---|
   | **基础信息**                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      ||
   | 模型名称     | 请输入模型名称，本实践以"VLA-Base"为例。**资产名称一经创建不支持修改，请谨慎填写。** 模型名称是由中文、数字、字母、下划线（_）、连字符（-）、点（.）、斜线（/）、空格组成，不能以空格开头或结尾。输入长度范围为2\~64字符。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |
   | 模型类型     | 本实践选择"操作模型"。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           |
   | 资产来源      | 必填项。单击![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002789521915.png)在OBS存储数据路径下选择OBS路径。 说明： 需选择符合格式要求的模型资产文件，建议包含以下内容： - r2c.json：**操作模型** 需上传，用于记录模型输出与机器人本体各类接口的绑定关系，请参考[r2c协议配置说明](https://support.huaweicloud.com/sdkreference-cloudrobo/cloudrobo_03_0005.html#section5)。    - README.md：用于描述模型资产的详细内容。  - 资产文件：模型的资产文件集合。  - 需要在当前工作空间默认存储路径（以实际情况为准）下进行选择，其他路径会导致创建失败。  - 目标路径下，单文件最大值为30GB。  - 目标路径下，文件数最大值为100个（文件夹不统计）。  - 目标路径下，嵌套深度最大值为10。   |
   | 模型优势技能     | 本实践选择的模型类型是"操作模型"，需配置模型优势技能。 模型优势技能指模型经过训练后，在各项能力中表现相对优异、可作为该模型优势能力的技能。 单击"添加"，配置模型优势技能。需配置"技能名称"和"prompt"信息。 - 技能名称：由中文、数字、字母、下划线（_）、连字符（-）、空格组成，不能以空格开头和结尾。长度为1\~64个字符。  - prompt：长度在 1\~1024个字符之间的字符串。且prompt必须唯一。   如不需要可单击删除。最多添加50个模型优势技能。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            |
   | 仅执行模型优势技能 | 开启是否仅执行模型优势技能。 开启后，部署后的模型服务在**智能体调试**时仅能执行当前的模型优势技能。未开启则默认可执行模型的全部技能。 说明： 仅添加了"模型优势技能"时有效。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              |
   | 标签      | 在下拉框中选择平台预置或自定义的标签，本实践选择"基模型"。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |
   | 描述        | 创建模型任务的简介。 长度为512个字符以内。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
      
   图2创建自定义模型   
   ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002800135047.png "点击放大")
   
   
5. 所有参数配置完成后，单击"确定"，创建模型任务完成，将自动返回模型列表，可查看新创建任务的信息。
 
#### 步骤二、注册自定义镜像资产
1. 在左侧导航栏中选择"空间资产 \> 镜像"。
2. 在镜像页面右上角单击"注册镜像"，填写参数信息。 
   - 镜像源：单击输入框，在选择镜像页面，勾选镜像源地址。选择目标镜像后，在右侧可选择对应的镜像版本。
   
   - 应用场景：必选字段，本实践选择：模型部署、模型训练，支持多选。
   
   - 描述：可选字段，无格式要求，长度不超过512个字符。
   
   - 架构：本实践选择"ARM"。
   
   - 类型：本实践选择"ASCEND"、"CPU"。
   
   - 规格：本实践选择"ASCEND_SNT9B"。
   
   
   图3注册镜像   
   ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002781762920.png "点击放大")
   
   
3. 单击"确定"后，形成一条镜像资产的任务，可在镜像资产列表中查看。
 
#### 步骤三、创建自定义数据资产
1. 在左侧导航栏中选择"空间资产 \> 数据"。
2. 在数据页面右上角单击"创建数据"，填写参数信息。 
   - 数据集名称：由中文、数字、字母、下划线（_）、连字符（-）、点（.）、斜线（/）、空格组成，不能以空格开头或结尾。输入长度范围为2\~64字符。 本实践以"so101_place_pen_holder-sim-dataset"为例，**数据集名称一经创建，不支持修改，请谨慎填写。**
     
   
   - 资产来源：必填项。单击输入框在弹出的存储位置页面选择OBS存储路径。
     - 需要在当前工作空间默认存储路径（以实际情况为准）下进行选择，其他路径会导致创建失败。
     
     - 需选择符合格式要求的数据资产文件，建议包含以下内容：
       - README.md：用于描述数据资产的详细内容。
       
       - 资产文件：数据的资产文件集合。
        
      
   
   - 数据集已标注：可选择是否勾选"数据集已标注"选项。
   
   - 标签：可选字段，在下拉框中选择平台预置或自定义的资产标签，支持多选。
     - 系统预置标签：如"商业"、"家居"、"工业"、"办公"、"户外"等选项。
     
     - 自定义标签：参考《CloudRobo 用户指南》中"资产标签管理"章节创建或管理标签。
      
   
   - 描述：可选字段，无格式要求，长度不超过512个字符。
   
   
   图4创建数据集   
   ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002770781690.png "点击放大")
   
   
3. 单击"确定"后，形成一条数据资产的任务，可在数据资产列表中查看。
 
#### 步骤四、创建模型调优训练作业（基于空间资产-模型）
1. 在左侧导航栏选择"模型开发-模型训练"，进入模型训练作业管理页面。
2. 单击右上角"创建训练作业"按钮，开始作业创建过程。根据如下图示配置相关信息。 
   图5创建训练作业   
   ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002816303945.png "点击放大")
   图6算法配置   
   ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002772526268.png "点击放大")
   图7输入配置   
   ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002772528386.png "点击放大")
   图8训练产物配置   
   ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002801767577.png "点击放大")
   
   
3. 单击"立即创建"之后，形成一条模型训练的任务，可查看训练状态，如有异常可查看异常事件，如[图4](https://support.huaweicloud.com/bestpractice-cloudrobo/cloudrobo_05_0003.html#ZH-CN_TOPIC_0000002622747349__fig208291020577)。
   
   图9任务创建中状态   
   ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002772530050.png "点击放大")
   图10任务运行中状态   
   ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002801609813.png "点击放大")
   
   
 
#### 步骤五、创建部署模型服务
![](https://support.huaweicloud.com/bestpractice-cloudrobo/public_sys-resources/note_3.0-zh-cn.png)
部署模型之前，需检查模型训练作业是否已正常完成。
1. 模型训练结束后，本地创建一个r2c.json文件，文件内容如下： 
   ```
   {
       "model_feature_mapping": {
           "input_features": {
               "observation.state": {
                   "shape": [6],
                   "dtype": "float32",
                   "values": [
                       "observation.joint_states.position@{joint_1}",
                       "observation.joint_states.position@{joint_2}",
                       "observation.joint_states.position@{joint_3}",
                       "observation.joint_states.position@{joint_4}",
                       "observation.joint_states.position@{joint_5}",
                       "observation.joint_states.position@{joint_6}"
                   ]
               },
               "observation.images.external": {
                   "dtype": "uint8",
                   "value": "observations.images.color.front"
               },
               "observation.images.wrist": {
                   "dtype": "uint8",
                   "value": "observations.images.color.wrist"
               },
               "task":{
                   "type": "PROMPT"  
               }
           },
           "output_features": {
               "action": {
                   "chunk_size": 50,
                   "shape": [6],
                   "values": [
                       "actions.joint_states.position@{joint_1}",
                       "actions.joint_states.position@{joint_2}",
                       "actions.joint_states.position@{joint_3}",
                       "actions.joint_states.position@{joint_4}",
                       "actions.joint_states.position@{joint_5}",
                       "actions.joint_states.position@{joint_6}"
                   ]
               }
           }
       },
       "stop_condition": { 
           "max_iter_num": 60,
           "max_run_time": 5
       }
   }
   ```
   
   
2. 单击导航栏"运行管理 \> 模型部署"，进入模型部署作业管理页面，单击右上角"部署模型服务"，开始创建任务。 
   图11部署模型服务1   
   ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002787066110.png "点击放大")
   ![](https://support.huaweicloud.com/bestpractice-cloudrobo/public_sys-resources/note_3.0-zh-cn.png)
   [图5](https://support.huaweicloud.com/bestpractice-cloudrobo/cloudrobo_05_0003.html#ZH-CN_TOPIC_0000002622747349__fig7159165914386)r2c协议配置上传的文件内容为[3.a](https://support.huaweicloud.com/bestpractice-cloudrobo/cloudrobo_05_0003.html#ZH-CN_TOPIC_0000002622747349__li98091114135815)中r2c.json文件。
   图12部署模型服务2   
   ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002770768010.png "点击放大")
   
   
3. 单击"立即部署"之后，生成一条部署作业，可以查看部署进度状态，可以进入模型评测或者真机调测，本用例可进入"真机调测"。 
   图13模型部署列表-任务部署中   
   ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002772368750.png "点击放大")
   图14模型部署列表-任务运行中   
   ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002801768607.png "点击放大")
   
   
 
#### 步骤六、智能体调试
1. 接入机器人实例。 
   1. 单击导航栏"运行管理 \> 机器人"，进入机器人实例管理页面，单击右上角"接入机器人"按钮开始创建任务。开发者可选择厂家型号信息，或者自己录入型号。
      图15接入机器人   
      ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002789706561.png "点击放大") 
   
   2. 单击"立即接入"之后，会生成一个本体接入所需要的接入配置文件（[图10](https://support.huaweicloud.com/bestpractice-cloudrobo/cloudrobo_05_0003.html#ZH-CN_TOPIC_0000002622747349__fig92061832124019)），并且同时生成一条机器人实例（[图11](https://support.huaweicloud.com/bestpractice-cloudrobo/cloudrobo_05_0003.html#ZH-CN_TOPIC_0000002622747349__fig16430114620405)）。
      图16接入配置文件   
      ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002760147910.png "点击放大")
      图17机器人列表1   
      ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002789546747.png "点击放大") 
   
   3. 按照[5](https://support.huaweicloud.com/bestpractice-cloudrobo/cloudrobo_05_0003.html#ZH-CN_TOPIC_0000002622747349__li730614223510)的指引安装R2C SDK后，执行本体接入命令**python -m r2c_sdk.cloudroboclient --bundle config/cert_config_xxx.zip --robot-config config/robot_so101_lerobot_config.yaml**。
   
   4. 完成本体接入之后，机器人实例状态将变为"在线"（[图12](https://support.huaweicloud.com/bestpractice-cloudrobo/cloudrobo_05_0003.html#ZH-CN_TOPIC_0000002622747349__fig61443514415)），单击"智能体调试"进行技能测试。
      图18机器人列表2
      ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002760307840.png "点击放大")
      
   
   
   
   
2. 本体接入运行管理。 
   **此步骤为线下操作**。
   - 前置条件：使用上一步平台提供的R2C SDK以及接入配置文件，成功之后机器人实例的状态将变为"在线"。
   
   - 参考流程：参考[使用R2C SDK接入机器人](https://support.huaweicloud.com/bestpractice-cloudrobo/cloudrobo_05_0002.html#ZH-CN_TOPIC_0000002592587654__section1426132314465) 章节。SDK已适配SO-ARM101。
   
   
   
   
3. 智能体调试。 
   前置条件：完成本体的接入调试工作，模型部署后正常运行。
   1. 在创建好的机器人实例中，单击"智能体调试"，进入智能体页面配置模型与技能。
      图19智能体调试   
      ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002789706563.png "点击放大") 
   
   2. 单击上图"选择模型技能"，之后进入模型与技能的配置环节，选择并确定之后，即可进入智能体进行调试交互。
      图20选择对应的模型技能
      ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002816308603.png "点击放大")
      
   
   3. 进入[图15](https://support.huaweicloud.com/bestpractice-cloudrobo/cloudrobo_05_0003.html#ZH-CN_TOPIC_0000002622747349__fig415814192422)所示的智能体调试窗口，在调试窗输入框上方，开发者可以选择不同的模型以及不同的技能，通过发送prompt的方式实现模型推理到本体执行的过程。
      图21智能体调试窗口   
      ![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002789546753.png "点击放大") 
   
   4. 完成上述操作后，开发者就可以在智能体中与本体进行交互，体验本体的执行过程。
   
   
   
   
 
