具身模型训练调优与真机推理

概述

CloudRobo提供基于预置模型或自定义模型的训练与调优服务，开发者也可通过Notebook进行模型开发。模型开发完成后，可快速部署并将本体接入云端，在智能体中进行真机测试。

本实践案例是：训练模型用于SO-ARM101机械臂单臂把笔放入笔筒。

使用平台提供的模型：LeRobot_PI05-Base。
数据集：SO101_Place_Pen_Holder-SIM-DATASET。

前提条件

已注册华为云账号，开通CloudRobo与相关服务。
已有一台适配CloudRobo的SO-ARM101。

流程概览

经过以下步骤完成整个体验流程。

图1 流程图

登录CloudRobo控制台。
创建模型训练作业。
1. 单击导航栏“模型开发-模型训练”，进入模型训练作业管理页面，单击右上角“创建训练作业”按钮，开始作业创建过程。根据图2和图3配置相关信息。
  图2 创建训练作业1
  
  图3 创建训练作业2
2. 单击“立即创建”之后，形成一条模型训练的任务，可查看训练状态，如有异常可查看异常事件，如图4。
  图4 训练作业列表1

创建模型部署作业。

客户部署模型之前，需检查模型训练作业是否已正常完成。

模型训练结束后，本地创建一个r2c.json文件，文件内容如下：

{
    "model_feature_mapping": {
        "input_features": {
            "observation.state": {
                "shape": [6],
                "dtype": "float32",
                "values": [
                    "observation.joint_states.position@{joint_1}",
                    "observation.joint_states.position@{joint_2}",
                    "observation.joint_states.position@{joint_3}",
                    "observation.joint_states.position@{joint_4}",
                    "observation.joint_states.position@{joint_5}",
                    "observation.joint_states.position@{joint_6}"
                ]
            },
            "observation.images.external": {
                "dtype": "uint8",
                "value": "observations.images.color.front"
            },
            "observation.images.wrist": {
                "dtype": "uint8",
                "value": "observations.images.color.wrist"
            },
            "task":{
                "type": "PROMPT"  
            }
        },
        "output_features": {
            "action": {
                "chunk_size": 50,
                "shape": [6],
                "values": [
                    "actions.joint_states.position@{joint_1}",
                    "actions.joint_states.position@{joint_2}",
                    "actions.joint_states.position@{joint_3}",
                    "actions.joint_states.position@{joint_4}",
                    "actions.joint_states.position@{joint_5}",
                    "actions.joint_states.position@{joint_6}"
                ]
            }
        }
    },
    "stop_condition": { 
        "max_iter_num": 60,
        "max_run_time": 5
    }
}

单击导航栏“运行管理 > 模型部署”，进入模型部署作业管理页面，单击右上角“部署模型服务”，开始创建任务。
图5 部署模型服务1

图5r2c协议配置上传的文件内容为3.a中r2c.json文件。

图6 部署模型服务2
单击“立即部署”之后，生成一条部署作业，可以查看部署进度状态，可以进入模型评测或者真机调测，本用例可进入“真机调测”。
图7 模型部署列表-任务部署中

图8 模型部署列表-任务运行中

创建机器人实例。
1. 单击导航栏“运行管理 > 机器人”，进入机器人实例管理页面，单击右上角“接入机器人”按钮开始创建任务。开发者可选择厂家型号信息，或者自己录入型号。
  图9 创建机器人
2. 单击“立即创建”之后，会给客户生成一个本体接入所需要的接入配置文件（图10），并且同时生成一条机器人实例（图11）。
  图10 接入配置文件
  
   图11 机器人列表1
3. 按照5的指引安装R2C SDK后，执行本体接入命令python -m r2c_sdk.cloudroboclient --bundle config/cert_config_xxx.zip --robot-config config/robot_so101_lerobot_config.yaml。
4. 客户完成本体接入之后，机器人实例状态将变为“在线”（图12），单击“智能体调试”进行技能测试。
  图12 机器人列表2
本体接入运行管理。

此步骤为线下操作。
- 前置条件：使用上一步平台提供的R2C SDK以及接入配置文件，成功之后机器人实例的状态将变为“在线”。
- 参考流程：参考使用R2C SDK接入机器人章节。SDK已经适配SO-ARM101。
智能体调试。

前置条件：完成本体的接入调试工作，模型部署后正常运行。
1. 在创建好的机器人实例中，单击“智能体调试”，进入智能体页面配置模型与技能。
  图13 智能体调试
2. 单击上图“选择模型技能”，之后进入模型与技能的配置环节，选择并确定之后，即可进入智能体进行调试交互。
  图14 选择对应的模型技能
3. 进入图15所示的智能体调试窗口，在调试窗输入框上方，开发者可以选择不同的模型以及不同的技能，通过发送prompt的方式实现模型推理到本体执行的过程。
  图15 智能体调试窗口
4. 完成上述操作后，开发者就可以在智能体中与本体进行交互，体验本体的执行过程。