调试智能体

调试智能体说明

• 调试智能体时，模型服务需处于运行中状态，机器人需在线。
• 同一本体，支持切换不同的模型服务进行技能调试，方便您选择效果更优的模型服务。
• 部分模型仅支持运行固定的模型技能，不支持泛化技能；其他模型可运行泛化技能，您可根据需要输入需要运行的Prompt，验证模型的泛化性。

部署模型服务

1. 在左侧导航选择“运行管理 > 模型部署”，进入模型部署页面。
2. 单击“部署模型服务”，进入部署模型服务页面。
3. 输入基础信息，选择部署SO101可使用的模型，并选择资源配置。
4. 完成后单击“立即部署”，在模型部署页面可以单击，实时刷新模型部署进展，并等待模型服务部署完成

调试模型技能

1. 在左侧导航选择“运行管理 > 机器人”，进入机器人页面。
2. 在机器人列表，选择在线机器人，单击对应的“智能体调试”，进入“智能体调试”页面。
3. 单击“选择模型技能”，选择处于运行中的模型服务、模型技能，单击“确定”。
4. 在智能体调试页面，输入机器人运行Prompt或者保持默认技能，单击，开始技能调试。

   模型推理的默认步数为60 steps。

   如果已达到最大推理的步数，但实际任务并未完成，您可重新发送Prompt，会重新运行任务。

   在参数配置中适当调大技能最大推理步数。该参数调整后仅对该机器人和当前选择的模型服务生效。您还可以在模型的r2c.json中修改，该修改对后续部署的推理服务生效。

切换模型服务

在智能体界面底部，可单击模型服务名称，切换其他模型服务来验证模型技能。您可在调试记录中查看两个模型的运行结果。

运行泛化性技能

在选择模型服务和模型技能时，如模型技能中有泛化技能选项，表示该模型支持自定义Prompt运行泛化技能。

选择泛化技能后，在输入框中可自定义输入Prompt，验证模型的泛化性。

配置r2c.json文件

预置模型、空间资产中类型为感知模型和规划模型均不适用于r2c.json配置，可以直接跳过相关部分。

本章节用于描述r2c.json配置文件的结构和含义。该配置文件定义了机器人观测数据到模型输入、以及模型输出到机器人动作之间的映射关系。您可以根据需要调整r2c.json配置文件。

方法一：从模型服务详情中修改已部署服务的配置

1. 在“运行管理 > 模型部署”中，单击需要修改协议配置的模型服务，进入模型服务详情页面。
   图1 模型部署页面
   

2. 在r2c 协议配置中单击上传。
   图2 模型服务详情页面
   

3. 上传后，可直接预览已上传的文件。
   图3 上传成功页面
   

方法二：从模型部署页面或模型服务详情中配置

1. 在“运行管理 > 模型部署”中，可直接上传r2c.json配置。
   图4 模型部署页面
   

2. 上传后，可直接预览已上传的文件。
   图5 上传成功页面
   

3. 单击“部署”，即配置成功。如果显示r2c.json不正确，请确保上传的文件内容满足json格式，且符合配置结构要求。
   图6 部署成功页面
   

方法三：从模型资产所在的OBS中配置

配置文件位于模型资产所在的OBS目录下。

1. 在模型资产-模型详情中，复制需要部署的模型服务对应版本的OBS路径。
   图7 复制模型资产所在的OBS路径
   

2. 登录OBS平台，找到对应的桶，并进入到OBS路径。
   图8 进入OBS存储模型路径
   

3. 单击上传对象，上传r2c.json文件。
   图9 上传文件
   

方法四：从数据所在的OBS中配置

配置文件位于数据资产所在的OBS目录下。

1. 在数据资产-数据详情中，复制需要部署的模型服务对应版本的OBS路径。
   图10 数据资产详情页面
   

2. 登录OBS平台，找到对应的桶，并进入到OBS路径。
   图11 进入OBS存储模型路径
   

3. 单击上传对象，上传r2c.json文件。
   图12 上传文件
   

r2c.json文件配置说明

r2c.json配置文件内容与端侧机器人配置强相关。

编写r2c.json配置文件时请对应端侧机器人配置做映射修改。

两者映射关系：

• 机器人状态输出 > 端侧机器人配置 > r2c.json配置文件 > 推理模型输入
• 推理模型输出 > r2c.json配置文件 > 端侧机器人配置 > 机器人执行动作

配置结构概览

{
    "model_feature_mapping": { 
        "input_features": { ... },
        "output_features": { ... }
    },
    "stop_condition": { ... }
}

顶层字段说明

模型特征映射（model_feature_mapping）

该对象包含两个子对象：input_features和output_features，分别定义了模型输入和输出的映射规则。

输入特征（input_features）

该部分定义了如何将机器人的观测数据映射到模型的输入格式。系统支持三种类型的输入特征：

特征类型分类标准：

• STATE类型：满足以下条件
  • 配置中包含values字段（必填）。
• VISUAL类型：满足以下条件
  • 配置中有value字段且value路径格式符合以下规则之一。
    • 4段格式：observation(s).image(s).{color|depth}.{image_name}。
    • 2段格式：{color|depth}.{image_name}。
• PROMPT类型：满足以下任一条件。
  • 配置中type字段值为"PROMPT"。
  • dtype为 "string" 且value以 "task" 开头。
  • dtype为 "string" 且value路径的第一段以observation开头，第二段以task开头。

状态数组类型 (STATE)

状态数组特征用于从观测数据中提取多个值组成状态向量。

注意：状态数组的shape和values数量必须与实际机器人配置一致。

"observation.state": {
    "shape": [7],
    "dtype": "float32",
    "values": [
        "observation.joint_states.position@{joint_1}",
        "observation.joint_states.position@{joint_2}",
        "observation.joint_states.position@{joint_3}",
        "observation.joint_states.position@{joint_4}",
        "observation.joint_states.position@{joint_5}",
        "observation.joint_states.position@{joint_6}",
        "observation.joint_states.position@{gripper_1}"
    ]
}

配置要求

• shape必须存在且是一维数组（如[7]，不能是[2, 3]）。
• dtype必须是整数或浮点类型。
• values列表不能为空。

路径解析规则

• 使用@{name}从names数组中查找对应的索引。
• 路径必须以observation.开头。
• 特殊：end_effector_poses支持使用[index]提取7D位姿的特定维度（0-6，对应tx, ty, tz, qx, qy, qz, qw）。

占位符替换

• 配置中的{joint_1}, {joint_2}, {gripper_1}等占位符会在运行时查找关节/夹爪名称所对应的索引的取值。
• 关键：具体的占位符名称（如joint_1、gripper_1）来自R2C协议中定义的observation_features.joint_states.names和observation_features.end_effector_states.names。
• 不同机器人的关节/夹爪名称可能不同，配置时需确保占位符与实际机器人配置匹配。

视觉图像类型 (VISUAL)

视觉特征用于从观测数据中提取图像数据（PNG格式）。

注意：图像的键名（如top、wrist）取决于R2C协议中定义的图像配置。不同机器人可能使用不同的相机名称。

"observation.images.top": {
    "dtype": "uint8",
    "value": "observations.images.color.top"
}

路径格式验证

• 4段格式：observations.images.{color|depth}.{image_name}。
  • 第1段必须以observation开头；
  • 第2段必须以images开头；
  • 第3段必须是color或depth；
  • 第4段为图像名称。
• 2段格式：{color|depth}.{image_name}。
  • 第1段必须是color或depth；
  • 第2段为图像名称。
• 路径的图像类型（第3段或第1段）必须是color或depth。

支持的图像类型

• color.*：彩色图像（RGB）。
• depth.*：深度图像。

图像名称配置：图像的具体名称（如top、wrist、front）需与R2C协议中的observation_features.images定义保持一致。

任务提示类型 (PROMPT)

任务提示特征用于将任务描述传递给模型。

"task": {
    "dtype": "string",
    "value": "observation.task"
}

或：

"task":{
    "type": "PROMPT"  
}

例：r2c.json中的input_features如下配置：

{
    "input_features": {
        "observation.state": {
            "shape": [
                6
            ],
            "dtype": "float32",
            "values": [
                "observation.joint_states.position@{joint_1}",
                "observation.joint_states.position@{joint_2}",
                "observation.joint_states.position@{joint_3}",
                "observation.joint_states.position@{joint_4}",
                "observation.joint_states.position@{joint_5}",
                "observation.joint_states.position@{joint_6}"
            ]
        },
        "observation.images.third": {
            "dtype": "uint8",
            "value": "observations.images.color.front"
        },
        "observation.images.wrist": {
            "dtype": "uint8",
            "value": "observations.images.color.wrist"
        },
        "task": {
            "type": "PROMPT"
        }
    }
}

则对应模型的输入为：

{
    "observation.state": np.ndarray((6)),
    "observation.images.third": np.ndarray(n),
    "observation.images.wrist": np.ndarray(n),
    "task": "" // 该字段从前端传入
}

输出特征（output_features）

该部分定义了如何将模型输出的数据映射到机器人的动作指令。

动作输出 (action)

注意：output_features目前仅允许存在一个item（item的键与模型保持一致即可）。动作输出的shape和values数量必须与实际机器人配置一致。具体关节和夹爪名称来自R2C协议。

"action": {
    "chunk_size": 100,
    "shape": [7],
    "values": [
        "actions.joint_states.position@{joint_1}",
        "actions.joint_states.position@{joint_2}",
        "actions.joint_states.position@{joint_3}",
        "actions.joint_states.position@{joint_4}",
        "actions.joint_states.position@{joint_5}",
        "actions.joint_states.position@{joint_6}",
        "actions.joint_states.position@{gripper_1}"
    ]
}

输出数据形状：

• 实际输出形状为 [chunk_size, shape]。
• 即chunk_size个时间步，每个时间步N个值（N = 关节数 + 夹爪数）。

动作映射关系：

• 动作值按顺序映射到r2c.json中定义的关节和夹爪。
• 关节名称来自actions.joint_states.names。
• 夹爪名称来自actions.end_effector_poses。
• 夹爪名称来自actions.end_effector_states.names。

例：r2c.json中的output_features如下配置：

{
    "output_features": {
        "action": {
            "chunk_size": 100,
            "shape": [
                6
            ],
            "values": [
                "actions.joint_states.position@{joint_1}",
                "actions.joint_states.position@{joint_2}",
                "actions.joint_states.position@{joint_3}",
                "actions.joint_states.position@{joint_4}",
                "actions.joint_states.position@{joint_5}",
                "actions.joint_states.position@{joint_6}"
            ]
        }
    }
}

则对应r2c的动作为：

{
    "timestamp": 173495055856655,
    "id": 3, // 该字段与模型推理所用的观测的id对应
    "chunk_size": 100,
    "joint_states": {
        "names": ["joint_1", "joint_2", "joint_3", "joint_4", "joint_5", "joint_6"],
        "positions": [[0, 0, 0, 0, 0, 0], [0, 0, 0, 0, 0, 0], ...]
    }
}

停止条件（stop_condition）

该字段定义模型执行在何时停止的条件，避免无限循环或超时执行。

"stop_condition": {
    "max_iter_num": 60,
    "max_run_time": 5
}

停止逻辑

• 参数“max_iter_num”"max_iter_num"和“max_run_time”"max_run_time"的停止条件是“或”"或"关系，即任一条件满足时都会停止执行。
• 最多执行60次推理调用或最多运行5分钟。

"actions": {
    "chunk_size": 100,
    "shape": [6],
    "value": [
        "actions.joint_states.position@{joint_1}",
        "actions.joint_states.position@{joint_2}",
        "actions.joint_states.position@{joint_3}",
        "actions.joint_states.position@{joint_4}",
        "actions.joint_states.position@{joint_5}",
        "actions.joint_states.position@{joint_6}"
        ]
}

"stop_condition": {
    "max_iter_num": 100,
    "max_run_time": 10
}