智能体调试

输入特征（input_features）

input_features定义如何将机器人的观测数据映射到模型的输入格式，系统支持三种类型的输入特征，如表3所示。

• 状态数组类型 (STATE)

  状态数组特征用于从观测数据中提取多个值组成状态向量。

  

  状态数组的shape和values数量必须与实际机器人配置一致。

  "observation.state": {
      "shape": [7],
      "dtype": "float32",
      "values": [
          "observation.joint_states.position@{joint_1}",
          "observation.joint_states.position@{joint_2}",
          "observation.joint_states.position@{joint_3}",
          "observation.joint_states.position@{joint_4}",
          "observation.joint_states.position@{joint_5}",
          "observation.joint_states.position@{joint_6}",
          "observation.joint_states.position@{gripper_1}"
      ]
  }

  表4 状态数组类型参数说明

  字段	值	说明
  shape	[N]	状态数组包含N个元素（关节数 + 夹爪数）。 该字段必须存在且是一维数组（如[7]，不能是[2，3]）。
  dtype	float32	使用32位浮点数表示。 该字段必须是整数或浮点类型，不能是字符串。
  values	数组	按顺序提取所有关节位置和夹爪位置，顺序取决于模型推理状态数组的具体含义（请参见表5）。 该字段不能为空。

  表5 数据来源类型

  数据源	路径格式	说明
  joint_states	observation.joint_states.position@{joint_name}	关节位置
  end_effector_state	observation.end_effector_states.position@{ee_name}	末端运行器/夹爪位置
  end_effector_poses	observation.end_effector_poses.pose@{ee_name}	末端运行器7D位姿（tx, ty, tz, qx, qy, qz, qw），返回完整7维
  end_effector_poses[index]	observation.end_effector_poses.pose@{ee_name}[0]	提取7D位姿的第index维（0-6）

  数据源路径解析规则

  • 使用@{name}从names数组中查找对应的索引。
  • 支持[index]语法从数组中提取特定元素。
  • 支持组合格式：field@{name}[index]。
  • 路径必须以observation.开头。
  • end_effector_poses支持使用[index]提取7D位姿的特定维度（0-6，对应tx, ty, tz, qx, qy, qz, qw）。

  数据源路径的占位符替换

  • 路径配置中的{joint_1}、{joint_2}、{gripper_1}等占位符会在运行时查找关节/夹爪名称所对应的索引的取值。
  • 具体的占位符名称（如joint_1、gripper_1）来自R2C协议中定义的observation_features.joint_states.names和observation_features.end_effector_states.names。
  • 不同机器人的关节/夹爪名称可能不同，配置时需确保占位符与实际机器人配置匹配。
• 视觉图像类型 (VISUAL)

  视觉特征用于从观测数据中提取图像数据（PNG格式）。

  图像的键名（如top、wrist）取决于R2C协议中定义的图像配置，不同机器人可能使用不同的相机名称。

  

  图像的具体名称（如top、wrist、front）需与R2C协议中的observation_features.images定义保持一致。

  "observation.images.top": {
      "dtype": "uint8",
      "value": "observations.images.color.top"
  }

  表6 视觉图像类型参数说明

  字段	值	说明
  dtype	uint8	无符号8位整数（0-255）。
  value	observations.images.color.top	R2C协议中的图像数据路径，请参见表7。

  表7 支持的图像路径格式

  格式	示例	说明
  完整路径（4段）	observations.images.color.top	完整观测数据路径。 4段格式路径：observations.images.{color|depth}.{image_name} 第1段必须以observation开头。 第2段必须以images开头。 第3段必须是color或depth。 第4段为图像名称。
  短格式（2段）	color.top	仅包含类型、图像名称。 2段格式路径：{color|depth}.{image_name}。 第1段必须是color或depth。 第2段为图像名称。
  深度图	depth.top	深度图像。

  其中，路径的图像类型（第3段或第1段）必须是color或depth，支持的图像类型：

  • color.*：彩色图像（RGB）。
  • depth.*：深度图像。
• 任务提示类型 （PROMPT）

  任务提示特征用于将任务描述传递给模型。

  

  • 系统只允许存在一个PROMPT类型特征。
  • 配置文件只定义任务描述的来源路径（即从哪里获取任务），而不是静态的任务描述文本。任务描述必须从外部传入（前端）。如果为空，会报错“Task prompt not found in both skill config and observation data”，运行失败。

  "task": {
      "dtype": "string",
      "value": "observation.task"
  }

  或：

  "task":{
      "type": "PROMPT"  
  }

  表8 任务提示类型参数说明

  字段	值	说明
  dtype	string	字符串类型。
  value	observation.task	从观测数据中提取任务描述（该字段仅记录为任务提示词，并未使用r2c中的task字段）。
  type	PROMPT	表示该字段对应模型的任务描述字段（会从前端传入）。

输出特征（output_features）

output_features目前仅允许存在一个item（item的键与模型保持一致即可）。

动作输出 (action)的shape和values数量必须与实际机器人配置一致，具体关节和夹爪名称来自R2C协议。

"action": {
    "chunk_size": 100,
    "shape": [7],
    "values": [
        "actions.joint_states.position@{joint_1}",
        "actions.joint_states.position@{joint_2}",
        "actions.joint_states.position@{joint_3}",
        "actions.joint_states.position@{joint_4}",
        "actions.joint_states.position@{joint_5}",
        "actions.joint_states.position@{joint_6}",
        "actions.joint_states.position@{gripper_1}"
    ]
}

输出数据形状

实际输出形状为 [chunk_size, shape]，即chunk_size个时间步，每个时间步N个值（N = 关节数 + 夹爪数）。

动作映射关系

动作值按顺序映射到r2c.json中定义的关节和夹爪，其中：

• 关节名称来自action_features.joint_states.names。
• 夹爪名称来自action_features.end_effector_poses。
• 夹爪名称来自action_features.end_effector_states.names。

停止条件（stop_condition）

该字段定义模型运行在何时停止的条件，避免无限循环或超时运行。

"stop_condition": {
    "max_iter_num": 60,
    "max_run_time": 5
}

停止逻辑

• 参数max_iter_num和max_run_time的停止条件是“或”关系，即任一条件满足时都会停止运行。
• 最多运行60次推理调用或最多运行5分钟。