文档首页/ 具身智能开发平台 CloudRobo/ 最佳实践/ 通过R2C SDK调用平台预置VLN导航模型
更新时间:2026-11-11 GMT+08:00
分享

通过R2C SDK调用平台预置VLN导航模型

场景介绍

CloudRobo平台已上线自研的CloudRobo-VLN-Track模型,该模型可在同一个模型同时接收多个机器人的推理请求,欢迎部署体验。本文档使用五八智能Q25机械狗来调用平台预置VLN导航模型。其他机器人硬件可使用五八智能Q25的适配器,通过ROS2发布与接收话题来调用CloudRobo-VLN-Track模型。

前提条件

  • 在模型部署服务中,已成功部署预置CloudRobo-VLN-Track模型,并且该模型当前处于“运行中”状态。该模型接收摄像头图像作为观测输入,输出8个路径点(waypoint)的轨迹数据,每个路径点包含 `[x, y, sin_yaw, cos_yaw]` 四个维度(共32个 float 值),用于指导机械狗的2D导航。
  • 机械狗能获取图像,并通过ros2发送到名为“/camera/image_raw”的topic。

    消息类型为 sensor_msgs/msg/Image。

    R2C SDK的Q25硬件适配器会订阅该topic,将ROS Image消息转换为JPEG 编码图像(默认224×224分辨率、质量90),并作为观测数据(Observation)发送到云端VLN模型进行推理。其他需要导航的机器人可参考此方式接入。

    图像消息要求如下表所示。

    表1 图像消息要求说明

    项目

    要求

    Topic名称

    /camera/image_raw

    消息类型

    sensor_msgs/msg/Image

    编码格式

    bgr8或rgb8(适配器自动处理转换)

    建议分辨率

    224×224

    发布频率

    ≥ 1 Hz(与runtime.publish_hz匹配)

    图像分辨率推荐为224x224,发送过大的图像会导致端到端时延增加,为获得最佳推理效果、时延,您可通过修改_preprocess_frame函数来实现长边缩放到224,短边补黑边、短边缩放到224,长边中心裁剪等操作。

    验证方法:

    # 确认 topic 正常发布
    ros2 topic list | grep /camera/image_raw
    # 查看 topic 信息
    ros2 topic info /camera/image_raw
    # 查看图像数据
    ros2 topic echo /camera/image_raw --once 
  • 机械狗能从ROS接收名为 /track/cloud_trajectory 的 topic,该 topic 的消息类型为 nav_msgs/msg/Path,机械狗需解析其中的路径点序列并执行导航运动。

    R2C SDK 的 Q25 硬件适配器会将云端 VLN 模型输出的轨迹数据转换为 nav_msgs/Path 消息并发布到该 topic。每个路径点(PoseStamped)的映射关系如下:

    Path 字段

    含义

    说明

    pose.position.x

    X 坐标

    前进方向位移(米),前进方向为正。

    pose.position.y

    Y 坐标

    侧向位移(米),面向前进方向左边为正。

    pose.orientation.z

    sin(yaw / 2)

    航向角/2的正弦值。

    pose.orientation.w

    cos(yaw / 2)

    航向角/2的余弦值。

    header.frame_id

    坐标系

    固定为base_link。

    header.stamp

    时间戳

    来自观测图像的ROS时间戳。

    每个Path消息包含8个路径点,机械狗需按顺序执行这些路径点来完成导航任务。

流程概览

  1. 在左侧导航栏选择“运行管理 > 机器人”,进入机器人管理界面。
  2. 单击“接入机器人”,填写机器人名称、描述,在机器人类型中选择四足机器人、厂家选择五八智能、型号选择天狼Q25,也可以选择并填写自定义型号。选择或填写好后,单击“立即接入”。

    图1 接入机器人

  3. 创建完成后会弹出下载配置文件提示,请单击“下载”,将配置文件保存到本地。

    接入机器人后,如果R2C SDK侧未完成配置,机器人状态为待激活;R2C SDK侧完成配置后,机器人状态会刷新为在线。

    图2 下载配置文件提示
    • 勾选开启“私钥加密密码”,输入“加密密码”和“确认密码”后,单击“下载”按钮,将配置文件保存到本地。
      • 加密密码校验规则:支持使用英文大小写字母、数字、特殊字符 (例如,.+-_#) 等,长度为1-32个字符。
      • 确认密码校验规则:支持使用英文大小写字母、数字、特殊字符 (例如,.+-_#) 等,长度为1-32个字符。

  4. 执行如下命令完成机器人接入。

    python -m r2c_sdk.cloudroboclient --bundle config/配置文件名.zip --robot-config config/robot_q25_config.yaml

    如无报错,即表示机器人接入CloudRobo平台成功,在CloudRobo平台的机器人列表页,可查看到该机器人状态变为在线。

  5. 在机器人界面,选择状态为在线的机器人,单击“智能体调试”,进入技能调试界面。

    图3 技能调试界面

  6. 单击选择模型技能,选择处于运行中的CloudRobo-VLN-Track模型服务,技能选择“泛化技能”,单击“确定”。
  7. 先选择参数配置,技能最大推理步数选择1,确认后在下方的输入框输入“/reset {需要导航的提示词}”,如“/reset 跟上穿蓝色衣服的人”,然后单击。

    图4 参数配置

  8. 技能执行完成后,将输入框的内容改成“/infer”,然后修改参数配置,修改为实际需要的技能最大推理步数和技能执行超时时长。修改完后再次单击。
  9. 通过ros的工具确认模型推理结果。

    # 确认 topic 可订阅
    ros2 topic list | grep /track/cloud_trajectory
    # 查看 topic 信息
    ros2 topic info /track/cloud_trajectory
    # 实时监听轨迹消息
    ros2 topic echo /track/cloud_trajectory

相关文档