通过R2C SDK调用平台预置VLN导航模型
场景介绍
CloudRobo平台已上线自研的CloudRobo-VLN-Track模型,该模型可在同一个模型同时接收多个机器人的推理请求,欢迎部署体验。本文档使用五八智能Q25机械狗来调用平台预置VLN导航模型。其他机器人硬件可使用五八智能Q25的适配器,通过ROS2发布与接收话题来调用CloudRobo-VLN-Track模型。
前提条件
- 在模型部署服务中,已成功部署预置CloudRobo-VLN-Track模型,并且该模型当前处于“运行中”状态。该模型接收摄像头图像作为观测输入,输出8个路径点(waypoint)的轨迹数据,每个路径点包含 `[x, y, sin_yaw, cos_yaw]` 四个维度(共32个 float 值),用于指导机械狗的2D导航。
- 机械狗能获取图像,并通过ros2发送到名为“/camera/image_raw”的topic。
R2C SDK的Q25硬件适配器会订阅该topic,将ROS Image消息转换为JPEG 编码图像(默认224×224分辨率、质量90),并作为观测数据(Observation)发送到云端VLN模型进行推理。其他需要导航的机器人可参考此方式接入。
图像消息要求如下表所示。
表1 图像消息要求说明 项目
要求
Topic名称
/camera/image_raw
消息类型
sensor_msgs/msg/Image
编码格式
bgr8或rgb8(适配器自动处理转换)
建议分辨率
224×224
发布频率
≥ 1 Hz(与runtime.publish_hz匹配)
图像分辨率推荐为224x224,发送过大的图像会导致端到端时延增加,为获得最佳推理效果、时延,您可通过修改_preprocess_frame函数来实现长边缩放到224,短边补黑边、短边缩放到224,长边中心裁剪等操作。
验证方法:
# 确认 topic 正常发布 ros2 topic list | grep /camera/image_raw # 查看 topic 信息 ros2 topic info /camera/image_raw # 查看图像数据 ros2 topic echo /camera/image_raw --once
- 机械狗能从ROS接收名为 /track/cloud_trajectory 的 topic,该 topic 的消息类型为 nav_msgs/msg/Path,机械狗需解析其中的路径点序列并执行导航运动。
R2C SDK 的 Q25 硬件适配器会将云端 VLN 模型输出的轨迹数据转换为 nav_msgs/Path 消息并发布到该 topic。每个路径点(PoseStamped)的映射关系如下:
Path 字段
含义
说明
pose.position.x
X 坐标
前进方向位移(米),前进方向为正。
pose.position.y
Y 坐标
侧向位移(米),面向前进方向左边为正。
pose.orientation.z
sin(yaw / 2)
航向角/2的正弦值。
pose.orientation.w
cos(yaw / 2)
航向角/2的余弦值。
header.frame_id
坐标系
固定为base_link。
header.stamp
时间戳
来自观测图像的ROS时间戳。
每个Path消息包含8个路径点,机械狗需按顺序执行这些路径点来完成导航任务。
流程概览
- 在左侧导航栏选择“运行管理 > 机器人”,进入机器人管理界面。
- 单击“接入机器人”,填写机器人名称、描述,在机器人类型中选择四足机器人、厂家选择五八智能、型号选择天狼Q25,也可以选择并填写自定义型号。选择或填写好后,单击“立即接入”。 图1 接入机器人
- 创建完成后会弹出下载配置文件提示,请单击“下载”,将配置文件保存到本地。
接入机器人后,如果R2C SDK侧未完成配置,机器人状态为待激活;R2C SDK侧完成配置后,机器人状态会刷新为在线。
图2 下载配置文件提示
- 勾选开启“私钥加密密码”,输入“加密密码”和“确认密码”后,单击“下载”按钮,将配置文件保存到本地。
- 加密密码校验规则:支持使用英文大小写字母、数字、特殊字符 (例如,.+-_#) 等,长度为1-32个字符。
- 确认密码校验规则:支持使用英文大小写字母、数字、特殊字符 (例如,.+-_#) 等,长度为1-32个字符。
- 勾选开启“私钥加密密码”,输入“加密密码”和“确认密码”后,单击“下载”按钮,将配置文件保存到本地。
- 执行如下命令完成机器人接入。
python -m r2c_sdk.cloudroboclient --bundle config/配置文件名.zip --robot-config config/robot_q25_config.yaml
如无报错,即表示机器人接入CloudRobo平台成功,在CloudRobo平台的机器人列表页,可查看到该机器人状态变为在线。
- 在机器人界面,选择状态为在线的机器人,单击“智能体调试”,进入技能调试界面。 图3 技能调试界面
- 单击选择模型技能,选择处于运行中的CloudRobo-VLN-Track模型服务,技能选择“泛化技能”,单击“确定”。
- 先选择参数配置,技能最大推理步数选择1,确认后在下方的输入框输入“/reset {需要导航的提示词}”,如“/reset 跟上穿蓝色衣服的人”,然后单击
。 图4 参数配置
- 技能执行完成后,将输入框的内容改成“/infer”,然后修改参数配置,修改为实际需要的技能最大推理步数和技能执行超时时长。修改完后再次单击
。 - 通过ros的工具确认模型推理结果。
# 确认 topic 可订阅 ros2 topic list | grep /track/cloud_trajectory # 查看 topic 信息 ros2 topic info /track/cloud_trajectory # 实时监听轨迹消息 ros2 topic echo /track/cloud_trajectory