更新时间:2026-09-01 GMT+08:00
分享

使用模型产物部署服务

保存模型产物章节保存并发布的模型产物部署为推理服务,用于后续的真机评测。部署时需要配置模型服务的启动命令,不同模型类型的启动命令有所不同。

前提条件

部署模型服务

  1. 登录CloudRobo控制台
  2. 在左侧导航栏中单击“运行管理 > 模型部署”,进入“模型部署”页面。
  3. 单击“部署模型服务”,进入“部署模型服务”界面。
  4. 请参考以下内容配置参数,其余参数保持默认或者按照实际自行调整。

    基础信息

    • 服务名称:输入自定义服务名称。
    • 描述:输入服务描述。

    模型配置

    • 模型:选择“空间资产-模型”,在弹出来的弹窗中选择保存模型产物使用保存的镜像创建模型微调训练作业中保存的模型产物及对应版本。
    • 挂载路径:模型挂载到容器中的目录,与后续启动命令中基模型配置路径保持一致,/home/ma-user/modelarts/user-job-dir/models/model-0
    • r2c协议配置:单击“本地上传”,上传本地准备的r2c.json文件。

    环境配置

    镜像:选择“空间资产-镜像”,选择保存Notebook镜像章节中保存的自定义镜像。

    启动命令:根据模型类型填写对应的启动命令,具体参考LeRobot模型训推命令参考

    PI05启动命令示例:

    /bin/bash -c "conda activate lerobot-pi && cd /opt/cloud/lerobot_ascend_notebook/lerobot && HF_HUB_OFFLINE=1 TRANSFORMERS_OFFLINE=1 HF_HOME=/home/ma-user/.cache/huggingface/hf_cache python -m scripts.serve_policy --policy_type=pi0 --checkpoint_path=/home/ma-user/modelarts/user-job-dir/models/model-0"

    启动命令中的checkpoint_path需要根据实际模型产物的路径修改。policy_type需要与实际训练的模型类型保持一致。

    资源配置

    • 运行时长:根据实际需要选择运行时长。
    • 资源池:选择“公共资源池”或“专属资源池”。
    • 实例规格:根据实际资源选择规格,推荐选择1 * SNT9B2 | 24 vCPUs | 192 GiB。
    图1 PI05模型部署实例

    部署管理配置

    • 容器协议:WSS
    • 容器端口:8000
    图2 部署管理配置

  5. 完成后单击“立即部署”,即可开始部署模型。

    在模型部署页面,查看已部署的模型服务,模型部署成功后,该模型服务状态为“运行中”。

相关文档