创建部署模型服务
前提条件
- 用户当前工作空间绑定的OBS桶需可用且OBS桶策略正常,否则功能无法正常使用。
- 如果OBS桶不可用,可根据界面提示重新选择存储地址。普通成员如遇配置失败,请联系管理员处理。
- 如果OBS桶策略异常,可根据界面提示重新配置OBS桶策略。普通成员如遇配置失败,请联系管理员处理。
- 如果因其他服务异常导致查询当前工作空间绑定的OBS桶详情失败,请联系华为云技术支持人员处理或提交工单。
创建部署模型服务
- 登录CloudRobo控制台。
- 在左侧导航栏中单击“运行管理 > 模型部署”,进入模型部署页面。
- 单击右上角“部署模型服务”,进入创建页面,参照如下参数说明配置相关信息。
表1 部署模型服务参数说明 参数
说明
基础信息
服务名称
部署模型服务的名称。
模型服务名称由中文、数字、字母、下划线(_)、连字符(-)、点(.)、斜线(/)组成,输入长度范围为3~64个字符。
描述(可选)
部署模型服务的简介。
描述内容不能超过512个字符。
模型配置
模型
单击 "+"图标,选择模型。可选“具身广场-模型”或“空间资产-模型”。
- 当选择“具身广场-模型”时,在弹出框中选择预置的模型。
如选择的具身广场-模型为非免费模型且未订阅,请先单击“订阅模型”,到订阅模型页面订阅模型,订阅成功后才能被使用。
- 当选择“空间资产-模型”时,在弹出框中选择空间资产中自定义的模型。
模型优势技能
当选择模型后,您可以基于模型信息调整模型优势技能。
仅在选择的模型类型为“操作模型”和“导航模型”时有效。- 单击“添加”,添加模型优势技能信息(技能名称、Prompt)。
- 总数不超过50条。
- 可单击操作删除图标,删除相应的参数配置。
- 选择是否勾选“仅执行模型优势技能”。 说明:
开启后,部署后的模型服务在智能体调试时仅能执行当前已填写的模型优势技能。未开启则默认可执行模型的全部技能。
r2c协议配置
r2c协议是机器人与云端的通信协议,用于配置云端协同。
仅在“模型”选择“空间资产-模型”时有效。
- 单击“本地上传”或“更换协议”,在弹出框中单击“上传”按钮,上传r2c协议。
- 如果不满意此次上传的文件,您也可以单击“重新上传”按钮,重新选择文件上传。
说明:- 上传的新协议仅对本次部署生效。原协议仍保留在资产中。
- 当前仅支持上传json文件。且文件大小不超过20KB。可参考r2c协议配置说明。
环境配置(当“模型”选择“空间资产-模型”时有效)
环境变量
选择空间资产模型后,您可以根据业务需求设置环境变量的参数名称、值。
- 单击“添加”,添加环境变量信息,总数不超过90条。
- 可单击操作栏的删除图标进行删除。
启动命令
镜像启动命令。选择模型后,启动命令默认自动回填。
您可以在启动命令输入框的右上角,单击复制或者放大按钮,进行相应操作。
资源配置
运行时长
可选“1小时”、“2小时”、“6小时”或“12小时”。
说明:设置模型服务运行时长,超出您预设的时长,将会自动停止运行(会存在2-5分钟的延迟)。
资源池
选择资源池类型,支持“公共资源池”和“专属资源池”。
- 专属资源池:专属资源池不与其他用户共享,资源更可控。在使用专属资源池之前,您需要先创建专属资源池,然后在开发过程中选择此专属资源池。不同业务使用的专属资源池有所不同,请参考资源准备创建对应的专属资源池。
- 公共资源池:公共资源池提供公共的大规模计算集群,根据用户作业参数分配使用,资源按作业隔离。用户下发训练作业、部署模型、使用开发环境实例等情况下,均可以使用公共资源池完成。开通账号并申请公测后即可使用CloudRobo的公共资源池。
说明:选择的模型如果是被保护的资产,为非公开资产,无法提交到专属资源池,则用户无法选择“专属资源池”类型。
实例规格
在下拉框中选择实例规格。
部署管理配置
容器协议/容器端口
在下拉列表中选择容器协议,并输入相应的容器端口。
网络认证
当“资源池类型”选择“专属资源池”时,可配置该参数。
API KEY认证:API KEY是通过API密钥进行API调用时的认证。API KEY认证适用于需要简单认证的场景,只要有用API KEY凭据的用户都可以访问在线服务。在将在线服务Websocket API集成至生产环境之前,需要对此API进行调测。
更多介绍请参考通过API KEY认证访问在线服务。
外网访问
当“资源池类型”选择“专属资源池”时,可配置该参数。
开启后,允许通过互联网访问在线服务。
- 当选择“具身广场-模型”时,在弹出框中选择预置的模型。
- 填写完相关参数后,单击“立即部署”,部署模型服务任务创建完成,系统自动返回部署模型列表页面,您可在列表中查看创建好的任务。
创建部署模型服务时,如果系统提示配额或资源不足,请参考“创建执行作业时遇到系统提示配额或资源不足怎么解决”章节描述来解决。
查看部署模型服务列表
- 登录CloudRobo控制台。
- 在左侧导航栏中单击“运行管理 >模型部署”,进入模型部署页面。
- 在列表界面可以查看模型部署名称/ID、状态、模型、模型优势技能、创建时间和自动停止时间等信息。部分列支持筛选或排序查看。单击模型部署列表搜索框右侧的
可对模型部署列表展示内容进行设置和调整。 - 用户可以通过选择“全部”或者“我创建的”快速过滤可见的模型部署列表范围。
- 在模型部署列表上方的搜索框中,根据您需要的属性类型,例如名称、模型、状态等进行筛选过滤,快速查找模型部署任务。
- 可以在列表页最右侧的“操作”列,对模型部署进行模型评测、真机调测、启动、停止或删除操作。
- 在列表界面可以查看模型部署名称/ID、状态、模型、模型优势技能、创建时间和自动停止时间等信息。部分列支持筛选或排序查看。单击模型部署列表搜索框右侧的
查看模型部署详情
- 登录CloudRobo控制台。
- 在左侧导航栏中单击“运行管理 > 模型部署”,进入模型部署页面。
- 在模型部署列表中单击模型部署的名称,进入模型部署详情页。可以查看模型部署的概览信息和日志信息。
