在线服务
微调后的迭代模型创建在线服务,进行推理,查看预测效果。每类迭代模型,只能同时运行一个在线服务,如果已经存在“运行中”的在线服务,将无法继续创建该类在线服务。
创建在线服务
- 在左侧菜单栏中选择“智驾模型服务 > 智驾模型管理”。
- 选择“在线服务”页签,单击“创建在线服务”。
- 完成在线服务基本信息和模型仓库及配置。
- 名称:输入在线服务名称,只能包含数字、英文、中文、下划线、中划线,输入长度不能超过64个字符。
- 实例个数:设置实例个数,为提升系统稳定性,建议部署多个实例。
- 是否自动停止:设置在线服务运行时间,运行时间到期后,在线服务将自动停止。在线服务的最晚停止时间为模型套餐包的最晚失效时间。模型套餐包的最晚失效时间,可以在“总览”界面,“我的模型”区域查看。
- 描述:输入在线服务的简要描述,不包含“@^\#$%&*<>'|"/`”,不得超过500个字符。
- 模型版本:选择模型微调后的迭代模型及版本。
- 单击“创建”,确认配置信息后,单击“确认”下发创建在线服务任务。
在线服务列表相关操作
在线服务列表可以进行以下操作。
| 任务 | 操作步骤 |
|---|---|
| 修改在线服务 | 单击操作栏中的“修改”,修改在线服务。“启动中”的在线服务不支持修改。 修改在线服务实例个数时,请确保无正在运行的推理任务。 |
| 预测在线服务 | 单击操作栏中的“预测”,跳转至相关在线服务界面,进行预测,测试模型的推理能力。只有“运行中”的在线服务支持预测。 |
| 启动在线服务 | 单击操作栏中的“更多 > 启动”,启动在线服务。 |
| 停止在线服务 | 单击操作栏中的“更多 > 停止”,停止在线服务。 |
| 删除在线服务 | 支持单个、批量删除在线服务。删除操作无法恢复,请谨慎操作。
内置在线服务不支持删除。 |
| 查看在线服务详情 |
|
| 查询在线服务 | 在搜索输入框中输入搜索条件,按回车键即可查询。 |
在线服务相关操作与任务所处状态约束关系请见下表:
部分初始模型的内置在线服务不支持“修改”、“启动”、“停止”和“删除”操作。
以下列表只展示迭代模型创建的在线服务的操作状态与约束关系。
| 状态 | 修改 | 预测 | 启动 | 停止 | 删除 |
|---|---|---|---|---|---|
| 运行中 | √ | √ | x | √ | √ |
| 停止 | √ | x | √ | x | √ |
| 告警 | √ | x | √ | √ | √ |
| 部署中 | x | x | x | √ | √ |
| 失败 | √ | x | √ | x | √ |
| 资源排队中 | x | x | x | x | √ |