发布推理服务
模型训练服务支持一键发布在线推理服务。用户基于成熟的模型包,创建推理服务,直接在线调用服务得到推理结果。操作步骤如下。
- 单击模型包“操作”列的,弹出“发布推理服务”对话框,如图1所示。
- 配置对话框参数如表1所示。
表1 创建推理服务参数配置 参数名称
参数描述
模型包名称
发布成推理服务的模型包名称。
版本
推理服务的版本。
版本建议格式为“xx.xx.0”,其中xx为0-99的整数。
是否自动停止
是否开启推理服务自动停止,如果开启,需要设置自动停止的时间,开启了自动停止的推理服务将会在设置时间后停止运行。
计算节点规格
计算节点资源,包括CPU和GPU。
用户可以单击选定计算节点资源,并在“计算节点个数”中配置计算节点资源的个数。
计算节点个数
计算节点的个数。
- 1代表单节点计算
- 2代表分布式计算,开发者需要编写相应的调用代码。可使用内置的MoXing分布式训练加速框架进行训练,训练算法需要符合MoXing程序结构。可参考如下文档:https://github.com/huaweicloud/ModelArts-Lab/tree/master/docs/moxing_api_doc
描述
推理服务描述信息。
环境变量
用户可以在训练算法编辑界面中代码目录下predict文件夹中的predict.py文件中编辑推理算法。在创建推理服务的界面中配置环境变量的参数值。
- 变量名:环境变量的名称
- 变量值:环境变量的取值
- 增加:新增环境变量
- :删除环境变量
- :单击可隐藏变量值的真实数据。
- 单击“确定”,发布推理服务。
- :发布服务成功,单击图标可以跳转至推理服务的快速验证界面,用户可在此界面上对当前发布的推理服务效果进行验证。
- :发布服务失败,可重新发布。