更新时间:2021-09-18 GMT+08:00
分享

发布推理服务

模型训练服务支持一键发布在线推理服务。用户基于成熟的模型包,创建推理服务,直接在线调用服务得到推理结果。操作步骤如下。

  1. 单击模型包“操作”列的,弹出“发布推理服务”对话框,如图1所示。

    图1 推理服务

  2. 配置对话框参数如表1所示。

    表1 创建推理服务参数配置

    参数名称

    参数描述

    模型包名称

    发布成推理服务的模型包名称。

    版本

    推理服务的版本。

    版本建议格式为“xx.xx.0”,其中xx为0-99的整数。

    是否自动停止

    是否开启推理服务自动停止,如果开启,需要设置自动停止的时间,开启了自动停止的推理服务将会在设置时间后停止运行。

    计算节点规格

    计算节点资源,包括CPU和GPU。

    用户可以单击选定计算节点资源,并在“计算节点个数”中配置计算节点资源的个数。

    计算节点个数

    计算节点的个数。

    • 1代表单节点计算
    • 2代表分布式计算,开发者需要编写相应的调用代码。可使用内置的MoXing分布式训练加速框架进行训练,训练算法需要符合MoXing程序结构。可参考如下文档:https://github.com/huaweicloud/ModelArts-Lab/tree/master/docs/moxing_api_doc

    描述

    推理服务描述信息。

    环境变量

    用户可以在训练算法编辑界面中代码目录下predict文件夹中的predict.py文件中编辑推理算法。在创建推理服务的界面中配置环境变量的参数值。

    • 变量名:环境变量的名称
    • 变量值:环境变量的取值
    • 增加:新增环境变量
    • :删除环境变量
    • :单击可隐藏变量值的真实数据。

  3. 单击“确定”,发布推理服务。

    • :发布服务成功,单击图标可以跳转至推理服务的快速验证界面,用户可在此界面上对当前发布的推理服务效果进行验证。
    • :发布服务失败,可重新发布。

相关文档