部署上线

部署上线

部署上线操作即将模型部署为在线服务，并且提供在线的测试UI与监控能力。完成模型训练后，可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。

1. 在“运行总览”页面中，待服务部署节点的状态变为“等待输入”时，双击“服务部署”进入配置详情页，完成资源的参数配置操作。
2. 在服务部署页面，选择部署上线使用的资源规格。
   图1 资源规格
   
   • AI应用来源：默认为生成的AI应用。
   • 选择AI应用及版本：自动匹配当前使用的AI应用版本，支持选择版本。
   • 资源池：默认公共资源池。
   • 分流：默认为100，输入值必须是0-100之间。
   • 计算节点规格：请根据界面显示的列表，选择可用的规格，置灰的规格表示当前环境无法使用。如果公共资源池下规格为空数据，表示当前环境无公共资源。建议使用专属资源池，或者联系系统管理员创建公共资源池。
   • 计算节点个数：默认为1，输入值必须是1-5之间的整数。
   • 是否自动停止：启用该参数并设置时间后，服务将在指定时间后自动停止。如果不启用此参数，在线服务将一直运行，同时一直收费，自动停止功能可以帮您避免产生不必要的费用。默认开启自动停止功能，且默认值为“1小时后”。

     目前支持设置为“1小时后”、“2小时后”、“4小时后”、“6小时后”、“自定义”。如果选择“自定义”的模式，可在右侧输入框中输入1~24范围内的任意整数。

     

     若您购买了套餐包，计算节点规格可选择您的套餐包，同时在“配置费用”页签还可查看您的套餐包余量以及超出部分的计费方式，请您务必关注，避免造成不必要的资源浪费。

3. 完成资源配置后，单击“继续运行”，在弹框中确认继续运行后，服务部署节点将继续运行，直至状态变为“运行成功”，至此，已将AI应用部署为在线服务。

服务测试

• 服务部署节点运行成功后，单击“实例详情”可跳转至对应的在线服务详情页面。单击“预测”页签，进行服务测试。
  图2 服务测试
  

• 您也可以在“服务部署”页面，选择对应的服务类型，进入“在线服务”页面，单击目标服务“操作”列的“预测”，进行服务测试，测试方法和下方陈述操作步骤一致。具体操作请参见测试服务。
• 您也可以通过调用代码对服务进行测试，根据部署服务类型的不同，具体操作详情参见访问在线服务。
• 下面的测试，是您在自动学习声音分类项目页面将模型部署上线之后进行服务测试的操作步骤。
  1. 模型部署完成后，您可添加音频文件进行测试。在“自动学习”页面，选择服务部署节点，单击实例详情，进入“部署上线”界面，选择状态为“运行中”的服务版本，在“服务测试”区域单击“上传”，选择本地音频进行测试。
  2. 单击“预测”进行测试，预测完成后，右侧“预测结果”区域输出测试结果。如模型准确率不满足预期，可在“数据标注”页签中添加音频并进行标注，重新进行模型训练及部署上线。预测结果中的参数说明请参见表1。如果您对模型预测结果满意，可根据界面提示调用接口访问在线服务，操作指导请参见“访问在线服务”。

     表1 预测结果中的参数说明

     参数	说明
     predicted_label	该段音频的预测类别。
     score	预测为此类别的置信度。

     

     由于“运行中”的在线服务将持续耗费资源，如果不需再使用此在线服务，建议在版本管理区域，单击“停止”，即可停止在线服务的部署，避免产生不必要的费用。如果需要继续使用此服务，可单击“启动”恢复。

     如果您启用了自动停止功能，服务将在指定时间后自动停止，不再产生费用。