更新时间:2024-06-15 GMT+08:00
分享

Step4 使用调试成功的镜像用于推理部署

Step3 在Notebook中变更镜像并调试中调试成功的自定义镜像导入到AI应用中,并部署为在线服务。

  1. 登录ModelArts控制台,在左侧导航栏中选择“AI应用管理 > AI应用”,单击“创建”,进入创建AI应用。
  2. 设置AI应用的参数,如图1所示。
    • 元模型来源:从容器镜像中选择。
    • 容器镜像所在的路径:单击选择前面创建的镜像。
    • 容器调用接口:选择HTTPS。
    • host:设置为8443。
    • 部署类型:选择在线部署。
    图1 设置AI应用参数
  3. 填写apis定义,单击“保存”生效。apis定义中指定输入为文件,具体内容参见下面代码样例。
    图2 填写apis定义

    apis定义具体内容如下:

    [{
    	"url": "/",
    	"method": "post",
    	"request": {
    		"Content-type": "multipart/form-data",
    		"data": {
    			"type": "object",
    			"properties": {
    				"images": {
    					"type": "file"
    				}
    			}
    		}
    	},
    	"response": {
    		"Content-type": "applicaton/json",
    		"data": {
    			"type": "object",
    			"properties": {
    				"result": {
    					"type": "integer"
    				}
    			}
    		}
    	}
    }]

    apis定义提供AI应用对外Restfull api数据定义,用于定义AI应用的输入、输出格式。

    • 创建AI应用填写apis。在创建的AI应用部署服务成功后,进行预测时,会自动识别预测类型。
    • 创建AI应用时不填写apis。在创建的AI应用部署服务成功后,进行预测,需选择“请求类型”。“请求类型”可选择“application/json”或“multipart/form-data”。请根据元模型,选择合适的类型。
  4. 设置完成后,单击“立即创建”,等待AI应用状态变为“正常”
  5. 单击新建的AI应用名称左侧的小三角形,展开AI应用的版本列表。在操作列单击“部署 > 在线服务”,跳转至在线服务的部署页面。
  6. 在部署页面,参考如下说明填写关键参数。

    “名称”:按照界面提示规则自定义一个在线服务的名称,也可以使用默认值。

    “资源池”:选择“公共资源池”

    “AI应用来源”“选择AI应用及版本”:会自动选择AI应用和版本号。

    “计算节点规格”:在下拉框中选择“限时免费”资源,勾选并阅读免费规格说明。

    其他参数可使用默认值。

    若限时免费资源售罄,建议选择收费CPU资源进行部署。当选择收费CPU资源部署在线服务时会收取少量资源费用,具体费用以界面信息为准。

  7. 参数配置完成后,单击“下一步”,确认规格参数后,单击“提交”启动在线服务的部署。
  8. 进入“部署上线 > 在线服务”页面,等待服务服务状态变为“运行中”时,表示服务部署成功。单击操作列的“预测”,进入服务详情页的“预测”页面。上传图片,预测结果。
    图3 预测
分享:

    相关文档

    相关产品