部署为在线服务
AI应用准备完成后,您可以将AI应用部署为在线服务,对在线服务进行预测和调用。

单个用户最多可创建20个在线服务。
前提条件
- 数据已完成准备:已在ModelArts中创建状态“正常”可用的AI应用。
- 由于在线运行需消耗资源,确保帐户未欠费。
操作步骤
- 登录ModelArts管理控制台,在左侧导航栏中选择“部署上线 > 在线服务”,默认进入“在线服务”列表。
- 在“在线服务”列表中,单击左上角“部署”,进入“部署”页面。
- 在“部署”页面,填写在线服务相关参数。
- 填写基本信息,详细参数说明请参见表1。
- 填写资源池和AI应用配置等关键信息,详情请参见表2。
表2 参数说明 参数名称
子参数
说明
“资源池”
“公共资源池”
公共资源池有CPU或GPU两种规格,不同规格的资源池,其收费标准不同,详情请参见价格详情说明。当前仅支持按需付费模式。
“资源池”
“专属资源池”
在专属资源池规格中选择对应的规格进行使用。
“选择AI应用及配置”
“AI应用来源”
根据您的实际情况选择“我的AI应用”或者“我的订阅”。
“选择AI应用及版本”
选择状态“正常”的AI应用及版本。
“分流”
设置当前实例节点的流量占比,服务调用请求根据该比例分配到当前版本上。
如您仅部署一个版本的AI应用,请设置为100%。如您添加多个版本进行灰度发布,多个版本分流之和设置为100%。
“计算节点规格”
请根据界面显示的列表,选择可用的规格,置灰的规格表示当前环境无法使用。
如果公共资源池下规格为空数据,表示当前环境无公共资源。建议使用专属资源池,或者联系系统管理员创建公共资源池。
说明:使用所选规格部署服务时,会产生必要的系统消耗,因此服务实际占用的资源会略大于该规格。
“计算节点个数”
设置当前版本AI应用的实例个数。如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。
“环境变量”
设置环境变量,注入环境变量到容器实例。为确保您的数据安全,在环境变量中,请勿输入敏感信息,如明文密码。
“添加AI应用版本进行灰度发布”
当选择的AI应用有多个版本时,您可以添加多个AI应用版本,并配置其分流占比,完成多版本和灵活流量策略的灰度发布,实现AI应用版本的平滑过渡升级。
说明:当前免费计算规格不支持多版本灰度发布。
“服务流量限制”
-
服务流量限制是指每秒内一个服务能够被访问的次数上限。您可以根据实际需求设置每秒流量限制。
“运行日志输出”
-
默认关闭,在线服务的运行日志仅存放在ModelArts日志系统,在服务详情页的“日志”支持简单查询。
若开启此功能,在线服务的运行日志会输出存放到云日志服务LTS。LTS自动创建日志组和日志流,默认缓存7天内的运行日志。如需了解LTS专业日志管理功能,请参见云日志服务。
说明:- “运行日志输出”开启后,不支持关闭。
- LTS服务提供的日志查询和日志存储功能涉及计费,详细请参见了解LTS的计费规则。
“支持APP认证”
APP授权配置
默认关闭。如需开启此功能,请参见访问在线服务(APP认证)了解详情并根据实际情况进行设置。
“订阅消息”
-
订阅消息使用消息通知服务,在事件列表中选择需要监控的资源池状态,在事件发生时发送消息通知。
图1 设置AI应用相关信息
- 确认填写信息无误后,根据界面提示完成在线服务的部署。部署服务一般需要运行一段时间,根据您选择的数据量和资源不同,部署时间将耗时几分钟到几十分钟不等。
在线服务部署完成后,将立即启动,运行过程中将按照您选择的资源按需计费。
您可以前往在线服务列表,查看在线服务的基本情况。在在线服务列表中,刚部署的服务“状态”为“部署中”,当在线服务的“状态”变为“运行中”时,表示服务部署完成。