配置服务信息

场景描述

推理服务信息负责对外统一入口，确保模型迭代时调用地址永久稳定。支持配置认证方式、网络访问策略及全局流量开关。

计费说明

服务信息不涉及计费。

配置服务信息

1. 登录ModelArts管理控制台，在左侧导航栏中选择“模型推理 > 在线推理”，默认进入“在线推理”列表。
2. 在“在线服务”列表中，单击“部署服务”。
3. 在“部署在线服务”页面，配置服务信息。
   图1 基本配置
   

   表1 基础信息参数说明

   参数名称	说明	示例
   服务名称	在线服务的名称，用于标识和管理在线服务。请按照界面提示规则填写。支持大小写英文字母、数字、中划线、下划线及中文，长度限制为1~128位。	service-e16d 系统自动生成，无需填写。
   描述	在线服务的简要说明。	/
   服务类型	选择在线服务的服务类型，服务类型为文本生成的在线服务部署成功后，可支持对比推理服务效果。实时对比详情请见实时对比。 服务类型支持：其他、文本生成、图像理解、视频生成、图像生成、重排序、向量模型、Embedding模型。	文本生成
   服务调用模式	在线服务支持同步调用和异步调用。 同步调用：您的请求发送后，将持续等待服务端返回处理结果，在此过程中连接保持不中断，直至获取最终响应或超时，适用于耗时较短、需要实时获取结果的推理任务。服务创建后，调用模式不支持修改。 异步调用：您的请求发送后，服务会立即确认接收，并在后台进行处理，后续通过轮询的方式来获取推理结果。适用于如AIGC、视频处理等推理耗时较长，存在长连接超时导致请求失败或实例负载不均衡的场景。服务创建后，调用模式不支持修改。详情请见异步推理。	同步调用
   单服务最大任务数	当“服务调用模式”选择“异步调用”时，需要设置单个服务所能创建的最大任务数。范围为0-10000。任务状态为succeeded、failed、created_failed、start_failed、upgrade_failed、timeout、deleted均不占用任务配额数量。任务状态可通过调用“查看任务详情”API获取。	/
   自动停止	勾选后，需设置服务自动停止时间，默认为1小时，设置时长最多为24小时。 开启后，当服务运行时开始计时，运行时间超出您预设的时长，它将自动停止运行。 在线服务部署后，可在控制台“模型推理 > 在线推理”页面单击更多>设置自动停止，重新设置自动停止。	勾选

   图2 网络配置

   

   表2 网络配置参数说明

   参数	说明	示例
   服务接入方式	默认使用ModelArts平台能力，提供限额的外网访问，使用平台提供的默认预测地址。支持在平台内进行认证鉴权。	保持系统默认值
   服务协议	在线服务提供的推理接口、模型进程提供的接口所使用的协议，请根据实际定义的推理接口进行配置。 可选协议：HTTPS、HTTP、WSS、WS。 HTTP/WS明文协议会导致数据泄露、数据篡改、流量劫持、钓鱼攻击等安全问题。请谨慎使用。	“HTTPS”
   认证方式	支持“API KEY认证”、“IAM Token认证”、“无认证”方式。 选择API KEY认证方式需要您部署在线服务后，在“授权管理”页面完成API KEY的创建及绑定服务。 选择无认证，客户端可以直接调用API，安全性低，适合临时测试的场景/内网调用使用，不建议外网直接使用。 三种认证方式详细请参考访问在线服务支持的认证方式。	“API KEY认证”
   更多配置	外网访问：在线服务是否允许外网访问。默认开启。开启后允许外网访问服务，调用URL请在服务详情页查看在线服务调用信息。关闭后，不允许通过互联网访问在线服务。 内网接入免审批：在线服务内网连接是否需要审批。 开启后，三方用户的内网接入申请自动生效，无需审批。关闭后，需要审批。内网访问服务请参见通过内网访问在线服务。 访问管控：勾选后，可指定白名单或黑名单进行访问管控。 白名单：仅允许匹配的用户IP进行访问，最多支持添加10个正则表达式。 黑名单：仅不允许匹配的用户IP进行访问，最多支持添加10个正则表达式。	保持默认

   图3 高可用配置
   

   表3 高可用配置参数说明

   参数	说明	示例
   流控策略	流控策略由“策略类型”与“流控方式”组成，相同的策略不支持重复添加，多个策略将作为规则集组合生效。参数说明请见表4。	保持默认
   请求超时时间（秒）	发送请求后等待系统返回首Token结果的最长等待时间，输入值必须在1到1200之间，单位：秒，超过该时间仍未收到回复，请求将被自动终止。流式传输场景下,每次收到请求响应时，会重新刷新该超时时间，但系统端到端响应超时时间固定为 3600 秒。	保持默认

   表4 流控策略参数说明

   参数	子参数	说明	示例
   策略类型	请求大小限制	单个请求所包含数据总量的大小上限。请求大小范围：1~50。单位：MB。	保持默认
   	每秒请求上限	每秒能够被访问的次数上限。单元：次。输入值必须在1到10,000之间。	保持默认
   流控方式	服务级固定流控	为服务设置一个固定的速率上限，超过该阈值后，新的请求会被立即拒绝。	保持默认
   	按部署副本动态计算	服务实际速率将根据其部署副本数量动态调整，服务实际速率上限 = 部署副本阈值 * 运行中的部署副本数量。	保持默认

   图4 高级配置
   

   表5 高级配置参数说明

   参数	说明
   日志对接LTS	当在部署服务界面未开启“日志对接LTS”，则查看的是服务实时日志数据。 打开该配置后日志会投递到云日志服务（Log Tank Service，简称LTS）进行管理。计费采用按需计费方式，详情可参考LTS定价详情。LTS自动创建日志组和日志流，默认缓存7天内的运行日志。支持在LTS上对在线服务的运行日志进行搜索和分析。 日志搜索：通过输入搜索语句，在日志数据中查找包含特定关键词的日志记录。或者根据时间范围来检索日志数据，帮助您定位特定时间段内发生的事件和问题。 统计图表：日志上报LTS后，支持通过SQL分析语法搜索关键日志数据，并将查询结果通过统计图表的方式进行可视化展示。 日志分析：执行搜索与分析前，需要将上报的日志进行结构化配置和索引配置，方便进行搜索与分析。 实时日志：在线服务运行日志接入LTS后，每隔大约1分钟上报一次。因此，在实时日志页面，您最多需要等待1分钟左右，即可查看实时上报的日志，实现对日志数据的快速检索与分析。 详情请参考云日志服务LTS。
   采集容器标准输出	勾选“日志对接LTS”后，系统默认勾选“采集容器标准输出”，不可以修改。 采集所有的容器标准输出并上报到云日志服务 LTS，日志保存时间为对应日志组的存储时间，默认为 30 天： 针对专属资源池部署，LTS 日志组和日志流为安装资源池日志采集插件时创建并选择的日志组和日志流； 针对公共资源池部署，系统会自动创建 LTS 日志组和日志流，对应的 LTS 日志组和日志流命名规范为日志组： Modelarts-Infer-Log-Group-{NUM}，日志流: Inf-Stdout-{serviceName}-{serviceId 转换后前 8 位字符}。
   采集Kubernete事件	勾选“日志对接LTS”后，可以手动勾选“采集Kubernete事件”。 勾选后，会采集 Kubernetes 事件即Pod事件并上报到云日志服务LTS，日志默认保存 7 天。用户在推理服务详情页的事件列表可以查看Pod事件，具体操作请参见查看在线服务的事件。 如果不勾选，在推理服务详情页的事件列表仅可以查看最近1小时的Pod事件。
   标签	ModelArts支持对接标签管理服务TMS，在ModelArts中创建资源消耗性任务（例如：创建Notebook、训练作业、推理在线服务）时，可以为这些任务配置标签，通过标签实现资源的多维分组管理。 可以在标签输入框下拉选择TMS预定义标签，也可以自己输入自定义标签。预定义标签对所有支持标签功能的服务资源可见。租户自定义标签只对自己服务可见。 标签详细用法请参见ModelArts如何通过标签实现资源分组管理。

4. 配置完服务信息，单击“仅创建服务”，系统自动返回在线推理的服务列表页面。

   

   也可以单击“下一步”，继续进行服务部署配置，具体请参见后续操作。

后续操作

在“在线推理”列表，单击操作列的“更多>添加部署”，配置推理部署信息，具体请参见推理在线服务单机部署。

图5 添加部署