通过弹性负载均衡ELB访问在线服务

背景说明

弹性负载均衡（Elastic Load Balance，简称ELB）是将访问流量根据分配策略分发到后端多台服务器的流量分发控制服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力，同时通过消除单点故障提升应用系统的可用性。

为了确保外网用户能够安全、高效地访问ModelArts提供的在线服务，并更灵活地整合ModelArts提供的预测服务，ModelArts支持通过弹性负载均衡（ELB）连接内网访问推理在线服务，ELB作为流量入口，根据转发策略将访问流量分发到后端推理服务实例。

图1 弹性负载均衡连接内网访问在线服务

计费说明

使用弹性负载均衡和VPC终端节点涉及计费，详情参见弹性负载均衡ELB计费和VPC终端节点计费。

步骤一：创建ELB

步骤二：在ModelArts在线推理服务中配置ELB接入

在配置推理服务信息时，配置“弹性负载均衡ELB”参数，配置推理服务信息的详细操作参见配置服务信息。

“弹性负载均衡ELB”参数配置说明如下：

1. 在左侧导航栏中选择“模型推理 > 在线推理”，默认进入“在线推理”列表。
2. 单击“部署”，进入“部署在线服务”页面。配置推理服务信息时，在“弹性负载均衡ELB（可选）”下，选择已创建的弹性负载均衡。
   图2 选择弹性负载均衡ELB
   
3. 选择弹性负载均衡后，如果服务协议为 HTTPS 或 WSS，还需要需要配“SSL 解析方式”，可选择“单向认证”或“双向认证”。如果选择单向认证，则只需要配置服务器证书；若选择双向认证，则还需要配置 CA 证书。此外，可以选择配置“SNI”。
   图3 单向认证
   
   图4 双向认证
   

   CA 证书、服务器证书、SNI 证书需要提前创建，创建操作请参见 ELB 的创建证书文档。SNI 更多介绍参见 ELB 文档开启SNI证书。

   服务信息和部署配置的其他参数请分别参见配置服务信息和推理在线服务单机部署章节。部署配置完成后，参考下面步骤完成访问调用。

步骤三：通过ELB调用地址访问在线服务

服务配置ELB并部署成功后，可以在在线服务列表或者服务详情页面单击“服务调用”查看，获取 ELB 调用地址。

图5 服务调用

服务调用信息中会根据ELB的IP地址逐一展示私网或公网调用URL。

图6 调用信息

在线服务的 ELB 调用地址格式是：${服务协议}://${弹性负载均衡实例IP}/v2/infer/${在线服务ID}/${具体的API}。例如：http://10.10.xx.xxx/v2/infer/d64cda4f-af92-4bd3-804d-xxxxx/v1/chat/completions。

由于用户可以随时在ELB控制台或通过ELB服务提供的API改变ELB实例所绑定的私有IP地址或弹性公网IP地址，因此在线服务的调用信息的底部提供了“同步”按钮用于一键同步ELB最新的IP地址，以保证可以通过新的IP访问在线服务。

如果用户在在线服务之前还打通了其他具有四层流量处理能力的网络组件，那么还需要单击“调用信息”的“自定义访问地址”，将该网络组件的IP地址或域名加入自定义地址中，使得用户可以通过该IP地址或域名访问在线服务。比如用户在ELB之前还对接了APIG，并希望能通过APIG域名访问在线服务，则需要将APIG的域名加入到自定义地址中。

图7 修改访问地址

VPC终端节点创建规则

如果用户接入的ELB所属的VPC是首次接入，则会在该VPC下自动创建一个VPC终端节点，用于打通该VPC与在线服务所在的网络。该 VPC终端节点的IP将作为ELB的后端服务器。

如果ModelArts在线服务自动创建的VPC终端节点不再被使用，该VPC终端节点将被自动清理。

ELB相关资源创建规则

当用户接入ELB时，则会在该ELB下创建一系列相关资源，包括监听器、后端服务器组、转发策略等。具体包括：

• 如果服务协议配置为“HTTP”，则会在ELB下创建一个协议为HTTP且端口为80的监听器；如果服务协议配置为HTTPS，则会在ELB下创建一个协议为HTTPS且端口为443的监听器。
• 如果服务调用模式为“同步调用”，则会在监听器下创建一个路径前缀匹配“/v2/infer”的转发规则，用于将同步调用请求转发至同步在线服务；如果服务调用模式为“异步调用”，则会在监听器下创建一个路径为前缀匹配“/v2/async-infer”的转发规则，用于将异步调用请求转发至异步在线服务。

上述ELB相关资源如果已经存在，将会被复用，如果不存在，则会自动创建。在复用的过程中，可能会有配置冲突，常见的配置冲突如下：

1. 监听器：如果服务协议为“HTTP”，但ELB已经绑定了其他协议（比如 HTTPS、TCP 等）且端口为80的监听器，则视为配置冲突且ELB接入失败。
2. 转发策略：如果服务调用模式为“同步调用”，并且监听器已经存在一个路径前缀匹配“/v2/infer”的转发规则，但其转发的目标不是后端服务器组，或者后端服务器组中的后端服务器不是目标VPC终端节点的IP，则视为配置冲突且ELB接入失败。

如果ModelArts在线服务自动创建的ELB不再被使用，上述ELB相关资源将被自动清理。

查看ELB对接状态

在推理服务详情页的网络配置版块查看弹性负载均衡ELB的对接状态。如果ELB接入或断开失败，支持在推理详情页“重试”。

图8 查看ELB对接状态