弹性负载均衡
弹性负载均衡(Elastic Load Balance,简称ELB)是将访问流量根据分配策略分发到后端多台服务器的流量分发控制服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力,同时通过消除单点故障提升应用系统的可用性。
为了确保外网用户能够安全、高效地访问ModelArts提供的在线服务,并更灵活地整合ModelArts提供的预测服务,ModelArts支持通过弹性负载均衡(ELB)连接内网访问推理在线服务,ELB作为流量入口,根据转发策略将访问流量分发到后端推理服务实例。
前提条件
| 参数 | 说明 |
|---|---|
| 实例规格 | 需选择独享型的实例类型。 |
| 负载均衡类型 | 需选择应用型或网络型+应用型的类型。 |
| 网络配置 | 需勾选IP类型后端。 |
VPC终端节点创建规则
如果用户接入的ELB所属的VPC是首次接入,则会在该VPC下自动创建一个VPC终端节点,用于打通该VPC与在线服务所在的网络。该 VPC终端节点的IP将作为ELB的后端服务器。
如果ModelArts在线服务自动创建的VPC终端节点不再被使用,该VPC终端节点将被自动清理。
ELB相关资源创建规则
当用户接入ELB时,则会在该ELB下创建一系列相关资源,包括监听器、后端服务器组、转发策略等。具体包括:
- 如果服务协议配置为“HTTP”,则会在ELB下创建一个协议为HTTP且端口为80的监听器;如果服务协议配置为HTTPS,则会在ELB下创建一个协议为HTTPS且端口为443的监听器。
- 如果服务调用模式为“同步调用”,则会在监听器下创建一个路径前缀匹配“/v2/infer”的转发规则,用于将同步调用请求转发至同步在线服务;如果服务调用模式为“异步调用”,则会在监听器下创建一个路径为前缀匹配“/v2/async-infer”的转发规则,用于将异步调用请求转发至异步在线服务。
上述ELB相关资源如果已经存在,将会被复用,如果不存在,则会自动创建。在复用的过程中,可能会有配置冲突,常见的配置冲突如下:
- 监听器:如果服务协议为“HTTP”,但ELB已经绑定了其它协议(比如 HTTPS、TCP 等)且端口为80的监听器,则视为配置冲突且ELB接入失败。
- 转发策略:如果服务调用模式为“同步调用”,并且监听器已经存在一个路径前缀匹配“/v2/infer”的转发规则,但其转发的目标不是后端服务器组,或者后端服务器组中的后端服务器不是目标VPC终端节点的IP,则视为配置冲突且ELB接入失败。
如果ModelArts在线服务自动创建的ELB不再被使用,上述ELB相关资源将被自动清理。