为ELB Ingress配置灰度发布

约束与限制

• 该特性存在集群版本限制，仅在以下版本中生效：
  • v1.23集群：v1.23.14-r0 及以上版本
  • v1.25集群：v1.25.9-r0 及以上版本
  • v1.27集群：v1.27.6-r0 及以上版本
  • v1.28集群：v1.28.4-r0 及以上版本
  • 其他更高版本的集群
• 创建灰度Ingress后，不应删除原Ingress。
• 单个ELB下的监听器，如果关联的多个Ingress配置了多个灰度策略，头域优先级最高，cookie次之，权重优先级最低。

前提条件

已创建独享型ELB Ingress。

通过控制台配置灰度发布服务

1. 登录CCE控制台，单击集群名称进入集群。
2. 在左侧导航栏中选择“服务”，切换至“路由”页签，选择需要设置灰度发布的路由，在操作列单击“更多>创建灰度发布”。
3. 设置灰度发布参数。

   表1 关键参数说明

   参数	配置说明	示例
   灰度发布	按HTTP请求头：当HTTP请求的header键值对匹配时，访问灰度发布服务。 如果Ingress转发策略配置了域名和路径，最多支持配置8个Values值。 如果Ingress转发策略仅配置了路径，最多支持配置9个Values值。 按Cookie发布：当请求的Cookie键值对匹配时，访问灰度发布服务。 按比例发布：按访问灰度发布服务的请求比例。	按HTTP请求头
   灰度转发策略配置	域名：实际访问的域名地址，不配置时可通过IP地址访问Ingress。请确保所填写的域名已注册并备案，一旦配置了域名规则后，必须使用域名访问。 开启灰度：开启灰度后，集群外部访问流量将按此规则转发至目标服务。 灰度规则：支持按HTTP请求头、按Cookie发布、按比例（灰度服务请求比例0%），请按需选择。 目标服务名称：请选择已有Service或新建Service。页面列表中的查询结果已自动过滤不符合要求的Service。 目标服务访问端口：可选择目标Service的访问端口。	域名：无需填写 开启灰度：开启 灰度规则：按HTTP请求头 目标服务名称：nginx 目标服务访问端口：80

4. 单击“确定”，创建灰度发布服务。

通过kubectl命令行配置灰度发布服务

1. 部署原服务。
   1. 部署名为origin-server的工作负载。
   2. 部署名为origin-service的service，关联刚创建的origin-server工作负载。（CCE Standard集群创建nodeport类型Service，Turbo集群创建ClusterIP类型Service）
   3. 部署名为origin-ingress的Ingress，关联刚创建的origin-service服务。
      Ingress的配置如下：

      apiVersion: networking.k8s.io/v1
      kind: Ingress
      metadata:
        name: origin-ingress
        namespace: default
        annotations:
          kubernetes.io/elb.port: '81'
          kubernetes.io/elb.id: e491f4e7-2351-4984-ad0a-8569e5e964a3
          kubernetes.io/elb.class: performance
      spec:
        rules:
          - host: example.com
            http:
              paths:
                - path: /
                  backend:
                    service:
                      name: origin-service
                      port:
                        number: 81
                  property:
                    ingress.beta.kubernetes.io/url-match-mode: STARTS_WITH
                  pathType: ImplementationSpecific
        ingressClassName: cce

2. 灰度发布新版本服务。

   部署新版本工作负载、服务和Ingress，使得流量能够通过权重或者头域导流到新版本服务上。

   1. 部署名为canary-server的工作负载。
   2. 部署名为canary-service的服务，关联刚创建的canary-server工作负载。（CCE Standard集群创建nodeport类型Service，Turbo集群创建ClusterIP类型Service）
   3. 部署名为canary-weight-ingress的Ingress，关联刚创建的canary-service服务，实现权重灰度发布。参数说明请参加参数说明。
      Ingress的配置如下：

      apiVersion: networking.k8s.io/v1
      kind: Ingress
      metadata:
        name: canary-weight-ingress
        namespace: default
        annotations:
          kubernetes.io/elb.canary: 'true'             // 设置为true，表示启用canary注解功能。
          kubernetes.io/elb.canary-weight: '40'        // 权重值设置，表示对应请求40%的流量将被导流到新版本服务上。
          kubernetes.io/elb.class: performance         // 仅独享型ELB支持灰度发布
          kubernetes.io/elb.id: e491f4e7-2351-4984-ad0a-8569e5e964a3
          kubernetes.io/elb.port: '81'
      spec:
        ingressClassName: cce
        rules:
          - host: example.com
            http:
              paths:
                - path: /
                  pathType: ImplementationSpecific
                  backend:
                    service:
                      name: canary-service
                      port:
                        number: 81
                  property:
                    ingress.beta.kubernetes.io/url-match-mode: STARTS_WITH

   4. 部署名为canary-header-ingress的Ingress，关联刚创建的canary-service服务，实现Header灰度发布。
      Ingress的配置如下：

      apiVersion: networking.k8s.io/v1
      kind: Ingress
      metadata:
        name: canary-header-ingress
        namespace: default
        annotations:
          kubernetes.io/elb.canary: 'true'
          kubernetes.io/elb.canary-by-header: 'location'                           // header的key值设置为location
          kubernetes.io/elb.canary-by-header-value: '{"values":["hz","sz","sh"]}'  // header的value值设置为hz、sz、sh
          kubernetes.io/elb.class: performance
          kubernetes.io/elb.id: e491f4e7-2351-4984-ad0a-8569e5e964a3
          kubernetes.io/elb.port: '81'
      spec:
        ingressClassName: cce
        rules:
          - host: example.com
            http:
              paths:
                - path: /
                  pathType: ImplementationSpecific
                  backend:
                    service:
                      name: canary-service
                      port:
                        number: 80
                  property:
                    ingress.beta.kubernetes.io/url-match-mode: STARTS_WITH

   5. 查看灰度发布新版本服务是否成功。
      1. 查看Ingress创建：

         $ kubectl get ingress
         NAME                    CLASS   HOSTS        ADDRESS        PORTS   AGE
         canary-header-ingress   cce     example.com   88.88.88.165   80      46s
         canary-weight-ingress   cce     example.com   88.88.88.165   80      117s
         origin-ingress          cce     example.com   88.88.88.165   80      2m25s

      2. 查看ELB生成规则：

         

      3. 服务请求返回结果：
         1. 使用location：hz请求头的请求访问服务：

            $ curl -H "Host: example.com" -H "location: hz" http://88.88.88.165:81/

         2. 预期结果：

            $ new

            多次访问，返回结果均为new

         3. 不使用请求头的请求访问服务：

            $ curl -H "Host: example.com" http://88.88.88.165:81/

         4. 预期结果：返回值40%为new，60%为old。

3. 老版本服务下线。

   新版本服务运行稳定后，需要下线老版本服务。下线流程将原服务Ingress中的Service修改为新版本服务的Service，使流量都路由到新版本服务上，然后删除灰度Ingress。

   1. 将原服务Ingress关联的Service更新为新版本Service。

      apiVersion: networking.k8s.io/v1
      kind: Ingress
      metadata:
        name: origin-ingress
        namespace: default
        annotations:
          kubernetes.io/elb.port: '81'
          kubernetes.io/elb.id: e491f4e7-2351-4984-ad0a-8569e5e964a3
          kubernetes.io/elb.class: performance
      spec:
        rules:
          - host: example.com
            http:
              paths:
                - path: /
                  backend:
                    service:
                      name: canary-service
                      port:
                        number: 81
                  property:
                    ingress.beta.kubernetes.io/url-match-mode: STARTS_WITH
                  pathType: ImplementationSpecific
        ingressClassName: cce

   2. 验证老版本服务是否下线完成。
      1. 使用带header和不带header的请求，多次访问。

         $ curl -H "Host: example.com" -H "location: hz" http://88.88.88.165:81/
         $ curl -H "Host: example.com" http://88.88.88.165:81/

      2. 预期结果：输出均为new，无old返回。
   3. 确认老版本服务下线完成后，删除灰度发布Ingress。

      $ kubectl delete ingress canary-weight-ingress canary-header-ingress

参数说明

{"persistence_timeout": "1440"}

'{"values":["a","b"]}'

'{"values":["a","b"]}'