自定义部署Nginx Ingress Controller

应用现状

Nginx Ingress Controller是一款业界流行的开源Ingress控制器，有着广泛的应用。在大规模集群场景下，用户有在集群中部署多套Nginx Ingress Controller的诉求，不同流量使用不同的控制器，将流量区分开。例如，集群中部分服务需要通过公网Ingress方式对外提供访问，但是又有部分对内开放的服务不允许使用公网访问，只支持对同VPC内的其他服务访问，您可以通过部署两套独立的Nginx Ingress Controller，绑定两个不同的ELB实例来满足这类需求场景。

图1 多个Nginx Ingress应用场景

解决方案

您可以通过以下方案，实现在同一个集群中部署多个Nginx Ingress Controller。

• （推荐）安装NGINX Ingress控制器插件，在同一个集群中一键部署多个实例。详情请参见安装多个NGINX Ingress控制器。

  v1.23集群需安装2.2.52及以上版本的插件，对于v1.23以上的集群需安装2.5.4及以上版本的插件。

• 通过安装开源Helm包，在集群中自定义部署多套Nginx Ingress Controller。该方案需要配置的参数较复杂，您需要通过配置ingress-class参数（缺省值为nginx）来声明Nginx Ingress Controller监听的范围。这样在创建Ingress时可以通过选择不同的Nginx Ingress Controller进行流量区分。

前提条件

• 已创建ELB实例（推荐使用独享型），具体操作可参考创建独享型负载均衡器、创建共享型负载均衡器。
• 安装模板过程中，可能需要拉取公网镜像，因此节点需要绑定EIP。

约束与限制

• 部署多个Nginx Ingress Controller时，每个Controller需要对接一个ELB，并保证对接的ELB需要拥有至少两个监听器配额，且端口80和443没有被监听器占用。如果使用独享型ELB，需要支持网络型规格。
• 使用社区提供的nginx-ingress模板与镜像时，使用过程中对于因社区软件本身缺陷导致的业务受损CCE服务不提供额外维护。商用场景请谨慎使用。

部署Nginx Ingress Controller

您可以通过以下步骤在集群中部署多套完全独立的Nginx Ingress Controller服务。

1. 获取模板包。

   前往社区模板发布页面，选择合适的版本并下载tgz格式的Helm Chart包。本文以社区4.4.2版本的模板包为例，该模板包适用于v1.21及以上的CCE集群。由于不同版本的模板包配置项可能存在差异，本文中的配置仅对4.4.2版本生效。

2. 上传模板
   1. 登录CCE控制台，进入集群，在左侧导航栏中选择“应用模板”，在右上角单击“上传模板”。
   2. 单击“添加文件”，选中待上传的模板包后，单击“上传”。

   

3. 自定义value.yaml

   您可在本地创建一个value.yaml配置文件用于设置安装工作负载参数，在安装时只需导入此配置文件进行自定义安装，其他未指定的参数将会使用默认配置。

   配置内容如下：

   controller:
     image:
       repository: swr.cn-east-3.myhuaweicloud.com/hwofficial/nginx-ingress   #controller镜像地址，请根据集群所在区域进行替换
       registry: ""
       image: ""
       tag: "v1.5.1"  #controller版本
       digest: ""
     ingressClassResource:
       name: ccedemo         #同一个集群中不同套Ingress Controller名称必须唯一，且不能设置为nginx和cce
       controllerValue: "k8s.io/ingress-nginx-demo"  #同一个集群中不同套Ingress Controller的监听标识必须唯一，且不能设置为k8s.io/ingress-nginx
     ingressClass: ccedemo   #同一个集群中不同套Ingress Controller名称必须唯一，且不能设置为nginx和cce
     service: 
       annotations: 
         kubernetes.io/elb.id: 5083f225-9bf8-48fa-9c8b-67bd9693c4c0     #ELB ID
         kubernetes.io/elb.class: performance  #仅独享型ELB需要添加此注解
     config:
       keep-alive-requests: 100
     extraVolumeMounts: # 挂载节点上的/etc/localtime文件，进行时区同步
       - name: localtime
         mountPath: /etc/localtime
         readOnly: true
     extraVolumes:
       - name: localtime
         type: Hostpath
         hostPath:
           path: /etc/localtime 
     admissionWebhooks: # 关闭webhook验证开关
       enabled: false
       patch:
         enabled: false
     resources: # 设定controller的资源限制，可根据需求自定义
       requests:
         cpu: 200m
         memory: 200Mi
   defaultBackend: # 设置defaultBackend
     enabled: true
     image: 
       repository: swr.cn-east-3.myhuaweicloud.com/hwofficial/defaultbackend     #defaultBackend镜像地址，请根据集群所在区域进行替换
       registry: ""
       image: ""
       tag: "1.5"
       digest: ""

   上述参数详情请参见表1。

4. 创建模板实例。
   1. 登录CCE控制台，进入集群，在左侧导航栏中选择“应用模板”。
   2. 在已上传的模板中，单击“安装”。
   3. 填写“实例名称”，选择“命名空间”和“选择版本”。
   4. 单击“配置文件”后的“添加文件”按钮，选择本地创建的YAML配置文件，单击“安装”。
   5. 在“模板实例”页签下可以查看模板实例的安装情况。

      

测试验证

创建一个工作负载，配置新部署的Nginx Ingress Controller为其提供网络访问。

1. 创建nginx工作负载。
   1. 登录CCE控制台，进入集群，在左侧导航栏中选择“工作负载”，单击右上角“YAML创建”。
   2. 填写以下内容，并单击“确定”。

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: nginx
      spec:
        replicas: 1
        selector:
          matchLabels:
            app: nginx
        strategy:
          type: RollingUpdate
        template:
          metadata:
            labels:
              app: nginx
          spec:
            containers:
            - image: nginx    #若使用“开源镜像中心”的镜像，可直接填写镜像名称；若使用“我的镜像”中的镜像，请在SWR中获取具体镜像地址。
              imagePullPolicy: Always
              name: nginx
            imagePullSecrets:
            - name: default-secret
      ---
      apiVersion: v1
      kind: Service
      metadata:
        labels:
          app: nginx
        name: nginx
      spec:
        ports:
        - name: service0
          port: 80                 # 访问Service的端口
          protocol: TCP           # 访问Service的协议，支持TCP和UDP
          targetPort: 80           # Service访问目标容器的端口，本例中nginx镜像默认使用80端口
        selector:                  # 标签选择器，Service通过标签选择Pod，将访问Service的流量转发给Pod
          app: nginx
        type: ClusterIP            # Service的类型，ClusterIP表示在集群内访问

2. 创建Ingress，通过新部署的Nginx Ingress Controller提供网络访问。
   1. 在左侧导航栏中选择“服务”，切换至“路由”页签，单击右上角“YAML创建”。
      

      对接非插件部署的Nginx Ingress Controller时，只支持使用YAML的方式创建Ingress。

   2. 填写以下内容，并单击“确定”。
      v1.23及以上版本集群：

      apiVersion: networking.k8s.io/v1 
      kind: Ingress 
      metadata: 
        name: ingress-test
        namespace: default 
      spec: 
        ingressClassName: ccedemo  # 填写新创建的nginx ingress controller的ingressClass
        rules: 
        - host: foo.bar.com
          http: 
            paths: 
            - path: / 
              pathType: ImplementationSpecific   #匹配取决于 IngressClass 
              backend: 
                service: 
                  name: nginx    #替换为您的目标服务名称
                  port: 
                    number: 80   #替换为您的目标服务端口
              property: 
                ingress.beta.kubernetes.io/url-match-mode: STARTS_WITH  

      v1.23以下版本集群：

      apiVersion: networking.k8s.io/v1beta1
      kind: Ingress 
      metadata: 
        name: tomcat-t1 
        namespace: test 
        annotations: 
          kubernetes.io/ingress.class: ccedemo  # 填写新创建的nginx ingress controller的ingressClass
      spec: 
        rules: 
          - host: foo.bar.com
            http: 
              paths: 
                - path: / 
                  pathType: ImplementationSpecific 
                  backend: 
                    serviceName: nginx  #替换为您的目标服务名称
                    servicePort: 80     #替换为您的目标服务端口
                  property: 
                    ingress.beta.kubernetes.io/url-match-mode: STARTS_WITH

3. 登录集群节点，分别通过集群Nginx Ingress插件中的Controller和新部署的Nginx Ingress Controller服务来访问该应用。
   • 通过新建的Nginx Ingress Controller服务来访问该应用（预期返回Nginx页面），其中192.168.114.60为新建的Nginx Ingress Controller服务对应的ELB地址。

     curl -H "Host: foo.bar.com" http://192.168.114.60

     

   • 通过Nginx Ingress插件中的Controller服务（预期返回404），其中192.168.9.226为Nginx Ingress插件对应的ELB地址。

     curl -H "Host: foo.bar.com" http://192.168.9.226

     

配置参数说明

更多参数配置说明请参见ingress-nginx。