更新时间:2024-10-25 GMT+08:00

数据规划

防火墙规划

防火墙的规划需符合表1中要求。

表1 防火墙规划

源设备

源IP

源端口

目的设备

目的IP

目的端口(侦听)

协议

端口说明

侦听端口是否可更改

认证方式

加密方式

ucsctl执行机

源设备所在节点IP

ALL

所有节点

目的设备所在节点IP

22

TCP

SSH

证书/用户名密码

TLS v1.2

所有节点

源设备所在节点IP

ALL

NTP server

目的设备所在节点IP

123

UDP

ntp

所有节点

源设备所在节点IP

ALL

DNS server

目的设备所在节点IP

53

UDP

dns

所有节点

源设备所在节点IP

ALL

自建APT源

目的设备所在节点IP

80/443

TCP

http

所有节点

源设备所在节点IP

ALL

集群负载均衡/VIP

目的设备所在节点IP

5443

TCP

kube-apiserver

https+证书

TLS v1.2

所有节点

源设备所在节点IP

1024-65535

所有节点

目的设备所在节点IP

1024-65535

ALL

所有节点

源设备所在节点IP

ALL

所有节点

目的设备所在节点IP

8472

UDP

vxlan端口

需要访问ingress的节点

源设备所在节点IP

ALL

网络节点

目的设备所在节点IP

80/443/按需指定端口

TCP

http

https+证书

TLS v1.2

所有节点

源设备所在节点IP

ALL

3台master节点

目的设备所在节点IP

5444

TCP

kube-apiserver

https+证书

TLS v1.2

ucsctl执行机

源设备所在节点IP

ALL

华为云OBS服务

OBS终端节点所在IP

443

TCP

http

https+证书

TLS v1.2

3台master节点

源设备所在节点IP

ALL

华为云UCS服务

124.70.21.61

proxyurl.ucs.myhuaweicloud.com

30123

TCP

grpc

https+证书

TLS v1.2

3台master节点

源设备所在节点IP

ALL

华为云IAM服务

外部访问IAM服务的域名地址

443

TCP

http

https+证书

TLS v1.2

所有节点

源设备所在节点IP

All

华为云SWR服务

SWR终端节点所在IP

443

TCP

http

https+证书

TLS v1.2

所有节点

源设备所在节点IP

ALL

Ubuntu官方源/国内代理源

按需配置

80/443

TCP

http

监控节点

源设备所在节点IP

ALL

华为云AOM

域名对应IP地址

443

TCP

http

https+证书

TLS v1.2

监控节点

源设备所在节点IP

ALL

华为云LTS

域名对应IP地址

443

TCP

http

https+证书

TLS v1.2

资源规格

UCS所安装的本地集群为HA版,适用于商用场景,以满足容灾高可用需求。商用版资源规格如下所述:

表2 容器平台基础能力资源规格

节点类型

数量

CPU (Cores)

Mem (GiB)

Disk (G)-系统盘

Disk (G)-高性能盘

Disk (G)-数据盘

备注

集群管理节点

3

8

16

100

50

300

需要提供一个VIP用于高可用。

集群计算节点

按需

2

4

40

-

100

数量按需可扩展。

表3 容器智能分析节点资源规格

节点类型

CPU (Cores)

Mem (GiB)

监控prometheus

Requests:1

Limits:4

Requests:2

Limits:12

事件log-agent

Requests:0.5

Limits:3

Requests:1.5

Limits:2.5

表4 云原生服务中心计算节点资源规格

类型

数量

CPU (Cores)

Mem (GiB)

Disk (G)-系统盘

Disk (G)-高性能盘

Disk (G)-数据盘

operator-chef

1

Requests:0.5

Limits:2

Requests:0.5

Limits:2

不涉及

不涉及

10(日志)

helm-operator

1

Requests:0.3

Limits:1.5

Requests:0.3

Limits:1.5

不涉及

不涉及

10(日志)

ops-operator

1

Requests:0.3

Limits:1.5

Requests:0.3

Limits:1.5

不涉及

不涉及

10(日志)

外部依赖

表5 外部依赖项

依赖项

功能解释

DNS服务器

DNS服务器需要能够解析OBS、SWR、IAM、DNS等服务的域名,这些服务的域名请参见地区及终端节点

公网接入情况下,节点可自动识别默认DNS配置,需提前将DNS服务器上游设置为公网DNS,接下来无需再手动进行DNS服务器配置。

私网接入情况下,节点无法识别默认DNS配置,因此需提前配置VPCEP解析能力,详情请参考安装前准备。若您还未搭建DNS服务器,可参考DNS进行搭建。

apt源或yum源

确保有可用的apt源或yum源,因为在本地集群执行纳管节点时(纳管节点是指待添加到本地集群管理的服务器),部分安装组件如ntp等,需要从apt源或yum源中获取依赖包。

须知:

apt源操作适用于操作系统为Ubuntu的节点,yum源操作适用于操作系统为HCE或Redhat。

NTP服务器

可选,用于保证集群各节点时间同步,如果使用,推荐用户提供外置NTP服务器。

磁盘挂卷

表6 磁盘挂卷

节点类型

磁盘挂载点

可用大小(GB)

用途

集群管理节点

/var/lib/containerd

50

存放containerd镜像目录

/run/containerd

30

containerd运行时目录

/var/paas/run

50

etcd数据目录(推荐使用ssd盘)

/var/paas/sys/log

20

存放日志目录

/mnt/paas

40

容器运行挂载目录

/tmp

20

临时文件目录

集群计算节点

/var/lib/containerd

100

存放containerd镜像目录

/run/containerd

50

containerd运行时目录

/mnt/paas

50

容器运行挂载目录

/tmp

20

临时文件目录

负载均衡规划

本地集群的HA版本部署在多台管理面节点实现容灾高可用,需要提供统一地址,供集群计算节点和其他外部服务访问。本地集群支持VIP或对接外部负载均衡器两种方式,请根据实际需求选择,二选一即可。

  • VIP规划

    要求用户设备的底层规划一个空闲IP为VIP,能够针对三台Master管理面节点规划一个VIP。该VIP会在安装过程由本地集群服务随机绑定到其中一台Master节点,并且当节点或者节点上服务异常时会自动切换到其他节点,以保证集群高可用。

    表7 IP规划

    IP类型

    地址

    用途

    VIP(虚IP)

    10.10.11.10(示例)

    此处仅为示例,请以实际情况规划此IP,用于实现高可用。

  • ELB规划

    如果用户已有外部负载均衡器(ELB),本地集群可以对接外部负载均衡器实现集群高可用。具体配置如下:

    • TCP监听器:3个,端口分别为80、443、5443。
    • TCP后端服务器组:3个,分别对应三台Master节点的80、443、5444端口。

      监听器关联的TCP后端服务器组关系,请参见表8

    表8 监听器与后端服务器组

    监听器(协议/端口)

    后端服务器组名称

    后端服务器组节点映射和端口

    TCP/80

    ingress-http

    master-01-IP:80

    master-02-IP:80

    master-03-IP:80

    TCP/443

    ingress-https

    master-01-IP:443

    master-02-IP:443

    master-03-IP:443

    TCP/5443

    kube-apiserver

    master-01-IP:5444

    master-02-IP:5444

    master-03-IP:5444

    • 不同ELB产品,外接ELB配置界面略有差异。请根据实际界面,配置上述对应关系。
    • 安装本地集群前,请提前将TCP监听器TCP后端服务器组的映射关系配置到外部ELB上,并确保外部ELB功能可用。
    • 负载均衡器可以将来自所有Node节点(包括Master节点)上的kubelet等进程的访问流量分发到三台Master主机上,并支持自动检测并隔离不可用的进程,从而提高业务的服务能力和可用性。用户可以使用云厂商提供的负载均衡器或相关的LB硬件设备,还可以通过Keepalived和Haproxy的方式实现多个Master节点的高可用部署。
    • 推荐配置】ELB对上述监听端口开启源地址透传,并关闭环路检查能力。若无法单独关闭环路检查,则需关闭源地址透传。判断是否存在环路检查的方法如下:
      1. 在可被外网访问的服务器A上创建一个http服务,将默认监听端口80修改为88,并添加测试的index.html文件。
        yum install -y httpd
        sed -i 's/Listen 80/Listen 88/g' /etc/httpd/conf/httpd.conf
        echo "This is a test page" > /var/www/html/index.html
        systemctl start httpd

        在浏览器中访问${服务器A_IP}:88,页面显示“This is a test page”。

      2. ELB配置监听端口如30088端口,转发至服务器A的88端口,并开启源地址透传。
      3. 在服务器A上通过ELB内网ip访问该http服务:
        curl -v ${ELB_IP}:30088

        查看http响应状态码是否为200,若非200则说明存在环路检查。

用户规划

表9 用户规划

用户

用户组

用户ID

用户组ID

密码

用途

root

root

0

0

-

UCS本地集群安装时使用的默认用户,也可以指定其他用户来安装本地集群。安装用户要求满足如下条件:

  • 规划的所有集群管理节点密码一致。
  • 用户具有完全的root用户权限。
说明:

安装完成后用户可以自行修改该用户密码或限制该用户root权限。

paas

paas

10000

10000

-

UCS本地集群服务进程的运行用户、用户组,在安装过程中创建。该用户和用户组对应名称为paas:paas,用户ID和用户组ID对应为10000:10000,因此安装前需要保证用户名、用户组名、用户ID和用户组ID不被占用。若发生冲突,需提前删除对应的用户或者用户组。