数据规划
防火墙规划
防火墙的规划需符合表1中要求。
源设备 |
源IP |
源端口 |
目的设备 |
目的IP |
目的端口(侦听) |
协议 |
端口说明 |
侦听端口是否可更改 |
认证方式 |
加密方式 |
---|---|---|---|---|---|---|---|---|---|---|
ucsctl执行机 |
源设备所在节点IP |
ALL |
所有节点 |
目的设备所在节点IP |
22 |
TCP |
SSH |
否 |
证书/用户名密码 |
TLS v1.2 |
所有节点 |
源设备所在节点IP |
ALL |
NTP server |
目的设备所在节点IP |
123 |
UDP |
ntp |
否 |
无 |
无 |
所有节点 |
源设备所在节点IP |
ALL |
DNS server |
目的设备所在节点IP |
53 |
UDP |
dns |
否 |
无 |
无 |
所有节点 |
源设备所在节点IP |
ALL |
自建APT源 |
目的设备所在节点IP |
80/443 |
TCP |
http |
否 |
无 |
无 |
所有节点 |
源设备所在节点IP |
ALL |
集群负载均衡/VIP |
目的设备所在节点IP |
5443 |
TCP |
kube-apiserver |
否 |
https+证书 |
TLS v1.2 |
所有节点 |
源设备所在节点IP |
1024-65535 |
所有节点 |
目的设备所在节点IP |
1024-65535 |
ALL |
无 |
否 |
无 |
无 |
所有节点 |
源设备所在节点IP |
ALL |
所有节点 |
目的设备所在节点IP |
8472 |
UDP |
vxlan端口 |
否 |
无 |
无 |
需要访问ingress的节点 |
源设备所在节点IP |
ALL |
网络节点 |
目的设备所在节点IP |
80/443/按需指定端口 |
TCP |
http |
否 |
https+证书 |
TLS v1.2 |
所有节点 |
源设备所在节点IP |
ALL |
3台master节点 |
目的设备所在节点IP |
5444 |
TCP |
kube-apiserver |
否 |
https+证书 |
TLS v1.2 |
ucsctl执行机 |
源设备所在节点IP |
ALL |
华为云OBS服务 |
OBS终端节点所在IP |
443 |
TCP |
http |
否 |
https+证书 |
TLS v1.2 |
3台master节点 |
源设备所在节点IP |
ALL |
华为云UCS服务 |
124.70.21.61 proxyurl.ucs.myhuaweicloud.com |
30123 |
TCP |
grpc |
否 |
https+证书 |
TLS v1.2 |
3台master节点 |
源设备所在节点IP |
ALL |
华为云IAM服务 |
外部访问IAM服务的域名地址 |
443 |
TCP |
http |
否 |
https+证书 |
TLS v1.2 |
所有节点 |
源设备所在节点IP |
All |
华为云SWR服务 |
SWR终端节点所在IP |
443 |
TCP |
http |
否 |
https+证书 |
TLS v1.2 |
所有节点 |
源设备所在节点IP |
ALL |
Ubuntu官方源/国内代理源 |
按需配置 |
80/443 |
TCP |
http |
否 |
无 |
无 |
监控节点 |
源设备所在节点IP |
ALL |
华为云AOM |
域名对应IP地址 |
443 |
TCP |
http |
否 |
https+证书 |
TLS v1.2 |
监控节点 |
源设备所在节点IP |
ALL |
华为云LTS |
域名对应IP地址 |
443 |
TCP |
http |
否 |
https+证书 |
TLS v1.2 |
资源规格
UCS所安装的本地集群为HA版,适用于商用场景,以满足容灾高可用需求。商用版资源规格如下所述:
节点类型 |
数量 |
CPU (Cores) |
Mem (GiB) |
Disk (G)-系统盘 |
Disk (G)-高性能盘 |
Disk (G)-数据盘 |
备注 |
---|---|---|---|---|---|---|---|
集群管理节点 |
3 |
8 |
16 |
100 |
50 |
300 |
需要提供一个VIP用于高可用。 |
集群计算节点 |
按需 |
2 |
4 |
40 |
- |
100 |
数量按需可扩展。 |
节点类型 |
CPU (Cores) |
Mem (GiB) |
---|---|---|
监控prometheus |
Requests:1 Limits:4 |
Requests:2 Limits:12 |
事件log-agent |
Requests:0.5 Limits:3 |
Requests:1.5 Limits:2.5 |
类型 |
数量 |
CPU (Cores) |
Mem (GiB) |
Disk (G)-系统盘 |
Disk (G)-高性能盘 |
Disk (G)-数据盘 |
---|---|---|---|---|---|---|
operator-chef |
1 |
Requests:0.5 Limits:2 |
Requests:0.5 Limits:2 |
不涉及 |
不涉及 |
10(日志) |
helm-operator |
1 |
Requests:0.3 Limits:1.5 |
Requests:0.3 Limits:1.5 |
不涉及 |
不涉及 |
10(日志) |
ops-operator |
1 |
Requests:0.3 Limits:1.5 |
Requests:0.3 Limits:1.5 |
不涉及 |
不涉及 |
10(日志) |
外部依赖
依赖项 |
功能解释 |
---|---|
DNS服务器 |
DNS服务器需要能够解析OBS、SWR、IAM、DNS等服务的域名,这些服务的域名请参见地区及终端节点。 公网接入情况下,节点可自动识别默认DNS配置,需提前将DNS服务器上游设置为公网DNS,接下来无需再手动进行DNS服务器配置。 私网接入情况下,节点无法识别默认DNS配置,因此需提前配置VPCEP解析能力,详情请参考安装前准备。若您还未搭建DNS服务器,可参考DNS进行搭建。 |
apt源或yum源 |
确保有可用的apt源或yum源,因为在本地集群执行纳管节点时(纳管节点是指待添加到本地集群管理的服务器),部分安装组件如ntp等,需要从apt源或yum源中获取依赖包。
须知:
apt源操作适用于操作系统为Ubuntu的节点,yum源操作适用于操作系统为HCE或Redhat。 |
NTP服务器 |
可选,用于保证集群各节点时间同步,如果使用,推荐用户提供外置NTP服务器。 |
磁盘挂卷
节点类型 |
磁盘挂载点 |
可用大小(GB) |
用途 |
---|---|---|---|
集群管理节点 |
/var/lib/containerd |
50 |
存放containerd镜像目录 |
/run/containerd |
30 |
containerd运行时目录 |
|
/var/paas/run |
50 |
etcd数据目录(推荐使用ssd盘) |
|
/var/paas/sys/log |
20 |
存放日志目录 |
|
/mnt/paas |
40 |
容器运行挂载目录 |
|
/tmp |
20 |
临时文件目录 |
|
集群计算节点 |
/var/lib/containerd |
100 |
存放containerd镜像目录 |
/run/containerd |
50 |
containerd运行时目录 |
|
/mnt/paas |
50 |
容器运行挂载目录 |
|
/tmp |
20 |
临时文件目录 |
负载均衡规划
本地集群的HA版本部署在多台管理面节点实现容灾高可用,需要提供统一地址,供集群计算节点和其他外部服务访问。本地集群支持VIP或对接外部负载均衡器两种方式,请根据实际需求选择,二选一即可。
- VIP规划
要求用户设备的底层规划一个空闲IP为VIP,能够针对三台Master管理面节点规划一个VIP。该VIP会在安装过程由本地集群服务随机绑定到其中一台Master节点,并且当节点或者节点上服务异常时会自动切换到其他节点,以保证集群高可用。
表7 IP规划 IP类型
地址
用途
VIP(虚IP)
10.10.11.10(示例)
此处仅为示例,请以实际情况规划此IP,用于实现高可用。
- ELB规划
如果用户已有外部负载均衡器(ELB),本地集群可以对接外部负载均衡器实现集群高可用。具体配置如下:
- TCP监听器:3个,端口分别为80、443、5443。
- TCP后端服务器组:3个,分别对应三台Master节点的80、443、5444端口。
监听器关联的TCP后端服务器组关系,请参见表8。
表8 监听器与后端服务器组 监听器(协议/端口)
后端服务器组名称
后端服务器组节点映射和端口
TCP/80
ingress-http
master-01-IP:80
master-02-IP:80
master-03-IP:80
TCP/443
ingress-https
master-01-IP:443
master-02-IP:443
master-03-IP:443
TCP/5443
kube-apiserver
master-01-IP:5444
master-02-IP:5444
master-03-IP:5444
- 不同ELB产品,外接ELB配置界面略有差异。请根据实际界面,配置上述对应关系。
- 安装本地集群前,请提前将TCP监听器与TCP后端服务器组的映射关系配置到外部ELB上,并确保外部ELB功能可用。
- 负载均衡器可以将来自所有Node节点(包括Master节点)上的kubelet等进程的访问流量分发到三台Master主机上,并支持自动检测并隔离不可用的进程,从而提高业务的服务能力和可用性。用户可以使用云厂商提供的负载均衡器或相关的LB硬件设备,还可以通过Keepalived和Haproxy的方式实现多个Master节点的高可用部署。
- 【推荐配置】ELB对上述监听端口开启源地址透传,并关闭环路检查能力。若无法单独关闭环路检查,则需关闭源地址透传。判断是否存在环路检查的方法如下:
- 在可被外网访问的服务器A上创建一个http服务,将默认监听端口80修改为88,并添加测试的index.html文件。
yum install -y httpd sed -i 's/Listen 80/Listen 88/g' /etc/httpd/conf/httpd.conf echo "This is a test page" > /var/www/html/index.html systemctl start httpd
在浏览器中访问${服务器A_IP}:88,页面显示“This is a test page”。
- ELB配置监听端口如30088端口,转发至服务器A的88端口,并开启源地址透传。
- 在服务器A上通过ELB内网ip访问该http服务:
curl -v ${ELB_IP}:30088
查看http响应状态码是否为200,若非200则说明存在环路检查。
- 在可被外网访问的服务器A上创建一个http服务,将默认监听端口80修改为88,并添加测试的index.html文件。
用户规划
用户 |
用户组 |
用户ID |
用户组ID |
密码 |
用途 |
---|---|---|---|---|---|
root |
root |
0 |
0 |
- |
UCS本地集群安装时使用的默认用户,也可以指定其他用户来安装本地集群。安装用户要求满足如下条件:
说明:
安装完成后用户可以自行修改该用户密码或限制该用户root权限。 |
paas |
paas |
10000 |
10000 |
- |
UCS本地集群服务进程的运行用户、用户组,在安装过程中创建。该用户和用户组对应名称为paas:paas,用户ID和用户组ID对应为10000:10000,因此安装前需要保证用户名、用户组名、用户ID和用户组ID不被占用。若发生冲突,需提前删除对应的用户或者用户组。 |