节点池配置管理
约束与限制
默认节点池DefaultPool不支持如下管理操作。
配置管理
为方便对CCE集群中的Kubernetes配置参数进行管理，CCE提供了配置管理功能，通过该功能您可以对核心组件进行深度配置，更多信息请参见kubelet。
仅支持在v1.15及以上版本的集群中对节点池进行配置，V1.15以下版本不显示该功能。
- 登录CCE控制台。
- 单击集群名称进入集群，在左侧选择“节点管理”，在右侧选择“节点池”页签。
- 单击节点池名称后的“配置管理”。
- 在侧边栏滑出的“配置管理”窗口中，根据业务需求修改Kubernetes的参数值：
表1 kubelet组件配置 名称
参数
参数说明
取值
修改说明
CPU管理策略配置
cpu-manager-policy
CPU管理策略配置，详情请参见CPU调度。
- none：关闭工作负载实例独占CPU的功能，优点是CPU共享池的可分配核数较多。
- static：开启工作负载实例独占CPU，适用于对CPU缓存和调度延迟敏感的场景。
- enhanced-static：在支持CPU独占的基础上，增强支持给Burstable Pods配置CPU优先使用核，适用于波峰、波谷相差大且大部分时间处于波谷状态的工作负载。
默认：none
-
请求至kube-apiserver的QPS配置
kube-api-qps
与APIServer通信的每秒查询个数。
默认：100
-
请求至kube-apiserver的Burst配置
kube-api-burst
每秒发送到APIServer的突发请求数量上限。
默认：100
-
kubelet管理的Pod上限
max-pods
Node能运行的Pod最大数量。
- CCE Standard集群：由节点最大实例数设置决定。
-
限制Pod中的进程数
pod-pids-limit
每个Pod中可使用的PID个数上限。
默认：-1，表示不限制
-
是否使用本地IP作为该节点的ClusterDNS
with-local-dns
开启后，会自动在节点的kubelet配置中添加节点默认网卡IP作为首选DNS地址。
默认：关闭（参数值为false）
-
事件创建QPS限制
event-qps
每秒可生成的事件数量。
默认：5
-
允许使用的不安全系统配置
allowed-unsafe-sysctls
允许使用的不安全系统配置。
CCE从1.17.17集群版本开始，kube-apiserver开启了pod安全策略，需要在pod安全策略的allowedUnsafeSysctls中增加相应的配置才能生效（1.17.17以下版本的集群可不配置）。详情请参见Pod安全策略开放非安全系统配置示例。
默认：[]
-
节点超卖特性
over-subscription-resource
节点超卖特性。
设置为true表示开启节点超卖特性。
- 集群版本为v1.23.9-r0、v1.25.4-r0以下：默认为开启（参数值为true）
- 集群版本为v1.23.9-r0、v1.25.4-r0、v1.27-r0、v1.28.1-r0及以上：默认为关闭（参数值为false）
-
节点混部特性
colocation
节点混部特性。
设置为true表示开启节点混部特性。
- 集群版本为v1.23.9-r0、v1.25.4-r0以下：默认为开启（参数值为true）
- 集群版本为v1.23.9-r0、v1.25.4-r0、v1.27-r0、v1.28.1-r0及以上：默认为关闭（参数值为false）
-
拓扑管理策略
topology-manager-policy
设置拓扑管理策略。
合法值包括：
- restricted：kubelet 仅接受在所请求资源上实现最佳 NUMA对齐的Pod。
- best-effort：kubelet会优先选择在 CPU 和设备资源上实现NUMA对齐的Pod。
- none（默认）：不启用拓扑管理策略。
- single-numa-node：kubelet仅允许在 CPU和设备资源上对齐到同一NUMA节点的Pod。
默认：none
须知：请谨慎修改，修改topology-manager-policy和topology-manager-scope会重启kubelet，并且以更改后的策略重新计算容器实例的资源分配，这有可能导致已经运行的容器实例重启甚至无法进行资源分配。
拓扑管理策略的资源对齐粒度
topology-manager-scope
设置拓扑管理策略的资源对齐粒度。合法值包括：
- container （默认)：对齐粒度为容器级
- pod：对齐粒度为Pod级
默认：container
容器指定DNS解析配置文件
resolv-conf
容器指定DNS解析配置文件
默认为空值
-
除长期运行的请求之外所有运行时请求的超时时长
runtime-request-timeout
除长期运行的请求（pull、 logs、exec和attach）之外所有运行时请求的超时时长。
默认为2m0s
v1.21.10-r0、v1.23.8-r0、v1.25.3-r0及以上版本的集群支持该参数。
是否让kubelet每次仅拉取一个镜像
serialize-image-pulls
串行拉取镜像。
- 关闭：建议值，以支持并行拉取镜像，提高Pod启动速度。
- 开启：支持串行拉取镜像。
- 集群版本为v1.21.12-r0、v1.23.11-r0、v1.25.6-r0、v1.27.3-r0、v1.28.1-r0以下：默认为开启（参数值为true）
- 集群版本为v1.21.12-r0、v1.23.11-r0、v1.25.6-r0、v1.27.3-r0、v1.28.1-r0及以上：默认为关闭（参数值为false）
v1.21.10-r0、v1.23.8-r0、v1.25.3-r0及以上版本的集群支持该参数。
每秒钟可以执行的镜像仓库拉取操作限值
registry-pull-qps
镜像仓库的QPS上限。
默认为5
取值范围为1~50
v1.21.10-r0、v1.23.8-r0、v1.25.3-r0及以上版本的集群支持该参数。
突发性镜像拉取的上限值
registry-burst
突发性镜像拉取的上限值，允许镜像拉取临时上升到所指定数量。
默认为10
取值范围为1~100，且取值必须大于等于registry-pull-qps的值。
v1.21.10-r0、v1.23.8-r0、v1.25.3-r0及以上版本的集群支持该参数。
节点内存预留
system-reserved-mem
系统内存预留，目的是为OS系统守护进程（如 sshd、udev 等）预留内存资源。
默认值：自动计算预留内存数，预留值随节点规格变动，具体请参见节点预留资源策略说明
可选配置如下：- 自动计算预留内存数：建议使用自动计算预留内存数，以保证节点的稳定性。
预留值随节点规格变动，具体请参见节点预留资源策略说明。
- 自定义预留内存数：自定义节点预留内存分布。
kube-reserved-mem，system-reserved-mem之和小于节点池中节点最小内存规格的50%。
kube-reserved-mem
Kubernetes组件内存预留，目的是为Kubernetes系统守护进程（如kubelet、container runtime等）预留内存资源。
evictionHard 硬驱逐配置项
memory.available
节点可用内存值
固定为100Mi
关于节点压力驱逐详情请参考节点压力驱逐。
须知：驱逐配置项相关配置请谨慎修改，不合理的配置可能会导致节点频繁触发驱逐或节点已过载但未触发驱逐。
kubelet可识别以下两个特定的文件系统标识符：
- nodefs：节点的主要文件系统，用于本地磁盘卷、不受内存支持的 emptyDir 卷、日志存储等。 例如，nodefs 包含 /var/lib/kubelet/。
- imagefs：容器引擎使用的文件系统分区。
nodefs.available
Kubelet 使用的文件系统的可用容量的百分比
默认10%
取值范围为1%~99%
nodefs.inodesFree
Kubelet 使用的文件系统的可用inodes数的百分比
默认5%
取值范围为1%~99%
imagefs.available
容器运行时存放镜像等资源的文件系统的可用容量的百分比
默认10%
取值范围为1%~99%
imagefs.inodesFree
容器运行时存放镜像等资源的文件系统的可用inodes数的百分比
默认为空，不设置
取值范围为1%~99%
pid.available
留给分配 Pod 使用的可用 PID 数的百分比
默认10%
取值范围为1%~99%
evictionSoft 软驱逐配置项
memory.available
节点可用内存值。
设置值要求大于相同参数的硬驱逐配置值，且需同时配置对应的驱逐宽限期（evictionSoftGracePeriod）。
默认为空，不设置
取值范围为100Mi~1000000Mi
nodefs.available
Kubelet 使用的文件系统的可用容量的百分比。
设置值要求大于相同参数的硬驱逐配置值，且需同时配置对应的驱逐宽限期（evictionSoftGracePeriod）。
默认为空，不设置
取值范围为1%~99%
nodefs.inodesFree
Kubelet 使用的文件系统的可用inodes数的百分比。
设置值要求大于相同参数的硬驱逐配置值，且需同时配置对应的驱逐宽限期（evictionSoftGracePeriod）。
默认为空，不设置
取值范围为1%~99%
imagefs.available
容器运行时存放镜像等资源的文件系统的可用容量的百分比。
设置值要求大于相同参数的硬驱逐配置值，且需同时配置对应的驱逐宽限期（evictionSoftGracePeriod）。
默认为空，不设置
取值范围为1%~99%
imagefs.inodesFree
容器运行时存放镜像等资源的文件系统的可用inodes数的百分比。
设置值要求大于相同参数的硬驱逐配置值，且需同时配置对应的驱逐宽限期（evictionSoftGracePeriod）。
默认为空，不设置
取值范围为1%~99%
pid.available
留给分配 Pod 使用的可用 PID 数的百分比。
设置值要求大于相同参数的硬驱逐配置值，且需同时配置对应的驱逐宽限期（evictionSoftGracePeriod）。
默认为空，不设置
取值范围为1%~99%
表2 kube-proxy组件配置 名称
参数
参数说明
取值
修改说明
系统中最大的连接跟踪表项数目
conntrack-min
系统中最大的连接跟踪表项数目。
可通过以下命令查询：
sysctl -w net.nf_conntrack_max
默认：131072
-
TCP连接在关闭状态下等待的时间
conntrack-tcp-timeout-close-wait
控制TCP连接在关闭状态下等待的时间。
可通过以下命令查询：
sysctl -w net.netfilter.nf_conntrack_tcp_timeout_close_wait
默认：1h0m0s
-
表3 容器引擎Docker配置（仅使用Docker的节点池可见） 名称
参数
参数说明
取值
修改说明
容器umask值
native-umask
默认值为normal，表示启动的容器umask值为0022。
默认：normal
不支持修改
单容器可用数据空间
docker-base-size
设置每个容器可使用的最大数据空间。
默认：0
不支持修改
不安全的镜像源地址
insecure-registry
是否允许使用不安全的镜像源地址。
false
不支持修改
容器core文件的大小限制
limitcore
容器core文件的大小限制，单位是Byte。
如果不设置大小限制，可设置为infinity。
默认：5368709120
-
容器内句柄数限制
default-ulimit-nofile
设置容器中可使用的句柄数上限。
默认：{soft}:{hard}
该值大小不可超过节点内核参数nr_open的值，且不能是负数。
节点内核参数nr_open可通过以下命令获取：
sysctl -a | grep nr_open
镜像拉取超时时间
image-pull-progress-timeout
如果超时之前镜像没有拉取成功，本次镜像拉取将会被取消。
默认：1m0s
该参数在v1.25.3-r0版本开始支持
表4 容器引擎Containerd配置（仅使用Containerd的节点池可见） 名称
参数
参数说明
取值
修改说明
单容器可用数据空间
devmapper-base-size
设置每个容器可使用的最大数据空间。
默认：0
不支持修改
容器core文件的大小限制
limitcore
容器core文件的大小限制，单位是Byte。
如果不设置大小限制，可设置为infinity。
默认：5368709120
-
容器内句柄数限制
default-ulimit-nofile
设置容器中可使用的句柄数上限。
默认：1048576
该值大小不可超过节点内核参数nr_open的值，且不能是负数。
节点内核参数nr_open可通过以下命令获取：
sysctl -a | grep nr_open
镜像拉取超时时间
image-pull-progress-timeout
如果超时之前镜像没有拉取成功，本次镜像拉取将会被取消。
默认：1m0s
该参数在v1.25.3-r0版本开始支持
insecure_skip_verify
insecure_skip_verify
跳过仓库证书验证。
默认：false
不支持修改
- 单击“确定”，完成配置操作。
