计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机服务器 CPH
Huawei Cloud EulerOS
网络
虚拟私有云 VPC
弹性公网IP EIP
虚拟专用网络 VPN
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
VPC终端节点 VPCEP
云连接 CC
企业路由器 ER
企业交换机 ESW
全球加速 GA
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
边缘安全 EdgeSec
威胁检测服务 MTD
CDN与智能边缘
内容分发网络 CDN
CloudPond云服务
智能边缘云 IEC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
云搜索服务 CSS
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
数据可视化 DLV
数据湖工厂 DLF
湖仓构建 LakeFormation
企业应用
云桌面 Workspace
应用与数据集成平台 ROMA Connect
云解析服务 DNS
专属云
专属计算集群 DCC
IoT物联网
IoT物联网
设备接入 IoTDA
智能边缘平台 IEF
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
国际站常见问题
ICP备案
我的凭证
支持计划
客户运营能力
合作伙伴支持计划
专业服务
区块链
区块链服务 BCS
Web3节点引擎服务 NES
解决方案
SAP
高性能计算 HPC
视频
视频直播 Live
视频点播 VOD
媒体处理 MPC
实时音视频 SparkRTC
数字内容生产线 MetaStudio
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
存储容灾服务 SDRS
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属分布式存储服务 DSS
容器
云容器引擎 CCE
容器镜像服务 SWR
应用服务网格 ASM
华为云UCS
云容器实例 CCI
管理与监管
云监控服务 CES
统一身份认证服务 IAM
资源编排服务 RFS
云审计服务 CTS
标签管理服务 TMS
云日志服务 LTS
配置审计 Config
资源访问管理 RAM
消息通知服务 SMN
应用运维管理 AOM
应用性能管理 APM
组织 Organizations
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
应用身份管理服务 OneAccess
数据库
云数据库 RDS
文档数据库服务 DDS
数据管理服务 DAS
数据复制服务 DRS
云数据库 GeminiDB
云数据库 GaussDB
分布式数据库中间件 DDM
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
人脸识别服务 FRS
图引擎服务 GES
图像识别 Image
内容审核 Moderation
文字识别 OCR
AI开发平台ModelArts
图像搜索 ImageSearch
对话机器人服务 CBS
华为HiLens
视频智能分析服务 VIAS
语音交互服务 SIS
应用中间件
分布式缓存服务 DCS
API网关 APIG
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
多活高可用服务 MAS
事件网格 EG
企业协同
华为云会议 Meeting
云通信
消息&短信 MSGSMS
云生态
合作伙伴中心
云商店
开发者工具
SDK开发指南
API签名指南
Terraform
华为云命令行工具服务 KooCLI
其他
产品价格详情
系统权限
管理控制台
客户关联华为云合作伙伴须知
消息中心
公共问题
开发与运维
应用管理与运维平台 ServiceStage
软件开发生产线 CodeArts
需求管理 CodeArts Req
部署 CodeArts Deploy
性能测试 CodeArts PerfTest
编译构建 CodeArts Build
流水线 CodeArts Pipeline
制品仓库 CodeArts Artifact
测试计划 CodeArts TestPlan
代码检查 CodeArts Check
代码托管 CodeArts Repo
云应用引擎 CAE
开天aPaaS
云消息服务 KooMessage
云手机服务 KooPhone
云空间服务 KooDrive
本文导读

修改节点池配置

更新时间:2024-10-14 GMT+08:00

约束与限制

默认节点池DefaultPool不支持如下管理操作。

配置管理

为方便对CCE集群中的Kubernetes配置参数进行管理,CCE提供了配置管理功能,通过该功能您可以对核心组件进行深度配置,更多信息请参见kubelet

仅支持在v1.15及以上版本的集群中对节点池进行配置,V1.15以下版本不显示该功能。

  1. 登录CCE控制台。
  2. 单击集群名称进入集群,在左侧选择“节点管理”,在右侧选择“节点池”页签。
  3. 单击节点池名称后的“配置管理”
  4. 在侧边栏滑出的“配置管理”窗口中,根据业务需求修改Kubernetes的参数值:

    表1 kubelet组件配置

    名称

    参数

    参数说明

    取值

    修改说明

    CPU管理策略配置

    cpu-manager-policy

    CPU管理策略配置,详情请参见CPU调度

    • none:关闭工作负载实例独占CPU的功能,优点是CPU共享池的可分配核数较多。
    • static:开启工作负载实例独占CPU,适用于对CPU缓存和调度延迟敏感的场景。

    默认:none

    -

    请求至kube-apiserver的QPS配置

    kube-api-qps

    与APIServer通信的每秒查询个数。

    默认:100

    -

    请求至kube-apiserver的Burst配置

    kube-api-burst

    每秒发送到APIServer的突发请求数量上限。

    默认:100

    -

    kubelet管理的Pod上限

    max-pods

    Node能运行的Pod最大数量。

    -

    限制Pod中的进程数

    pod-pids-limit

    每个Pod中可使用的PID个数上限。

    默认:-1,表示不限制

    -

    是否使用本地IP作为该节点的ClusterDNS

    with-local-dns

    开启后,会自动在节点的kubelet配置中添加节点默认网卡IP作为首选DNS地址。

    默认:关闭(参数值为false)

    -

    事件创建QPS限制

    event-qps

    每秒可生成的事件数量。

    默认:5

    -

    事件创建的个数的突发峰值上限

    event-burst

    突发性事件创建的上限值,允许突发性事件创建临时上升到所指定数量。

    默认:10

    -

    允许使用的不安全系统配置

    allowed-unsafe-sysctls

    允许使用的不安全系统配置。

    CCE从1.17.17集群版本开始,kube-apiserver开启了pod安全策略,需要在pod安全策略的allowedUnsafeSysctls中增加相应的配置才能生效(1.17.17以下版本的集群可不配置)。详情请参见Pod安全策略开放非安全系统配置示例

    默认:[]

    -

    节点超卖特性

    over-subscription-resource

    节点超卖特性。

    设置为true表示开启节点超卖特性。

    • 集群版本为v1.23.9-r0、v1.25.4-r0以下:默认为开启(参数值为true)
    • 集群版本为v1.23.9-r0、v1.25.4-r0、v1.27-r0及以上:默认为关闭(参数值为false)

    -

    节点混部特性

    colocation

    节点混部特性。

    设置为true表示开启节点混部特性。

    • 集群版本为v1.23.9-r0、v1.25.4-r0以下:默认为开启(参数值为true)
    • 集群版本为v1.23.9-r0、v1.25.4-r0、v1.27-r0及以上:默认为关闭(参数值为false)

    -

    拓扑管理策略

    topology-manager-policy

    设置拓扑管理策略。

    合法值包括:

    • restricted:kubelet 仅接受在所请求资源上实现最佳 NUMA对齐的Pod。
    • best-effort:kubelet会优先选择在 CPU 和设备资源上实现NUMA对齐的Pod。
    • none(默认):不启用拓扑管理策略。
    • single-numa-node:kubelet仅允许在 CPU和设备资源上对齐到同一NUMA节点的Pod。

    默认:none

    须知:

    请谨慎修改,修改topology-manager-policy和topology-manager-scope会重启kubelet,并且以更改后的策略重新计算容器实例的资源分配,这有可能导致已经运行的容器实例重启甚至无法进行资源分配。

    拓扑管理策略的资源对齐粒度

    topology-manager-scope

    设置拓扑管理策略的资源对齐粒度。合法值包括:

    • container (默认):对齐粒度为容器级
    • pod:对齐粒度为Pod级

    默认:container

    容器指定DNS解析配置文件

    resolv-conf

    容器指定DNS解析配置文件

    默认为空值

    -

    除长期运行的请求之外所有运行时请求的超时时长

    runtime-request-timeout

    除长期运行的请求(pull、 logs、exec和attach)之外所有运行时请求的超时时长。

    默认为2m0s

    v1.21.10-r0、v1.23.8-r0、v1.25.3-r0及以上版本的集群支持该参数。

    是否让kubelet每次仅拉取一个镜像

    serialize-image-pulls

    串行拉取镜像。

    • 关闭:建议值,以支持并行拉取镜像,提高Pod启动速度。
    • 开启:支持串行拉取镜像。
    • 集群版本为v1.21.12-r0、v1.23.11-r0、v1.25.6-r0、v1.27.3-r0以下:默认为开启(参数值为true)
    • 集群版本为v1.21.12-r0、v1.23.11-r0、v1.25.6-r0、v1.27.3-r0及以上:默认为关闭(参数值为false)

    v1.21.10-r0、v1.23.8-r0、v1.25.3-r0及以上版本的集群支持该参数。

    每秒钟可以执行的镜像仓库拉取操作限值

    registry-pull-qps

    镜像仓库的QPS上限。

    默认为5

    取值范围为1~50

    v1.21.10-r0、v1.23.8-r0、v1.25.3-r0及以上版本的集群支持该参数。

    突发性镜像拉取的上限值

    registry-burst

    突发性镜像拉取的上限值,允许镜像拉取临时上升到所指定数量。

    默认为10

    取值范围为1~100,且取值必须大于等于registry-pull-qps的值。

    v1.21.10-r0、v1.23.8-r0、v1.25.3-r0及以上版本的集群支持该参数。

    镜像垃圾回收上限百分比

    image-gc-high-threshold

    当kubelet磁盘达到多少时,kubelet开始回收镜像。

    默认为80

    取值范围为1~100

    如果需要禁用镜像垃圾回收,请将该参数设置为100。

    v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。

    镜像垃圾回收下限百分比

    image-gc-low-threshold

    回收镜像时当磁盘使用率减少至多少时停止回收。

    默认为70

    取值范围为1~100

    该参数取值不得大于镜像垃圾回收上限百分比。

    v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。

    节点内存预留

    system-reserved-mem

    系统内存预留,目的是为OS系统守护进程(如 sshd、udev 等)预留内存资源。

    默认值:自动计算预留内存数,预留值随节点规格变动,具体请参见节点预留资源策略说明

    kube-reserved-mem,system-reserved-mem之和小于节点池中节点最小内存规格的50%。

    kube-reserved-mem

    Kubernetes组件内存预留,目的是为Kubernetes系统守护进程(如kubelet、container runtime等)预留内存资源。

    evictionHard 硬驱逐配置项

    memory.available

    节点可用内存值

    固定为100Mi

    关于节点压力驱逐详情请参考节点压力驱逐

    须知:

    驱逐配置项相关配置请谨慎修改,不合理的配置可能会导致节点频繁触发驱逐或节点已过载但未触发驱逐。

    kubelet可识别以下两个特定的文件系统标识符:

    • nodefs:节点的主要文件系统,用于本地磁盘卷、不受内存支持的 emptyDir 卷、日志存储等。 例如,nodefs 包含 /var/lib/kubelet/。
    • imagefs:容器引擎使用的文件系统分区。

    nodefs.available

    Kubelet 使用的文件系统的可用容量的百分比

    默认10%

    取值范围为1%~99%

    nodefs.inodesFree

    Kubelet 使用的文件系统的可用inodes数的百分比

    默认5%

    取值范围为1%~99%

    imagefs.available

    容器运行时存放镜像等资源的文件系统的可用容量的百分比

    默认10%

    取值范围为1%~99%

    imagefs.inodesFree

    容器运行时存放镜像等资源的文件系统的可用inodes数的百分比

    默认为空,不设置

    取值范围为1%~99%

    pid.available

    留给分配 Pod 使用的可用 PID 数的百分比

    默认10%

    取值范围为1%~99%

    evictionSoft 软驱逐配置项

    memory.available

    节点可用内存值。

    设置值要求大于相同参数的硬驱逐配置值,且需同时配置对应的驱逐宽限期(evictionSoftGracePeriod)。

    默认为空,不设置

    取值范围为100Mi~1000000Mi

    nodefs.available

    Kubelet 使用的文件系统的可用容量的百分比。

    设置值要求大于相同参数的硬驱逐配置值,且需同时配置对应的驱逐宽限期(evictionSoftGracePeriod)。

    默认为空,不设置

    取值范围为1%~99%

    nodefs.inodesFree

    Kubelet 使用的文件系统的可用inodes数的百分比。

    设置值要求大于相同参数的硬驱逐配置值,且需同时配置对应的驱逐宽限期(evictionSoftGracePeriod)。

    默认为空,不设置

    取值范围为1%~99%

    imagefs.available

    容器运行时存放镜像等资源的文件系统的可用容量的百分比。

    设置值要求大于相同参数的硬驱逐配置值,且需同时配置对应的驱逐宽限期(evictionSoftGracePeriod)。

    默认为空,不设置

    取值范围为1%~99%

    imagefs.inodesFree

    容器运行时存放镜像等资源的文件系统的可用inodes数的百分比。

    设置值要求大于相同参数的硬驱逐配置值,且需同时配置对应的驱逐宽限期(evictionSoftGracePeriod)。

    默认为空,不设置

    取值范围为1%~99%

    pid.available

    留给分配 Pod 使用的可用 PID 数的百分比。

    设置值要求大于相同参数的硬驱逐配置值,且需同时配置对应的驱逐宽限期(evictionSoftGracePeriod)。

    默认为空,不设置

    取值范围为1%~99%

    表2 kube-proxy组件配置

    名称

    参数

    参数说明

    取值

    修改说明

    系统中最大的连接跟踪表项数目

    conntrack-min

    系统中最大的连接跟踪表项数目。

    可通过以下命令查询:

    sysctl -w net.nf_conntrack_max

    默认:131072

    -

    TCP连接在关闭状态下等待的时间

    conntrack-tcp-timeout-close-wait

    控制TCP连接在关闭状态下等待的时间。

    可通过以下命令查询:

    sysctl -w net.netfilter.nf_conntrack_tcp_timeout_close_wait

    默认:1h0m0s

    -

    表3 容器引擎Docker配置(仅使用Docker的节点池可见)

    名称

    参数

    参数说明

    取值

    修改说明

    容器umask值

    native-umask

    默认值为normal,表示启动的容器umask值为0022。

    默认:normal

    不支持修改

    单容器可用数据空间

    docker-base-size

    设置每个容器可使用的最大数据空间。

    默认:0

    不支持修改

    不安全的镜像源地址

    insecure-registry

    是否允许使用不安全的镜像源地址。

    false

    不支持修改

    容器core文件的大小限制

    limitcore

    容器core文件的大小限制,单位是Byte。

    如果不设置大小限制,可设置为infinity。

    默认:5368709120

    -

    容器内句柄数限制

    default-ulimit-nofile

    设置容器中可使用的句柄数上限。

    默认:{soft}:{hard}

    该值大小不可超过节点内核参数nr_open的值,且不能是负数。

    节点内核参数nr_open可通过以下命令获取:

    sysctl -a | grep nr_open

    镜像拉取超时时间

    image-pull-progress-timeout

    如果超时之前镜像没有拉取成功,本次镜像拉取将会被取消。

    默认:1m0s

    该参数在v1.25.3-r0版本开始支持

    单次拉取镜像层的最大并发数

    max-concurrent-downloads

    设置拉取镜像层的最大并发数。

    默认:3

    取值范围为1~20

    该参数如果设置过大,可能导致节点其他业务的网络性能受影响或导致磁盘IO和CPU增高。

    v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。

    容器日志文件轮换生成新文件的最大值

    max-size

    容器日志文件开始转储的最大大小。当日志文件达到这个大小时,将会触发日志轮换即关闭当前日志文件并创建新的日志文件以继续记录。

    默认为50Mi

    取值范围为1Mi~4096Mi

    该参数如果设置过小,可能导致重要日志信息的丢失;如果设置过大,则可能占用过多的磁盘空间。

    v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。

    容器的日志文件个数上限

    max-file

    容器可以保留的日志文件的最大数量。当存在的日志文件数量超过这个值时,最旧的日志文件将被删除,以便为新的日志留出空间。

    默认:20

    取值范围为2~100

    该参数如果设置过小,可能导致重要日志信息的丢失;如果设置过大,则可能占用过多的磁盘空间。

    v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。

    表4 容器引擎Containerd配置(仅使用Containerd的节点池可见)

    名称

    参数

    参数说明

    取值

    修改说明

    单容器可用数据空间

    devmapper-base-size

    设置每个容器可使用的最大数据空间。

    默认:0

    不支持修改

    容器core文件的大小限制

    limitcore

    容器core文件的大小限制,单位是Byte。

    如果不设置大小限制,可设置为infinity。

    默认:5368709120

    -

    容器内句柄数限制

    default-ulimit-nofile

    设置容器中可使用的句柄数上限。

    默认:1048576

    该值大小不可超过节点内核参数nr_open的值,且不能是负数。

    节点内核参数nr_open可通过以下命令获取:

    sysctl -a | grep nr_open

    镜像拉取超时时间

    image-pull-progress-timeout

    如果超时之前镜像没有拉取成功,本次镜像拉取将会被取消。

    默认:1m0s

    该参数在v1.25.3-r0版本开始支持

    insecure_skip_verify

    insecure_skip_verify

    跳过仓库证书验证。

    默认:false

    不支持修改

    单次拉取镜像层的最大并发数

    max-concurrent-downloads

    设置拉取镜像层的最大并发数。

    默认:3

    取值范围为1~20

    该参数如果设置过大,可能导致节点其他业务的网络性能受影响或导致磁盘IO和CPU增高。

    v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。

    容器的最大日志行大小

    max-container-log-line-size

    是容器的最大日志行大小(以字节为单位)。超过限制的日志行将被分成多行。

    默认:16384

    取值范围为1~2097152

    配置增大会增加containerd内存消耗。

    v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上版本的集群支持该参数。

  5. 单击“确定”,完成配置操作。

我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。 详情

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容