CCE容器存储（Everest）

插件简介

CCE容器存储（Everest）是一个云原生容器存储系统，基于CSI（即Container Storage Interface）为Kubernetes v1.15.6及以上版本集群对接云存储服务的能力。

该插件为系统资源插件，Kubernetes 1.15及以上版本的集群在创建时默认安装。

约束与限制

• 插件版本为1.2.0的CCE容器存储插件（Everest）优化了使用OBS存储时的密钥认证功能，低于该版本的插件在升级完成后，需要重启集群中使用OBS存储的全部工作负载，否则工作负载使用存储的能力将受影响。

安装插件

本插件为系统默认安装，若因特殊情况卸载后，可参照如下步骤重新安装。

1. 登录CCE控制台，单击集群名称进入集群，单击左侧导航栏的“插件中心”，在右侧找到CCE容器存储（Everest）插件，单击“安装”。
2. 在安装插件页面，根据需求选择“规格配置”。
   • 选择“系统预置规格”时，您可根据并发域名解析能力选择“小规格”、“中规格”或“大规格”，系统会根据不同的预置规格配置插件的实例数及资源配额，具体配置值请以控制台显示为准。

     “小规格”最大支持50节点、500PVC规模集群；“中规格”最大支持200节点、2000PVC规模集群；“大规格”最大支持1000节点、10000PVC规模集群。

   • 选择“自定义规格”时，您可根据需求调整插件实例数和资源配额。其中，插件组件的CPU和内存申请值可根据集群节点规模和PVC数量不同进行调整，配置建议请参见表1。

     非典型场景下，限制值一般估算公式如下：

     • everest-csi-controller：
       • CPU限制值：200及以下节点规模设置为250m；1000节点规模设置为350m；2000节点规模设置为500m。
       • 内存限制值 = （200Mi + 节点数 * 1Mi + PVC数 * 0.2Mi）* 1.2
     • everest-csi-driver：
       • CPU限制值：200及以下节点规模设置为300m；1000节点规模设置为500m；2000节点规模设置为800m。
       • 内存限制值：200及以下节点规模设置为300Mi；1000节点规模设置为600Mi；2000节点规模设置为900Mi。

     表1 典型场景组件限制值建议

     配置场景			everest-csi-controller组件		everest-csi-driver组件
     节点数量	PV/PVC数量	插件实例数	CPU（限制值同申请值）	内存（限制值同申请值）	CPU（限制值同申请值）	内存（限制值同申请值）
     50	1000	2	250m	600Mi	300m	300Mi
     200	1000	2	250m	1Gi	300m	300Mi
     1000	1000	2	350m	2Gi	500m	600Mi
     1000	5000	2	450m	3Gi	500m	600Mi
     2000	5000	2	550m	4Gi	800m	900Mi
     2000	10000	2	650m	5Gi	800m	900Mi

3. 设置插件支持的“参数配置”。

   表2 everest插件参数配置

   配置项	配置方式	参数说明
   节点预留给非容器场景的EVS盘槽位（number_of_reserved_disks）	可视化界面配置	插件版本为2.3.11及以上时支持该参数，用于设置节点上预留的挂盘数，预留出部分盘位供用户自定义挂载云硬盘使用。 假设节点可挂载的云硬盘上限为20，并设置该参数值为6，则在调度挂载云硬盘的工作负载时，实际上节点可挂载的云硬盘为20-6=14。预留的6个挂盘数中，除去节点上已挂载的1块系统盘和1块数据盘后，还可以自定义挂载4块云硬盘，可以作为额外的数据盘或者作为裸盘用于创建本地存储池。
   禁用全局访问密钥挂载对象存储（disable_auto_mount_secret）	可视化界面配置	挂载对象桶/并行文件系统时，是否允许使用默认的AKSK。 是：对象存储PVC未指定自定义挂载密钥时，默认使用用户上传的全局长效密钥挂载对象存储。 否：对象存储PVC未指定自定义挂载密钥时，不使用用户上传的全局长效密钥挂载对象存储，会导致PVC无法挂载。
   处理EVS盘挂载任务的并发数（csi_attacher_worker_threads）	可视化界面配置	CCE容器存储插件（Everest）中同时处理挂EVS卷的worker数，默认值为“60”。
   处理EVS盘卸载任务的并发数（csi_attacher_detach_worker_threads）	可视化界面配置	CCE容器存储插件（Everest）中同时处理卸载EVS卷的worker数，默认值均为“60”。
   分布式挂卷策略（enable_node_attacher）	可视化界面配置	开启时，由每个节点上的everest-csi-driver组件负责attach/detach EVS卷。 不开启时，由everest-csi-controller负责attach/detach EVS卷。
   flow_control	扩展参数配置	采用默认的API客户端流控配置，具体配置可在CCE容器存储插件安装好后查看kube-system命名空间下ConfigMap everest-driver-th-config详情。
   over_subscription	扩展参数配置	本地存储池（local_storage）的超分比。默认为80，若本地存储池为100GiB，可以超分为180GiB使用，即超分后的总容量=（1+超分比）*实际容量。
   enable_local_autoexpander	扩展参数配置	是否开启精简卷本地存储池自动扩容，开启后，会根据本地存储池扩容阈值和扩容步长触发自动扩容。
   expansion_threshold	扩展参数配置	精简卷本地存储池使用率扩容阈值，当精简卷本地存储池使用率超过阈值时，触发本地存储池自动扩容。
   expansion_step	扩展参数配置	精简卷本地存储池单块EVS盘扩容步长，单位Gi
   expansion_max_evs_size	扩展参数配置	精简卷本地存储池单块EVS盘扩容的上限，单位Gi
   volume_attaching_flow_ctrl	扩展参数配置	CCE容器存储插件（Everest）在1分钟内可以挂载EVS卷的最大数量，此参数的默认值“0”表示everest插件不做挂卷限制，此时挂卷性能由底层存储资源决定。

   

   在扩展参数配置中，您可以自定义设置可视化界面中没有的高级配置。如果扩展参数配置中的设置与可视化界面中的参数设置冲突，将以扩展参数配置为准。

4. 设置插件实例的部署策略。
   

   • 调度策略对于DaemonSet类型的插件实例不会生效。
   • 设置多可用区部署或节点亲和策略时，需保证集群中存在满足调度策略的节点且拥有足够的资源，否则插件实例将无法运行。

   表3 插件调度配置

   参数	参数说明
   多可用区部署	优先模式：优先将插件的Deployment实例调度到不同可用区的节点上，如集群下节点不满足多可用区，插件实例将调度到单可用区下的不同节点。 均分模式：插件Deployment实例均匀调度到当前集群下各可用区，增加新的可用区后建议扩容插件实例以实现跨可用区高可用部署；均分模式限制不同可用区间插件实例数相差不超过1，单个可用区资源不足会导致后续其他实例无法调度。 强制模式：插件Deployment实例强制调度到不同可用区的节点上，每个可用区下最多运行一个实例。如集群下节点不满足多可用区，插件实例将无法全部运行。节点故障后，插件实例存在无法迁移风险。
   节点亲和	不配置：插件实例不指定节点亲和调度。 指定节点调度：指定插件实例部署的节点。若不指定，将根据集群默认调度策略进行随机调度。 指定节点池调度：指定插件实例部署的节点池。若不指定，将根据集群默认调度策略进行随机调度。 自定义亲和策略：填写期望插件部署的节点标签实现更灵活的调度策略，若不填写将根据集群默认调度策略进行随机调度。 同时设置多条自定义亲和策略时，需要保证集群中存在同时满足所有亲和策略的节点，否则插件实例将无法运行。
   容忍策略	容忍策略与节点的污点能力配合使用，允许（不强制）插件的 Deployment 实例调度到带有与之匹配的污点的节点上，也可用于控制插件的 Deployment 实例所在的节点被标记污点后插件的 Deployment 实例的驱逐策略。 插件会对实例添加针对node.kubernetes.io/not-ready和node.kubernetes.io/unreachable污点的默认容忍策略，容忍时间窗为60s。 详情请参见设置容忍策略。

5. 单击“安装”。

组件说明

Prometheus指标采集

everest-csi-controller通过端口3225暴露Prometheus metrics指标。您可以自建Prometheus采集器识别并通过http://{{everest-csi-controllerPodIP}}:3225/metrics路径获取everest-csi-controller相关指标。

Prometheus指标暴露仅支持Everest插件2.4.4及以上版本。

action及function表示不同CSI驱动及其功能，表示为：{功能}:{CSI驱动}。例如create:disk.csi.everest.io，表示功能为创建卷、卷类型为云硬盘。