存储类（StorageClass）
存储类介绍
StorageClass可译为存储类，描述了集群中的存储类型“分类”，可以表示为一个创建PV存储卷的配置模板。在创建PVC/PV均需要指定StorageClass。
作为使用者，只需要在声明PVC时指定StorageClassName即可自动创建PV及底层存储，大大减少了创建并维护PV的工作量。
CCE默认存储类
目前CCE默认提供csi-disk、csi-nas、csi-obs等StorageClass，在声明PVC时使用对应StorageClassName，就可以自动创建对应类型PV，并自动创建底层的存储资源。
执行如下kubectl命令即可查询CCE提供的默认StorageClass。您可以使用CCE提供的CSI插件自定义创建StorageClass。
# kubectl get sc NAME PROVISIONER AGE csi-disk everest-csi-provisioner 17d # 云硬盘 csi-disk-topology everest-csi-provisioner 17d # 延迟创建的云硬盘 csi-nas everest-csi-provisioner 17d # 文件存储 1.0 csi-obs everest-csi-provisioner 17d # 对象存储 csi-sfsturbo everest-csi-provisioner 17d # 极速文件存储
kind: StorageClass apiVersion: storage.k8s.io/v1 metadata: name: csi-disk provisioner: everest-csi-provisioner parameters: csi.storage.k8s.io/csi-driver-name: disk.csi.everest.io csi.storage.k8s.io/fstype: ext4 everest.io/disk-volume-type: SAS everest.io/passthrough: 'true' reclaimPolicy: Delete allowVolumeExpansion: true volumeBindingMode: Immediate
|
参数 |
描述 |
|---|---|
|
provisioner |
存储资源提供商，CCE均由everest插件提供，此处只能填写everest-csi-provisioner。 |
|
parameters |
存储参数，不同类型的存储支持的参数不同。详情请参见表2。 |
|
reclaimPolicy |
用来指定创建PV的persistentVolumeReclaimPolicy字段值，支持Delete和Retain。如果StorageClass 对象被创建时没有指定reclaimPolicy，它将默认为Delete。
|
|
allowVolumeExpansion |
定义由此存储类创建的PV是否支持动态扩容，默认为false。是否能动态扩容是由底层存储插件来实现的，这里只是一个开关。 |
|
volumeBindingMode |
表示卷绑定模式，即动态创建PV的时间，分为立即创建和延迟创建。
|
|
mountOptions |
该字段需要底层存储支持，如果不支持挂载选项，却指定了挂载选项，会导致创建PV操作失败。 |
|
存储类型 |
参数 |
是否必选 |
描述 |
|---|---|---|---|
|
云硬盘 |
csi.storage.k8s.io/csi-driver-name |
是 |
驱动类型，使用云硬盘类型时，参数取值固定为“disk.csi.everest.io”。 |
|
csi.storage.k8s.io/fstype |
是 |
使用云硬盘时，支持的参数值为“ext4”。 |
|
|
everest.io/disk-volume-type |
是 |
云硬盘类型，全大写。
|
|
|
everest.io/passthrough |
是 |
参数取值固定为“true”，表示云硬盘的设备类型为SCSI类型。不允许设置为其他值。 |
|
|
极速文件存储 |
csi.storage.k8s.io/csi-driver-name |
是 |
驱动类型，使用极速文件存储类型时，参数取值固定为“sfsturbo.csi.everest.io”。 |
|
csi.storage.k8s.io/fstype |
是 |
使用极速文件存储时，支持的参数值为“nfs”。 |
|
|
everest.io/share-access-to |
是 |
集群所在VPC ID。 |
|
|
everest.io/share-expand-type |
否 |
扩展类型，默认值为“bandwidth”，表示增强型的文件系统。该字段不起作用。 |
|
|
everest.io/share-source |
是 |
参数取值固定为“sfs-turbo”。 |
|
|
everest.io/share-volume-type |
否 |
极速文件存储类型，默认值为“STANDARD”，表示标准型和标准型增强版。该字段不起作用。 |
|
|
对象存储 |
csi.storage.k8s.io/csi-driver-name |
是 |
驱动类型，使用对象存储类型时，参数取值固定为“obs.csi.everest.io”。 |
|
csi.storage.k8s.io/fstype |
是 |
实例类型，支持的参数值为“s3fs”和“obsfs”。
|
|
|
everest.io/obs-volume-type |
是 |
对象存储类型。
|
自定义存储类应用场景
在CCE中使用存储时，最常见的方法是创建PVC时通过指定StorageClassName定义要创建存储的类型，如下所示，使用PVC申请一个SAS（高I/O）类型云硬盘/块存储。
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc-evs-example
namespace: default
annotations:
everest.io/disk-volume-type: SAS
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 10Gi
storageClassName: csi-disk
可以看到在CCE中如果需要指定云硬盘的类型，是通过everest.io/disk-volume-type字段指定，这里SAS是云硬盘的类型。
|
应用场景 |
解决方案 |
操作步骤 |
|---|---|---|
|
在使用annotations指定存储配置时，配置较为繁琐。例如此处使用everest.io/disk-volume-type字段指定云硬盘的类型。 |
在StorageClass的parameters字段中定义PVC的annotations，编写YAML时只需要指定StorageClassName。 例如，将SAS、SSD类型云硬盘分别定义一个StorageClass，比如定义一个名为csi-disk-sas的StorageClass，这个StorageClass创建SAS类型的存储， |
|
|
当用户从自建Kubernetes或其他Kubernetes服务迁移到CCE，原先的应用YAML中使用的StorageClass与CCE中使用的不同，导致使用存储时需要修改大量YAML文件或Helm Chart包，非常繁琐且容易出错。 |
在CCE集群中创建与原有应用YAML中相同名称的StorageClass，迁移后无需再修改应用YAML中的StorageClassName。 例如，迁移前使用的云硬盘存储类为disk-standard，在迁移CCE集群后，可以复制CCE集群中csi-disk存储类的YAML，将其名称修改为disk-standard后重新创建。 |
|
|
在YAML中必须指定StorageClassName才能使用存储，不指定StorageClass时无法正常创建。 |
在集群中设置默认的StorageClass，则YAML中无需指定StorageClassName也能创建存储。 |
自定义StorageClass
本文以自定义云硬盘类型的StorageClass为例，将SAS、SSD类型云硬盘分别定义一个StorageClass，比如定义一个名为csi-disk-sas的StorageClass，这个StorageClass创建SAS类型的存储，则前后使用的差异如下图所示，编写YAML时只需要指定StorageClassName。
- 自定义高I/O类型StorageClass，使用YAML描述如下，这里取名为csi-disk-sas，指定云硬盘类型为SAS，即高I/O。
apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: csi-disk-sas # 高IO StorageClass名字，用户可自定义 parameters: csi.storage.k8s.io/csi-driver-name: disk.csi.everest.io csi.storage.k8s.io/fstype: ext4 everest.io/disk-volume-type: SAS # 云硬盘高I/O类型，用户不可自定义 everest.io/passthrough: "true" provisioner: everest-csi-provisioner reclaimPolicy: Delete volumeBindingMode: Immediate allowVolumeExpansion: true # true表示允许扩容
- 超高I/O类型StorageClass，这里取名为csi-disk-ssd，指定云硬盘类型为SSD，即超高I/O。
apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: csi-disk-ssd # 超高I/O StorageClass名字，用户可自定义 parameters: csi.storage.k8s.io/csi-driver-name: disk.csi.everest.io csi.storage.k8s.io/fstype: ext4 everest.io/disk-volume-type: SSD # 云硬盘超高I/O类型，用户不可自定义 everest.io/passthrough: "true" provisioner: everest-csi-provisioner reclaimPolicy: Delete volumeBindingMode: Immediate allowVolumeExpansion: true
reclaimPolicy：底层云存储的回收策略，支持Delete、Retain回收策略。
- Delete：删除PVC，PV资源与云硬盘均被删除。
- Retain：删除PVC，PV资源与底层存储资源均不会被删除，需要手动删除回收。PVC删除后PV资源状态为“已释放（Released）”，不能直接再次被PVC绑定使用。
如果数据安全性要求较高，建议使用Retain以免误删数据。
定义完之后，使用kubectl create命令创建。
# kubectl create -f sas.yaml storageclass.storage.k8s.io/csi-disk-sas created # kubectl create -f ssd.yaml storageclass.storage.k8s.io/csi-disk-ssd created
再次查询StorageClass，回显如下：
# kubectl get sc NAME PROVISIONER AGE csi-disk everest-csi-provisioner 17d csi-disk-sas everest-csi-provisioner 2m28s csi-disk-ssd everest-csi-provisioner 16s csi-disk-topology everest-csi-provisioner 17d csi-nas everest-csi-provisioner 17d csi-obs everest-csi-provisioner 17d csi-sfsturbo everest-csi-provisioner 17d
指定默认StorageClass
您还可以指定某个StorageClass作为默认StorageClass，这样在创建PVC时不指定StorageClassName就会使用默认StorageClass创建。
例如将csi-disk-ssd指定为默认StorageClass，则可以按如下方式设置。
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: csi-disk-ssd
annotations:
storageclass.kubernetes.io/is-default-class: "true" # 指定集群中默认的StorageClass，一个集群中只能有一个默认的StorageClass
parameters:
csi.storage.k8s.io/csi-driver-name: disk.csi.everest.io
csi.storage.k8s.io/fstype: ext4
everest.io/disk-volume-type: SSD
everest.io/passthrough: "true"
provisioner: everest-csi-provisioner
reclaimPolicy: Delete
volumeBindingMode: Immediate
allowVolumeExpansion: true
先删除之前创建的csi-disk-ssd，再使用kubectl create命令重新创建，然后再查询StorageClass，显示如下。
# kubectl delete sc csi-disk-ssd storageclass.storage.k8s.io "csi-disk-ssd" deleted # kubectl create -f ssd.yaml storageclass.storage.k8s.io/csi-disk-ssd created # kubectl get sc NAME PROVISIONER AGE csi-disk everest-csi-provisioner 17d csi-disk-sas everest-csi-provisioner 114m csi-disk-ssd (default) everest-csi-provisioner 9s csi-disk-topology everest-csi-provisioner 17d csi-nas everest-csi-provisioner 17d csi-obs everest-csi-provisioner 17d csi-sfsturbo everest-csi-provisioner 17d
指定StorageClass的企业项目
CCE支持使用存储类创建云硬盘和对象存储类型PVC时指定企业项目，将创建的存储资源（云硬盘和对象存储）归属于指定的企业项目下，企业项目可选为集群所属的企业项目或default企业项目。
若不指定企业项目，则创建的存储资源默认使用存储类StorageClass中指定的企业项目，CCE提供的 csi-disk 和 csi-obs 存储类，所创建的存储资源属于default企业项目。
如果您希望通过StorageClass创建的存储资源能与集群在同一个企业项目，则可以自定义StorageClass，并指定企业项目ID，如下所示。
该功能需要everest插件升级到1.2.33及以上版本。
kind: StorageClass apiVersion: storage.k8s.io/v1 metadata: name: csi-disk-epid # 自定义名称 provisioner: everest-csi-provisioner parameters: csi.storage.k8s.io/csi-driver-name: disk.csi.everest.io csi.storage.k8s.io/fstype: ext4 everest.io/disk-volume-type: SAS everest.io/enterprise-project-id: 86bfc701-9d9e-4871-a318-6385aa368183 # 指定企业项目id everest.io/passthrough: 'true' reclaimPolicy: Delete allowVolumeExpansion: true volumeBindingMode: Immediate
配置验证
- 使用csi-disk-sas创建PVC。
apiVersion: v1 kind: PersistentVolumeClaim metadata: name: sas-disk spec: accessModes: - ReadWriteOnce resources: requests: storage: 10Gi storageClassName: csi-disk-sas创建并查看详情，如下所示，可以发现能够创建，且StorageClass显示为csi-disk-sas
# kubectl create -f sas-disk.yaml persistentvolumeclaim/sas-disk created # kubectl get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE sas-disk Bound pvc-6e2f37f9-7346-4419-82f7-b42e79f7964c 10Gi RWO csi-disk-sas 24s # kubectl get pv NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE pvc-6e2f37f9-7346-4419-82f7-b42e79f7964c 10Gi RWO Delete Bound default/sas-disk csi-disk-sas 30s
在CCE控制台界面上查看PVC详情，在“PV详情”页签下可以看到磁盘类型是高I/O。
- 不指定StorageClassName，使用默认配置，如下所示，并未指定storageClassName。
apiVersion: v1 kind: PersistentVolumeClaim metadata: name: ssd-disk spec: accessModes: - ReadWriteOnce resources: requests: storage: 10Gi创建并查看，可以看到PVC ssd-disk的StorageClass为csi-disk-ssd，说明默认使用了csi-disk-ssd。
# kubectl create -f ssd-disk.yaml persistentvolumeclaim/ssd-disk created # kubectl get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE sas-disk Bound pvc-6e2f37f9-7346-4419-82f7-b42e79f7964c 10Gi RWO csi-disk-sas 16m ssd-disk Bound pvc-4d2b059c-0d6c-44af-9994-f74d01c78731 10Gi RWO csi-disk-ssd 10s # kubectl get pv NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE pvc-4d2b059c-0d6c-44af-9994-f74d01c78731 10Gi RWO Delete Bound default/ssd-disk csi-disk-ssd 15s pvc-6e2f37f9-7346-4419-82f7-b42e79f7964c 10Gi RWO Delete Bound default/sas-disk csi-disk-sas 17m
在CCE控制台界面上查看PVC详情，在“PV详情”页签下可以看到磁盘类型是超高I/O。
