文档首页> > 用户指南> 存储管理> 使用云硬盘存储卷

使用云硬盘存储卷

分享
更新时间: 2019/07/19 17:25

为满足数据的持久化需求,CCE支持云硬盘EVS)挂载到容器中。通过云硬盘,可以将存储系统的远端文件目录挂载到容器中,数据卷中的数据将被永久保存,即使删除了容器,数据卷中的数据依然保存在存储系统中。

使用场景

EVS目前支持普通I/O、高I/O、超高I/O三种规格。

  • 普通I/O:后端存储由SATA存储介质提供,适用于大容量,读写速率要求不高,事务性处理较少的使用场景,如:开发测试、企业办公应用。
  • 高I/O:后端存储由SAS存储介质提供,适用于性能相对较高,读写速率要求高,有实时数据存储需求使用场景,如:创建文件系统、分布式文件共享。
  • 超高I/O:后端存储SSD存储介质提供,适用于高性能、高读写速率要求、数据密集型使用场景,如:NoSQL关系型数据库数据仓库(如Oracle RACSAP HANA)。

使用约束

由于CCE集群各节点之间暂不支持共享盘的数据共享功能,多个节点挂载使用同一个云硬盘可能会出现读写冲突、数据缓存冲突等问题,所以创建无状态工作负载时,若使用了EVS云硬盘,建议工作负载只选择一个实例。

创建云硬盘存储卷

  1. 登录CCE控制台,单击左侧导航栏的“资源管理 > 存储管理”,单击“购买云硬盘存储卷”
  2. 参照表1配置磁盘基本信息。

    表1 创建磁盘基本信息配置

    参数

    参数说明

    * PVC名称

    新建PVC的名称,PVC创建时将自动创建存储卷,一个PVC对应一个存储卷。存储卷名称在PVC创建时自动生成。

    集群名称

    云硬盘部署所在的集群。

    命名空间

    选择云硬盘所部署的命名空间,若无需选择,保持默认default即可。

    类型

    新建云磁盘类型。

    请参见这里了解如何选择磁盘类型。

    磁盘容量

    新建存储的容量。

    访问模式

    ReadWriteMany,该卷能够以读写模式被多个节点同时加载。

    可用区

    选择云硬盘所属可用区。

  3. 单击“立即购买”。确认订单详情无误后,单击“提交”,等待创建成功。

    创建成功后,存储管理列表中会出现已创建的存储,待状态为正常,表示存储已创建成功。

  4. 单击存储名称,进入存储详情页,可查看到存储的卷名称、存储容量等信息。

使用云硬盘存储卷

  1. 参照创建无状态工作负载创建有状态工作负载,在添加容器后,展开“数据存储”,选择“云存储”页签中,单击“添加云存储”
  2. 选择存储类型为“云硬盘”

    表2 挂载云硬盘参数配置

    参数

    参数说明

    云存储类型

    云硬盘:云硬盘的使用方式与传统服务器硬盘完全一致。同时,云硬盘具有更高的数据可靠性,更高的I/O吞吐能力和更加简单易用等特点,适用于文件系统、数据库或者其他需要块存储设备的系统软件或工作负载。

    分配方式

    使用已有存储

    选择已创建的存储,您需要提前创建存储。

    自动分配存储

    自动创建存储,需要输入存储的容量。

    1. 存储类型选择云硬盘时,需要先选择创建云硬盘的可用区。
    2. 选择存储子类型。
      • 高I/O:指由SAS存储介质构成的云硬盘。
      • 普通I/O:指由SATA存储介质构成的云硬盘。
      • 超高I/O:指由SSD存储介质构成的云硬盘。
    3. 输入存储容量,单位为GB。请不要超过存储容量配额,否则会创建失败。

    添加容器挂载

    1. 单击“添加容器挂载”
    2. 挂载路径:输入数据卷挂载到容器上的路径。
      注意:
      • 请不要挂载在系统目录下,如“/”、“/var/run”等,会导致容器异常。建议挂载在空目录下,若目录不为空,请确保目录下无影响容器启动的文件,否则文件会被替换,导致容器启动异常,工作负载创建失败。
      • 挂载高危目录的情况下 ,建议使用低权限帐号启动,否则可能会造成宿主机高危文件被破坏。
    3. 设置权限。
      • 只读:只能读容器路径中的数据卷。
      • 读写:可修改容器路径中的数据卷,容器迁移时新写入的数据不会随之迁移,会造成数据丢失。
    图1 添加云存储

  3. 单击“确定”

导入云硬盘存储卷

CCE支持导入已有的云硬盘存储。

  1. 登录CCE控制台,单击左侧导航栏的“资源管理 > 存储管理”,在“云硬盘存储卷”页签下,单击“导入”
  2. 从列表里选择要导入的云硬盘存储。
  3. 单击“确定”

解关联云硬盘

创建或导入云硬盘成功后,云硬盘会自动和当前集群绑定,其它集群无法使用该存储。解关联后,将和此集群解绑,其它集群均可以导入使用该云硬盘。

若云硬盘已被工作负载挂载,将无法和集群解关联。

  1. 登录CCE控制台,单击左侧导航栏的“资源管理 > 存储管理”,在云硬盘存储卷列表中,单击云硬盘后的“解关联”
  2. 查看系统提示,单击“确定”

使用kubectl创建云硬盘

CCE支持使用PersistentVolumeClaim(PVC)的形式创建云硬盘。

  1. 请参见通过kubectl连接集群配置kubectl命令。
  2. 执行如下命令,配置名为“pvc-evs-auto-example.yaml”的创建PVC的yaml文件。

    touch pvc-evs-auto-example.yaml

    vi pvc-evs-auto-example.yaml

    示例如下:

    apiVersion: v1
    kind: PersistentVolumeClaim
    metadata:
      name: pvc-evs-auto-example
      namespace: default
      annotations:
        volume.beta.kubernetes.io/storage-class: sata
        volume.beta.kubernetes.io/storage-provisioner: flexvolume-huawei.com/fuxivol
      labels:
        failure-domain.beta.kubernetes.io/region: cn-north-1
        failure-domain.beta.kubernetes.io/zone: cn-north-1a
    spec:
      accessModes:
      - ReadWriteMany
      resources:
        requests:
          storage: 10Gi

    其中:

    • “volume.beta.kubernetes.io/storage-class”为云硬盘类型,当前支持高I/O(sas)、超高I/O(ssd)和普通I/O(sata)。
    • “volume.beta.kubernetes.io/storage-provisioner”必须使用“flexvolume-huawei.com/fuxivol”
    • “failure-domain.beta.kubernetes.io/region”为集群所在的region。
    • “failure-domain.beta.kubernetes.io/zone”为创建云硬盘所在的可用区,必须和工作负载规划的可用区保持一致。Region和zone分别对应的值请参见地区和终端节点
    • “storage”为存储容量,单位为Gi。

  3. 执行如下命令创建PVC。

    kubectl create -f pvc-evs-auto-example.yaml

    命令执行完成后,会在集群所在分区创建EVS云硬盘,您可以在存储管理 > 云硬盘存储卷中查看该云硬盘,也可以在EVS的控制台中根据卷名称查看该硬盘。

使用已有的EVS创建PVC

CCE支持使用已有的EVS云硬盘创建PersistentVolume。创建成功后,通过创建相应的PersistentVolumeClaim绑定当前PersistentVolume使用。

  1. 登录EVS控制台,创建一个EVS云硬盘,记录云硬盘的VolumeID、容量和磁盘类型。
  2. 请参见通过kubectl连接集群配置kubectl命令。
  3. 新建一个yaml文件,用于创建PersistentVolume,假设文件名为pv-evs-example.yaml

    touch pv-evs-example.yaml

    vi pv-evs-example.yaml

    • 1.9版本集群,yaml文件配置示例如下:
      apiVersion: v1 
      kind: PersistentVolume 
      metadata: 
        labels: 
          failure-domain.beta.kubernetes.io/region: cn-north-1 
          failure-domain.beta.kubernetes.io/zone:  cn-north-1a 
        name: pv-evs-example 
        namespace: default 
      spec: 
        accessModes: 
        - ReadWriteMany 
        capacity: 
          storage: 10Gi 
        flexVolume: 
          driver: huawei.com/fuxivol 
          fsType: ext4 
          options: 
            fsType: ext4 
            kubernetes.io/namespace: default 
            volumeID: 0992dbda-6340-470e-a74e-4f0db288ed82 
        persistentVolumeReclaimPolicy: Delete 
        storageClassName: sata
    • 1.11.7之前的1.11版本集群,yaml文件配置示例如下:
      apiVersion: v1 
      kind: PersistentVolume 
      metadata: 
        labels: 
          failure-domain.beta.kubernetes.io/region: cn-north-1 
          failure-domain.beta.kubernetes.io/zone:  cn-north-1a 
        name: pv-evs-example 
      spec: 
        accessModes: 
        - ReadWriteMany 
        capacity: 
          storage: 10Gi 
        flexVolume: 
          driver: huawei.com/fuxivol 
          fsType: ext4 
          options:
            fsType: ext4 
            volumeID: 0992dbda-6340-470e-a74e-4f0db288ed82 
        persistentVolumeReclaimPolicy: Delete 
        storageClassName: sata
    • 1.11.7以上以及1.13版本集群,yaml文件配置示例如下:
      apiVersion: v1 
      kind: PersistentVolume 
      metadata: 
        labels: 
          failure-domain.beta.kubernetes.io/region: cn-north-1 
          failure-domain.beta.kubernetes.io/zone:  cn-north-1a 
        name: pv-evs-example 
      spec: 
        accessModes: 
        - ReadWriteMany 
        capacity: 
          storage: 10Gi 
        flexVolume: 
          driver: huawei.com/fuxivol 
          fsType: ext4 
          options:
            disk-mode: SCSI
            fsType: ext4 
            volumeID: 0992dbda-6340-470e-a74e-4f0db288ed82 
        persistentVolumeReclaimPolicy: Delete 
        storageClassName: sata

    其中:

    • failure-domain.beta.kubernetes.io/region:云硬盘所在region。
    • failure-domain.beta.kubernetes.io/zone:云硬盘所在可用区,必须和工作负载规划的节点可用区保持一致。详情请参见地区和终端节点
    • driver:挂载依赖的存储驱动,EVS云硬盘配置为“huawei.com/fuxivol”。
    • volumeID:云硬盘的volumeID。
    • disk-mode:云硬盘磁盘模式,取值可以是VBD和SCSI。v1.11.7之前的CCE集群,该字段无需填写,默认都是VBD。CCE v1.11.7+以及v1.13的Linux x86混合集群要求该字段值必须存在,且基于PVC触发动态创建的都是EVS SCSI模式的卷,因此这里静态PV形式优先选用SCSI模式的云硬盘;同时支持升级后的老集群中VBD卷能够继续正常使用。
    • storage:云硬盘的容量,单位为Gi。
    • storageClassName:云硬盘类型,当前支持高I/O(sas)、超高I/O(ssd)和普通I/O(sata)。

  4. 创建PV。

    kubectl create -f pv-evs-example.yaml

  5. 创建一个yaml文件,用于创建PVC,假设文件名为pvc-evs-example.yaml

    touch pvc-evs-example.yaml

    vi pvc-evs-example.yaml

    • 1.9版本集群的yaml文件配置示例如下:

    apiVersion: v1  
    kind: PersistentVolumeClaim  
    metadata:  
      annotations:  
        volume.beta.kubernetes.io/storage-class: sata
        volume.beta.kubernetes.io/storage-provisioner: flexvolume-huawei.com/fuxivol 
      labels: 
        failure-domain.beta.kubernetes.io/region: cn-north-1
        failure-domain.beta.kubernetes.io/zone: cn-north-1a      
      name: pvc-evs-example 
      namespace: default  
    spec:  
      accessModes:  
      - ReadWriteMany  
      resources:  
        requests:  
          storage: 10Gi
      volumeName: pv-evs-example
      volumeNamespace: default
    • 1.11版本集群的yaml文件配置示例如下:
      apiVersion: v1  
      kind: PersistentVolumeClaim  
      metadata:  
        annotations:  
          volume.beta.kubernetes.io/storage-class: sata
          volume.beta.kubernetes.io/storage-provisioner: flexvolume-huawei.com/fuxivol 
        labels: 
          failure-domain.beta.kubernetes.io/region: cn-north-1
          failure-domain.beta.kubernetes.io/zone: cn-north-1a      
        name: pvc-evs-example 
        namespace: default  
      spec:  
        accessModes:  
        - ReadWriteMany  
        resources:  
          requests:  
            storage: 10Gi
        volumeName: pv-evs-example

    其中:

    • volume.beta.kubernetes.io/storage-class:存储类型,支持sas, ssd 和 sata。必须和已有PV保持一致。
    • volume.beta.kubernetes.io/storage-provisioner:必须使用flexvolume-huawei.com/fuxivol。
    • failure-domain.beta.kubernetes.io/region:集群所在region。
    • failure-domain.beta.kubernetes.io/zone:EVS云硬盘所在可用区,必须和工作负载规划的节点可用区保持一致。详情请参见地区和终端节点
    • storage:PVC申请容量,必须和已有PV的storage大小保持一致。
    • volumeName:PV的名称。

  6. 创建PVC。

    kubectl create -f pvc-evs-example.yaml

    执行成功后,可以在“资源管理 > 存储管理”的云硬盘存储中查看创建的PVC,也可以在EVS页面根据名称查看EVS云硬盘。

使用已有PVC创建有状态工作负载

CCE支持使用已有的云硬盘存储(PersistentVolumeClaim),创建工作负载(StatefulSet)。

  1. 参照创建云硬盘存储卷中操作创建一个云硬盘存储卷,并记录PVC名称。
  2. 请参见通过kubectl连接集群配置kubectl命令。
  3. 新建一个PVC文件,用于创建工作负载。假设文件名为evs-statefulset-example.yaml

    touch evs-statefulset-example.yaml

    vi evs-statefulset-example.yaml

    配置示例:

    apiVersion: apps/v1
    kind: StatefulSet
    metadata:
      name: evs-statefulset-example
      namespace: default
    spec:
      podManagementPolicy: OrderedReady
      replicas: 1
      revisionHistoryLimit: 10
      selector:
        matchLabels:
          app: evs-statefulset-example
          failure-domain.beta.kubernetes.io/region: cn-north-1
          failure-domain.beta.kubernetes.io/zone: cn-north-1a
      serviceName: qwqq
      template:
        metadata:
          annotations:
            metrics.alpha.kubernetes.io/custom-endpoints: '[{"api":"","path":"","port":"","names":""}]'
            pod.alpha.kubernetes.io/initialized: "true"
          labels:
            app: evs-statefulset-example
            failure-domain.beta.kubernetes.io/region: cn-north-1
            failure-domain.beta.kubernetes.io/zone: cn-north-1a
        spec:
          affinity: {}
          containers:
          - env:
            - name: PAAS_APP_NAME
              value: evs-statefulset-example
            - name: PAAS_NAMESPACE
              value: default
            - name: PAAS_PROJECT_ID
              value: b7bb7d77a2974a8fa8985cbfb63f23c0
            image: nginx:latest
            imagePullPolicy: Always
            name: container-0
            resources: {}
            terminationMessagePath: /dev/termination-log
            terminationMessagePolicy: File
            volumeMounts:
            - mountPath: /tmp
              name: pvc-evs-example
          dnsPolicy: ClusterFirst
          imagePullSecrets:
          - name: default-secret
          restartPolicy: Always
          schedulerName: default-scheduler
          securityContext: {}
          terminationGracePeriodSeconds: 30
          volumes:
            - name: pvc-evs-example
              persistentVolumeClaim:
                claimName: cce-evs-demo
          tolerations:
          - effect: NoExecute
            key: node.kubernetes.io/not-ready
            operator: Exists
            tolerationSeconds: 300
          - effect: NoExecute
            key: node.kubernetes.io/unreachable
            operator: Exists
            tolerationSeconds: 300
      updateStrategy:
        type: RollingUpdate

    其中:

    • failure-domain.beta.kubernetes.io/region:集群所在region 。
    • failure-domain.beta.kubernetes.io/zone:EVS云硬盘所在可用区,必须和工作负载规划的节点可用区保持一致。详情请参见地区和终端节点
    • spec.template.spec.containers.volumeMounts.name和spec.template.spec.volumes.name有映射关系,必须保持一致。
    • replicas:实例数,使用已有EVS存储创建PersistentVolumeClaim时,实例数固定为1。
    • name:新建工作负载的名称。
    • image:新建工作负载使用的镜像。
    • mountPath:容器内挂载路径。
    • serviceName:工作负载对应的服务,服务创建过程请参见创建有状态工作负载
    • claimName:已有PVC名称。

  4. 创建有状态工作负载

    kubectl create -f evs-statefulset-example.yaml

使用kubectl挂载云硬盘

云硬盘创建或导入CCE后,可以在工作负载中挂载云硬盘。

云硬盘不支持跨可用区挂载。在挂载前,您可以使用 kubectl get pvc 命令查询当前集群所在分区下可用PVC。

  1. 执行如下命令,配置名为“evs-pod-example.yaml”的创建Pod的yaml文件。

    touch evs-pod-example.yaml

    vi evs-pod-example.yaml

    • 在无状态工作负载中挂载云硬盘存储示例:
      apiVersion: extensions/v1beta1 
      kind: Deployment 
      metadata: 
        name: evs-pod-example 
        namespace: default 
      spec: 
        replicas: 1 
        selector: 
          matchLabels: 
            app: evs-pod-example 
        template: 
          metadata: 
            labels: 
              app: evs-pod-example 
          spec: 
            containers: 
            - image: nginx
              name: container-0 
              volumeMounts: 
              - mountPath: /tmp 
                name: pvc-evs-example 
            restartPolicy: Always 
            volumes: 
            - name: pvc-evs-example 
              persistentVolumeClaim: 
                claimName: pvc-evs-auto-example

      其中:

      • “name”为创建的无状态工作负载的名称。
      • “app”为Pod工作负载名称。
      • “mountPath”为容器内挂载路径,示例中挂载到“/tmp”路径。
      • “spec.template.spec.containers.volumeMounts.name ”和 “spec.template.spec.volumes.name”有映射关系,必须保持一致。
    • 在有状态工作负载中挂载云硬盘存储示例:
      kind: StatefulSet
      apiVersion: apps/v1
      metadata:
        name: deploy-evs-sata-in
        namespace: default
        generation: 1
        labels:
          appgroup: ''
        annotations:
          container.io/container-0: https://console.huaweicloud.com/swr/dockerimage/nginx.png
          description: ''
      spec:
        replicas: 1
        selector:
          matchLabels:
            app: deploy-evs-sata-in
            failure-domain.beta.kubernetes.io/region: cn-north-1
            failure-domain.beta.kubernetes.io/zone: cn-north-1a
        template:
          metadata:
            labels:
              app: deploy-evs-sata-in
              failure-domain.beta.kubernetes.io/region: cn-north-1
              failure-domain.beta.kubernetes.io/zone: cn-north-1a
            annotations:
              metrics.alpha.kubernetes.io/custom-endpoints: '[{"api":"","path":"","port":"","names":""}]'
              pod.alpha.kubernetes.io/initialized: 'true'
          spec:
            containers:
              - name: container-0
                image: 'nginx:1.12-alpine-perl'
                env:
                  - name: PAAS_APP_NAME
                    value: deploy-evs-sata-in
                  - name: PAAS_NAMESPACE
                    value: default
                  - name: PAAS_PROJECT_ID
                    value: a2cd8e998dca42e98a41f596c636dbda
                resources: {}
                volumeMounts:
                  - name: bs-sata-mountoptionpvc
                    mountPath: /tmp
                terminationMessagePath: /dev/termination-log
                terminationMessagePolicy: File
                imagePullPolicy: IfNotPresent
            restartPolicy: Always
            terminationGracePeriodSeconds: 30
            dnsPolicy: ClusterFirst
            securityContext: {}
            imagePullSecrets:
              - name: default-secret
            affinity: {}
            schedulerName: default-scheduler
        volumeClaimTemplates:
          - metadata:
              name: bs-sata-mountoptionpvc
              annotations:
                volume.beta.kubernetes.io/storage-class: sata
                volume.beta.kubernetes.io/storage-provisioner: flexvolume-huawei.com/fuxivol
              enable: true
            spec:
              accessModes:
                - ReadWriteMany
              resources:
                requests:
                  storage: 10Gi
        serviceName: wwww
        podManagementPolicy: OrderedReady
        updateStrategy:
          type: RollingUpdate
        revisionHistoryLimit: 10

      其中:

      • “name”为创建的工作负载名称。
      • “image”为工作负载的镜像。
      • “mountPath”为容器内挂载路径,示例中挂载到“/tmp”路径。
      • “serviceName”为工作负载对应的服务,服务创建过程请参见创建有状态工作负载

  2. 执行如下命令创建Pod。

    kubectl create -f evs-pod-example.yaml

    创建完成后,在CCE界面存储管理 > 云硬盘存储卷中单击PVC名称,在PVC详情页面可查看云硬盘和PVC的绑定关系。

相关操作

云硬盘存储创建完成后,您还可以执行 表3中的操作。
表3 其他操作

操作

说明

删除云硬盘存储

  1. 选择需要删除的云硬盘,单击操作列的“删除”。
  2. 根据界面提示完成删除操作。
如果您喜欢这篇文档,您还可以:

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区