计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机服务器 CPH
Huawei Cloud EulerOS
网络
虚拟私有云 VPC
弹性公网IP EIP
虚拟专用网络 VPN
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
VPC终端节点 VPCEP
云连接 CC
企业路由器 ER
企业交换机 ESW
全球加速 GA
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
边缘安全 EdgeSec
威胁检测服务 MTD
CDN与智能边缘
内容分发网络 CDN
CloudPond云服务
智能边缘云 IEC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
云搜索服务 CSS
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
数据可视化 DLV
数据湖工厂 DLF
湖仓构建 LakeFormation
企业应用
云桌面 Workspace
应用与数据集成平台 ROMA Connect
云解析服务 DNS
专属云
专属计算集群 DCC
IoT物联网
IoT物联网
设备接入 IoTDA
智能边缘平台 IEF
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
国际站常见问题
ICP备案
我的凭证
支持计划
客户运营能力
合作伙伴支持计划
专业服务
区块链
区块链服务 BCS
Web3节点引擎服务 NES
解决方案
SAP
高性能计算 HPC
视频
视频直播 Live
视频点播 VOD
媒体处理 MPC
实时音视频 SparkRTC
数字内容生产线 MetaStudio
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
存储容灾服务 SDRS
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属分布式存储服务 DSS
容器
云容器引擎 CCE
容器镜像服务 SWR
应用服务网格 ASM
华为云UCS
云容器实例 CCI
管理与监管
云监控服务 CES
统一身份认证服务 IAM
资源编排服务 RFS
云审计服务 CTS
标签管理服务 TMS
云日志服务 LTS
配置审计 Config
资源访问管理 RAM
消息通知服务 SMN
应用运维管理 AOM
应用性能管理 APM
组织 Organizations
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
应用身份管理服务 OneAccess
数据库
云数据库 RDS
文档数据库服务 DDS
数据管理服务 DAS
数据复制服务 DRS
云数据库 GeminiDB
云数据库 GaussDB
分布式数据库中间件 DDM
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
人脸识别服务 FRS
图引擎服务 GES
图像识别 Image
内容审核 Moderation
文字识别 OCR
AI开发平台ModelArts
图像搜索 ImageSearch
对话机器人服务 CBS
华为HiLens
视频智能分析服务 VIAS
语音交互服务 SIS
应用中间件
分布式缓存服务 DCS
API网关 APIG
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
多活高可用服务 MAS
事件网格 EG
企业协同
华为云会议 Meeting
云通信
消息&短信 MSGSMS
云生态
合作伙伴中心
云商店
开发者工具
SDK开发指南
API签名指南
Terraform
华为云命令行工具服务 KooCLI
其他
产品价格详情
系统权限
管理控制台
客户关联华为云合作伙伴须知
消息中心
公共问题
开发与运维
应用管理与运维平台 ServiceStage
软件开发生产线 CodeArts
需求管理 CodeArts Req
部署 CodeArts Deploy
性能测试 CodeArts PerfTest
编译构建 CodeArts Build
流水线 CodeArts Pipeline
制品仓库 CodeArts Artifact
测试计划 CodeArts TestPlan
代码检查 CodeArts Check
代码托管 CodeArts Repo
云应用引擎 CAE
开天aPaaS
云消息服务 KooMessage
云手机服务 KooPhone
云空间服务 KooDrive

通过静态存储卷使用已有云硬盘

更新时间:2024-01-04 GMT+08:00

CCE支持使用已有的云硬盘创建存储卷(PersistentVolume)。创建成功后,通过创建相应的PersistentVolumeClaim绑定当前PersistentVolume使用。适用于已有底层存储的场景。

前提条件

  • 您已经创建好一个集群,并且在该集群中安装CCE容器存储(Everest)
  • 您已经创建好一块云硬盘,并且云硬盘满足以下条件:
    • 已有的云硬盘不可以是系统盘、专属盘或共享盘。
    • 云硬盘模式需选择SCSI(购买云硬盘时默认为VBD模式)。
    • 云硬盘的状态可用,且未被其他资源使用。
    • 云硬盘的可用区需要与集群节点的可用区相同,否则无法挂载将导致实例启动失败。
    • 若云硬盘加密,所使用的密钥状态需可用。
    • 仅支持选择集群所属企业项目和default企业项目下的云硬盘。
    • 不支持使用已进行分区的云硬盘。
    • 仅支持使用ext4类型的云硬盘。
  • 如果您需要通过命令行创建,需要使用kubectl连接到集群,详情请参见通过kubectl连接集群

约束与限制

  • 云硬盘不支持跨可用区挂载,且不支持被多个工作负载、同一个工作负载的多个实例或多个任务使用。由于CCE集群各节点之间暂不支持共享盘的数据共享功能,多个节点挂载使用同一个云硬盘可能会出现读写冲突、数据缓存冲突等问题,所以创建无状态工作负载时,若使用了EVS云硬盘,建议工作负载只选择一个实例。
  • 1.19.10以下版本的集群中,如果使用HPA策略对挂载了EVS卷的负载进行扩容,当新Pod被调度到另一个节点时,会导致之前Pod不能正常读写。

    1.19.10及以上版本集群中,如果使用HPA策略对挂载了EVS卷的负载进行扩容,新Pod会因为无法挂载云硬盘导致无法成功启动。

通过控制台使用已有云硬盘

  1. 登录CCE控制台,单击集群名称进入集群。
  2. 静态创建存储卷声明和存储卷。

    1. 在左侧导航栏选择“存储”,在右侧选择“存储卷声明”页签。单击右上角“创建存储卷声明”,在弹出的窗口中填写存储卷声明参数。

      参数

      描述

      存储卷声明类型

      本文中选择“云硬盘”。

      PVC名称

      输入PVC的名称,同一命名空间下的PVC名称需唯一。

      创建方式

      • 已有底层存储的场景下,根据是否已经创建存储卷可选择“新建存储卷”“已有存储卷”来静态创建PVC。
      • 无可用底层存储的场景下,可选择“动态创建”,具体操作请参见通过动态存储卷使用云硬盘

      本文示例中选择“新建存储卷”,可通过控制台同时创建PV及PVC。

      关联存储卷a

      选择集群中已有的PV卷,需要提前创建PV,请参考相关操作中的“创建存储卷”操作。

      本文示例中无需选择。

      云硬盘b

      单击“选择云硬盘”,您可以在新页面中勾选满足要求的云硬盘,并单击“确定”

      PV名称b

      输入PV名称,同一集群内的PV名称需唯一。

      访问模式b

      云硬盘类型的存储卷仅支持ReadWriteOnce,表示存储卷可以被一个节点以读写方式挂载,详情请参见存储卷访问模式

      回收策略b

      您可以选择Delete或Retain,用于指定删除PVC时底层存储的回收策略,详情请参见PV回收策略

      说明:

      a:创建方式选择“已有存储卷”时可设置。

      b:创建方式选择“新建存储卷”时可设置。

    2. 单击“创建”,将同时为您创建存储卷声明及存储卷。

      您可以在左侧导航栏中选择“存储”,在“存储卷声明”“存储卷”页签下查看已经创建的存储卷声明和存储卷。

  3. 创建应用。

    1. 在左侧导航栏中选择“工作负载”,在右侧选择“有状态负载”页签。
    2. 单击页面右上角“创建负载”,在“容器配置”中选择“数据存储”页签,并单击“添加存储卷 > 已有存储卷声明 (PVC)”。
      本文主要为您介绍存储卷的挂载使用,如表1,其他参数详情请参见工作负载
      表1 存储卷挂载

      参数

      参数说明

      存储卷声明(PVC)

      选择已有的云硬盘存储卷。

      云硬盘存储卷无法被多个工作负载重复挂载。

      挂载路径

      请输入挂载路径,如:/tmp。

      数据存储挂载到容器上的路径。请不要挂载在系统目录下,如“/”、“/var/run”等,会导致容器异常。建议挂载在空目录下,若目录不为空,请确保目录下无影响容器启动的文件,否则文件会被替换,导致容器启动异常,工作负载创建失败。
      须知:

      挂载高危目录的情况下 ,建议使用低权限账号启动,否则可能会造成宿主机高危文件被破坏。

      子路径

      请输入存储卷的子路径,将存储卷中的某个路径挂载至容器,可以实现在单一Pod中使用同一个存储卷的不同文件夹。如:tmp,表示容器中挂载路径下的数据会存储在存储卷的tmp文件夹中。不填写时默认为根路径。

      权限

      • 只读:只能读容器路径中的数据卷。
      • 读写:可修改容器路径中的数据卷,容器迁移时新写入的数据不会随之迁移,会造成数据丢失。

      本例中将该盘挂载到容器中/data路径下,在该路径下生成的容器数据会存储到云硬盘中。

      说明:

      由于云硬盘为非共享模式,工作负载下多个实例无法同时挂载,会导致实例启动异常。因此挂载云硬盘时,工作负载实例数需为1。

    3. 其余信息都配置完成后,单击“创建工作负载”

      工作负载创建成功后,容器挂载目录下的数据将会持久化保持,您可以参考验证数据持久化中的步骤进行验证。

通过kubectl命令行使用已有云硬盘

  1. 使用kubectl连接集群。
  2. 创建PV。当您的集群中已存在创建完成的PV时,可跳过本步骤。

    1. 创建pv-evs.yaml文件。
      apiVersion: v1
      kind: PersistentVolume
      metadata:
        annotations:
          pv.kubernetes.io/provisioned-by: everest-csi-provisioner
          everest.io/reclaim-policy: retain-volume-only         # 可选字段,删除PV时可保留底层存储卷
        name: pv-evs    # PV的名称
        labels:
          failure-domain.beta.kubernetes.io/region: <your_region>   # 替换为您待部署应用的节点所在的区域
          failure-domain.beta.kubernetes.io/zone: <your_zone>       # 替换为您待部署应用的节点所在的可用区
      spec:
        accessModes:
          - ReadWriteOnce     # 访问模式,云硬盘必须为ReadWriteOnce
        capacity:
          storage: 10Gi       # 云硬盘的容量,单位为Gi,取值范围 1-32768
        csi:
          driver: disk.csi.everest.io     # 挂载依赖的存储驱动
          fsType: ext4    # 与磁盘原文件系统保持一致
          volumeHandle: <your_volume_id>   #云硬盘的volumeID
          volumeAttributes:
            everest.io/disk-mode: SCSI           # 云硬盘的磁盘模式,仅支持SCSI
            everest.io/disk-volume-type: SAS     # 云硬盘的类型
            storage.kubernetes.io/csiProvisionerIdentity: everest-csi-provisioner
            everest.io/crypt-key-id: <your_key_id>    # 可选字段,加密密钥ID,使用加密盘的时候填写
            everest.io/enterprise-project-id: <your_project_id>  # 可选字段,企业项目ID,如果指定企业项目,则创建PVC时也需要指定相同的企业项目,否则PVC无法绑定PV。
        persistentVolumeReclaimPolicy: Delete    # 回收策略
        storageClassName: csi-disk              # 存储类名称,云硬盘必须为csi-disk
      表2 关键参数说明

      参数

      是否必选

      描述

      everest.io/reclaim-policy: retain-volume-only

      可选字段

      目前仅支持配置“retain-volume-only”

      everest插件版本需 >= 1.2.9且回收策略为Delete时生效。如果回收策略是Delete且当前值设置为“retain-volume-only”删除PVC回收逻辑为:删除PV,保留底层存储卷。

      failure-domain.beta.kubernetes.io/region

      集群所在的region。

      Region对应的值请参见地区和终端节点

      failure-domain.beta.kubernetes.io/zone

      创建云硬盘所在的可用区,必须和工作负载规划的可用区保持一致。

      zone对应的值请参见地区和终端节点

      fsType

      设置文件系统类型,默认为ext4。

      volumeHandle

      云硬盘的volumeID。

      获取方法:在云服务器控制台,单击左侧栏目树中的“云硬盘 > 磁盘”,单击要对接的云硬盘名称进入详情页,在“概览信息”页签下单击“ID”后的复制图标即可获取云硬盘的volumeID。

      everest.io/disk-volume-type

      云硬盘类型,全大写。
      • SAS:高I/O
      • SSD:超高I/O

      everest.io/crypt-key-id

      当云硬盘是加密卷时为必填,填写创建云硬盘时选择的加密密钥ID。

      获取方法:在云服务器控制台,单击左侧栏目树中的“云硬盘 > 磁盘”,单击要对接的云硬盘名称进入详情页,在“概览信息”页签下找到“配置信息”,复制密钥ID值即可。

      everest.io/enterprise-project-id

      可选字段

      云硬盘的企业项目ID。如果指定企业项目,则创建PVC时也需要指定相同的企业项目,否则PVC无法绑定PV。

      获取方法:在云服务器控制台,单击左侧栏目树中的“云硬盘 > 磁盘”,单击要对接的云硬盘名称进入详情页,在“概览信息”页签下找到“管理信息”中的企业项目,单击并进入对应的企业项目控制台,复制对应的ID值即可获取云硬盘所属的企业项目的ID。

      persistentVolumeReclaimPolicy

      集群版本号>=1.19.10且everest插件版本>=1.2.9时正式开放回收策略支持。

      支持Delete、Retain回收策略,详情请参见PV回收策略。如果数据安全性要求较高,建议使用Retain以免误删数据。

      Delete:

      • Delete且不设置everest.io/reclaim-policy:删除PVC,PV资源与云硬盘均被删除。
      • Delete且设置everest.io/reclaim-policy=retain-volume-only:删除PVC,PV资源被删除,云硬盘资源会保留。

      Retain:删除PVC,PV资源与底层存储资源均不会被删除,需要手动删除回收。PVC删除后PV资源状态为“已释放(Released)”,不能直接再次被PVC绑定使用。

      storageClassName

      云硬盘存储对应的存储类名称为csi-disk。

    2. 执行以下命令,创建PV。
      kubectl apply -f pv-evs.yaml

  3. 创建PVC。

    1. 创建pvc-evs.yaml文件。
      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: pvc-evs
        namespace: default
        annotations:
          everest.io/disk-volume-type: SAS    # 云硬盘的类型
          everest.io/crypt-key-id: <your_key_id>    # 可选字段,加密密钥ID,使用加密盘的时候填写
          everest.io/enterprise-project-id: <your_project_id>  # 可选字段,企业项目ID,如果指定企业项目,则创建PVC时也需要指定相同的企业项目,否则PVC无法绑定PV。
        labels:
          failure-domain.beta.kubernetes.io/region: <your_region>   # 替换为您待部署应用的节点所在的区域
          failure-domain.beta.kubernetes.io/zone: <your_zone>       # 替换为您待部署应用的节点所在的可用区
      spec:
        accessModes:
        - ReadWriteOnce               # 云硬盘必须为ReadWriteOnce
        resources:
          requests:
            storage: 10Gi             # 云硬盘大小,取值范围 1-32768,必须和已有PV的storage大小保持一致。
        storageClassName: csi-disk    # StorageClass类型为云硬盘
        volumeName: pv-evs            # PV的名称
      表3 关键参数说明

      参数

      是否必选

      描述

      failure-domain.beta.kubernetes.io/region

      集群所在的region。

      Region对应的值请参见地区和终端节点

      failure-domain.beta.kubernetes.io/zone

      创建云硬盘所在的可用区,必须和工作负载规划的可用区保持一致。

      zone对应的值请参见地区和终端节点

      storage

      PVC申请容量,单位为Gi。

      必须和已有PV的storage大小保持一致。

      volumeName

      PV的名称,必须与1中PV的名称一致。

      storageClassName

      存储类名称,必须与1中PV的存储类一致。

      云硬盘存储对应的存储类名称为csi-disk。

    2. 执行以下命令,创建PVC。
      kubectl apply -f pvc-evs.yaml

  4. 创建应用。

    1. 创建web-evs.yaml文件,本示例中将云硬盘挂载至/data路径。
      apiVersion: apps/v1
      kind: StatefulSet
      metadata:
        name: web-evs
        namespace: default
      spec:
        replicas: 1            # 使用云硬盘的工作负载副本数必须是1
        selector:
          matchLabels:
            app: web-evs
        serviceName: web-evs   # Headless Service名称
        template:
          metadata:
            labels:
              app: web-evs
          spec:
            containers:
            - name: container-1
              image: nginx:latest
              volumeMounts:
              - name: pvc-disk    #卷名称,需与volumes字段中的卷名称对应
                mountPath: /data  #存储卷挂载的位置
            imagePullSecrets:
              - name: default-secret
            volumes:
              - name: pvc-disk    #卷名称,可自定义
                persistentVolumeClaim:
                  claimName: pvc-evs    #已创建的PVC名称
      ---
      apiVersion: v1
      kind: Service
      metadata:
        name: web-evs   # Headless Service名称
        namespace: default
        labels:
          app: web-evs
      spec:
        selector:
          app: web-evs
        clusterIP: None
        ports:
          - name: web-evs
            targetPort: 80
            nodePort: 0
            port: 80
            protocol: TCP
        type: ClusterIP
    2. 执行以下命令,创建一个挂载云硬盘存储的应用。
      kubectl apply -f web-evs.yaml

      工作负载创建成功后,容器挂载目录下的数据将会持久化保持,您可以参考验证数据持久化中的步骤进行验证。

验证数据持久化

  1. 查看部署的应用及云硬盘文件。

    1. 执行以下命令,查看已创建的Pod。
      kubectl get pod | grep web-evs
      预期输出如下:
      web-evs-0                  1/1     Running   0               38s
    2. 执行以下命令,查看云硬盘是否挂载至/data路径。
      kubectl exec web-evs-0 -- df | grep data

      预期输出如下:

      /dev/sdc              10255636     36888  10202364   0% /data
    3. 执行以下命令,查看/data路径下的文件。
      kubectl exec web-evs-0 -- ls /data

      预期输出如下:

      lost+found

  2. 执行以下命令,在/data路径下创建static文件。

    kubectl exec web-evs-0 --  touch /data/static

  3. 执行以下命令,查看/data路径下的文件。

    kubectl exec web-evs-0 -- ls /data

    预期输出如下:

    lost+found
    static

  4. 执行以下命令,删除名称为web-evs-0的Pod。

    kubectl delete pod web-evs-0

    预期输出如下:

    pod "web-evs-0" deleted

  5. 删除后,StatefulSet控制器会自动重新创建一个同名副本。执行以下命令,验证/data路径下的文件是否更改。

    kubectl exec web-evs-0 -- ls /data

    预期输出如下:

    lost+found
    static

    static文件仍然存在,则说明云硬盘中的数据可持久化保存。

相关操作

您还可以执行表4中的操作。
表4 其他操作

操作

说明

操作步骤

创建存储卷

通过CCE控制台单独创建PV。

  1. 在左侧导航栏选择“存储”,在右侧选择“存储卷”页签。单击右上角“创建存储卷”,在弹出的窗口中填写存储卷声明参数。
    • 存储卷类型:选择“云硬盘”
    • 云硬盘:单击“选择云硬盘”,在新页面中勾选满足要求的云硬盘,并单击“确定”
    • PV名称:输入PV名称,同一集群内的PV名称需唯一。
    • 访问模式:仅支持ReadWriteOnce,表示存储卷可以被一个节点以读写方式挂载,详情请参见存储卷访问模式
    • 回收策略:Delete或Retain,详情请参见PV回收策略
  2. 单击“创建”

扩容云硬盘存储卷

通过CCE控制台快速扩容已挂载的云硬盘。

  1. 在左侧导航栏选择“存储”,在右侧选择“存储卷声明”页签。单击PVC操作列的“更多 > 扩容”。
  2. 输入新增容量,并单击“确定”。

事件

查看PVC或PV的事件名称、事件类型、发生次数、Kubernetes事件、首次和最近发生的时间,便于定位问题。

  1. 在左侧导航栏选择“存储”,在右侧选择“存储卷声明”“存储卷”页签。
  2. 单击目标实例操作列的“事件”,即可查看1小时内的事件(事件保存时间为1小时)。

查看YAML

可对PVC或PV的YAML文件进行查看、复制和下载。

  1. 在左侧导航栏选择“存储”,在右侧选择“存储卷声明”“存储卷”页签。
  2. 单击目标实例操作列的“查看YAML”,即可查看或下载YAML。

我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。 详情

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容