文档首页/ 云容器引擎 CCE/ 用户指南/ 存储/ 文件存储（SFS）/ 通过动态存储卷使用文件存储

更新时间：2024-09-29 GMT+08:00

查看PDF

通过动态存储卷使用文件存储

本文介绍如何通过存储类动态创建PV和PVC，并在工作负载中实现数据持久化与共享性。

前提条件

您已经创建好一个集群，并且在该集群中安装CCE容器存储（Everest）。
如果您需要通过命令行创建，需要使用kubectl连接到集群，详情请参见通过kubectl连接集群。
您已经创建好一个文件存储，并且文件存储与集群在同一个VPC内。
使用通用文件系统（SFS 3.0）时，您需要提前在集群所在VPC创建一个VPC终端节点，集群需要通过VPC终端节点访问通用文件系统。配置VPC终端节点的方法请参见配置VPC终端节点。

约束与限制

使用通用文件系统（SFS 3.0）SFS存储卷时，集群中需要安装2.0.9及以上版本的CCE容器存储（Everest）。
使用通用文件系统（SFS 3.0）SFS存储卷时，挂载点不支持修改属组和权限，挂载点默认属主为root。
使用通用文件系统（SFS 3.0）时，创建、删除PVC和PV过程中可能存在时延，实际计费时长请以SFS侧创建、删除时刻为准。
通用文件系统（SFS 3.0）使用Delete回收策略时，需要挂载文件系统手动删除所有文件后才可以正常删除PV和PVC。

通过控制台自动创建文件存储

登录CCE控制台，单击集群名称进入集群。

动态创建存储卷声明和存储卷。

在左侧导航栏选择“存储”，在右侧选择“存储卷声明”页签。单击右上角“创建存储卷声明”，在弹出的窗口中填写存储卷声明参数。

参数	描述
存储卷声明类型	本文中选择“文件存储”。
PVC名称	输入PVC的名称，同一命名空间下的PVC名称需唯一。
创建方式	无可用底层存储的场景下，可选择“动态创建”，通过控制台级联创建存储卷声明PVC、存储卷PV和底层存储。已有底层存储的场景下，根据是否已经创建PV可选择“新建存储卷”或“已有存储卷”，静态创建PVC，具体操作请参见通过静态存储卷使用已有文件存储。本文中选择“动态创建”。
存储类	文件存储对应的默认存储类为csi-sfs或csi-nas。
存储卷名称前缀（可选）	集群版本为v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上时支持，且集群中需安装2.4.15及以上版本的Everest插件。定义自动创建的底层存储名称，实际创建的底层存储名称为“存储卷名称前缀”与“PVC UID”的拼接组合，如果不填写该参数，默认前缀为“pvc”。例如，存储卷名称前缀设置为“test”，则实际创建的底层存储名称test-{uid}。
访问模式	文件存储类型的存储卷仅支持ReadWriteMany，表示存储卷可以被多个节点以读写方式挂载，详情请参见存储卷访问模式。
加密	存储类为csi-nas时，可选择底层存储是否加密，使用加密时需要选择使用的加密密钥。

单击“创建”，将同时为您创建存储卷声明和存储卷。
您可以在左侧导航栏中选择“存储”，在“存储卷声明”和“存储卷”页签下查看已经创建的存储卷声明和存储卷。

创建应用。

在左侧导航栏中选择“工作负载”，在右侧选择“无状态负载”页签。

单击页面右上角“创建工作负载”，在“容器配置”中选择“数据存储”页签，并单击“添加存储卷 > 已有存储卷声明 (PVC)”。

本文主要为您介绍存储卷的挂载使用，如表1，其他参数详情请参见工作负载。

表1 存储卷挂载
参数	参数说明
存储卷声明（PVC）	选择已有的文件存储卷。
挂载路径	请输入挂载路径，如：/tmp。数据存储挂载到容器上的路径。请不要挂载在系统目录下，如“/”、“/var/run”等，会导致容器异常。建议挂载在空目录下，若目录不为空，请确保目录下无影响容器启动的文件，否则文件会被替换，导致容器启动异常，工作负载创建失败。须知：挂载高危目录的情况下，建议使用低权限账号启动，否则可能会造成宿主机高危文件被破坏。
子路径	请输入存储卷的子路径，将存储卷中的某个路径挂载至容器，可以实现在单一Pod中使用同一个存储卷的不同文件夹。如：tmp，表示容器中挂载路径下的数据会存储在存储卷的tmp文件夹中。不填写时默认为根路径。
权限	只读：只能读容器路径中的数据卷。读写：可修改容器路径中的数据卷，容器迁移时新写入的数据不会随之迁移，会造成数据丢失。

本例中将该存储卷挂载到容器中/data路径下，在该路径下生成的容器数据会存储到文件存储中。

点击放大

其余信息都配置完成后，单击“创建工作负载”。
工作负载创建成功后，容器挂载目录下的数据将会持久化保持，您可以参考验证数据持久化及共享性中的步骤进行验证。

使用kubectl自动创建文件存储

使用kubectl连接集群。

使用StorageClass动态创建PVC及PV。

创建pvc-sfs-auto.yaml文件。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc-sfs-auto
  namespace: default
  annotations: 
    everest.io/crypt-key-id: <your_key_id>      # 可选字段，密钥的id，使用该密钥加密文件存储
    everest.io/crypt-alias: sfs/default         # 可选字段，密钥的名称，创建加密卷时必须提供该字段
    everest.io/crypt-domain-id: <your_domain_id>   # 可选字段，指定加密卷所属租户的ID，创建加密卷时必须提供该字段
    everest.io/csi.volume-name-prefix: test  # 可选字段，定义自动创建的底层存储名称前缀
spec:
  accessModes:
    - ReadWriteMany             # 文件存储必须为ReadWriteMany
  resources:
    requests:
      storage: 1Gi             # 文件存储大小
  storageClassName: csi-nas    # StorageClass类型为文件存储。csi-nas表示使用SFS容量型；csi-sfs表示使用通用文件系统（SFS 3.0）

表2 关键参数说明
参数	是否必选	描述
storage	是	PVC申请容量，单位为Gi。对文件存储来说，此处仅为校验需要（不能为空和0），设置的大小不起作用，此处设定为固定值1Gi。
storageClassName	是	存储类名称。 csi-sfs：推荐使用，表示使用通用文件系统（SFS 3.0）。 csi-nas：表示使用SFS 1.0容量型文件存储。
everest.io/crypt-key-id	否	存储类为csi-nas时，可选择底层存储是否加密。当文件存储是加密卷时为必填，填写创建文件存储时选择的加密密钥ID，可使用自定义密钥或名为“sfs/default”的云硬盘默认密钥。获取方法：在数据加密控制台，找到需要加密的密钥，复制密钥ID值即可。
everest.io/crypt-alias	否	密钥的名称，创建加密卷时必须提供该字段。获取方法：在数据加密控制台，找到需要加密的密钥，复制密钥名称即可。
everest.io/crypt-domain-id	否	指定加密卷所属租户的ID，创建加密卷时必须提供该字段。获取方法：在云服务器控制台，鼠标悬浮至右上角的用户名称并单击“我的凭证”，复制账号ID即可。
everest.io/csi.volume-name-prefix	否	可选字段，集群版本为v1.23.14-r0、v1.25.9-r0、v1.27.6-r0、v1.28.4-r0及以上时支持，且集群中需安装2.4.15及以上版本的Everest插件。定义自动创建的底层存储名称，实际创建的底层存储名称为“存储卷名称前缀”与“PVC UID”的拼接组合，如果不填写该参数，默认前缀为“pvc”。取值范围：参数值长度为1~26，且必须是小写字母、数字、中划线，不能以中划线开头或结尾。例如，存储卷名称前缀设置为“test”，则实际创建的底层存储名称test-{uid}。

执行以下命令，创建PVC。
```
kubectl apply -f pvc-sfs-auto.yaml
```

创建应用。

创建web-demo.yaml文件，本示例中将文件存储挂载至/data路径。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: web-demo
  namespace: default
spec:
  replicas: 2
  selector:
    matchLabels:
      app: web-demo
  template:
    metadata:
      labels:
        app: web-demo
    spec:
      containers:
      - name: container-1
        image: nginx:latest
        volumeMounts:
        - name: pvc-sfs-volume    #卷名称，需与volumes字段中的卷名称对应
          mountPath: /data  #存储卷挂载的位置
      imagePullSecrets:
        - name: default-secret
      volumes:
        - name: pvc-sfs-volume    #卷名称，可自定义
          persistentVolumeClaim:
            claimName: pvc-sfs-auto    #已创建的PVC名称

执行以下命令，创建一个挂载文件存储的应用。
```
kubectl apply -f web-demo.yaml
```
工作负载创建成功后，容器挂载目录下的数据将会持久化保持，您可以参考验证数据持久化及共享性中的步骤进行验证。

验证数据持久化及共享性

查看部署的应用及文件。

执行以下命令，查看已创建的Pod。

kubectl get pod | grep web-demo

预期输出如下：

web-demo-846b489584-mjhm9   1/1     Running   0             46s
web-demo-846b489584-wvv5s   1/1     Running   0             46s

依次执行以下命令，查看Pod的/data路径下的文件。
```
kubectl exec web-demo-846b489584-mjhm9 -- ls /data
kubectl exec web-demo-846b489584-wvv5s -- ls /data
```
两个Pod均无返回结果，说明/data路径下无文件。

执行以下命令，在/data路径下创建static文件。

kubectl exec web-demo-846b489584-mjhm9 --  touch /data/static

执行以下命令，查看/data路径下的文件。
```
kubectl exec web-demo-846b489584-mjhm9 -- ls /data
```
预期输出如下：
```
static
```
验证数据持久化
1. 执行以下命令，删除名称为web-demo-846b489584-mjhm9的Pod。
```
kubectl delete pod web-demo-846b489584-mjhm9
```
  预期输出如下：
```
pod "web-demo-846b489584-mjhm9" deleted
```
  删除后，Deployment控制器会自动重新创建一个副本。
2. 执行以下命令，查看已创建的Pod。
```
kubectl get pod | grep web-demo
```
  预期输出如下，web-demo-846b489584-d4d4j为新建的Pod：
```
web-demo-846b489584-d4d4j   1/1     Running   0             110s
web-demo-846b489584-wvv5s    1/1     Running   0             7m50s
```
3. 执行以下命令，验证新建的Pod中/data路径下的文件是否更改。
```
kubectl exec web-demo-846b489584-d4d4j -- ls /data
```
  预期输出如下：
```
static
```
  static文件仍然存在，则说明数据可持久化保存。
验证数据共享性
1. 执行以下命令，查看已创建的Pod。
```
kubectl get pod | grep web-demo
```
  预期输出如下：
```
web-demo-846b489584-d4d4j   1/1     Running   0             7m
web-demo-846b489584-wvv5s   1/1     Running   0             13m
```
2. 执行以下命令，在任意一个Pod的/data路径下创建share文件。本例中选择名为web-demo-846b489584-d4d4j的Pod。
```
kubectl exec web-demo-846b489584-d4d4j --  touch /data/share
```
  并查看该Pod中/data路径下的文件。
```
kubectl exec web-demo-846b489584-d4d4j -- ls /data
```
  预期输出如下：
```
share
static
```
3. 由于写入share文件的操作未在名为web-demo-846b489584-wvv5s的Pod中执行，在该Pod中查看/data路径下是否存在文件以验证数据共享性。
```
kubectl exec web-demo-846b489584-wvv5s -- ls /data
```
  预期输出如下：
```
share
static
```
  如果在任意一个Pod中的/data路径下创建文件，其他Pod下的/data路径下均存在此文件，则说明两个Pod共享一个存储卷。

表3 其他操作
操作	说明	操作步骤
事件	查看PVC或PV的事件名称、事件类型、发生次数、Kubernetes事件、首次和最近发生的时间，便于定位问题。	在左侧导航栏选择“存储”，在右侧选择“存储卷声明”或“存储卷”页签。单击目标实例操作列的“事件”，即可查看1小时内的事件（事件保存时间为1小时）。
查看YAML	可对PVC或PV的YAML文件进行查看、复制和下载。	在左侧导航栏选择“存储”，在右侧选择“存储卷声明”或“存储卷”页签。单击目标实例操作列的“查看YAML”，即可查看或下载YAML。

常见问题

挂载SFS 3.0存储时，出现挂载超时的问题，报错如下：

MountVolume.SetUp failed for volume "***" : rpc error: code = Internal desc = [30834707-b8fc-11ee-ba7a-fa163eaacb17] failed to execute cmd: "systemd-run --scope  mount -t nfs -o proto=tcp -o vers=3 -o timeo=600 -o noresvport -o nolock ***.sfs3.cn-east-3.myhuaweicloud.com:/*** /mnt/paas/kubernetes/kubelet/pods/add9a323-10e2-434f-b151-42675f83860e/volumes/kubernetes.io~csi/***/mount". outputs: Running scope as unit run-1597979.scope.; error: signal: killed. please check whether the volumeAttributes of related PersistentVolume of the volume is correct and whether it can be mounted.

解决方案

使用SFS 3.0文件存储前，需要提前创建VPC终端节点。如果未创建VPC终端节点，集群会无法访问SFS 3.0文件存储导致挂载超时失败。配置VPC终端节点的方法请参见配置VPC终端节点。

父主题：文件存储（SFS）

上一篇：通过静态存储卷使用已有文件存储

意见反馈

文档内容是否对您有帮助？

有帮助没帮助

提供反馈

提交成功！非常感谢您的反馈，我们会继续努力做到更好！

系统繁忙，请稍后重试

在使用文档中是否遇到以下问题

内容与产品页面不一致

内容不易理解

缺失示例代码

步骤不可操作

搜不到想要的内容

缺少最佳实践

意见反馈（选填）

0/500

请至少选择一项反馈信息并填写问题反馈

字符长度不能超过500

直接提交取消