对象存储卷挂载设置自定义访问密钥（AK/SK）

背景信息

CCE容器存储（Everest）在1.2.8及以上版本提供了设置自定义访问密钥的能力，这样可以让IAM用户使用自己的访问密钥挂载对象存储卷，从而可以对OBS进行访问权限控制（具体请参见OBS不同权限控制方式的区别）。

前提条件

• CCE容器存储（Everest）要求1.2.8及以上版本。
• 集群要求1.15.11及以上版本。

约束与限制

• 对象存储卷使用自定义访问密钥（AK/SK）时，对应的AK/SK不允许删除或禁用，否则业务容器将无法访问已挂载的对象存储。
• 自定义访问密钥暂不支持安全容器。

关闭自动挂载访问密钥

老版本控制台会要求您上传AK/SK，对象存储卷挂载时默认使用您上传的访问密钥，相当于所有IAM用户（即子用户）都使用的是同一个访问密钥挂载的对象桶，对桶的权限都是一样的，导致无法对IAM用户使用对象存储桶进行权限控制。

如果您之前上传过AK/SK，为防止IAM用户越权，建议关闭自动挂载访问密钥，即需要在everest插件中将disable_auto_mount_secret参数打开，这样使用对象存储时就不会自动使用在控制台上传的访问密钥。

• 设置disable-auto-mount-secret时要求当前集群中无对象存储卷，否则挂载了该对象卷的工作负载扩容或重启的时候会由于必须指定访问密钥而导致挂卷失败。
• disable-auto-mount-secret设置为true后，则创建PV和PVC时必须指定挂载访问密钥，否则会导致对象卷挂载失败。

kubectl edit ds everest-csi-driver -nkube-system

搜索disable-auto-mount-secret，并将值设置为true。

执行 :wq 保存退出，等待实例重启完毕即可。

获取访问密钥

1. 登录控制台。
2. 鼠标指向界面右上角的登录用户名，在下拉列表中单击“我的凭证”。
3. 在左侧导航栏单击“访问密钥”。
4. 单击“新增访问密钥”，进入“新增访问密钥”页面。
5. 单击“确定”，下载访问密钥。

使用访问密钥创建Secret

1. 获取访问密钥。
2. 对访问密钥进行base64编码（假设上文获取到的ak为“xxx”，sk为“yyy”）。

   echo -n xxx|base64

   echo -n yyy|base64

   记录编码后的AK和SK。

3. 新建一个secret的yaml，如test-user.yaml。

   apiVersion: v1
   data:
     access.key: WE5WWVhVNU*****
     secret.key: Nnk4emJyZ0*****
   kind: Secret
   metadata:
     name: test-user
     namespace: default
     labels:
       secret.kubernetes.io/used-by: csi
   type: cfe/secure-opaque

   其中：

   参数	描述
   access.key	base64编码后的ak。
   secret.key	base64编码后的sk。
   name	secret的名称
   namespace	secret的命名空间
   secret.kubernetes.io/used-by: csi	带上这个标签才能在控制台上创建OBS PV/PVC时可见。
   type	密钥类型，该值必须为cfe/secure-opaque 使用该类型，用户输入的数据会自动加密。

4. 创建Secret。

   kubectl create -f test-user.yaml

静态创建对象存储卷时指定挂载Secret

使用访问密钥创建Secret后，在创建PV时只需要关联上Secret，就可以使用Secret中的访问密钥（AK/SK）挂载对象存储卷。

1. 登录OBS控制台，创建对象存储桶，记录桶名称和存储类型，以并行文件系统为例。
2. 新建一个pv的yaml文件，如pv-example.yaml。

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv-obs-example
     annotations:
       pv.kubernetes.io/provisioned-by: everest-csi-provisioner
   spec:
     accessModes:
     - ReadWriteMany
     capacity:
       storage: 1Gi
     csi:
       nodePublishSecretRef:
         name: test-user
         namespace: default
       driver: obs.csi.everest.io
       fsType: obsfs
       volumeAttributes:
         everest.io/obs-volume-type: STANDARD
         everest.io/region: ap-southeast-1
         storage.kubernetes.io/csiProvisionerIdentity: everest-csi-provisioner
       volumeHandle: obs-normal-static-pv
     persistentVolumeReclaimPolicy: Delete
     storageClassName: csi-obs

   参数	描述
   nodePublishSecretRef	挂载时指定的密钥，其中 name：指定secret的名字 namespace：指定secret的命令空间
   fsType	文件类型，支持“obsfs”与“s3fs”，取值为s3fs时创建是obs对象桶；取值为obsfs时创建的是obs并行文件系统。
   volumeHandle	对象存储的桶名称。

3. 创建PV。

   kubectl create -f pv-example.yaml

   PV创建完成后，就可以创建PVC关联PV。

4. 新建一个PVC的yaml文件，如pvc-example.yaml。

   PVC yaml文件配置示例：

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     annotations:
       csi.storage.k8s.io/node-publish-secret-name: test-user
       csi.storage.k8s.io/node-publish-secret-namespace: default
       volume.beta.kubernetes.io/storage-provisioner: everest-csi-provisioner
       everest.io/obs-volume-type: STANDARD
       csi.storage.k8s.io/fstype: obsfs
     name: obs-secret
     namespace: default
   spec:
     accessModes:
     - ReadWriteMany
     resources:
       requests:
         storage: 1Gi
     storageClassName: csi-obs
     volumeName: pv-obs-example

   参数	描述
   csi.storage.k8s.io/node-publish-secret-name	指定secret的名字
   csi.storage.k8s.io/node-publish-secret-namespace	指定secret的命令空间

5. 创建PVC。

   kubectl create -f pvc-example.yaml

   PVC创建后，就可以创建工作负载挂载PVC使用存储。

动态创建对象存储卷时指定挂载密钥

动态创建对象存储卷时，可通过如下方法指定挂载密钥。

1. 新建一个pvc的yaml文件，如pvc-example.yaml。

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     annotations:
       csi.storage.k8s.io/node-publish-secret-name: test-user
       csi.storage.k8s.io/node-publish-secret-namespace: default
       everest.io/obs-volume-type: STANDARD
       csi.storage.k8s.io/fstype: obsfs
     name: obs-secret
     namespace: default
   spec:
     accessModes:
     - ReadWriteMany
     resources:
       requests:
         storage: 1Gi
     storageClassName: csi-obs

   参数	描述
   csi.storage.k8s.io/node-publish-secret-name	指定secret的名字
   csi.storage.k8s.io/node-publish-secret-namespace	指定secret的命令空间

2. 创建PVC。

   kubectl create -f pvc-example.yaml

   PVC创建后，就可以创建工作负载挂载PVC使用存储。

配置验证