CCE密钥管理（对接 DEW）

图1 DEW凭据列表

1. 执行以下命令，创建ServiceAccount对象的YAML文件。

   vim serviceaccount.yaml

   文件内容如下，可以在cce.io/dew-resource字段中声明允许业务使用的凭据名称。如secret_1和secret_2，后续将允许在业务Pod中引用这两个凭据对象。若用户引用未在此处声明的凭据，则会挂载失败，从而导致Pod无法运行。

   apiVersion: v1
   kind: ServiceAccount
   metadata:
     name: nginx-spc-sa
     annotations:
       cce.io/dew-resource: "[\"secret_1\",\"secret_2\"]"  #secrets that allow pod to use

2. 执行以下命令，创建ServiceAccount对象。

   kubectl apply -f serviceaccount.yaml

   回显结果如下：

   serviceaccount/nginx-spc-sa created

3. 执行以下命令，查看ServiceAccount对象是否已经正常创建。

   kubectl get sa

   回显结果如下，则说明名为“nginx-spc-sa”的ServiceAccount对象已正常创建，该对象将在后续的业务Pod中被引用。

   NAME            SECRETS   AGE
   default         1         18d   # 此为系统默认的ServiceAccount对象
   nginx-spc-sa    1         19s   # 此为刚刚创建的ServiceAccount对象

1. 执行以下命令，创建SecretProviderClass对象的YAML文件。

   vim secretproviderclass.yaml

   文件内容如下，主要关注parameters.objects字段，该字段以数组的形式声明您需要挂载的凭据信息。

   apiVersion: secrets-store.csi.x-k8s.io/v1
   kind: SecretProviderClass
   metadata:
     name: spc-test
   spec:
     provider: cce     # 固定为cce
     parameters:
       objects: |
             - objectName: "secret_1"
               objectAlias: "secret_test"
               objectVersion: "v1"
               objectType: "csms"

   表2 objects参数说明

   参数	参数类型	是否必选	参数说明
   objectName	String	是	表示凭据名称，需填写ServiceAccount中引用的凭据。若同一个SecretProviderClass中定义了多个objectName，不允许重名，否则会挂载失败。
   objectAlias	String	否	表示凭据写入到容器内的文件名称。 若不指定，则凭据写入到容器内的文件名默认为objectName； 若指定，则objectAlias与其他凭据的objectName和objectAlias均不允许重名，与自身的objectName也不允许重名，否则会挂载失败。
   objectType	String	是	表示凭据类型。当前仅支持“csms”类型，其他均为非法输入。
   objectVersion	String	是	表示凭据的版本。 指定某个具体的版本：v1，v2，… 指定最新版本：latest。当指定objectVersion为” latest”时，若在云凭据管理服务侧对应的凭据发生了更新，更新后的凭据值将在经过一定时间间隔后（即rotation_poll_interval）刷新至Pod内，即自动开启定时轮转能力。

2. 执行以下命令，创建SecretProviderClass对象。

   kubectl apply -f secretproviderclass.yaml

   回显结果如下：

   secretproviderclass/spc-test created

3. 执行以下命令，查看SecretProviderClass对象是否已经正常创建。

   kubectl get spc

   回显结果如下，则说明一个名为“spc-test”的SecretProviderClass对象已正常创建，该对象将在后续的业务Pod中被引用。

   NAME   AGE
   spc-test   20h

1. 定义业务负载，在serviceAccountName中引用此前创建好的ServiceAccount对象，secretProviderClass中引用此前创建好的SPC对象，并在mountPath中指定容器内的挂载路径（这里需注意，用户不应该指定”/”，” /var/run”等特殊目录，否则可能影响容器的正常启动）。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: nginx-spc
     labels:
       app: nginx
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: nginx
     template:
       metadata:
         labels:
           app: nginx
       spec:
         serviceAccountName: nginx-spc-sa   # 引用上面创建的ServiceAccount，作为访问凭据的身份认证
         volumes:
           - name: secrets-store-inline
             csi:
               driver: secrets-store.csi.k8s.io   # 指定Secrets Store CSI驱动，为固定值
               readOnly: true                     # 将卷设置为只读，确保凭据不会被修改
               volumeAttributes:
                 secretProviderClass: "spc-test"  # 引用上面创建的SPC
         containers:
           - name: nginx-spc
             image: nginx:alpine
             imagePullPolicy: IfNotPresent
             volumeMounts:
               - name: secrets-store-inline
                 mountPath: "/mnt/secrets-store"  # 定义容器内凭据的挂载路径
                 readOnly: true
         imagePullSecrets:
           - name: default-secret

2. 创建业务Pod。

   kubectl apply -f deployment.yaml

   回显结果如下：

   deployment/nginx-spc created

3. 执行以下命令，查看Pod是否已经正常创建。

   kubectl get pod

   回显结果如下，Pod的“STATUS”为“Running”，则说明已正常创建。

   NAME                           READY   STATUS     RESTARTS     AGE
   nginx-spc-67c9d5b594-642np     1/1     Running    0            20s

4. 检查指定的凭据是否正常写入。
   1. 执行以下命令，进入容器内部。

      kubectl exec -ti nginx-spc-67c9d5b594-642np -- /bin/sh

   2. 依次执行以下命令，查找指定凭据。

      cd /mnt/secrets-store/
      ls

      回显结果如下，则说明用户在SPC对象中声明的secret_1已正常写入Pod。

      secret_1

   3. 获取spcPodStatus查看Pod与凭据的绑定情况。
      Ctrl+d退出容器，并执行以下命令，获取spcps资源名称。

      kubectl get spcps

      回显结果如下：

      NAME                                          AGE
      nginx-spc-67c9d5b594-642np-default-spc-test   103s

      执行以下命令，查看Pod与凭据的绑定情况。

      kubectl get spcps nginx-spc-67c9d5b594-642np-default-spc-test -o yaml

      回显结果如下，则说明该Pod与凭据已绑定。

      ......
      status:
      mounted: true
      objects:    # 挂载的凭据信息
      - id: secret_1
      version: v1
      podName: nginx-spc-67c9d5b594-642np   # 引用了SPC对象的Pod
      secretProviderClassName: spc-test               # SPC对象
      targetPath: /mnt/paas/kubernetes/kubelet/pods/6dd29596-5b78-44fb-9d4c-a5027c420617/volumes/kubernetes.io~csi/secrets-store-inline/mount

图2 DEW凭据列表

1. 执行以下命令，创建ServiceAccount对象的YAML文件。

   vim serviceaccount.yaml

   文件内容如下，可以在cce.io/dew-resource字段中声明允许业务使用的凭据名称。如secret_1和secret_2，后续将允许在业务Pod中引用这两个凭据对象。若用户引用未在此处声明的凭据，则会挂载失败，从而导致Pod无法运行。

   apiVersion: v1
   kind: ServiceAccount
   metadata:
     name: nginx-spc-sa
     annotations:
       cce.io/dew-resource: "[\"secret_1\",\"secret_2\"]"  #secrets that allow pod to use

2. 执行以下命令，创建ServiceAccount对象。

   kubectl apply -f serviceaccount.yaml

   回显结果如下：

   serviceaccount/nginx-spc-sa created

3. 执行以下命令，查看ServiceAccount对象是否已经正常创建。

   kubectl get sa

   回显结果如下，则说明名为“nginx-spc-sa”的ServiceAccount对象已正常创建，该对象将在后续的业务Pod中被引用。

   NAME            SECRETS   AGE
   default         1         18d   # 此为系统默认的ServiceAccount对象
   nginx-spc-sa    1         19s   # 此为刚刚创建的ServiceAccount对象

1. 根据如下模板创建secretproviderclass.yaml。

   apiVersion: secrets-store.csi.x-k8s.io/v1
   kind: SecretProviderClass
   metadata:
     name: nginx-deployment-spc-k8s-secrets
   spec:
     provider: cce
     parameters: 
       # 引用凭据管理服务中的凭据
       objects: |
         - objectName: "secret_1"
           objectType: "csms"
           objectVersion: "latest"
           jmesPath:
             - path: key1
               objectAlias: dbusername01
             - path: key2
               objectAlias: dbusername02
     # 根据凭据中的内容创建密钥，然后在Pod中进行挂载使用
     secretObjects:                
       - secretName: my-secret-01
         type: Opaque
         data:
           - objectName: dbusername01
             key: db_username_01
           - objectName: dbusername02
             key: db_username_02

   表3 objects参数说明

   参数	参数类型	是否必选	参数说明
   objectName	String	是	凭据名称，需填写ServiceAccount中引用的凭据。若同一个SecretProviderClass中定义了多个objectName，不允许重名，否则会挂载失败。
   objectType	String	是	凭据类型。当前仅支持“csms”类型，其他均为非法输入。
   objectVersion	String	是	凭据的版本。 指定某个具体的版本：v1,v2,… 指定最新版本：latest。当指定objectVersion为” latest”时，若在云凭据管理服务侧对应的凭据发生了更新，更新后的凭据值将在经过一定时间间隔后（即rotation_poll_interval）刷新至Pod内，即自动开启定时轮转能力。
   jmesPath	Array of Object	是	jmesPath是一种从json格式的对象中提取key-value的工具，CCE密钥管理插件使用该工具支持Secret挂载功能。当凭据中有多个key时，您需要填入多个path和objectAlias。 path：填写DEW服务凭据中的key。 说明： 1.1.57以下版本的插件中，key不能带有+、-、{}、()等特殊符号。 1.1.57及以上版本的插件中，key不能带有\，对其余特殊符号无限制。 objectAlias：挂载到Pod中的文件名，该值需要和secretObjects中定义的objectName保持一致。

   表4 secretObjects参数说明

   参数	参数类型	是否必选	参数说明
   secretName	String	是	密钥名称。
   type	String	是	密钥类型。
   data	Array of Object	是	objectName：在Pod中挂载的文件名，该值需要和objects中定义的objectAlias保持一致。 key：密钥中的key，在Pod中可使用key值对加密内容进行引用。

2. 执行如下命令创建SecretProviderClass对象。

   kubectl apply -f secretproviderclass.yaml

   回显内容如下：

   secretproviderclass/nginx-deployment-spc-k8s-secrets created

3. 执行以下命令，查看SecretProviderClass对象是否已经正常创建。

   kubectl get spc

   回显结果如下：

   NAME                               AGE
   nginx-deployment-spc-k8s-secrets   20h

1. 定义业务负载，在serviceAccountName中引用此前创建好的ServiceAccount对象，secretProviderClass中引用此前创建好的SPC对象，并在mountPath中指定容器内的挂载路径（这里需注意，用户不应该指定”/”，” /var/run”等特殊目录，否则可能影响容器的正常启动）。

   vim deployment.yaml

   文件内容如下：

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: nginx-deployment-k8s-secrets
     labels:
       app: nginx-k8s-secrets
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: nginx-k8s-secrets
     template:
       metadata:
         labels:
           app: nginx-k8s-secrets
       spec:
         serviceAccountName: nginx-spc-sa   # 引用上面创建的ServiceAccount
         containers:
         - name: nginx-deployment-k8s-secrets
           image: nginx
           volumeMounts:   # 在容器中挂载SPC
             - name: secrets-store-inline   # 需要挂载的volume名称
               mountPath: "/mnt/secrets"    # 需要挂载的容器路径
               readOnly: true
           env:    # 设置环境变量，以便容器可以在运行时通过这些环境变量引用密钥
             - name: DB_USERNAME_01      # 工作负载中的变量名
               valueFrom:
                 secretKeyRef:
                   name: my-secret-01    # SPC中定义的密钥名称
                   key: db_username_01   # SPC中定义的密钥key值
             - name: DB_USERNAME_02
               valueFrom:
                 secretKeyRef:
                   name: my-secret-01
                   key: db_username_02
         imagePullSecrets:
           - name: default-secret
         volumes:    # 使用SPC中定义的密钥创建volume
           - name: secrets-store-inline  # 自定义的volume名称
             csi:
               driver: secrets-store.csi.k8s.io
               readOnly: true
               volumeAttributes:
                 secretProviderClass: nginx-deployment-spc-k8s-secrets   # 上一步中创建的SPC名称

2. 创建业务Pod。

   kubectl apply -f deployment.yaml

   回显结果如下：

   deployment/nginx-deployment-k8s-secrets created

3. 执行以下命令，查看Pod是否已经正常创建。

   kubectl get pod

   回显结果如下：

   NAME                                              READY   STATUS     RESTARTS     AGE
   nginx-deployment-k8s-secrets-6c945565fb-s7smv     1/1     Running    0            20s

kubectl get secrets

回显结果如下，结果表明已使用SPC对象中声明的凭据secret_1创建一个密钥my-secret-01。

NAME             TYPE                             DATA   AGE
default-secret   kubernetes.io/dockerconfigjson   1      33d
my-secret-01     Opaque                           2      1h