本地集群如何扩容容器智能分析插件的存储磁盘?
问题描述
当容器智能分析插件(kube-prometheus-stack)所依赖的PVC存储中的磁盘写满时,prometheus-server-0 Pod的日志标准输出会出现“no space left on device”报错,此时普罗无法正常工作,需要对PVC所处的节点磁盘进行扩容并重启prometheus-server-0 Pod。
操作步骤
- 检查Prometheus的PVC信息,获取PVC绑定的PV所在的节点和路径。
kubectl describe pvc pvc-prometheus-server-0 -nmonitoring|grep volume.kubernetes.io/selected-node
kubectl describe pvc pvc-prometheus-server-0 -nmonitoring|grep volume.kubernetes.io/targetPath
- 登录到存储的节点,执行df -TH,查询节点磁盘配置,并根据节点磁盘的配置进行扩容。扩容完成后,还需要完成磁盘的分区,分区操作可参考《云硬盘用户指南》扩展磁盘分区和文件系统(linux)。
- 扩容及分区完成后,重启普罗插件。
kubectl delete pod prometheus-server-0 -nmonitoring
重启prometheus-server-0将导致重启期间容器智能分析功能不可用,请合理选择重启时间。