文档首页 > > 用户指南> 高危操作及解决方案

高危操作及解决方案

分享
更新时间:2020/09/18 GMT+08:00

业务部署或运行过程中,用户可能会触发不同层面的高危操作,导致不同程度上的业务故障。为了能够更好地帮助用户预估及避免操作风险,本文将从集群/节点维度出发,为用户展示哪些高危操作会导致怎样的后果,以及为用户提供相应的误操作解决方案。

集群/节点

表1 集群及节点高危操作

分类

高危操作

导致后果

误操作后解决方案

master节点

修改集群内节点安全组

可能导致master节点无法使用

说明:

命名规则:集群名称-cce-control-随机数

参照新建集群的安全组进行修复,放通安全组。

节点到期或被销毁

该master节点不可用

不可恢复。

重装操作系统

master组件被删除

不可恢复。

自行升级master或者etcd组件版本

可能导致集群无法使用

回退到原始版本。

删除或格式化节点/etc/kubernetes等核心目录数据

该master节点不可用

不可恢复。

更改节点IP

该master节点不可用

改回原IP。

自行修改核心组件(etcd、kube-apiserver、docker等)参数

可能导致master节点不可用

按照推荐配置参数恢复,详情请参见配置管理

自行更换master或etcd证书

可能导致集群不可用

不可恢复。

worker节点

修改集群内节点安全组

可能导致节点无法使用

说明:

命名规则:集群名称-cce-node-随机数

参照新建集群的安全组进行修复,放通安全组。

节点被删除

该节点不可用

不可恢复。

重装操作系统

节点组件被删除,节点不可用

重置节点,具体请参见重置节点

升级节点内核

可能导致节点无法使用或网络异常

说明:

CCE集群依赖系统内核版本,如非必要,请不要使用yum update更新或重装节点的操作系统内核(使用原镜像或其它镜像重装均属高危操作)

EulerOS 2.2恢复方式请参见如何解决yum update升级操作系统导致容器网络不可用问题?

非EulerOS 2.2您可以重置节点,具体请参见重置节点

更改节点IP

节点不可用

改回原IP。

自行修改核心组件(kubelet、kube-proxy等)参数

可能导致节点不可用、修改安全相关配置导致组件不安全等

按照推荐配置参数恢复,详情请参见配置管理

修改操作系统配置

可能导致节点不可用

尝试还原配置项或重置节点,具体请参见重置节点

删除/opt、/var/paas目录,删除数据盘

节点不可用

重置节点,具体请参见重置节点

修改节点内目录权限、容器目录权限等

权限异常

不建议修改,请自行恢复。

对节点进行磁盘格式化或分区

节点不可用

重置节点,具体请参见重置节点

在节点上安装自己的其他软件

导致安装在节点上的Kubernetes组件异常,节点状态变成不可用,无法部署工作负载到此节点

卸载已安装软件,尝试恢复或重置节点,具体请参见重置节点

网络与负载均衡

表2 网络与负载均衡

高危操作

导致后果

误操作后解决方案

修改内核参数net.ipv4.ip_forward=0

网络不通

修改内核参数为 net.ipv4.ip_forward=1

修改内核参数net.ipv4.tcp_tw_recycle=1

导致nat异常

修改内核参数 net.ipv4.tcp_tw_recycle=0

节点安全组配置未放通容器CIDR的53端口udp

集群内DNS无法正常工作

参照新建集群的安全组进行修复,放通安全组。

通过ELB的控制台在CCE管理的ELB创建自定义的监听器

所做修改被CCE侧重置

通过service的yaml来自动创建监听器。

通过ELB的控制台在CCE管理的ELB绑定自定义的后端rs

禁止手动绑定后端rs。

通过ELB的控制台修改CCE管理的ELB的证书

通过ingress的yaml来自动管理证书。

通过ELB的控制台修改CCE管理的ELB监听器名称

禁止修改CCE管理的ELB监听器名称。

日志

表3 日志

高危操作

导致后果

误操作后解决方案

删除宿主机 /tmp/ccs-log-collector/pos 目录

日志重复采集

删除宿主机 /tmp/ccs-log-collector/buffer 目录

日志丢失

云硬盘

表4 云硬盘

高危操作

导致后果

误操作后解决方案

备注

控制台手动解挂EVS

Pod写入报io error

删掉node上mount目录,重新调度Pod

Pod里面的文件记录了文件的采集位置

节点上umount磁盘挂载路径

Pod写入本地磁盘

重新mount对应目录到Pod中

Buffer里面是待消费的日志缓存文件

节点上直接操作EVS

Pod写入本地磁盘

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问