重启MRS集群组件

Alluxio

AlluxioJobMaster

是

AlluxioMaster

ClickHouse

ClickHouseServer

是

ClickHouseBalancer

CDL

CDLConnector

是

CDLService

Flink

FlinkResource

否

FlinkServer

Flume

Flume

是

MonitorServer

Guardian

TokenServer

是

HBase

HMaster

是

RegionServer

ThriftServer

RESTServer

HetuEngine

HSBroker

是

HSConsole

HSFabric

QAS

HDFS

NameNode

是

Zkfc

JournalNode

HttpFS

DataNode

Hive

MetaStore

是

WebHCat

HiveServer

Hue

Hue

否

Impala

Impalad

否

StateStore

Catalog

IoTDB

IoTDBServer

是

Kafka

Broker

是

KafkaUI

否

Kudu

KuduTserver

是

KuduMaster

Loader

Sqoop

否

Mapreduce

JobHistoryServer

是

Oozie

oozie

否

Presto

Coordinator

是

Worker

Ranger

RangerAdmin

是

UserSync

TagSync

Spark

JobHistory

是

JDBCServer

SparkResource

Storm

Nimbus

是

UI

Supervisor

Logviewer

Tez

TezUI

否

Yarn

ResourceManager

是

NodeManager

ZooKeeper

Quorumpeer

是

IoTDB

3min

IoTDBServer：3min

-

CDL

2min

• CDLConnector：1min
• CDLService：1min

-

ClickHouse

4min

• ClickHouseServer：2min
• ClickHouseBalancer：2min

-

HDFS

10min+x

• NameNode：4min+x
• DataNode：2min
• JournalNode：2min
• Zkfc：2min

x为NameNode元数据加载时长，每千万文件大约耗时2分钟，例如5000万文件x为10分钟。

由于受DataNode数据块上报影响启动时间有一定浮动。

Yarn

5min+x

• ResourceManager：3min+x
• NodeManager：2min

x为ResourceManager保留任务数恢复时长，每1万保留任务大约需要1分钟。

Mapreduce

2min+x

JobHistoryServer：2min+x

x为历史任务扫描时长，每10万任务大约2.5分钟。

ZooKeeper

2min+x

quorumpeer：2min+x

x为加载znode节点时长，每100万znode大约1分钟。

Hive

3.5min

• HiveServer：3min
• MetaStore：1min30s
• WebHcat：1min
• Hive整体服务：3min

-

Spark2x

5min

• JobHistory2x：5min
• SparkResource2x：5min
• JDBCServer2x：5min

-

Flink

4min

• FlinkResource：1min
• FlinkServer：3min

-

Kafka

2min+x

• Broker：1min+x
• KafkaUI：5 min

x为数据恢复时长，单实例20000 partition启动所需时长大约2分钟。

Storm

6min

• Nimbus：3mins
• UI：1min
• Supervisor：1min
• Logviewer：1min

-

Flume

3min

• Flume：2 min
• MonitorServer：1min

-

Doris

2分钟

• FE：1min
• BE：1min
• DBroker：1min

-

ClickHouse

滚动重启过程中，已经提交的业务如果在超时时间内（默认30分钟）可以执行完成，则无影响。

正在执行滚动重启的节点将会拒绝所有新请求（影响单副本业务和on cluster操作，以及直连当前重启实例的业务），正在执行的请求若在超时时间（默认30分钟）内没有执行完会失败。

DBService

滚动重启过程中，业务均正常。

滚动重启过程中可能会出现DBService主备节点心跳中断告警。

Doris

需要满足以下条件，滚动重启过程中Doris业务才会不中断：

• 业务需要使用ELB或DBalancer连接Doris提交相关任务。
• 业务读写的表必须是多副本（推荐3副本）。
• 已经提交的业务如果在超时时间（默认30分钟）内执行完成，则无影响，否则会失败。

滚动重启中，总的资源量会下降影响任务最大内存/cpu使用量，极端情况任务会出现资源不足失败，对于运行时间超时（滚动默认30分钟）失败的任务，建议进行重试。

Flink

滚动重启过程中，业务均正常。

滚动重启过程中，FlinkServer UI将无法访问。

Flume

满足如下条件才能做到业务不中断、数据不丢失：

• 需要采用持久化缓存的方式，如使用File Channel。
• 需要配置Flume级联。
• Flume需要客户端Sink支持故障迁移或负载均衡模式。

• 非持久化缓存的Channel会造成数据丢失。
• 故障迁移过程会造成短暂性能下降。

Guardian

滚动重启过程中，业务均正常。

无

HBase

滚动重启过程中，HBase的读写业务正常。

• RegionServer滚动重启期间实时读写业务性能可能下降。
• HMaster滚动重启过程中，除实时读写（不包括BulkLoad）以外的业务都会受影响。

  创建表（create）

  创建namespace（create_namespace）

  禁用表（disable、disable_all）

  重建表（truncate、truncate_preserve）

  移动region（move）

  下线region（unassign）

  合并region（merge_region）

  分裂region（split）

  开启balance（balance_switch）

  容灾操作（add_peer、remove_peer、enable_table_replication、disable_peer、show_peer_tableCFs、set_peer_tableCFs、enable_peer、disable_table_replication、set_clusterState_active、set_clusterState_standby）

  集群状态查询（status）

HDFS

• 由于NameNode节点会主备倒换，导致系统在短暂时间内出现无主现象（主备倒换过渡期），可能会出现HDFS服务不可用告警信息，运行的读写任务会报错，但是不会中断业务。
• 滚动重启DataNode可能导致部分正在读写的数据报错，客户端进行重试读写速率受到一定影响。
• 滚动重启ZKFC过程中会导致NameNode主备倒换。
• 滚动重启HDFS时如果启用机架策略，则可能会影响业务正常读写。

当为第三方客户端时，滚动重启过程中无法保证第三方客户端可靠性。

HetuEngine

• HSFabric的实例至少存在2个，且对接使用的HSFabric也至少存在2个，能够支持滚动重启过程中跨域业务不中断。
• HSBroker、HSConsole和QAS滚动重启时，HetuEngine业务不中断。
• 需要保证HetuEngine计算实例中Coordinator和Worker节点都至少为2个才能进行计算实例的滚动重启，计算实例滚动重启不中断业务。

• HSFabric正在滚动重启的节点会拒绝所有新请求，正在执行的SQL请求若在超时时间（默认30分钟）内没有执行完会失败。
• 滚动重启过程中，在HSConsole页面不能执行运维操作。
• HetuEngine计算实例滚动重启时，性能会下降约20%，SQL执行消耗内存超过配置“query_max_total_memory”的80%时，SQL任务会失败。

Hive

滚动重启过程中，执行时间超过退服超时时间的业务可能失败。

• 如果当前有执行时间超过滚动重启超时时间的任务，在重启过程中有可能出现任务失败，任务失败后重试即可。
• 滚动重启的节点不再接收新的请求，其他实例节点处理的请求会变多，会占用更多的资源。

Kafka

滚动重启过程中，Kafka多副本的Topic读写业务正常，单副本Topic会中断业务。

• 禁止进行增删改topic、partition信息操作。
• 如果Producer中配置acks=1或者acks=0，滚动重启过程中，若副本的数据在30min内没有同步完成，则会强制重启下一个Broker。对于副本刚好在这两个Broker的双副本的Partition，服务端配置中unclean.leader.election.enable的配置值如果是true，那么可能存在数据丢失风险；如果配置值是false，可能导致该Partition一段时间内没有Leader，直到该Broker启动完成。

KrbServer

滚动重启过程中，业务正常。

滚动重启过程中，集群Kerberos认证耗时可能会增加。

LdapServer

滚动重启过程中，业务正常。

滚动重启过程中，集群Kerberos认证耗时可能会增加。

Mapreduce

无

• 滚动重启期间可能无法查看任务日志。
• 单JobHistoryServer实例场景下，停止JobHistoryServer会导致依赖它的其他上层组件全部显示故障。

Ranger

滚动重启过程中，业务均正常。

Ranger的RangerAdmin、RangerKMS、PolicySync实例均为双活配置，滚动重启过程中可轮流对外提供服务，UserSync仅支持一个实例配置，重启过程中无法同步用户。

用户同步周期为五分钟，而UserSync重启时间较短，因此对用户同步的影响较小。

Spark

除列出的几项限制外，其他业务均不受影响。

• 在HBase进行滚动重启过程中，不能在Spark中创建或删除Spark on HBase表。
• 在HBase执行滚动重启过程中，会进行HMaster的主备倒换，在HMaster主备倒换期间，Spark on HBase功能不可用。
• 如果用户使用了Kafka高级API，则在滚动重启过程中，不能保证Spark读写Kafka不中断，以及数据不丢失。
• ZooKeeper滚动重启过程中，启动spark-beeline会失败。
• Yarn滚动重启过程中，Spark任务可能造成task级别、stage级别、application级别的重试。
• Spark的JDBCServer滚动重启时，如果有长时间运行的任务，会将任务终止。

Yarn

• 滚动升级过程中，由于ResourceManager节点会切主，运行任务会报错，但是不会中断业务。
• NodeManager滚动重启过程中，提交到该节点的Container可能会重试到其他节点。

Yarn滚动重启过程中，在Yarn上运行的任务可能会因为重试次数过多导致业务异常。

ZooKeeper

滚动重启过程中，ZooKeeper的读写业务正常。

• ZooKeeper滚动重启会影响ClickHouse业务，实例重启期间会导致ClickHouse表只读，每个quorumpeer实例影响约10秒。
• ZooKeeper滚动重启会导致Loader HA中ZooKeeper断连，Loader会自行尝试重试3次，每次10秒，如果依旧无法连接ZooKeeper，主LoaderServer会降备，然后重新选主。