更新时间:2024-01-04 GMT+08:00

支持滚动重启

在修改了大数据组件的配置项后,需要重启对应的服务来使得配置生效,使用普通重启方式会并发重启所有服务或实例,可能引起业务断服。为了确保服务重启过程中,尽量减少或者不影响业务运行,可以通过滚动重启来按批次重启服务或实例(对于有主备状态的实例,会先重启备实例,再重启主实例)。滚动重启方式的重启时间比普通重启时间久。

当前MRS集群中,服务和实例是否支持滚动重启如表1所示。
表1 服务和实例是否支持滚动重启

服务

实例

是否支持滚动重启

Alluxio

AlluxioJobMaster

AlluxioMaster

ClickHouse

ClickHouseServer

ClickHouseBalancer

CDL

CDLConnector

CDLService

Flink

FlinkResource

FlinkServer

Flume

Flume

MonitorServer

Guardian

TokenServer

HBase

HMaster

RegionServer

ThriftServer

RESTServer

HetuEngine

HSBroker

HSConsole

HSFabric

QAS

HDFS

NameNode

Zkfc

JournalNode

HttpFS

DataNode

Hive

MetaStore

WebHCat

HiveServer

Hue

Hue

Impala

Impalad

StateStore

Catalog

IoTDB

IoTDBServer

Kafka

Broker

KafkaUI

Kudu

KuduTserver

KuduMaster

Loader

Sqoop

Mapreduce

JobHistoryServer

Oozie

oozie

Presto

Coordinator

Worker

Ranger

RangerAdmin

UserSync

TagSync

Spark

JobHistory

JDBCServer

SparkResource

Storm

Nimbus

UI

Supervisor

Logviewer

Tez

TezUI

Yarn

ResourceManager

NodeManager

Zookeeper

Quorumpeer

使用限制

  • 请在低业务负载时间段进行滚动重启操作。
    • 例如:在滚动重启kafka服务时候, 如果kafka服务业务吞吐量很高(100M/s以上的情况下),会出现kafka服务滚动重启失败的情况。
    • 例如:在滚动重启HBase服务时候,如果原生界面上每个RegionServer上每秒的请求数超过1W,需要增大handle数来预防重启过程中负载过大导致的RegionServer重启失败。
  • 重启前需要观察当前hbase的负载请求数(原生界面上每个rs的请求数如果超过1W,需要增大handle数来预防到时候负载不过来)
  • 在集群Core节点个数小于6个的情况下,可能会出现业务短时间受影响的情况。
  • 请优先使用滚动重启操作来重启实例或服务,并勾选“仅重启配置过期的实例”

滚动重启服务

  1. 选择集群列表 > 现有集群,单击集群名称进入集群详情页面。
  2. 单击“组件管理”,选择需要滚动重启的服务,进入服务页面。
  3. “服务状态”页签单击“更多”,选择“滚动重启服务”

    图1 服务状态(以MRS 1.9.2版本为例)

  4. 弹出“滚动重启服务”页面,勾选“仅重启配置过期的实例”,单击确定,开始滚动重启服务。

    图2 滚动重启服务配置

  5. 滚动重启任务完成后,单击“完成”

    图3 滚动重启服务完成

滚动重启实例

  1. 选择集群列表 > 现有集群,单击集群名称进入集群详情页面。
  2. 单击“组件管理”,选择需要滚动重启的服务,进入服务页面。
  3. “实例”页签,勾选要重启的实例,单击“更多”,选择“滚动重启实例”

    图4 滚动重启实例

  4. 弹出“滚动重启实例”页面,勾选“仅重启配置过期的实例”,单击确定,开始滚动重启实例。
  5. 滚动重启任务完成后,单击“完成”

滚动重启集群

  1. 选择集群列表 > 现有集群,单击集群名称进入集群详情页面。
  2. 在页面右上角选择“管理操作 > 滚动重启集群”。

    图5 滚动重启集群(以MRS 1.9.2版本为例)

  3. 弹出“滚动重启集群”页面,勾选“仅重启配置过期的实例”,单击确定,开始滚动重启集群。
  4. 滚动重启任务完成后,单击“完成”

滚动重启参数说明

滚动重启参数说明如表2所示。

表2 滚动重启参数说明

参数名称

描述

仅重启配置过期的实例

是否只重启集群内修改过配置的实例。

启用机架策略

是否启用机架并发滚动重启策略,只对满足机架策略滚动重启的角色(角色支持机架感知功能,且角色下的实例归属于2个或2个以上的机架)生效。

说明:

该参数仅在MRS 3.x及之后版本滚动重启HDFS、Yarn时可设置。

数据节点滚动重启并发数

采用分批并发滚动重启策略的数据节点实例每一个批次重启的实例数,默认为1,取值范围为1~20。只对数据节点有效。

批次时间间隔

滚动重启实例批次之间的间隔时间,默认为0,取值范围为0~2147483647,单位为秒。

说明:设置批次时间间隔参数可以增加滚动重启期间大数据组件进程的稳定性。建议设置该参数为非默认值,例如10。

退服超时时间

角色实例在滚动重启过程中的退服等待时间。

批次容错阈值

滚动重启实例批次执行失败容错次数,默认为0,即表示任意一个批次的实例重启失败后,滚动重启任务终止。取值范围为0~2147483647。

典型场景操作步骤

  1. 选择集群列表 > 现有集群,单击集群名称进入集群详情页面。
  2. 单击“组件管理”,选择HBase,进入HBase服务页面。
  3. 单击“服务配置”页签,修改HBase某个参数并保存配置,根据界面提示进行保存。

    MRS 3.x之前版本存在“重新启动受影响的服务或实例”参数,请勿勾选,该处重启是普通重启方式,会并发重启所有服务或实例,引起业务断服。

  4. 保存配置完成后,单击“完成”
  5. 选择“服务状态”页签。
  6. “服务状态”页签单击“更多”,选择“滚动重启服务”

    图6 服务状态-滚动重启(以MRS 1.9.2版本为例)

  7. 弹出“滚动重启服务”页面,勾选“仅重启配置过期的实例”,单击确定,开始滚动重启。

    图7 配置滚动重启服务

  8. 滚动重启任务完成后,单击“完成”

    图8 滚动重启任务完成