创建自定义拓扑集群
MRS当前提供的“分析集群”、“流式集群”和“混合集群”采用固定模板进行部署集群的进程，无法满足用户自定义部署管理角色和控制角色在集群节点中的需求。如需自定义集群部署方式，可在创建集群时的“集群类型”选择“自定义”，实现用户自主定义集群的进程实例在集群节点中的部署方式。仅MRS 3.x及之后版本支持创建自定义拓扑集群。
自定义集群可实现以下功能：
- 管控分离部署，管理角色和控制角色分别部署在不同的Master节点中。
- 管控合设部署，管理角色和控制角色共同部署在Master节点中。
- ZooKeeper单独节点部署，增加可靠性。
- 组件分开部署，避免资源争抢。
MRS集群中角色类型：
- 管理角色：Management Node(MN)，安装Manager，即MRS集群的管理系统，提供统一的访问入口。Manager对部署在集群中的节点及服务进行集中管理。
- 控制角色：Control Node(CN)，控制监控数据角色执行存储数据、接收数据、发送进程状态及完成控制节点的公共功能。 MRS的控制节点包括HMaster、HiveServer、ResourceManager、NameNode、JournalNode、SlapdServer等。
- 数据角色：Data Node(DN)，执行管理角色发出的指示，上报任务状态、存储数据，以及执行数据节点的公共功能。MRS的数据节点包括DataNode、RegionServer、NodeManager等。
创建自定义集群
- 登录MRS管理控制台。
- 单击“创建集群”，进入“创建集群”页面。
- 在创建集群页面，选择“自定义创建”页签。
- 参考下列参数说明配置集群软件信息，参数详细信息请参考软件配置。
- 区域：默认即可。
- 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs_20180321”。
- 集群版本：目前仅MRS 3.x版本支持。
- 集群类型：选择“自定义”并根据需要勾选对应组件。
- 单击“下一步”，并配置硬件信息。
- 可用区：默认即可。
- 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。
- 子网：默认即可。
- 安全组：选择“自动创建”。
- 弹性公网IP：选择“暂不绑定”。
- 企业项目：默认即可。
- 常用模板：具体说明请参见自定义集群模板说明。
- 实例规格：单击
配置实例规格、系统盘和数据盘存储类型和存储空间。 - 实例数量：请根据业务量调整集群实例数量。具体可参考表2。
- 拓扑调整：若常用模板中的部署方式不满足需求，请设置“拓扑调整”为“开启”，然后根据业务需要调整实例部署方式，具体说明请参见自定义集群拓扑调整说明。
- 单击“下一步”进入高级配置页签。
参数说明请参见高级配置（可选）。
- 单击“立即创建”。
当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。
- 单击“返回集群列表”，可以查看到集群创建的状态。
集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。
自定义集群模板说明
|
常用模板 |
说明 |
节点数量范围 |
|---|---|---|
|
管控合设 |
管理角色和控制角色共同部署在Master节点中，数据实例合设在同一节点组。该部署方式适用于100个以下的节点，可以减少成本。 |
|
|
管控分设 |
管理角色和控制角色分别部署在不同的Master节点中，数据实例合设在同一节点组。该部署方式适用于100-500个节点，在高并发负载情况下表现更好。 |
|
|
数据分设 |
管理角色和控制角色分别部署在不同的Master节点中，数据实例分设在不同节点组。该部署方式适用于500个以上的节点，可以将各组件进一步分开部署，适用于更大的集群规模。 |
|
|
节点部署原则 |
适用场景 |
组网规则 |
|
|---|---|---|---|
|
管理节点、控制节点和数据节点分开部署 （此方案至少需要8个节点） |
MN × 2 + CN × 9 + DN × n |
（推荐）数据节点数500-2000时采用此方案 |
|
|
MN × 2 + CN × 5 + DN × n |
（推荐）数据节点数100-500时采用此方案 |
||
|
MN × 2 + CN × 3 + DN × n |
（推荐）数据节点数30-100时采用此方案 |
||
|
管理节点和控制节点合并部署，数据节点单独部署 |
(MN+CN) × 3 + DN × n |
（推荐）数据节点数3-30时采用此方案 |
集群内节点部署在同一子网，集群内通过汇聚交换机二层互联。 |
|
管理节点、控制节点和数据节点合并部署 |
说明：
生产环境或商用环境不推荐使用此场景：
|
集群内节点部署在同一子网，集群内通过汇聚交换机二层互联。 |
|
自定义集群拓扑调整说明
|
服务名称 |
依赖关系 |
角色名称 |
角色业务部署建议 |
说明 |
|---|---|---|---|---|
|
OMSServer |
- |
OMSServer |
部署在Master节点上，不支持修改。 |
- |
|
ClickHouse |
依赖ZooKeeper |
ClickHouse |
所有节点均可部署。 角色实例部署数量范围：偶数个，最大24。 |
部署了该角色的非Master节点组会被认为是Core节点类型。 |
|
DBService |
- |
DBServer |
只能部署在Master节点上。 角色实例部署数量范围：1~2。 |
- |
|
ZooKeeper |
- |
QP(quorumpeer) |
只能部署在Master节点上。 角色实例部署数量范围：1或者3或者5。 |
- |
|
Hadoop |
依赖ZooKeeper |
NN(NameNode) |
只能部署在Master节点上。 角色实例部署数量范围：1~2。 |
NameNode与Zkfc进程共机部署用于集群高可用 |
|
JN(JournalNode) |
只能部署在Master节点上。 角色实例部署数量范围：1或者3。 |
- |
||
|
DN(DataNode) |
所有节点均可部署。 角色实例部署数量范围：1~所有节点实例。 |
部署了该角色的非Master节点组会被认为是Core节点类型。 |
||
|
RM(ResourceManager) |
只能部署在Master节点上。 角色实例部署数量范围：1~2。 |
- |
||
|
NM(NodeManager) |
所有节点均可部署。 角色实例部署数量范围：1~所有节点实例。 |
- |
||
|
JHS(JobHistoryServer) |
只能部署在Master节点上。 角色实例部署数量范围：1~2。 |
- |
||
|
TLS(TimelineServer) |
只能部署在Master节点上。 角色实例部署数量范围：1。 |
- |
||
|
Presto |
依赖Hive |
PCD(Coordinator) |
只能部署在Master节点上。 角色实例部署数量范围：1~2。 |
- |
|
PWK(Worker) |
所有节点均可部署。 角色实例部署数量范围：1~所有节点实例。 |
- |
||
|
Spark2x |
|
JS2x(JDBCServer) |
只能部署在Master节点上。 角色实例部署数量范围：2~所有master节点。 |
- |
|
JH2x(JobHistory) |
只能部署在Master节点上。 角色实例部署数量范围：1~2。 |
- |
||
|
SR2x(SparkResource) |
只能部署在Master节点上。 角色实例部署数量范围：2~所有master节点。 |
- |
||
|
IS2X(IndexServer2x) |
（可选）只能部署在Master节点行。 角色实例部署数量范围：0~2。 |
- |
||
|
HBase |
依赖Hadoop |
HM(HMaster) |
只能部署在Master节点上。 角色实例部署数量范围：1~2。 |
- |
|
TS (ThriftServer) |
只能部署在Master节点上。 角色实例部署数量范围：1~所有master节点。 |
- |
||
|
RT(RESTServer) |
只能部署在Master节点上。 角色实例部署数量范围：1~所有master节点。 |
- |
||
|
RS(RegionServer) |
所有节点均可部署。 角色实例部署数量范围：1~所有节点。 |
- |
||
|
Hive |
|
MS(MetaStore) |
只能部署在Master节点上。 角色实例部署数量范围：1~2。 |
- |
|
WebHCat |
只能部署在Master节点上。 角色实例部署数量范围：1~2。 |
- |
||
|
HS(HiveServer) |
只能部署在Master节点上。 角色实例部署数量范围：1~所有master节点。 |
- |
||
|
Hue |
依赖DBService |
Hue |
只能部署在Master节点上。 角色实例部署数量范围：1~2。 |
- |
|
Loader |
|
LS(Sqoop) |
所有节点均可部署。 角色实例部署数量范围：1~所有节点。 |
- |
|
Sqoop |
依赖Hadoop |
SS(SqoopClient) |
所有节点均可部署。 角色实例部署数量范围：1~所有节点。 |
- |
|
Kafka |
依赖ZooKeeper |
Broker |
所有节点均可部署。 角色实例部署数量范围：1~所有节点。 |
- |
|
MirrorMaker |
所有节点均可部署。 角色实例部署数量范围：1~所有节点。 |
- |
||
|
Storm |
依赖ZooKeeper |
Supervisor |
所有节点均可部署。 角色实例部署数量范围：0~所有节点。 |
Logviewer会和该角色共节点部署。 |
|
Nimbus |
只能部署在Master节点上。 角色实例部署数量范围：1~2。 |
Web UI会和该角色共节点部署。 |
||
|
Flume |
- |
MonitorServer |
只能部署在Master节点上。 角色实例部署数量范围：1~2。 |
- |
|
Flume |
所有节点均可部署。 角色实例部署数量范围：1~所有节点。 |
部署了该角色的非Master节点组会被认为是Core节点类型。 |
||
|
Tez |
依赖Hive |
TezUI |
只能部署在Master节点上。 角色实例部署数量范围：1~2。 |
- |
|
Flink |
- |
FlinkResource |
所有节点均可部署。 角色实例部署数量范围：1~所有节点。 |
- |
|
Alluxio |
- |
AMS(AlluxioMaster) |
只能部署在Master节点上。 角色实例部署数量范围：1或者3。 |
- |
|
AJMS(AlluxioJobMaster) |
只能部署在Master节点上。 角色实例部署数量范围：1或者3。 |
- |
||
|
AWK(AlluxioWorker) |
所有节点均可部署。 角色实例部署数量范围：1~所有节点。 |
- |
||
|
AJWK(AlluxioJobWorker) |
所有节点均可部署。 角色实例部署数量范围：1~所有节点。 |
- |
||
|
Ranger |
- |
admin(RangerAdmin) |
只能部署在Master节点上。 角色实例部署数量范围：1~2。 |
- |
|
usersync(RangerUserSync) |
只能部署在Master节点上。 角色实例部署数量范围：1。 |
- |
