MRS集群磁盘如何分区的?
MRS集群即发即用,不需用户自行规划磁盘分区。集群节点创建成功后,节点的操作系统磁盘分区说明如表1所示。
分区类型 |
分区目录 |
容量 |
用途 |
---|---|---|---|
OS分区 |
/ |
220GB |
操作系统根分区目录和程序存放目录,包括了所有目录(除去下面指定的目录)。 |
/tmp |
10GB |
临时文件存放目录。 |
|
/var |
10GB |
操作系统运行目录。 |
|
/var/log |
OS盘剩余空间都分配给“/var/log”分区 |
日志存放目录。 |
|
/srv/BigData |
60GB |
作为FusionInsight Manager的数据目录,存放ldapData、Manager、metric_agent等数据,同时为组件数据目录提供挂载点。 |
MRS集群节点创建成功后,节点的非操作系统磁盘会挂载至“/srv/BigData/dataN”目录,例如节点有4块数据盘,则磁盘挂载目录为“/srv/BigData/data1”、“/srv/BigData/data2”、“/srv/BigData/data3”、“/srv/BigData/data4”。
节点上所部署的各组件元数据目录和数据目录按照一定映射规则分配到不同的磁盘分区目录下,各组件数据目录说明可参考表2。
分区类型 |
磁盘分区挂载目录 |
数据目录 |
用途 |
---|---|---|---|
元数据分区 |
/srv/BigData/data1 |
dbdata_om |
OMS的数据库数据目录,如果安装双机Manager,两个OMS节点均包含此分区目录。 |
LocalBackup |
备份集群数据时,如果选择备份在“LocalDir”,则默认存储在该路径下。如果安装双机Manager,两个节点包含此分区目录。 |
||
containers |
WebContainer角色所在节点,存放Container BLU应用的war包和配置集。 |
||
doris/fe |
存放Doris数据库元数据。 |
||
/srv/BigData/data2 |
journalnode |
HDFS JournalNode角色所在节点,存放HDFS的JournalNode元数据。 |
|
dbdata_service |
DBService DBServer角色所在节点,DBService服务数据库目录。 |
||
iotdb/iotdbserver |
IoTDB系统元数据存储路径。 |
||
iotdb/confignode |
存放IoTDB ConfigNode角色元数据。 |
||
/srv/BigData/data3 |
namenode |
HDFS NameNode角色所在节点,存放NameNode数据。 |
|
iotdb/iotdbserver |
IoTDBServer日志数据存储路径。 |
||
/srv/BigData/data4 |
zookeeper |
ZooKeeper quorumpeer角色所在节点,存放ZooKeeper数据。 |
|
hetuengine/qas |
HetuEngine QAS角色所在节点,存放QAS数据。 |
||
业务数据分区 |
/srv/BigData/dataN |
|
存放DataNode数据以及MapReduce任务中间数据。 |
kafka-logs |
存放Kafka Broker数据。 |
||
clickhouse clickhouse_path |
存放ClickHouse数据库数据。 clickhouse_path目录存放ClickHouse元数据信息,只在“data1”目录下存在。 |
||
iotdb/iotdbserver |
存放IoTDB服务的业务数据。 |
||
doris/be |
存放Doris数据库数据。 |
- 元数据分区目录最多使用4块磁盘(data1~data4),各元数据目录根据表2依次映射到“/srv/BigData/data1”~“/srv/BigData/data4”目录下。如果当前节点只挂载了3块数据盘,则data4与data2下的目录合并。如果只挂载了2块数据盘,则data3与data1下的目录合并,data4与data2下的目录合并。
例如,ZooKeeper节点上有4块数据盘,则ZooKeeper的数据目录为“/srv/BigData/data4/zookeeper”,当节点只有3块数据盘时,ZooKeeper的数据目录为“/srv/BigData/data2/zookeeper”。
- 业务数据目录映射规则规则如下:
对于HDFS、KafKa、ClickHouse、IoTDB组件,根据当前节点磁盘挂载数量自动识别符合“/srv/BigData/dataN”的挂载点作为数据目录。
例如当前“/srv/BigData/data1”~“/srv/BigData/data3”目录挂载了磁盘,则DataNode的数据目录为“/srv/BigData/data1/dn”、“/srv/BigData/data2/dn”、“/srv/BigData/data3/dn”,Kafka的数据目录为“/srv/BigData/data1/kafka-logs”、“/srv/BigData/data2/kafka-logs”、“/srv/BigData/data3/kafka-logs”。