MRS集群常用配置文件及日志目录
该章节内容仅适用于MRS 3.x及之后版本集群。
集群安装目录
MRS集群创建完成后，默认集群内组件的安装目录为“/opt/Bigdata”，安装目录内的主要目录说明如表1所示。
|
目录名称 |
目录内容 |
|---|---|
|
/opt/Bigdata/common |
MRS集群公共资源目录，包含jdk/jre目录、密钥存放目录等。 |
|
/opt/Bigdata/components |
MRS集群组件定义目录 |
|
/opt/Bigdata/FusionInsight_部件名称_版本号 |
MRS集群内已注册部件的安装目录，例如“/opt/Bigdata/FusionInsight_HD_8.1.2.2”。 |
|
/opt/Bigdata/FusionInsight_部件名称_版本号/install/FusionInsight-组件名称-XXX |
MRS集群内已安装组件的运行目录，例如“/opt/Bigdata/FusionInsight_HD_8.1.2.2/install/FusionInsight-Hadoop-3.1.1”。 |
|
/opt/Bigdata/FusionInsight_Current |
MRS集群已安装组件工作区指引目录。 |
|
/opt/Bigdata/om-agent_版本号 |
Manager的OMA模块运行目录。 |
|
/opt/Bigdata/om-server_版本号 |
Manager的OMS模块运行目录。 |
|
/opt/Bigdata/packaged-distributables |
MRS集群部件安装包的安装目录。 |
|
/opt/Bigdata/third_lib/组件名 |
组件用户自定义jar包放置目录。 |
组件日志目录
MRS集群的日志保存路径为“/var/log/Bigdata”，各组件的运行日志目录可参考表2。
更多关于MRS集群日志检视、下载相关操作，请参考查看MRS集群日志。
|
文件目录 |
日志内容 |
|---|---|
|
/var/log/Bigdata/audit |
组件审计日志。 |
|
/var/log/Bigdata/controller |
日志采集脚本日志。 controller进程日志。 controller监控日志。 |
|
/var/log/Bigdata/dbservice |
DBService日志。 |
|
/var/log/Bigdata/flume |
Flume日志。 |
|
/var/log/Bigdata/hbase |
HBase日志。 |
|
/var/log/Bigdata/hdfs |
HDFS日志。 |
|
/var/log/Bigdata/hive |
Hive日志。 |
|
/var/log/Bigdata/hetuengine |
HetuEngine日志。 |
|
/var/log/Bigdata/httpd |
httpd日志。 |
|
/var/log/Bigdata/hue |
Hue日志。 |
|
/var/log/Bigdata/kerberos |
Kerberos日志。 |
|
/var/log/Bigdata/ldapclient |
LDAP客户端日志。 |
|
/var/log/Bigdata/ldapserver |
LDAP服务端日志。 |
|
/var/log/Bigdata/loader |
Loader日志。 |
|
/var/log/Bigdata/logman |
logman脚本日志管理日志。 |
|
/var/log/Bigdata/mapreduce |
MapReduce日志。 |
|
/var/log/Bigdata/nodeagent |
NodeAgent日志。 |
|
/var/log/Bigdata/okerberos |
OMS Kerberos日志。 |
|
/var/log/Bigdata/oldapserver |
OMS LDAP日志。 |
|
/var/log/Bigdata/metric_agent |
MetricAgent运行日志。 |
|
/var/log/Bigdata/omm |
oms：“omm”服务端的复杂事件处理日志、告警服务日志、HA日志、认证与授权管理日志和监控服务运行日志。 oma：“omm”代理端的安装运行日志。 core：“omm”代理端与“HA”进程失去响应的dump日志。 |
|
/var/log/Bigdata/spark2x |
Spark2x日志。 |
|
/var/log/Bigdata/sudo |
omm执行sudo命令产生的日志。 |
|
/var/log/Bigdata/timestamp |
时间同步管理日志。 |
|
/var/log/Bigdata/tomcat |
Tomcat日志。 |
|
/var/log/Bigdata/watchdog |
Watchdog日志。 |
|
/var/log/Bigdata/yarn |
Yarn日志。 |
|
/var/log/Bigdata/zookeeper |
ZooKeeper日志。 |
|
/var/log/Bigdata/oozie |
Oozie日志。 |
|
/var/log/Bigdata/kafka |
Kafka日志。 |
|
/var/log/Bigdata/storm |
Storm日志。 |
|
/var/log/Bigdata/iotdb |
IoTDB日志。 |
|
/var/log/Bigdata/cdl |
CDL日志。 |
|
/var/log/Bigdata/upgrade |
升级OMS日志。 |
|
/var/log/Bigdata/update-service |
升级服务日志。 |
|
/var/log/Bigdata/patch |
补丁日志。 |
客户端常见配置文件介绍
在上层应用开发、外部系统对接等场景中，用户需要通过MRS集群客户端快速获取MRS集群相关配置文件。各组件常见客户端配置文件可参考表3。
|
组件名 |
文件路径 |
文件说明 |
|---|---|---|
|
Flink |
客户端安装目录/Flink/flink/conf/flink-conf.yaml |
Flink核心配置文件，用于定义集群资源分配、高可用性、状态存储、网络参数等全局运行配置，影响所有提交Flink作业的执行环境。 |
|
HBase |
客户端安装目录/HBase/hbase/conf/hbase-site.xml |
HBase集群启动和运行的基础配置文件，包含了数据存储路径、 ZooKeeper连接信息、Region服务器参数等信息。 |
|
HDFS |
客户端安装目录/HDFS/hadoop/etc/hadoop/hdfs-site.xml |
HDFS详细参数文件，例如控制数据存储、冗余策略和节点行为的相关配置等。 |
|
客户端安装目录/HDFS/hadoop/etc/hadoop/core-site.xml |
Hadoop全局通用配置参数文件，例如包含了集群的基础通信协议、默认文件系统和全局安全设置等，是所有Hadoop组件共享的核心配置文件。 |
|
|
HetuEngine |
客户端安装目录/HetuEngine/hetuserver/conf/hetuserver-client.properties |
配置HetuEngine客户端连接参数。 |
|
Hive |
客户端安装目录/Hive/config/hive-site.xml |
Hive 的主配置文件，定义客户端与服务端的核心参数。 |
|
Kafka |
客户端安装目录/Kafka/kafka/config/client.properties |
Kafka客户端的基础配置，定义与Kafka集群连接的通用参数。 |
|
客户端安装目录/Kafka/kafka/config/consumer.properties |
Kafka的消费者配置信息，控制消息消费行为，如偏移量管理、分区分配策略等。 |
|
|
客户端安装目录/Kafka/kafka/config/producer.properties |
Kafka的生产者配置信息，控制消息发送行为，如重试策略、序列化方式、分区策略等。 |
|
|
客户端安装目录/Kafka/kafka/config/server.properties |
Kafka服务端的配置信息，包含Kafka集群的运行模式、网络通信、存储策略及性能调优等关键参数。 |
|
|
MapReduce |
客户端安装目录/Yarn/config/mapred-site.xml |
定义MapReduce作业的运行参数、资源分配策略以及与YARN的集成方式。 |
|
Spark |
客户端安装目录/Spark2x/spark/conf/spark-defaults.conf |
定义Spark应用程序的默认参数和行为，它包含了Spark与集群管理器（如YARN）的集成方式、资源分配策略、内存管理、网络通信以及各种性能调优参数。 |
|
Yarn |
客户端安装目录/Yarn/config/yarn-site.xml |
Yarn服务配置文件，用于定义集群资源管理和任务调度的行为。例如包含ResourceManager、NodeManager、ApplicationMaster等的运行参数，直接影响集群的资源分配策略、容器管理和应用程序调度。 |
