MRS集群常用配置文件及日志目录
该章节内容仅适用于MRS 3.x及之后版本集群。
集群安装目录
MRS集群创建完成后，默认集群内组件的安装目录为“/opt/Bigdata”，安装目录内的主要目录说明如表1所示。
目录名称 | 目录内容 |
|---|---|
/opt/Bigdata/common | MRS集群公共资源目录，包含jdk/jre目录、密钥存放目录等。 |
/opt/Bigdata/components | MRS集群组件定义目录。 |
/opt/Bigdata/FusionInsight_部件名称_版本号 | MRS集群内已注册部件的安装目录，例如“/opt/Bigdata/FusionInsight_HD_8.1.2.2”。 |
/opt/Bigdata/FusionInsight_部件名称_版本号/install/FusionInsight-组件名称-XXX | MRS集群内已安装组件的运行目录，例如“/opt/Bigdata/FusionInsight_HD_8.1.2.2/install/FusionInsight-Hadoop-3.1.1”。 |
/opt/Bigdata/FusionInsight_Current | MRS集群已安装组件工作区指引目录。 |
/opt/Bigdata/om-agent_版本号 | Manager的OMA模块运行目录。 |
/opt/Bigdata/om-server_版本号 | Manager的OMS模块运行目录。 |
/opt/Bigdata/packaged-distributables | MRS集群部件安装包的安装目录。 |
/opt/Bigdata/third_lib/组件名 | 组件用户自定义jar包放置目录。 |
组件日志目录
MRS集群的日志保存路径为“/var/log/Bigdata”，各组件的运行日志目录可参考表2。
更多关于MRS集群日志检视、下载相关操作，请参考查看MRS集群日志。
文件目录 | 日志内容 |
|---|---|
/var/log/Bigdata/audit | 组件审计日志。 |
/var/log/Bigdata/controller | 日志采集脚本日志。 controller进程日志。 controller监控日志。 |
/var/log/Bigdata/dbservice | DBService日志。 |
/var/log/Bigdata/flume | Flume日志。 |
/var/log/Bigdata/hbase | HBase日志。 |
/var/log/Bigdata/hdfs | HDFS日志。 |
/var/log/Bigdata/hive | Hive日志。 |
/var/log/Bigdata/hetuengine | HetuEngine日志。 |
/var/log/Bigdata/httpd | httpd日志。 |
/var/log/Bigdata/hue | Hue日志。 |
/var/log/Bigdata/kerberos | Kerberos日志。 |
/var/log/Bigdata/ldapclient | LDAP客户端日志。 |
/var/log/Bigdata/ldapserver | LDAP服务端日志。 |
/var/log/Bigdata/loader | Loader日志。 |
/var/log/Bigdata/logman | logman脚本日志管理日志。 |
/var/log/Bigdata/mapreduce | MapReduce日志。 |
/var/log/Bigdata/nodeagent | NodeAgent日志。 |
/var/log/Bigdata/okerberos | OMS Kerberos日志。 |
/var/log/Bigdata/oldapserver | OMS LDAP日志。 |
/var/log/Bigdata/metric_agent | MetricAgent运行日志。 |
/var/log/Bigdata/omm | oms：“omm”服务端的复杂事件处理日志、告警服务日志、HA日志、认证与授权管理日志和监控服务运行日志。 oma：“omm”代理端的安装运行日志。 core：“omm”代理端与“HA”进程失去响应的dump日志。 |
/var/log/Bigdata/spark2x | Spark2x日志。 |
/var/log/Bigdata/sudo | omm执行sudo命令产生的日志。 |
/var/log/Bigdata/timestamp | 时间同步管理日志。 |
/var/log/Bigdata/tomcat | Tomcat日志。 |
/var/log/Bigdata/watchdog | Watchdog日志。 |
/var/log/Bigdata/yarn | Yarn日志。 |
/var/log/Bigdata/zookeeper | ZooKeeper日志。 |
/var/log/Bigdata/oozie | Oozie日志。 |
/var/log/Bigdata/kafka | Kafka日志。 |
/var/log/Bigdata/storm | Storm日志。 |
/var/log/Bigdata/iotdb | IoTDB日志。 |
/var/log/Bigdata/cdl | CDL日志。 |
/var/log/Bigdata/upgrade | 升级OMS日志。 |
/var/log/Bigdata/update-service | 升级服务日志。 |
/var/log/Bigdata/patch | 补丁日志。 |
客户端常见配置文件介绍
在上层应用开发、外部系统对接等场景中，用户需要通过MRS集群客户端快速获取MRS集群相关配置文件。各组件常见客户端配置文件可参考表3。
组件名 | 文件路径 | 文件说明 |
|---|---|---|
Flink | 客户端安装目录/Flink/flink/conf/flink-conf.yaml | Flink核心配置文件，用于定义集群资源分配、高可用性、状态存储、网络参数等全局运行配置，影响所有提交Flink作业的执行环境。 |
HBase | 客户端安装目录/HBase/hbase/conf/hbase-site.xml | HBase集群启动和运行的基础配置文件，包含了数据存储路径、 ZooKeeper连接信息、Region服务器参数等信息。 |
HDFS | 客户端安装目录/HDFS/hadoop/etc/hadoop/hdfs-site.xml | HDFS详细参数文件，例如控制数据存储、冗余策略和节点行为的相关配置等。 |
客户端安装目录/HDFS/hadoop/etc/hadoop/core-site.xml | Hadoop全局通用配置参数文件，例如包含了集群的基础通信协议、默认文件系统和全局安全设置等，是所有Hadoop组件共享的核心配置文件。 | |
HetuEngine | 客户端安装目录/HetuEngine/hetuserver/conf/hetuserver-client.properties | 配置HetuEngine客户端连接参数。 |
Hive | 客户端安装目录/Hive/config/hive-site.xml | Hive 的主配置文件，定义客户端与服务端的核心参数。 |
Kafka | 客户端安装目录/Kafka/kafka/config/client.properties | Kafka客户端的基础配置，定义与Kafka集群连接的通用参数。 |
客户端安装目录/Kafka/kafka/config/consumer.properties | Kafka的消费者配置信息，控制消息消费行为，如偏移量管理、分区分配策略等。 | |
客户端安装目录/Kafka/kafka/config/producer.properties | Kafka的生产者配置信息，控制消息发送行为，如重试策略、序列化方式、分区策略等。 | |
客户端安装目录/Kafka/kafka/config/server.properties | Kafka服务端的配置信息，包含Kafka集群的运行模式、网络通信、存储策略及性能调优等关键参数。 | |
MapReduce | 客户端安装目录/Yarn/config/mapred-site.xml | 定义MapReduce作业的运行参数、资源分配策略以及与YARN的集成方式。 |
Spark | 客户端安装目录/Spark2x/spark/conf/spark-defaults.conf | 定义Spark应用程序的默认参数和行为，它包含了Spark与集群管理器（如YARN）的集成方式、资源分配策略、内存管理、网络通信以及各种性能调优参数。 |
Yarn | 客户端安装目录/Yarn/config/yarn-site.xml | Yarn服务配置文件，用于定义集群资源管理和任务调度的行为。例如包含ResourceManager、NodeManager、ApplicationMaster等的运行参数，直接影响集群的资源分配策略、容器管理和应用程序调度。 |
