# MRS集群常用配置文件及日志目录 在MRS集群日常运维和开发过程中，管理员和开发者经常需要查找组件的安装路径、定位运行日志以排查故障、获取客户端配置文件以对接外部系统。如果对集群目录结构不熟悉，排查问题时需要反复搜索，效率低下。那么，如何快速定位MRS集群中各组件的安装目录、日志路径和客户端配置文件？本文档汇总了MRS集群的安装目录、组件日志目录和客户端常见配置文件路径，帮助用户快速定位所需文件。 该章节内容仅适用于MRS 3.x及之后版本集群。 #### 集群安装目录 MRS集群创建完成后，默认集群内组件的安装目录为"/opt/Bigdata"，安装目录内的主要目录说明如[表1]所示。 **概念说明：** MRS集群中"部件"指构成MRS产品的独立安装包（如FusionInsight_HD），"组件"指部件中包含的具体服务模块（如HDFS、HBase、Yarn等）。一个部件可包含多个组件。 表1安装目录清单 | 目录名称 | 目录内容 | |:---|:---| | /opt/Bigdata/common | MRS集群公共资源目录，包含jdk/jre目录、密钥存放目录等。 | | /opt/Bigdata/components | MRS集群组件定义目录，存放各组件的元数据定义和配置模板。 | | /opt/Bigdata/FusionInsight_*部件名称* _*版本号* | MRS集群内已注册部件的安装目录，例如"/opt/Bigdata/FusionInsight_HD_\*"。 | | /opt/Bigdata/FusionInsight_*部件名称* _*版本号* /install/FusionInsight-*组件名称* -*XXX* | MRS集群内已安装组件的运行目录，例如"/opt/Bigdata/FusionInsight_HD_\*/install/FusionInsight-Hadoop-\*"。 | | /opt/Bigdata/FusionInsight_Current | MRS集群已安装组件工作区指引目录，通过软链接指向当前生效的部件版本目录，便于统一访问。 | | /opt/Bigdata/om-agent_*版本号* | Manager的OMA模块运行目录。 | | /opt/Bigdata/om-server_*版本号* | Manager的OMS模块运行目录。 | | /opt/Bigdata/packaged-distributables | MRS集群部件安装包的安装目录。 | | /opt/Bigdata/third_lib/*组件名* | 组件用户自定义jar包放置目录，用于存放第三方依赖库，组件启动时会自动加载此目录下的jar包。 | #### 组件日志目录 MRS集群的日志保存路径为"/var/log/Bigdata"，各组件的运行日志目录可参考[表2]。 更多关于MRS集群日志检视、下载相关操作，请参考[查看MRS集群日志](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000134.html)。 表2日志目录一览表 | 文件目录 | 日志内容 | |:---|:---| | /var/log/Bigdata/audit | 组件审计日志。 | | /var/log/Bigdata/controller | 日志采集脚本日志。 controller进程日志。 controller监控日志。 | | /var/log/Bigdata/dbservice | DBService日志。 | | /var/log/Bigdata/flume | Flume日志。 | | /var/log/Bigdata/hbase | HBase日志。 | | /var/log/Bigdata/hdfs | HDFS日志。 | | /var/log/Bigdata/hive | Hive日志。 | | /var/log/Bigdata/hetuengine | HetuEngine日志。 | | /var/log/Bigdata/httpd | httpd日志。 | | /var/log/Bigdata/hue | Hue日志。 | | /var/log/Bigdata/kerberos | Kerberos日志。 | | /var/log/Bigdata/ldapclient | LDAP客户端日志。 | | /var/log/Bigdata/ldapserver | LDAP服务端日志。 | | /var/log/Bigdata/loader | Loader日志。 | | /var/log/Bigdata/logman | logman脚本日志管理日志。 | | /var/log/Bigdata/mapreduce | MapReduce日志。 | | /var/log/Bigdata/nodeagent | NodeAgent日志。 | | /var/log/Bigdata/okerberos | OMS Kerberos日志。 | | /var/log/Bigdata/oldapserver | OMS LDAP日志。 | | /var/log/Bigdata/metric_agent | MetricAgent运行日志。 | | /var/log/Bigdata/omm | oms："omm"服务端的复杂事件处理日志、告警服务日志、HA日志、认证与授权管理日志和监控服务运行日志。 oma："omm"代理端的安装运行日志。 core："omm"代理端与"HA"进程失去响应的dump日志。 | | /var/log/Bigdata/spark2x | Spark2x日志。 | | /var/log/Bigdata/sudo | omm执行sudo命令产生的日志。 | | /var/log/Bigdata/timestamp | 时间同步管理日志。 | | /var/log/Bigdata/tomcat | Tomcat日志。 | | /var/log/Bigdata/watchdog | Watchdog日志。 | | /var/log/Bigdata/yarn | Yarn日志。 | | /var/log/Bigdata/zookeeper | ZooKeeper日志。 | | /var/log/Bigdata/oozie | Oozie日志。 | | /var/log/Bigdata/kafka | Kafka日志。 | | /var/log/Bigdata/storm | Storm日志。 | | /var/log/Bigdata/iotdb | IoTDB日志。 | | /var/log/Bigdata/cdl | CDL日志。 | | /var/log/Bigdata/upgrade | 升级OMS日志。 | | /var/log/Bigdata/update-service | 升级服务日志。 | | /var/log/Bigdata/patch | 补丁日志。 | #### 客户端常见配置文件介绍 在上层应用开发、外部系统对接等场景中，用户需要通过MRS集群客户端快速获取MRS集群相关配置文件。各组件常见客户端配置文件可参考[表3]。 表3MRS组件常见客户端配置文件 | 组件名 | 文件路径 | 文件说明 | |:---|:---|:---| | Flink | *客户端安装目录*/Flink/flink/conf/flink-conf.yaml | Flink核心配置文件，用于定义集群资源分配、高可用性、状态存储、网络参数等全局运行配置，影响所有提交Flink作业的执行环境。 | | HBase | *客户端安装目录*/HBase/hbase/conf/hbase-site.xml | HBase集群启动和运行的基础配置文件，包含了数据存储路径、 ZooKeeper连接信息、Region服务器参数等信息。 | | HDFS | *客户端安装目录*/HDFS/hadoop/etc/hadoop/hdfs-site.xml | HDFS详细参数文件，例如控制数据存储、冗余策略和节点行为的相关配置等。 | | HDFS | *客户端安装目录*/HDFS/hadoop/etc/hadoop/core-site.xml | Hadoop全局通用配置参数文件，例如包含了集群的基础通信协议、默认文件系统和全局安全设置等，是所有Hadoop组件共享的核心配置文件。 | | HetuEngine | *客户端安装目录*/HetuEngine/hetuserver/conf/hetuserver-client.properties | 配置HetuEngine客户端连接参数，包括服务端地址、端口和认证方式。 | | Hive | *客户端安装目录*/Hive/config/hive-site.xml | Hive 的主配置文件，定义客户端与服务端的核心参数。 | | Kafka | *客户端安装目录*/Kafka/kafka/config/client.properties | Kafka客户端的基础配置，定义与Kafka集群连接的通用参数。 | | Kafka | *客户端安装目录*/Kafka/kafka/config/consumer.properties | Kafka的消费者配置信息，控制消息消费行为，如偏移量管理、分区分配策略等。 | | Kafka | *客户端安装目录*/Kafka/kafka/config/producer.properties | Kafka的生产者配置信息，控制消息发送行为，如重试策略、序列化方式、分区策略等。 | | Kafka | *客户端安装目录*/Kafka/kafka/config/server.properties | Kafka服务端的配置信息，包含Kafka集群的运行模式、网络通信、存储策略及性能调优等关键参数。 | | MapReduce | 客户端安装目录/Yarn/config/mapred-site.xml | 定义MapReduce作业的运行参数、资源分配策略以及与YARN的集成方式。 | | Spark | 客户端安装目录/Spark2x/spark/conf/spark-defaults.conf | 定义Spark应用程序的默认参数和行为，它包含了Spark与集群管理器（如YARN）的集成方式、资源分配策略、内存管理、网络通信以及各种性能调优参数。 | | Yarn | 客户端安装目录/Yarn/config/yarn-site.xml | Yarn服务配置文件，用于定义集群资源管理和任务调度的行为。例如包含ResourceManager、NodeManager、ApplicationMaster等的运行参数，直接影响集群的资源分配策略、容器管理和应用程序调度。 | #### 常见问题 **Q：如何快速查找特定组件的日志文件？** A：可通过以下方式快速定位：登录集群节点后，进入对应组件的日志目录，使用**tail -f \*.log**命令实时查看最新日志；在Manager界面选择"运维 \> 日志 \> 日志下载"，选择组件和主机后下载日志文件，避免逐个节点排查。 **Q：修改客户端配置文件后如何使配置生效？** A：直接修改客户端配置文件不会立即生效。需要通过Manager界面修改服务配置并保存，然后重新下载客户端配置。如需临时修改，可在提交作业时通过命令行参数覆盖配置，作业结束后覆盖配置不保留。 **Q：客户端安装目录在哪里？** A：通过外部节点安装客户端，安装路径为安装时指定的目录。 #### 相关文档 - 了解MRS集群日志的查看和下载操作，请参考[查看MRS集群日志](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000134.html)。 - 了解如何安装和更新MRS客户端，请参考[服务端配置过期后更新MRS集群客户端](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0090.html)。 - 了解MRS集群组件的配置参数修改方法，请参考[修改MRS集群组件配置参数](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0204.html)。