安装 MRS 3.x之前版本Flume客户端 操作场景 使用Flume搜集日志时，需要在日志主机上安装Flume客户端。用户可以创建一个新的E CS 并安装Flume客户端。 本章节适用于MRS 3.x之前版本。 前提条件 已创建包含Flume组件的流集群。 日志主机需要与MRS集群在相同的VPC和子网。

查看更多 →

Flume常见问题 如何查看Flume日志 如何在Flume配置文件中使用环境变量 如何开发Flume第三方插件 如何配置Flume定制脚本 父主题： 使用Flume

查看更多 →

有些程序打印的日志存在一条完整的日志数据跨占多行（例如 Java 程序日志）情况，日志采集系统默认是按行采集。如果您想在日志采集系统中按整条显示日志，可以开启多行日志，采用时间或正则匹配的方式，当某行日志匹配上预先设置的时间格式或正则表达式，就认为是一条日志的开头，而下一个行首出现作为该条日志的结束标识符。 格式如下

查看更多 →

安装Flume客户端 操作场景 使用Flume搜集日志时，需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 前提条件 已创建包含Flume组件的集群。 日志主机需要与MRS集群在相同的VPC和子网。 已获取日志主机的登录方式。 安装目录可以

查看更多 →

固定目录 MR任务日志在HDFS上的聚合路径 是 MR任务日志丢失 /tmp/archived 固定目录 MR任务日志在HDFS上的归档路径 是 MR任务日志丢失 /tmp/hadoop-yarn/staging 固定目录 保存AM运行作业运行日志、作业概要信息和作业配置属性 否 任务运行异常

查看更多 →

HistoryServer服务不可用，任务运行失败 /flume 固定目录 Flume采集到HDFS文件系统中的数据存储目录 否 Flume工作异常 /mr-history/tmp 固定目录 MapReduce作业产生的日志存放位置 是 日志信息丢失 /mr-history/done 固定目录

查看更多 →

Flume数据写入组件失败 问题现象 Flume进程启动后，Flume数据无法写入到对应组件（本示例以服务端写入到HDFS为例）。 原因分析 HDFS未启动或故障。 查看Flume运行日志： 2019-02-26 11:16:33,564 | ERROR | [SinkRunne

查看更多 →

root 执行cd Flume安装目录/fusioninsight-flume-1.6.0/conf/命令，进入Flume的配置目录。 执行cat properties.properties命令，查看当前的Flume Client配置文件。 根据Flume Agent的配置说明检查“properties

查看更多 →

待操作集群的名称 > 服务 > Flume > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > Agent > Flume直接内存使用率”，单击“确定”。 图1 Flume直接内存使用率 查看Flume使用的直接内存是否已达到Flume设定的阈值（默认值为最大直接内存的80%）。

查看更多 →

Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Flume > 配置”，选择“全部配置”，选择“Flume > 系统”。将“GC_OPTS”参数中“-Xmx”的值根据实际情况调大，并单击“保存”，单击“确定”。 出现此告警时，说明当前flume server设置的堆内存无法满足当前数据传输所需的堆内存，建议堆内存调整为：

查看更多 →

sudo su - root 执行cd Flume安装目录/fusioninsight-flume-1.6.0/conf/命令，进入Flume的配置目录。 执行cat ENV_VARS命令，检查JAVA_HOME目录是否存在，Flume Agent运行用户是否有JAVA可执行权限。

查看更多 →

对系统的影响 当Flume服务不可用时，Flume不能正常工作，数据传输业务中断。 可能原因 Flume实例全部故障。 处理步骤 以omm用户登录Flume实例所在节点，执行ps -ef|grep "flume.role=server"命令查看当前节点是否存在flume进程。 是，执行3。

查看更多 →

采集配置 为了减少内存、数据库、磁盘空间占用，您可以按需进行采集设置。采集设置对所选应用生效。 操作步骤 在左侧导航栏中选择“采集管理 > 采集设置”。 在“应用”下拉列表框中选择应用。 单击打开采集开关。 采集开关默认打开，当您不需要采集某个应用的调用链和拓扑数据时，可通过关闭

查看更多 →

omm切换用户。 执行以下命令进入Flume服务证书目录。 cd ${BIGDATA_HOME}/ FusionInsight _Porter_*/install/FusionInsight-Flume-*/flume/conf 执行以下命令查看Flume用户证书的生效时间与失效时间。 openssl

查看更多 →

安装MRS 3.x之前版本Flume客户端 操作场景 使用Flume搜集日志时，需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 本章节适用于MRS 3.x之前版本。 前提条件 已创建包含Flume组件的流集群。 日志主机需要与MRS集群在相同的VPC和子网。

查看更多 →

产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Flume证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume服务端。 可能原因 Flume证书文件非法或损坏。 处理步骤 查看告警信息。 登录FusionInsight Manager首页，选择“运维

查看更多 →

template只是一个dis插件的配置样例，并不是实际运行Flume时会读取的配置文件。Flume自身提供了样例配置文件，路径为{FLUME_HOME}/conf/flume-conf.properties.template，其中{FLUME_HOME}是Flume的安装路径，用户可以基于此配置文件修改。

查看更多 →

”和“配置”等页面，以及功能区。部分服务还支持显示自定义的管理工具页面，具体支持列表如表1所示。 表1 自定义管理工具名称一览表 工具名称 对应服务 说明 Flume配置工具 Flume 用于为Flume的服务端和客户端配置采集参数。 Flume客户端管理工具 Flume 查看Flume客户端监控信息。

查看更多 →

Flume常见问题 如何查看Flume日志 如何在Flume配置文件中使用环境变量 如何开发Flume第三方插件 如何配置Flume定制脚本 父主题： 使用Flume

查看更多 →

和opentelemetry构建的云原生日志采集插件。log-agent支持基于CRD的日志采集策略，可以根据您配置的策略规则，对集群中的容器标准输出日志、容器文件日志、节点日志及K8s事件日志进行采集与转发。 父主题： 插件版本发布记录

查看更多 →

待操作集群的名称 > 服务 > Flume > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > Agent > Flume堆内存使用率”，单击“确定”。 图1 Flume堆内存使用率 查看Flume使用的堆内存是否已达到Flume设定的阈值（默认值为最大堆内存的95%）。

查看更多 →