Flume数据采集慢 问题现象 Flume启动后，Flume数据采集慢。 原因分析 Flume堆内存设置不合理，导致Flume进程一直处于频繁GC。查看Flume运行日志： 2019-02-26T13:06:20.666+0800: 1085673.512: [Full GC:[CMS:

查看更多 →

Flume与其他组件的关系 Flume与HDFS的关系 当用户配置HDFS作为Flume的Sink时，HDFS就作为Flume的最终数据存储系统，Flume将传输的数据全部按照配置写入HDFS中。 具体操作场景请参见典型场景：从本地采集静态日志保存到HDFS和典型场景：从本地采集动态日志保存到HDFS。

查看更多 →

外部桶 外部桶简介 挂载外部桶 应用示例一：由桶ACL授权挂载桶的权限 应用示例二：由标准桶策略授权挂载桶的读写权限 应用示例三：由高级桶策略授权挂载桶的读写权限

查看更多 →

本章节主要对查看HttpClient监控进行介绍。 查看外部调用 登录管理控制台。 单击左侧，选择“管理与监管 > 应用性能管理 APM”，进入APM服务页面。 在左侧导航栏选择“应用监控 > 指标”。 在界面左侧树单击待查看外部调用环境后的。 单击“外部调用”，切换至外部调用页签。默认展示“全部实例”的“HttpClient监控”信息。

查看更多 →

外部调用 APM采集的外部调用指标，包括：ApacheHttpAsyncClient连接池、ApacheHttpClient连接池、 CS EConsumer集群监控、dubbo客户端监控、HttpClient监控、NodeJsHttpClient监控、NodeJsHttpServe

查看更多 →

Flume Flume基本原理 Flume与其他组件的关系 Flume开源增强特性 父主题： 组件介绍

查看更多 →

- positionFile 保存当前采集文件信息（文件名和已经采集的位置），此参数不能为空。该文件不需要手工创建，但其上层目录需对flume运行用户可写。 /home/omm/flume/positionfile batchSize Flume一次发送数据的最大事件数。 61200

查看更多 →

ka。 操作步骤 配置Flume的参数。 使用Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录 FusionInsight Manager，选择“集群 > 服务 > Flume > 配置工具”。 图1 选择配置工具 “Agent名”选择“

查看更多 →

已成功安装集群，包含Kafka及Flume服务。 确保集群网络环境安全。 MRS 集群管理员已明确业务需求，并准备一个Kafka管理员用户flume_kafka。 操作步骤 配置Flume的参数。 使用Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。

查看更多 →

使用Flume Flume向Spark Streaming提交作业后报类找不到错误 Flume客户端安装失败 Flume客户端无法连接服务端 Flume数据写入组件失败 Flume服务端进程故障 Flume数据采集慢 Flume启动失败

查看更多 →

样的。 Flume客户端需要单独安装，支持将数据直接导到集群中的HDFS和Kafka等组件上，也可以结合Flume服务端一起使用。 使用流程 通过同时利用Flume服务端和客户端，构成Flume的级联任务，采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。

查看更多 →

properties”，然后将该文件上传并覆盖到Flume客户端节点的“集群客户端安装包解压路径/Flume/FlumeClient/flume/conf”目录下。 步骤3：安装Flume客户端 以root用户登录待安装Flume客户端所在节点。 进入客户端安装包解压路径，例如客

查看更多 →

典型场景：从本地采集静态日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从本地采集静态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置加密传输。该配置为只用一个Flume场景，例如：Spooldir

查看更多 →

典型场景：从本地采集静态日志保存到Kafka 典型场景：从本地采集静态日志保存到HDFS 典型场景：从本地采集动态日志保存到HDFS 典型场景：从Kafka采集日志保存到HDFS 典型场景：从Kafka客户端采集日志经Flume客户端保存到HDFS 典型场景：从本地采集静态日志保存到HBase

查看更多 →

典型场景：从本地采集静态日志保存到Kafka 典型场景：从本地采集静态日志保存到HDFS 典型场景：从本地采集动态日志保存到HDFS 典型场景：从Kafka采集日志保存到HDFS 典型场景：从Kafka客户端采集日志经Flume客户端保存到HDFS 典型场景：从本地采集静态日志保存到HBase

查看更多 →

典型场景：从本地采集静态日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从本地采集静态日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式

查看更多 →

- positionFile 保存当前采集文件信息（文件名和已经采集的位置），此参数不能为空。该文件不需要手工创建，但其上层目录需对flume运行用户可写。 /home/omm/flume/positionfile batchSize Flume一次发送数据的最大事件数。 61200

查看更多 →

样的。 Flume客户端需要单独安装，支持将数据直接导到集群中的HDFS和Kafka等组件上，也可以结合Flume服务端一起使用。 使用流程 通过同时利用Flume服务端和客户端，构成Flume的级联任务，采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。

查看更多 →

停止或卸载Flume客户端 操作场景 指导运维工程师停止、启动Flume客户端，以及在不需要Flume数据采集通道时，卸载Flume客户端。 操作步骤 停止Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”，执行以下命令，停止Flume客户端：

查看更多 →

停止或卸载Flume客户端 操作场景 指导运维工程师停止、启动Flume客户端，以及在不需要Flume数据采集通道时，卸载Flume客户端。 操作步骤 停止Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”，执行以下命令，停止Flume客户端：

查看更多 →

非加密传输 加密传输 查看Flume客户端监控信息 Flume对接安全Kafka指导 Flume对接安全Hive指导 Flume业务模型配置指导 Flume日志介绍 Flume客户端Cgroup使用指导 Flume第三方插件二次开发指导 配置Flume定制脚本 Flume常见问题

查看更多 →