Flume数据采集慢 问题现象 Flume启动后，Flume数据采集慢。 原因分析 Flume堆内存设置不合理，导致Flume进程一直处于频繁GC。查看Flume运行日志： 2019-02-26T13:06:20.666+0800: 1085673.512: [Full GC:[CMS:

查看更多 →

以结合Flume服务端一起使用。 使用流程 通过同时利用Flume服务端和客户端，构成Flume的级联任务，采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。 查看Flume客户端收集日志。 停止及卸载Flume客户端。 图1 Flume使用流程

查看更多 →

以结合Flume服务端一起使用。 使用流程 通过同时利用Flume服务端和客户端，构成Flume的级联任务，采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。 查看Flume客户端收集日志。 停止及卸载Flume客户端。 图1 Flume使用流程

查看更多 →

。以下是部分常用数据采集场景示例： 使用Flume采集文本日志上报到LTS 使用Flume采集数据库表数据并且上报至LTS 使用Flume采集syslog协议传输的日志上报到LTS 通过Flume采集TCP/UDP协议传输的日志上报到LTS 通过Flume采集SNMP协议上报的设备管理数据并发送到LTS

查看更多 →

。以下是部分常用数据采集场景示例： 使用Flume采集文本日志上报到LTS 使用Flume采集数据库表数据并且上报至LTS 使用Flume采集syslog协议传输的日志上报到LTS 通过Flume采集TCP/UDP协议传输的日志上报到LTS 通过Flume采集SNMP协议上报的设备管理数据并发送到LTS

查看更多 →

快速使用Flume采集节点日志 操作场景 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端（ MRS 3.x之前版本）

查看更多 →

快速使用Flume采集节点日志 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。

查看更多 →

配置Flume加密传输数据采集任务 使用多级agent串联从本地采集静态日志保存到HDFS 父主题： 使用Flume

查看更多 →

配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS

查看更多 →

配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS

查看更多 →

使用Flume Flume日志采集概述 Flume业务模型配置说明 安装Flume客户端 快速使用Flume采集节点日志 配置Flume非加密传输数据采集任务 配置Flume加密传输数据采集任务 Flume企业级能力增强 Flume运维管理 Flume常见问题

查看更多 →

使用Flume Flume日志采集概述 Flume业务模型配置说明 安装Flume客户端 快速使用Flume采集节点日志 配置Flume非加密传输数据采集任务 配置Flume加密传输数据采集任务 Flume企业级能力增强 Flume运维管理 Flume常见问题

查看更多 →

配置Flume加密传输数据采集任务 配置Flume加密传输 使用多级agent串联从本地采集静态日志保存到HDFS 父主题： 使用Flume

查看更多 →

外部桶 外部桶简介 挂载外部桶 应用示例一：由桶ACL授权挂载桶的权限 应用示例二：由标准桶策略授权挂载桶的读写权限 应用示例三：由高级桶策略授权挂载桶的读写权限

查看更多 →

外部调用 ApacheHttpAsyncClient连接池 ApacheHttpClient连接池 CS EConsumer集群监控 DubboConsumer监控 HttpClient监控 NodeJsHttpClient监控 NodeJsHttpServer监控 父主题： 指标总览

查看更多 →

本章节主要对查看HttpClient监控进行介绍。 查看外部调用 登录管理控制台。 单击左侧，选择“管理与监管 > 应用性能管理 APM”，进入APM服务页面。 在左侧导航栏选择“应用监控 > 指标”。 在界面左侧树单击待查看外部调用环境后的。 单击“外部调用”，切换至外部调用页签。默认展示“全部实例”的“HttpClient监控”信息。

查看更多 →

Flume与其他组件的关系 Flume与HDFS的关系 当用户配置HDFS作为Flume的Sink时，HDFS就作为Flume的最终数据存储系统，Flume将传输的数据全部按照配置写入HDFS中。 具体操作场景请参见典型场景：从本地采集静态日志保存到HDFS和典型场景：从本地采集动态日志保存到HDFS。

查看更多 →

Flume Flume基本原理 Flume与其他组件的关系 Flume开源增强特性 父主题： 组件介绍

查看更多 →

个Kafka管理员用户flume_kafka。 操作步骤 配置Flume的参数。 使用Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录 FusionInsight Manager，选择“集群 > 服务 > Flume > 配置工具”。 图1

查看更多 →

使用Flume服务端从本地采集静态日志保存到Kafka 该任务指导用户使用Flume服务端从本地采集静态日志保存到Kafka的Topic列表（test1）。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务

查看更多 →

l。 Flume也可以配置成多个Source、Channel、Sink，如图2所示： 图2 Flume结构图 操作流程 本实践操作流程如下所示： 步骤1：创建MRS集群：创建一个包含有Flume组件的MRS集群。 步骤2：生成Flume配置文件：根据业务场景配置Flume服务端和客户端侧配置文件。

查看更多 →