数据接入服务 DIS

使用Flume服务端从本地采集动态日志保存到HDFS 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任

查看更多 →

通过Flume采集指定目录日志系统文件至HDFS 应用场景 Flume是一个分布式、可靠和高可用的海量日志聚合的系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方，用于收集数据。同时，提供对数据进行简

查看更多 →

查看Flume客户端监控信息 集群外的Flume客户端也是端到端数据采集的一环，与集群内Flume服务端一起都需要监控，用户通过 FusionInsight Manager可以对Flume客户端进行监控，可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。

查看更多 →

参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Kafka Source+Memory Channel+HDFS Sink. 前提条件 已成功安装集群，包含HDFS、Kafka及Flume服务。 确保集群网络环境安全。 已创建用户flume_hdfs

查看更多 →

停止或卸载Flume客户端 操作场景 指导运维工程师停止、启动Flume客户端，以及在不需要Flume数据采集通道时，卸载Flume客户端。 操作步骤 停止Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”，执行以下命令，停止Flume客户端：

查看更多 →

ght-Flume-1.9.0/flume/conf”路径下。其中： “flume_sChat.jks”是Flume角色服务端的证书库，“flume_sChat.crt”是“flume_sChat.jks”证书的导出文件，“-f”配置项是证书和证书库的密码； “flume_cChat

查看更多 →

查看Flume客户端监控信息 操作场景 集群外的Flume客户端也是端到端数据采集的一环，与集群内Flume服务端一起都需要监控，用户通过FusionInsight Manager可以对Flume客户端进行监控，可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。

查看更多 →

ALM-24001 Flume Agent异常 告警解释 Flume Agent监控模块对Flume Agent状态进行监控，当Flume Agent进程故障（每5秒检测一次）或Flume Agent启动失败时（即时上报告警），系统产生此告警。 当检测到Flume Agent进程故障恢复，Flume

查看更多 →

对系统的影响 产生告警的Flume Agent实例无法提供正常功能，定义在该实例下的数据传输任务暂时中断，对于实时数据传输，会丢失实时数据。 可能原因 JAVA_HOME目录不存在或JAVA权限异常。 Flume Agent目录权限异常。 处理步骤 检查Flume Agent配置文件。

查看更多 →

停止或卸载Flume客户端 指导运维工程师停止、启动Flume客户端，以及在不需要Flume数据采集通道时，卸载Flume客户端。 停止Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”，执行以下命令，停止Flume客户端： cd /op

查看更多 →

考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Kafka Source+Memory Channel+HDFS Sink。 前提条件 已成功安装集群，包含HDFS、Kafka及Flume服务。 确保集群网络环境安全。 已创建用户flume_hdfs并

查看更多 →

本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。 前提条件 已安装Flume客户端。 已成功安装集群，包含HDFS、Kafka及Flume服务。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 确保集群网络环境安全。

查看更多 →

该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。

查看更多 →

ght-Flume-Flume组件版本号/flume/conf/flume.keytab。 其中“XXX”为产品版本号，请根据实际情况修改。同时文件需要以Flume客户端安装用户身份保存，例如root用户。 将此节点上的配置文件“jaas.conf”，复制到安装Flume客户端的

查看更多 →

安装DIS Flume Plugin前准备 检查依赖 确认Flume已经安装并能正常运行。 确认Flume版本为1.4.0及以上版本。进入Flume安装目录，执行如下命令查看Flume版本。 $ bin/flume-ng version | grep Flume 确认使用的Java版本为1

查看更多 →

。 配置“Flume客户端安装目录/fusionInsight-flume-*/conf/properties.properties”文件。 具体properties.properties参数配置方法，参考配置Flume非加密传输数据采集任务和配置Flume加密传输数据采集任务对应典型场景中properties

查看更多 →

个Kafka管理员用户flume_kafka。 操作步骤 配置Flume的参数。 使用Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager，选择“集群 > 服务 > Flume > 配置工具”。 图1

查看更多 →

使用Flume服务端从本地采集静态日志保存到Kafka 该任务指导用户使用Flume服务端从本地采集静态日志保存到Kafka的Topic列表（test1）。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任

查看更多 →

请参考配置Flume加密传输数据采集任务。 前提条件 已安装Flume客户端。 已成功安装集群及Flume服务。 确保集群网络环境安全。 操作步骤 配置Flume角色客户端参数。 使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色客户端参数并生成配置文件。

查看更多 →

具体properties.properties参数配置方法，参考配置Flume非加密传输数据采集任务和配置Flume加密传输数据采集任务对应典型场景中properties.properties文件参数列表的说明。 父主题： Flume常见问题

查看更多 →

Flume”，在“实例”下单击“Flume”角色。 图6 单击Flume角色 选择准备上传配置文件的节点行的“Flume”角色，单击“实例配置”页面“flume.config.file”参数后的“上传文件”，选择“properties.properties”文件完成操作。 图7 上传文件 每个Flume实例均可以上传单独的服务端配置文件。

查看更多 →