使用Flume服务端从本地采集动态日志保存到HDFS 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任

查看更多 →

Flume与其他组件的关系 Flume与HDFS的关系 当用户配置HDFS作为Flume的Sink时，HDFS就作为Flume的最终数据存储系统，Flume将传输的数据全部按照配置写入HDFS中。 具体操作场景请参见典型场景：从本地采集静态日志保存到HDFS和典型场景：从本地采集动态日志保存到HDFS。

查看更多 →

配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。 新增jaas.conf文件，并保存到“${Flume客户端安装目录}/conf”下，jaas.conf文件内容如下： KafkaClient { com.sun.security.auth.module

查看更多 →

Flume业务模型配置说明 业务模型配置指导 本章节适用于 MRS 3.x及之后版本。 本任务旨在提供Flume常用模块的性能差异，用于指导用户进行合理的Flume业务配置，避免出现前端Source和后端Sink性能不匹配进而导致整体业务性能不达标的场景。 本任务只针对于单通道的场景进行比较说明。

查看更多 →

配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。 新增jaas.conf文件，并保存到“${Flume客户端安装目录}/conf”下，jaas.conf文件内容如下： KafkaClient { com.sun.security.auth.module

查看更多 →

表继承数据库权限后，对表重复赋予已继承的权限会报错吗？ 当表继承了数据库的权限时，无需重复对表赋予已继承的权限。 因为继承的权限已经足够使用，重复授权还可能导致表权限管理上的混乱。 在控制台操作表权限时： 如果“用户授权”赋予表的权限与继承权限相同，系统会提示已有该权限无需重复操作。

查看更多 →

使用PuTTY工具(或其他终端工具)远程登录Flume 服务器 。 进入到Flume的安装目录。 cd ${FLUME_HOME} 上传“dis-flume-plugin-X.X.X.zip”安装包到此目录下。 解压安装包。 unzip dis-flume-plugin-X.X.X.zip 进入安装包解压后的目录。

查看更多 →

ALM-24001 Flume Agent异常（2.x及以前版本） 告警解释 Flume Agent监控模块对Flume Agent状态进行监控，当Flume Agent进程故障时，系统产生此告警。 当检测到Flume Agent进程故障恢复，且告警处理完成时，告警恢复。 告警属性

查看更多 →

参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Kafka Source+Memory Channel+HDFS Sink. 前提条件 已成功安装集群，包含HDFS、Kafka及Flume服务。 确保集群网络环境安全。 已创建用户flume_hdfs

查看更多 →

待操作集群的名称 > 服务 > Flume > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > Agent > Flume堆内存使用率”，单击“确定”。 图1 Flume堆内存使用率 查看Flume使用的堆内存是否已达到Flume设定的阈值（默认值为最大堆内存的95%）。

查看更多 →

待操作集群的名称 > 服务 > Flume > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > Agent > Flume非堆内存使用率”，单击“确定”。 图1 Flume非堆内存使用率 查看Flume使用的非堆内存是否已达到Flume设定的阈值（默认值为最大非堆内存的80%）。

查看更多 →

查看Flume客户端监控信息 集群外的Flume客户端也是端到端数据采集的一环，与集群内Flume服务端一起都需要监控，用户通过 FusionInsight Manager可以对Flume客户端进行监控，可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。

查看更多 →

产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Flume证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume服务端。 可能原因 Flume证书文件非法或损坏。 处理步骤 查看告警信息。 登录FusionInsight Manager首页，选择“运维

查看更多 →

查看Flume客户端监控信息 操作场景 集群外的Flume客户端也是端到端数据采集的一环，与集群内Flume服务端一起都需要监控，用户通过FusionInsight Manager可以对Flume客户端进行监控，可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。

查看更多 →

Flume”，在“实例”下单击“Flume”角色。 图6 单击Flume角色 选择准备上传配置文件的节点行的“Flume”角色，单击“实例配置”页面“flume.config.file”参数后的“上传文件”，选择“properties.properties”文件完成操作。 图7 上传文件 每个Flume实例均可以上传单独的服务端配置文件。

查看更多 →

安装DIS Flume Plugin前准备 检查依赖 确认Flume已经安装并能正常运行。 确认Flume版本为1.4.0及以上版本。进入Flume安装目录，执行如下命令查看Flume版本。 $ bin/flume-ng version | grep Flume 确认使用的Java版本为1

查看更多 →

配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS

查看更多 →

配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS

查看更多 →

将“properties.properties”文件上传到Flume客户端安装目录下的“flume/conf/”下。 配置Flume角色的服务端参数，并将配置文件上传到集群。 使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。 登录FusionInsight

查看更多 →

l。 Flume也可以配置成多个Source、Channel、Sink，如图2所示： 图2 Flume结构图 操作流程 本实践操作流程如下所示： 步骤1：创建MRS集群：创建一个包含有Flume组件的MRS集群。 步骤2：生成Flume配置文件：根据业务场景配置Flume服务端和客户端侧配置文件。

查看更多 →

待操作集群的名称 > 服务 > Flume > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > Agent > Flume直接内存使用率”，单击“确定”。 图1 Flume直接内存使用率 查看Flume使用的直接内存是否已达到Flume设定的阈值（默认值为最大直接内存的80%）。

查看更多 →