配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS

查看更多 →

生成Flume服务端和客户端的配置文件 该操作指导安装工程师在集群及Flume服务安装完成后，分别配置Flume服务的服务端和客户端参数，使其可以正常工作。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。

查看更多 →

一次），并重新生成各项证书和信任列表。 查看系统在定时检查时是否会再次产生此告警。 是，执行9。 否，处理完毕。 收集故障信息。 在 FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的Flume。 单击右上角的时间编辑按

查看更多 →

ickHouse实例节点名称和IP地址。 登录“弹性负载均衡器”控制台，单击已创建的负载均衡器名称。 单击“监听器”，在“监听器”界面选择“后端 服务器 组”页签，单击“添加”。 在“添加后端服务器”界面，根据2中获取到的ClickHouse实例节点名称和IP地址勾选后端服务器，单击“下一步”。

查看更多 →

种类型字符。 至少8位，最多64位。 出于安全考虑，建议用户定期更换自定义密码（例如三个月更换一次），并重新生成各项证书和信任列表。 使用omm用户在Flume实例产生告警的节点，重复执行5~6，等待1小时，观察此告警是否被清除。 是，执行8。 否，执行9。 查看系统在定时检查时是否会再次产生此告警。

查看更多 →

/opt/test/conf/user.keytab 说明： user.keytab文件从下载用户flume_hdfs的kerberos证书文件中获取，另外，确保用于安装和运行Flume客户端的用户对user.keytab文件有读写权限。 hdfs.useLocalTimeStamp

查看更多 →

0及以上版本。执行如下命令查看java版本。 java -version 检查DIS通道 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 在左侧列表栏中选择“通道管理”。 确认有通道用于数据上传且通道状态为“运行中”。 检查认证信息 检查AK/SK AK/SK (Access

查看更多 →

在“服务”框中勾选待操作集群的“Flume”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 使用传输工具，收集Flume Client端“/var/log/Bigdata/flume-client”下的日志。 请

查看更多 →

x及之后版本Flume客户端 操作场景 使用Flume搜集日志时，需要在日志主机上安装Flume客户端。用户可以创建一个新的E CS 并安装Flume客户端。 本章节适用于 MRS 3.x及之后版本。 前提条件 已创建包含Flume组件的集群。 日志主机需要与MRS集群在相同的VPC和子网。

查看更多 →

从/opt/FusionInsight_Cluster_<集群ID>_Flume_ClientConfig/Flume/config目录下获取core-site.xml和hdfs-site.xml配置文件，并上传至客户端所在节点安装目录的“fusioninsight-flume-1.9.0/conf/”下。 进入

查看更多 →

库文件。 配置“Flume客户端安装目录/fusionInsight-flume-*/conf/properties.properties”文件。 具体properties.properties参数配置方法，参考配置Flume非加密传输数据采集任务和配置Flume加密传输数据采集任务对应典型场景中properties

查看更多 →

具体properties.properties参数配置方法，参考配置Flume非加密传输数据采集任务和配置Flume加密传输数据采集任务对应典型场景中properties.properties文件参数列表的说明。 父主题： Flume常见问题

查看更多 →

/opt/test/conf/user.keytab 说明： user.keytab文件从下载用户flume_hdfs的kerberos证书文件中获取，另外，确保用于安装和运行Flume客户端的用户对user.keytab文件有读写权限。 hdfs.useLocalTimeStamp

查看更多 →

Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Flume”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。

查看更多 →

Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Flume”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。

查看更多 →

保用于安装和运行Flume客户端的用户对user.keytab文件有读写权限。 单击“导出”，将配置文件“properties.properties”保存到本地。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Flume”，在“实例”下单击“Flume”角色。

查看更多 →

保用于安装和运行Flume客户端的用户对user.keytab文件有读写权限。 单击“导出”，将配置文件“properties.properties”保存到本地。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Flume”，在“实

查看更多 →

positionFile 保存当前采集文件信息（文件名和已经采集的位置），此参数不能为空。该文件不需要手工创建，但其上层目录需对flume运行用户可写。 /home/omm/flume/positionfile batchSize Flume一次发送数据的最大事件数。 61200 hdfs

查看更多 →

keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统 域名 >" useTicketCache=false storeKey=true debug=true; }; 其中keyTab和principal的值请按照实际情况配置，所配置的principal需要有相应的kafka的权限。

查看更多 →

keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 其中keyTab和principal的值请按照实际情况配置，所配置的principal需要有相应的kafka的权限。

查看更多 →

种类型字符。 至少8位，最多64位。 出于安全考虑，建议用户定期更换自定义密码（例如三个月更换一次），并重新生成各项证书和信任列表。 使用omm用户在Flume实例产生告警的节点，重复执行6~7，等待1小时，观察此告警是否被清除。 是，执行9。 否，执行10。 查看系统在定时检查时是否会再次产生此告警。

查看更多 →