更新时间:2024-05-11 GMT+08:00

典型场景:从Kafka采集日志保存到HDFS

操作场景

该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。

本章节适用于MRS 3.x及之后版本。

本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置加密传输。该配置为只用一个Flume场景,例如:Kafka Source+Memory Channel+HDFS Sink.

前提条件

  • 已成功安装集群,包含HDFS、Kafka及Flume服务。
  • 确保集群网络环境安全。
  • 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。

操作步骤

  1. 在FusionInsight Manager管理界面,选择系统 > 权限 > 用户,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。
  2. 配置Flume角色服务端参数。

    使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。
    1. 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。
    2. “Agent名”选择“client”,然后选择要使用的source、channel以及sink,将其拖到右侧的操作界面中并将其连接。

      例如采用Kafka Source、Memory Channel和HDFS Sink,如图1所示。

      图1 Flume配置工具示例
    3. 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。
      • 如果想在之前的“properties.propretites”文件上进行修改后继续使用,则登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Flume > 配置工具 > 导入”,将该文件导入后再修改非加密传输的相关配置项即可。
      • 导入配置文件时,建议配置source/channel/sink的各自的个数都不要超过40个,否则可能导致界面响应时间过长。
      表1 Flume角色服务端所需修改的参数列表

      参数名称

      参数值填写规则

      参数样例

      名称

      不能为空,必须唯一。

      test

      kafka.topics

      订阅的Kafka topic列表,用逗号分隔,此参数不能为空。

      test1

      kafka.consumer.group.id

      从Kafka中获取数据的组标识,此参数不能为空。

      flume

      kafka.bootstrap.servers

      Kafka的bootstrap地址端口列表,默认值为Kafka集群中所有的Kafka列表。如果集群安装有Kafka并且配置已经同步,可以不配置此项。

      192.168.101.10:9092

      batchSize

      Flume一次发送的事件个数(数据条数)。

      61200

      hdfs.path

      写入HDFS的目录,此参数不能为空。

      hdfs://hacluster/flume/test

      hdfs.filePrefix

      数据写入HDFS后文件名的前缀。

      TMP_

      hdfs.batchSize

      一次写入HDFS的最大事件数目。

      61200

      hdfs.kerberosPrincipal

      kerberos认证时用户,在安全版本下必须填写。安全集群需要配置此项,普通模式集群无需配置。

      flume_hdfs

      hdfs.kerberosKeytab

      kerberos认证时keytab文件路径,在安全版本下必须填写。安全集群需要配置此项,普通模式集群无需配置。

      /opt/test/conf/user.keytab

      说明:

      user.keytab文件从下载用户flume_hdfs的kerberos证书文件中获取,另外,确保用于安装和运行Flume客户端的用户对user.keytab文件有读写权限。

      hdfs.useLocalTimeStamp

      是否使用本地时间,取值为"true"或者"false"。

      true

    4. 单击“导出”,将配置文件“properties.properties”保存到本地。

  3. 上传配置文件。

    2.d导出的文件上传至集群的“flume/conf”目录下,可参考2.b

  1. 验证日志是否传输成功。

    1. 以具有HDFS组件管理权限的用户登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。在FusionInsight Manager界面选择“集群 > 服务 > HDFS”,单击“NameNode(节点名称,主)”对应的链接,打开HDFS WebUI,然后选择“Utilities > Browse the file system”。
    2. 观察HDFS上“/flume/test”目录下是否有产生数据。
      图2 查看HDFS目录和文件