更新时间:2022-05-13 GMT+08:00
分享

配置非加密传输

操作场景

该操作指导安装工程师在集群及Flume服务安装完成后,分别配置Flume服务的服务端和客户端参数,使其可以正常工作。

本章节适用于MRS 3.x及之后版本。

本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置加密传输

前提条件

  • 已成功安装集群及Flume服务。
  • 确保集群网络环境安全。

操作步骤

  1. 配置Flume角色客户端参数。

    1. 使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色客户端参数并生成配置文件。
      1. 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。
        图1 选择配置工具
      2. “Agent名”选择“client”,然后选择要使用的Source、Channel以及Sink,将其拖到右侧的操作界面中并将其连接。
        例如采用SpoolDir Source、File Channel和Avro Sink,如图2所示。
        图2 Flume配置工具示例
      3. 双击对应的Source、Channel以及Sink,根据实际环境并参考表1设置对应的配置参数。
        • 如果对应的Flume角色之前已经配置过客户端参数,为保证与之前的配置保持一致,可以到“客户端安装目录/fusioninsight-flume-1.9.0/conf/properties.properties”获取已有的客户端参数配置文件。然后登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置 > 导入”,将该文件导入后再修改非加密传输的相关配置项即可。
        • 导入配置文件时,建议配置Source/Channel/Sink的各自的个数都不要超过40个,否则可能导致界面响应时间过长。
      4. 单击“导出”,将配置文件“properties.properties”保存到本地。
        表1 Flume角色客户端所需修改的参数列表

        参数名称

        参数值填写规则

        参数样例

        ssl

        是否启用SSL认证(基于安全要求,建议启用此功能)

        只有“Avro”类型的Source才有此配置项

        • true表示启用
        • false表示不启用

        false

    2. 将“properties.properties”文件上传到Flume客户端安装目录下的“flume/conf/”下。

  2. 配置Flume角色的服务端参数,并将配置文件上传到集群

    1. 使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。
      1. 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。
        图3 选择配置工具
      2. “Agent名”选择“server”,然后选择要使用的source、channel以及sink,将其拖到右侧的操作界面中并将其连接。

        例如采用Avro Source、File Channel和HDFS Sink,如图4所示。

        图4 Flume配置工具示例
      3. 双击对应的source、channel以及sink,根据实际环境并参考表2设置对应的配置参数。
        • 如果对应的Flume角色之前已经配置过服务端参数,为保证与之前的配置保持一致,在 FusionInsight Manager界面选择“集群 > 服务 > Flume > 实例”,选择相应的Flume角色实例,单击“实例配置 ”页面“flume.config.file”参数后的“下载文件”,可获取已有的服务端参数配置文件。然后选择“集群 > 服务 > Flume > 配置 > 导入”,将该文件导入后再修改非加密传输的相关配置项即可。
        • 导入配置文件时,建议配置source/channel/sink的各自的个数都不要超过40个,否则可能导致界面响应时间过长。
        • 不同的File Channel均需要配置一个不同的checkpoint目录。
      4. 单击“导出”,将配置文件“properties.properties”保存到本地。
        表2 Flume角色服务端所需修改的参数列表

        参数名称

        参数值填写规则

        参数样例

        ssl

        是否启用SSL认证(基于安全要求,建议启用此功能)

        只有“Avro”类型的Source才有此配置项

        • true表示启用
        • false表示不启用

        false

    2. 登录FusionInsight Manager,选择“集群 > 服务 > Flume”,在“实例”下单击“Flume”角色。
      图5 单击Flume角色
    3. 选择准备上传配置文件的节点行的“Flume”角色,单击“实例配置 ”页面“flume.config.file”参数后的“上传文件”,选择“properties.properties”文件完成操作。
      图6 上传文件
      • 每个Flume实例均可以上传单独的服务端配置文件。
      • 更新配置文件需要按照此步骤操作,后台修改配置文件是不规范操作,同步配置时后台做的修改将会被覆盖。
    4. 单击“保存”,单击“确定”。
    5. 单击“完成”完成操作。

分享:

    相关文档

    相关产品

close