配置Flume加密传输

操作场景

该操作指导安装工程师在集群安装完成后，设置Flume服务（Flume角色）的服务端和客户端参数，使其可以正常工作。

本章节适用于MRS 3.x及之后版本。

前提条件

已成功安装集群及Flume服务。

操作步骤

1. 分别生成Flume角色服务端和客户端的证书和信任列表。
   1. 使用ECM远程以omm用户登录将要安装Flume服务端的节点。进入“${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/install/FusionInsight-Flume-1.9.0/flume/bin”目录。

      cd ${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/install/FusionInsight-Flume-1.9.0/flume/bin

      

      此处版本号8.1.0.1为示例，具体以实际环境的版本号为准。

   2. 执行以下命令，生成并导出Flume角色服务端、客户端证书。

      sh geneJKS.sh -f xxx -g xxx

      生成的证书在“${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/install/FusionInsight-Flume-1.9.0/flume/conf”路径下。其中：

      • “flume_sChat.jks”是Flume角色服务端的证书库，“flume_sChat.crt”是“flume_sChat.jks”证书的导出文件，“-f”配置项是证书和证书库的密码；
      • “flume_cChat.jks”是Flume角色客户端的证书库，“flume_cChat.crt”是“flume_cChat.jks”证书的导出文件，“-g”配置项是证书和证书库的密码；
      • “flume_sChatt.jks”和“flume_cChatt.jks”分别为Flume服务端、客户端SSL证书信任列表。

      

      本章节涉及到所有的用户自定义密码，需满足以下复杂度要求：

      • 至少包含大写字母、小写字母、数字、特殊符号4种类型字符。
      • 至少8位，最多64位。
      • 出于安全考虑，建议用户定期更换自定义密码（例如三个月更换一次），并重新生成各项证书和信任列表。

2. 配置Flume角色的服务端参数，并将配置文件上传到集群。
   1. 使用ECM远程，以omm用户登录任意一个Flume角色所在的节点。执行以下命令进入“${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/install/FusionInsight-Flume-1.9.0/flume/bin”。

      cd ${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/install/FusionInsight-Flume-1.9.0/flume/bin

   2. 执行以下命令，生成并得到Flume服务端密钥库密码、信任列表密码和keystore-password加密的私钥信息。连续输入两次密码并确认，该密码是flume_sChat.jks证书库的密码。

      ./genPwFile.sh

      cat password.property

   3. 使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。
      1. 登录FusionInsight Manager，选择“ 服务 > Flume > 配置工具”。
         图1 选择配置工具
         
      2. “Agent名”选择“server”，然后选择要使用的source、channel以及sink，将其拖到右侧的操作界面中并将其连接。

         例如采用Avro Source、File Channel和HDFS Sink，如图2所示。

         图2 Flume配置工具示例
         
      3. 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。
         

         • 如果对应的Flume角色之前已经配置过服务端参数，为保证与之前的配置保持一致，在FusionInsight Manager界面选择“ 服务 > Flume > 实例”，选择相应的Flume角色实例，单击“实例配置”页面“flume.config.file”参数后的“下载文件”，可获取已有的服务端参数配置文件。然后选择“ 服务 > Flume > 导入”，将该文件导入后再修改加密传输的相关配置项即可。
         • 导入配置文件时，建议配置Source/Channel/Sink的各自的个数都不要超过40个，否则可能导致界面响应时间过长。
      4. 单击“导出”，将配置文件“properties.properties”保存到本地。配置文件中包含认证密码信息可能存在安全风险，建议当前场景执行完毕后删除相关配置文件或加强安全管理。

         表1 Flume角色服务端所需修改的参数列表

         参数名称	参数值填写规则	参数样例
         ssl	是否启用SSL认证（基于安全要求，建议启用此功能）。 true表示启用。 false表示不启用。	true
         keystore	服务端证书。	${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/install/FusionInsight-Flume-1.9.0/flume/conf/flume_sChat.jks
         keystore-password	密钥库密码，获取keystore信息所需密码。 输入2.b中获取的“password”值。	-
         truststore	服务端的SSL证书信任列表。	${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/install/FusionInsight-Flume-1.9.0/flume/conf/flume_sChatt.jks
         truststore-password	信任列表密码，获取truststore信息所需密码。 输入2.b中获取的“password”值。	-

   4. 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Flume”服务，在“角色”下单击“Flume”角色。
      图3 单击Flume角色
      
   5. 选择准备上传配置文件的节点行的“Flume”角色，单击“实例配置”页面“flume.config.file”参数后的“上传文件”，选择“properties.properties”文件完成操作。
      图4 上传文件
      
      

      • 每个Flume实例均可以上传单独的服务端配置文件。
      • 更新配置文件需要按照此步骤操作，后台修改配置文件是不规范操作，同步配置时后台做的修改将会被覆盖。
   6. 单击“保存”，单击“确定”。单击“完成”完成操作。

3. 设置Flume角色客户端参数。
   1. 执行以下命令将生成的客户端证书（flume_cChat.jks）和客户端信任列表（flume_cChatt.jks）复制到客户端目录下，如“/opt/flume-client/fusionInsight-flume-1.9.0/conf/”（要求已安装Flume客户端），其中10.196.26.1为客户端所在节点业务平面的IP地址。

      scp ${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/install/FusionInsight-Flume-1.9.0/flume/conf/flume_cChat.jks user@10.196.26.1:/opt/flume-client/fusionInsight-flume-1.9.0/conf/

      scp ${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/install/FusionInsight-Flume-1.9.0/flume/conf/flume_cChatt.jks user@10.196.26.1:/opt/flume-client/fusionInsight-flume-1.9.0/conf/

      

      复制过程中需要输入客户端所在主机（如10.196.26.1）user用户的密码。

   2. 以user用户登录解压Flume客户端的节点。执行以下命令进入客户端目录“opt/flume-client/fusionInsight-flume-1.9.0/bin”。

      cd opt/flume-client/fusionInsight-flume-1.9.0/bin

   3. 执行以下命令，生成并得到Flume客户端密钥库密码、信任列表密码和keystore-password加密的私钥信息。连续输入两次密码并确认，该密码是别名为flumechatclient的证书和flume_cChat.jks证书库的密码。

      ./genPwFile.sh

      cat password.property

      

      若产生以下错误提示，可执行命令export JAVA_HOME=JDK路径进行处理。

      JAVA_HOME is null in current user,please install the JDK and set the JAVA_HOME

   4. 执行echo $SCC_PROFILE_DIR检查SCC_PROFILE_DIR环境变量是否为空。
      • 是，执行source .sccfile。
      • 否，执行3.e。
   5. 使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色客户端参数并生成配置文件。
      1. 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Flume > 配置工具”。
         图5 选择配置工具
         
      2. “Agent名”选择“client”，然后选择要使用的source、channel以及sink，将其拖到右侧的操作界面中并将其连接。

         例如采用SpoolDir Source、File Channel和Avro Sink，如图6所示。

         图6 Flume配置工具示例
         
      3. 双击对应的source、channel以及sink，根据实际环境并参考表2设置对应的配置参数。
         

         • 如果对应的Flume角色之前已经配置过客户端参数，为保证与之前的配置保持一致，可以到“客户端安装目录/fusioninsight-flume-1.9.0/conf/properties.properties”获取已有的客户端参数配置文件。然后登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Flume > 配置工具 > 导入”，将该文件导入后再修改加密传输的相关配置项即可。
         • 导入配置文件时，建议配置source/channel/sink的各自的个数都不要超过40个，否则可能导致界面响应时间过长。
         • 不同的File Channel均需要配置一个不同的checkpoint目录。
      4. 单击“导出”，将配置文件“properties.properties”保存到本地。

         表2 Flume角色客户端所需修改的参数列表

         参数名称	参数值填写规则	参数样例
         ssl	是否启用SSL认证（基于安全要求，建议用户启用此功能）。 true表示启用。 false表示不启用。	true
         keystore	客户端证书。	/opt/flume-client/fusionInsight-flume-1.9.0/conf/flume_cChat.jks
         keystore-password	密钥库密码，获取keysore信息所需密码。 输入3.c中获取的“password”值。	-
         truststore	客户端的SSL证书信任列表。	/opt/flume-client/fusionInsight-flume-1.9.0/conf/flume_cChatt.jks
         truststore-password	信任列表密码，获取truststore信息所需密码。 输入3.c中获取的“password”值。	-

   6. 将“properties.properties”文件上传到Flume客户端安装目录下的“flume/conf/”下。