文档首页/ MapReduce服务 MRS/ 组件操作指南（普通版）/ 使用Flume/ 安装Flume客户端/ 安装MRS 3.x之前版本Flume客户端
更新时间：2023-11-02 GMT+08:00
查看PDF
分享

安装MRS 3.x之前版本Flume客户端

操作场景

使用Flume搜集日志时，需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。

本章节适用于MRS 3.x之前版本。

前提条件

  • 已创建包含Flume组件的流集群。
  • 日志主机需要与MRS集群在相同的VPC和子网。
  • 已获取日志主机的登录方式。

操作步骤

  1. 根据前提条件，创建一个满足要求的弹性云服务器。
  2. 登录集群详情页面，选择“组件管理”。

    若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。

  3. 单击“下载客户端”。

    1. 在“客户端类型”选择“完整客户端”。
    2. 在“下载路径”选择“远端主机”。
    3. 将“主机IP”设置为ECS的IP地址，设置“主机端口”为“22”，并将“保存路径”设置为“/tmp”。
      • 如果使用SSH登录ECS的默认端口“22”被修改，请将“主机端口”设置为新端口。
      • “保存路径”最多可以包含256个字符。
    4. “登录用户”设置为“root”。

      如果使用其他用户，请确保该用户对保存目录拥有读取、写入和执行权限。

    5. 在“登录方式”选择“密码”或“SSH私钥”。
      • 密码：输入创建集群时设置的root用户密码。
      • SSH私钥：选择并上传创建集群时使用的密钥文件。
    6. 单击“确定”开始生成客户端文件。

      若界面显示以下提示信息表示客户端包已经成功保存。

      下载客户端文件到远端主机成功。

      若界面显示以下提示信息，请检查用户名密码及远端主机的安全组配置，确保用户名密码正确，及远端主机的安全组已增加SSH(22)端口的入方向规则。然后从3执行重新下载客户端。

      连接到服务器失败，请检查网络连接或参数设置。
      图1 下载客户端

  4. 选择“Flume”服务，单击“实例”，查看任意一个Flume实例和两个MonitorServer实例的“业务IP”。

  5. 使用VNC方式，登录弹性云服务器。参见弹性云服务器《用户指南》的远程登录（VNC方式）章节（“实例 > 登录Linux弹性云服务器 > 远程登录（VNC方式）”）。

    所有镜像均支持Cloud-init特性。Cloud-init预配置的用户名“root”，密码为创建集群时设置的密码。首次登录建议修改。

  6. 在弹性云服务器，切换到root用户，并将安装包复制到目录“/opt”。

    sudo su - root

    cp /tmp/MRS_Flume_Client.tar /opt

  7. 在“/opt”目录执行以下命令，解压压缩包获取校验文件与客户端配置包。

    tar -xvf MRS_Flume_Client.tar

  8. 执行以下命令，校验文件包。

    sha256sum -c MRS_Flume_ClientConfig.tar.sha256

    界面显示如下信息，表明文件包校验成功：

    MRS_Flume_ClientConfig.tar: OK

  9. 执行以下命令，解压“MRS_Flume_ClientConfig.tar”。

    tar -xvf MRS_Flume_ClientConfig.tar

  10. 执行以下命令，安装客户端运行环境到新的目录，例如“/opt/Flumeenv”。安装时自动生成目录。

    sh /opt/MRS_Flume_ClientConfig/install.sh /opt/Flumeenv

    查看安装输出信息，如有以下结果表示客户端运行环境安装成功：

    Components client installation is complete.

  11. 执行以下命令，配置环境变量。

    source /opt/Flumeenv/bigdata_env

  12. 执行以下命令，解压Flume客户端。

    cd /opt/MRS_Flume_ClientConfig/Flume

    tar -xvf FusionInsight-Flume-1.6.0.tar.gz

  13. 执行以下命令，查看当前用户密码是否过期。

    chage -l root

    “Password expires”时间早于当前则表示过期。此时需要修改密码，或执行chage -M -1 root设置密码为未过期状态。

  14. 执行以下命令，安装Flume客户端到新目录，例如“/opt/FlumeClient”。安装时自动生成目录。

    sh /opt/MRS_Flume_ClientConfig/Flume/install.sh -d /opt/FlumeClient -f MonitorServer实例的业务IP地址 -c Flume配置文件路径 -l /var/log/ -e Flume的业务IP地址 -n Flume客户端名称

    各参数说明如下：

    • “-d”：表示Flume客户端安装路径。
    • “-f”：可选参数，表示两个MonitorServer角色的业务IP地址，中间用英文逗号分隔，若不设置则Flume客户端将不向MonitorServer发送告警信息，同时在MRS Manager界面上看不到该客户端的相关信息。
    • “-c”：可选参数，表示Flume客户端在安装后默认加载的配置文件“properties.properties”。如不添加参数，默认使用客户端安装目录的“fusioninsight-flume-1.6.0/conf/properties.properties”。客户端中配置文件为空白模板，根据业务需要修改后Flume客户端将自动加载。
    • “-l”：可选参数，表示日志目录，默认值为“/var/log/Bigdata”。
    • “-e”：可选参数，表示Flume实例的业务IP地址，主要用于接收客户端上报的监控指标信息。
    • “-n”：可选参数，表示自定义的Flume客户端的名称。
    • IBM的JDK不支持“-Xloggc”，需要修改“flume/conf/flume-env.sh”，将“-Xloggc”修改为“-Xverbosegclog”，若JDK为32位，“-Xmx”不能大于3.25GB。
    • “flume/conf/flume-env.sh”中，“-Xmx”默认为4GB。若客户端机器内存过小，可调整为512M甚至1GB。

    例如执行：sh install.sh -d /opt/FlumeClient

    系统显示以下结果表示客户端运行环境安装成功：

    install flume client successfully.

父主题： 安装Flume客户端