更新时间:2024-05-11 GMT+08:00

安装MRS 3.x之前版本Flume客户端

操作场景

使用Flume搜集日志时,需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。

本章节适用于MRS 3.x之前版本。

前提条件

  • 已创建包含Flume组件的流集群。
  • 日志主机需要与MRS集群在相同的VPC和子网。
  • 已获取日志主机的登录方式。

操作步骤

  1. 根据前提条件,创建一个满足要求的弹性云服务器。
  2. 登录集群详情页面。

    • MRS 2.0.1之前版本,登录MRS Manager,选择“服务管理”。
    • MRS 2.0.1及之后版本,在MRS控制台单击集群名称,选择“组件管理 ”。

  3. 单击“下载客户端”。

    1. “客户端类型”选择“完整客户端”
    2. “下载路径”选择“远端主机”
    3. “主机IP”设置为ECS的IP地址,设置“主机端口”“22”,并将“保存路径”设置为。
      • 如果使用SSH登录ECS的默认端口“22”被修改,请将“主机端口”设置为新端口。
      • “保存路径”最多可以包含256个字符。
    4. “登录用户”设置为“root”

      如果使用其他用户,请确保该用户对保存目录拥有读取、写入和执行权限。

    5. 单击“确定”开始生成客户端文件。

      若界面显示以下提示信息表示客户端包已经成功保存。

      下载客户端文件到远端主机成功。

      若界面显示以下提示信息,请检查用户名密码及远端主机的安全组配置,确保用户名密码正确,及远端主机的安全组已增加SSH(22)端口的入方向规则。然后从3执行重新下载客户端。

      连接到服务器失败,请检查网络连接或参数设置。

  4. 选择“Flume”服务,单击“实例”,查看任意一个Flume实例和两个MonitorServer实例的“业务IP”
  5. 使用VNC方式,登录弹性云服务器。参见)。

    请先参考SSH密钥方式登录登录弹性云服务器,设置云服务器密码,然后再采用VNC方式登录。

  6. 在弹性云服务器,切换到root用户,并将安装包复制到目录“/opt”

    sudo su - root

    cp /MRS_Flume_Client.tar /opt

  7. “/opt”目录执行以下命令,解压压缩包获取校验文件与客户端配置包。

    tar -xvf MRS_Flume_Client.tar

  8. 执行以下命令,校验文件包。

    sha256sum -c MRS_Flume_ClientConfig.tar.sha256

    界面显示如下信息,表明文件包校验成功:

    MRS_Flume_ClientConfig.tar: OK

  9. 执行以下命令,解压“MRS_Flume_ClientConfig.tar”

    tar -xvf MRS_Flume_ClientConfig.tar

  10. 执行以下命令,安装客户端运行环境到新的目录,例如“/opt/Flumeenv”。安装时自动生成目录。

    sh /opt/MRS_Flume_ClientConfig/install.sh /opt/Flumeenv

    查看安装输出信息,如有以下结果表示客户端运行环境安装成功:

    Components client installation is complete.

  11. 执行以下命令,配置环境变量。

    source /opt/Flumeenv/bigdata_env

  12. 执行以下命令,解压Flume客户端。

    cd /opt/MRS_Flume_ClientConfig/Flume

    tar -xvf FusionInsight-Flume-1.6.0.tar.gz

  13. 执行以下命令,查看当前用户密码是否过期。

    chage -l root

    “Password expires”时间早于当前则表示过期。此时需要修改密码,或执行chage -M -1 root设置密码为未过期状态。

  14. 执行以下命令,安装Flume客户端到新目录,例如“/opt/FlumeClient”。安装时自动生成目录。

    sh /opt/MRS_Flume_ClientConfig/Flume/install.sh -d /opt/FlumeClient -f MonitorServer实例的业务IP地址 -c Flume配置文件路径 -l /var/log/ -e Flume的业务IP地址 -n Flume客户端名称

    各参数说明如下:

    • “-d”:表示Flume客户端安装路径。
    • “-f”:可选参数,表示两个MonitorServer角色的业务IP地址,中间用英文逗号分隔,若不设置则Flume客户端将不向MonitorServer发送告警信息,同时在MRS Manager界面上看不到该客户端的相关信息。
    • “-c”:可选参数,表示Flume客户端在安装后默认加载的配置文件“properties.properties”。如不添加参数,默认使用客户端安装目录的“fusioninsight-flume-1.6.0/conf/properties.properties”。客户端中配置文件为空白模板,根据业务需要修改后Flume客户端将自动加载。
    • “-l”:可选参数,表示日志目录,默认值为“/var/log/Bigdata”。
    • “-e”:可选参数,表示Flume实例的业务IP地址,主要用于接收客户端上报的监控指标信息。
    • “-n”:可选参数,表示自定义的Flume客户端的名称。
    • IBM的JDK不支持“-Xloggc”,需要修改“flume/conf/flume-env.sh”,将“-Xloggc”修改为“-Xverbosegclog”,若JDK为32位,“-Xmx”不能大于3.25GB。
    • “flume/conf/flume-env.sh”中,“-Xmx”默认为4GB。若客户端机器内存过小,可调整为512M甚至1GB。

    例如执行:sh install.sh -d /opt/FlumeClient

    系统显示以下结果表示客户端运行环境安装成功:

    install flume client successfully.