文档首页/ MapReduce服务 MRS/ 组件操作指南（普通版）(巴黎区域)/ 使用Flume/ 安装Flume客户端/ 安装MRS 3.x之前版本Flume客户端
更新时间：2024-05-11 GMT+08:00
查看PDF
分享

安装MRS 3.x之前版本Flume客户端

操作场景

使用Flume搜集日志时，需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。

本章节适用于MRS 3.x之前版本。

前提条件

  • 已创建包含Flume组件的流集群。
  • 日志主机需要与MRS集群在相同的VPC和子网。
  • 已获取日志主机的登录方式。

操作步骤

  1. 根据前提条件，创建一个满足要求的弹性云服务器。
  2. 登录集群详情页面。

    • MRS 2.0.1之前版本，登录MRS Manager，选择“服务管理”。
    • MRS 2.0.1及之后版本，在MRS控制台单击集群名称，选择“组件管理 ”。

  3. 单击“下载客户端”。

    1. 在“客户端类型”选择“完整客户端”。
    2. 在“下载路径”选择“远端主机”。
    3. 将“主机IP”设置为ECS的IP地址，设置“主机端口”为“22”，并将“保存路径”设置为。
      • 如果使用SSH登录ECS的默认端口“22”被修改，请将“主机端口”设置为新端口。
      • “保存路径”最多可以包含256个字符。
    4. “登录用户”设置为“root”。

      如果使用其他用户，请确保该用户对保存目录拥有读取、写入和执行权限。

    5. 单击“确定”开始生成客户端文件。

      若界面显示以下提示信息表示客户端包已经成功保存。

      下载客户端文件到远端主机成功。

      若界面显示以下提示信息，请检查用户名密码及远端主机的安全组配置，确保用户名密码正确，及远端主机的安全组已增加SSH(22)端口的入方向规则。然后从3执行重新下载客户端。

      连接到服务器失败，请检查网络连接或参数设置。

  4. 选择“Flume”服务，单击“实例”，查看任意一个Flume实例和两个MonitorServer实例的“业务IP”。
  5. 使用VNC方式，登录弹性云服务器。参见)。

    请先参考SSH密钥方式登录登录弹性云服务器，设置云服务器密码，然后再采用VNC方式登录。

  6. 在弹性云服务器，切换到root用户，并将安装包复制到目录“/opt”。

    sudo su - root

    cp /MRS_Flume_Client.tar /opt

  7. 在“/opt”目录执行以下命令，解压压缩包获取校验文件与客户端配置包。

    tar -xvf MRS_Flume_Client.tar

  8. 执行以下命令，校验文件包。

    sha256sum -c MRS_Flume_ClientConfig.tar.sha256

    界面显示如下信息，表明文件包校验成功：

    MRS_Flume_ClientConfig.tar: OK

  9. 执行以下命令，解压“MRS_Flume_ClientConfig.tar”。

    tar -xvf MRS_Flume_ClientConfig.tar

  10. 执行以下命令，安装客户端运行环境到新的目录，例如“/opt/Flumeenv”。安装时自动生成目录。

    sh /opt/MRS_Flume_ClientConfig/install.sh /opt/Flumeenv

    查看安装输出信息，如有以下结果表示客户端运行环境安装成功：

    Components client installation is complete.

  11. 执行以下命令，配置环境变量。

    source /opt/Flumeenv/bigdata_env

  12. 执行以下命令，解压Flume客户端。

    cd /opt/MRS_Flume_ClientConfig/Flume

    tar -xvf FusionInsight-Flume-1.6.0.tar.gz

  13. 执行以下命令，查看当前用户密码是否过期。

    chage -l root

    “Password expires”时间早于当前则表示过期。此时需要修改密码，或执行chage -M -1 root设置密码为未过期状态。

  14. 执行以下命令，安装Flume客户端到新目录，例如“/opt/FlumeClient”。安装时自动生成目录。

    sh /opt/MRS_Flume_ClientConfig/Flume/install.sh -d /opt/FlumeClient -f MonitorServer实例的业务IP地址 -c Flume配置文件路径 -l /var/log/ -e Flume的业务IP地址 -n Flume客户端名称

    各参数说明如下：

    • “-d”：表示Flume客户端安装路径。
    • “-f”：可选参数，表示两个MonitorServer角色的业务IP地址，中间用英文逗号分隔，若不设置则Flume客户端将不向MonitorServer发送告警信息，同时在MRS Manager界面上看不到该客户端的相关信息。
    • “-c”：可选参数，表示Flume客户端在安装后默认加载的配置文件“properties.properties”。如不添加参数，默认使用客户端安装目录的“fusioninsight-flume-1.6.0/conf/properties.properties”。客户端中配置文件为空白模板，根据业务需要修改后Flume客户端将自动加载。
    • “-l”：可选参数，表示日志目录，默认值为“/var/log/Bigdata”。
    • “-e”：可选参数，表示Flume实例的业务IP地址，主要用于接收客户端上报的监控指标信息。
    • “-n”：可选参数，表示自定义的Flume客户端的名称。
    • IBM的JDK不支持“-Xloggc”，需要修改“flume/conf/flume-env.sh”，将“-Xloggc”修改为“-Xverbosegclog”，若JDK为32位，“-Xmx”不能大于3.25GB。
    • “flume/conf/flume-env.sh”中，“-Xmx”默认为4GB。若客户端机器内存过小，可调整为512M甚至1GB。

    例如执行：sh install.sh -d /opt/FlumeClient

    系统显示以下结果表示客户端运行环境安装成功：

    install flume client successfully.

父主题： 安装Flume客户端