安装Flume客户端

操作场景

使用Flume搜集日志时，需要在日志主机上安装Flume客户端。

前提条件

已创建包含Flume组件的集群。
日志主机需要与MRS集群在相同的VPC和子网。具体请参见集群外节点使用MRS客户端章节，登录安装客户端的节点。
已获取日志主机的登录方式。
安装目录可以不存在，会自动创建。但如果存在，则必须为空。目录路径不能包含空格。

操作步骤

获取软件包。

登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Flume”进入Flume服务界面，在右上角选择“更多 > 下载客户端”，选择“选择客户端类型”为“完整客户端”，下载Flume服务客户端文件。

客户端文件名称为“FusionInsight_Cluster_<集群ID>_Flume_Client.tar”，本章节以“FusionInsight_Cluster_1_Flume_Client.tar”为例进行描述。
上传软件包。

以user用户将软件包上传到将要安装Flume服务客户端的节点目录上，例如“/opt/client”。

user用户为安装和运行Flume客户端的用户。
解压软件包。

以user用户登录将要安装Flume服务客户端的节点。进入安装包所在目录，例如“/opt/client”，执行如下命令解压安装包到当前目录。

cd /opt/client

tar -xvf FusionInsight_Cluster_1_Flume_Client.tar
校验软件包。

执行sha256sum -c命令校验解压得到的文件，返回“OK”表示校验通过。例如：

sha256sum -c FusionInsight_Cluster_1_Flume_ClientConfig.tar.sha256
```
FusionInsight_Cluster_1_Flume_ClientConfig.tar: OK
```
解压文件。

tar -xvf FusionInsight_Cluster_1_Flume_ClientConfig.tar
客户端数量是否为1。
- 是，采用单独安装模式，执行7，安装结束。
- 否，采用批量安装模式，执行8。
在Flume客户端安装目录下执行以下命令，安装客户端到指定目录（绝对路径），例如安装到“/opt/FlumeClient”目录。客户端安装成功后单独安装结束。

cd /opt/client/FusionInsight_Cluster_1_Flume_ClientConfig/Flume/FlumeClient

./install.sh -d /opt/FlumeClient -f MonitorServer角色的业务IP或主机名 -c 用户业务配置文件properties.properties放置路径 -s cpu阈值 -l /var/log/Bigdata -e FlumeServer的业务IP或主机名 -n Flume
- “-d”：Flume客户端安装路径。
- “-f”（可选）：两个MonitorServer角色的业务IP或主机名，中间用逗号分隔，若不设置则Flume客户端将不向MonitorServer发送告警信息，同时在FusionInsight Manager界面上看不到该客户端的相关信息。
- “-c”（可选）：指定业务配置文件，该文件需要用户根据自己业务生成，具体操作可在Flume服务端中“配置工具”页面参考Flume业务配置指南章节生成，并上传到待安装客户端节点上的任一目录下。若安装时未指定（即不配置该参数），可在安装后上传已经生成的业务配置文件properties.properties到“/opt/FlumeClient/fusioninsight-flume-1.9.0/conf”目录下。
- “-s”（可选）：Cgroup阈值，阈值取值范围为1~100*N之间的整数，N表示机器cpu核数。默认阈值为“-1”，表示加入到Cgroup的进程不受cpu使用率限制。
- “-l”（可选）：日志路径，默认值为“/var/log/Bigdata”（“user”用户需要对此目录有写权限）。首次安装客户端会生成名为flume-client的子目录，之后安装会依次生成名为“flume-client-n”的子目录，n代表一个序号，从1依次递增。在Flume客户端安装目录下的conf目录中，编辑ENV_VARS文件，搜索FLUME_LOG_DIR属性，可查看客户端日志路径。
- “-e”（可选）：FlumeServer的业务IP地址或主机名，主要用于接收客户端上报的监控指标信息。
- “-n”（可选）：Flume客户端的名称，可以通过在FusionInsight Manager上选择“集群 > 待操作集群名称 > 服务 > Flume > Flume管理”查看对应节点上客户端的名称。
- 若产生以下错误提示，可执行命令export JAVA_HOME=JDK路径进行处理。
```
JAVA_HOME is null in current user,please install the JDK and set the JAVA_HOME
```
- IBM的JDK不支持“-Xloggc”，需要修改“flume/conf/flume-env.sh”，将“-Xloggc”修改为“-Xverbosegclog”，若JDK为32位，“-Xmx”不能大于3.25GB。
- 集群混搭时，安装跨平台客户端时，请进入/opt/client/FusionInsight_Cluster_1_Flume_ClientConfig/Flume/FusionInsight-Flume-1.9.0.tar.gz路径下进行Flume客户端安装。
进入批量安装客户端目录。

cd /opt/client/FusionInsight_Cluster_1_Flume_ClientConfig/Flume/FlumeClient/batch_install

集群混搭时，安装跨平台客户端时，请进入/opt/client/FusionInsight_Cluster_1_Flume_ClientConfig/Flume/FusionInsight-Flume-1.9.0.tar.gz路径下进行Flume客户端安装。
配置host_info.cfg文件，配置文件格式如下：
host_ip="",user="",password="",install_path="",flume_config_file="",monitor_server_ip="",log_path="",flume_server_ip="",cgroup_threshold="",client_name=""
- host_ip（必填项）：待安装Flume客户端的节点ip。
- user（必填项）：远程登录到待安装Flume客户端节点的用户名。
- password（必填项）：远程登录到待安装Flume客户端节点密码。
- install_path（必填项）：Flume客户端安装路径。
- flume_config_file（可选）：flume运行时的配置文件，建议用户在安装时指定该配置文件，如果用户不填写该项，保持该配置项值为""即可，不能删除该配置参数。
- monitor_server_ip（可选）：集群内Flume的MonitorServer的业务ip，可在FusionInsight Manager上查看，该ip有两个，选择其中一个即可，如果不配置，客户端如果进程故障不会发送告警信息到集群内。
- log_path（可选）：Flume运行时日志保存路径，如果不配置，默认日志打印在“/var/log/Bigdata/flume-client-索引”。索引取值：如果只有一个客户端在此路径下，那么该值为1，如果有多个，那么索引值在前加1。
- flume_server_ip（可选）：Flume server的业务ip，客户端的指标信息通过该节点上报到集群内，可以在web界面上显示该客户端指标信息，如果不配置，客户端指标信息不会显示。
- cgroup_threshold（可选）：Cgroup阈值，阈值取值范围为1~100*N之间的整数，N表示机器cpu核数。默认阈值为“-1”，表示加入到Cgroup的进程不受cpu使用率限制。
- client_name（可选）：客户端名称，在客户端监控界面上可以显示该客户端名称，如果不配置，该客户端名字显示为空。
执行如下命令批量安装Flume客户端。

./batch_install.sh -p /opt/client/FusionInsight_Cluster_1_Flume_Client.tar
删除host_info.cfg文件中的密码信息。

批量安装完成后，请立即删除host_info.cfg文件中的密码信息，否则会存在密码泄露的风险。