Flume企业级能力增强 使用Flume客户端加密工具 配置Flume对接安全模式Kafka 父主题： 使用Flume

查看更多 →

查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录，默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下： flume-client-1/flume: total 7672

查看更多 →

查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录，默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下： flume-client-1/flume: total 7672

查看更多 →

ALM-24001 Flume Agent异常 告警解释 Flume Agent监控模块对Flume Agent状态进行监控，当Flume Agent进程故障（每5秒检测一次）或Flume Agent启动失败时（即时上报告警），系统产生此告警。 当检测到Flume Agent进程故障恢复，Flume

查看更多 →

Flume客户端安装失败 问题现象 安装Flume客户端失败，提示JAVA_HOME is null或flume has been installed。 CS T 2016-08-31 17:02:51 [flume-client install]: JAVA_HOME is null

查看更多 →

ght-Flume-1.9.0/flume/conf”路径下。其中： “flume_sChat.jks”是Flume角色服务端的证书库，“flume_sChat.crt”是“flume_sChat.jks”证书的导出文件，“-f”配置项是证书和证书库的密码； “flume_cChat

查看更多 →

使用Flume客户端加密工具 安装Flume客户端后，配置文件的部分参数可能需要填写加密的字符，Flume客户端中提供了加密工具。 安装Flume客户端。 登录安装Flume客户端的节点，并切换到客户端安装目录。例如“/opt/FlumeClient”。 切换到以下目录 cd f

查看更多 →

产生告警的Flume Client无法与Flume Server端进行通信，Flume Client端的数据无法传输到Flume Server端。 可能原因 Flume Client端与Flume Server端网络故障。 Flume Client端进程故障。 Flume Client端配置错误。

查看更多 →

停止或卸载Flume客户端 操作场景 指导运维工程师停止、启动Flume客户端，以及在不需要Flume数据采集通道时，卸载Flume客户端。 操作步骤 停止Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”，执行以下命令，停止Flume客户端：

查看更多 →

请参考配置Flume加密传输数据采集任务。 前提条件 已安装Flume客户端。 已成功安装集群及Flume服务。 确保集群网络环境安全。 操作步骤 配置Flume角色客户端参数。 使用 FusionInsight Manager界面中的Flume配置工具来配置Flume角色客户端参数并生成配置文件。

查看更多 →

配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。 新增jaas.conf文件，并保存到“${Flume客户端安装目录}/conf”下，jaas.conf文件内容如下： KafkaClient { com.sun.security.auth.module

查看更多 →

Flume业务模型配置说明 业务模型配置指导 本章节适用于 MRS 3.x及之后版本。 本任务旨在提供Flume常用模块的性能差异，用于指导用户进行合理的Flume业务配置，避免出现前端Source和后端Sink性能不匹配进而导致整体业务性能不达标的场景。 本任务只针对于单通道的场景进行比较说明。

查看更多 →

配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。 新增jaas.conf文件，并保存到“${Flume客户端安装目录}/conf”下，jaas.conf文件内容如下： KafkaClient { com.sun.security.auth.module

查看更多 →

Flume与其他组件的关系 Flume与HDFS的关系 当用户配置HDFS作为Flume的Sink时，HDFS就作为Flume的最终数据存储系统，Flume将传输的数据全部按照配置写入HDFS中。 具体操作场景请参见典型场景：从本地采集静态日志保存到HDFS和典型场景：从本地采集动态日志保存到HDFS。

查看更多 →

ServerPort Flume服务端端口。 对系统的影响 产生告警的Flume Client无法与Flume Server端进行通信，Flume Client端的数据无法传输到Flume Server端。 可能原因 Flume Client端与Flume Server端网络故障。 Flume Client端进程故障。

查看更多 →

安装MRS 3.x之前版本Flume客户端 操作场景 使用Flume搜集日志时，需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 本章节适用于MRS 3.x之前版本。 前提条件 已创建包含Flume组件的流集群。 日志主机需要与MRS集群在相同的VPC和子网。

查看更多 →

，请参考配置Flume加密传输数据采集任务。 前提条件 已安装Flume客户端。 已成功安装集群，包含HDFS、Kafka及Flume服务。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 确保集群网络环境安全。 操作步骤 在FusionInsight Manager管理界面，选择“系统

查看更多 →

对系统的影响 当Flume服务不可用时，Flume不能正常工作，数据传输业务中断。 可能原因 Flume实例全部故障。 处理步骤 以omm用户登录Flume实例所在节点，执行ps -ef|grep "flume.role=server"命令查看当前节点是否存在flume进程。 是，执行3。

查看更多 →

同一个SQL包重复显示 问题现象 SQL变更选择任务变更包时，同一个SQL包重复显示。 可能原因 一个版本号重复发布多次，数据会多次上传至运维中心，运维中心将每一次的数据全部进行保存。SQL变更通过版本号请求数据，运维中心返回版本号下所有包，SQL变更因无法替用户决策需变更哪个时

查看更多 →

Consumer消费数据时存在重复消费现象 问题背景与现象 当数据量较大时会频繁地发生rebalance导致出现重复消费的情况，关键日志如下： 2018-05-12 10:58:42,561 | INFO | [kafka-request-handler-3] | [GroupCoordinator

查看更多 →

Order by limit分页出现数据重复问题 问题现象 对一个表执行排序，并对排序结果进行分页，得到的结果不符合预期。 假设有一个名为商品(merchants)的表，只有一个商品id和商品种类category两个字段，表结构如下： mysql> show create table

查看更多 →