日志采集 “日志采集”处理器用于自定义日志信息，并显示在当前任务的运行日志中（日志级别为Debug）。 配置参数 基本配置 参数 说明 日志信息 设置日志内容，可使用常量，也可通过变量的方式引用前序步骤中的数据，具体请参考引用变量。 图1 日志采集 父主题： 处理器

查看更多 →

日志采集 “日志采集”处理器用于自定义日志信息，并显示在当前任务的运行日志中（日志级别为Debug）。 配置参数 参数 说明 日志信息 设置日志内容，可使用常量，也可通过变量的方式引用前序步骤中的数据，具体请参考引用变量。 父主题： 处理器

查看更多 →

日志采集 为了减少内存、数据库和磁盘空间占用，您可以按需进行日志采集设置。日志采集开关用来控制是否对日志数据进行采集。 在云日志服务管理控制台，单击“配置中心”，选择“ICAgent采集开关”。 单击开启或关闭“ICAgent采集开关”。 图1 ICAgent采集开关 采集开关默

查看更多 →

Flume数据采集慢 问题现象 Flume启动后，Flume数据采集慢。 原因分析 Flume堆内存设置不合理，导致Flume进程一直处于频繁GC。查看Flume运行日志： 2019-02-26T13:06:20.666+0800: 1085673.512: [Full GC:[CMS:

查看更多 →

配置日志采集 CAE提供了日志采集的功能，当前只支持日志采集到LTS，可以配置日志采集路径，高级设置可配置单行日志或者多行合并为一行，默认为单行日志。 本章节以kafka组件为例，为您介绍自定义日志路径功能。 如果日志文件挂载到系统目录，如“/”、“/var/run”等，会导致组

查看更多 →

id-gc.log Flume进程的GC日志。 /flume/Flume-audit.log Flume客户端的审计日志。 /flume/startAgent.out Flume启动前的进程参数日志。 日志级别 Flume提供了如表2所示的日志级别。 运行日志的级别优先级从高到低

查看更多 →

anager界面中配置。 表1 Flume日志列表 日志类型 日志文件名 描述 运行日志 /flume/flumeServer.log FlumeServer运行环境信息日志。 /flume/install.log FlumeServer安装日志。 /flume/flumeServer-gc

查看更多 →

日志采集类 日志出现重复/丢失的原因

查看更多 →

properties”，然后将该文件上传并覆盖到Flume客户端节点的“集群客户端安装包解压路径/Flume/FlumeClient/flume/conf”目录下。 步骤3：安装Flume客户端 以root用户登录待安装Flume客户端所在节点。 进入客户端安装包解压路径，例如客户端安装包以上传至“/tmp”目录下并解压。

查看更多 →

Pod日志采集 本章节将介绍在Pod内进行日志采集，允许客户通过配置容器内自定义路径下的日志文件来采集日志，并通过自定义策略处理，上报到用户kafka日志中心。 资源限制 建议您为Fluent Bit预留50MB的内存。 约束与限制 当前不支持容器标准输出采集上报到kafka。

查看更多 →

配置日志采集路径 配置容器服务日志采集路径 配置虚机日志采集路径 父主题： 资源接入AOM

查看更多 →

容器日志采集配置 添加自定义标签字段 标准输出配置 父主题： 日志管理

查看更多 →

Flume与其他组件的关系 Flume与HDFS的关系 当用户配置HDFS作为Flume的Sink时，HDFS就作为Flume的最终数据存储系统，Flume将传输的数据全部按照配置写入HDFS中。 具体操作场景请参见典型场景：从本地采集静态日志保存到HDFS和典型场景：从本地采集动态日志保存到HDFS。

查看更多 →

工作目录，默认为与jar包同级的workdir，日志文件存在工作目录中 依赖jar包 使用不同的Flume组件需要额外添加相关的Jar包，详情见第二章依赖驱动清单。 如果系统已经安装Hadoop并配置了“HADOOP_HOME”环境变量就不需要再添加这些jar包。 可以直接将压缩包中的jar放到flume/lib目录

查看更多 →

非加密传输 配置非加密传输 典型场景：从本地采集静态日志保存到Kafka 典型场景：从本地采集静态日志保存到HDFS 典型场景：从本地采集动态日志保存到HDFS 典型场景：从Kafka采集日志保存到HDFS 典型场景：从Kafka客户端采集日志经Flume客户端保存到HDFS 典

查看更多 →

非加密传输 配置非加密传输 典型场景：从本地采集静态日志保存到Kafka 典型场景：从本地采集静态日志保存到HDFS 典型场景：从本地采集动态日志保存到HDFS 典型场景：从Kafka采集日志保存到HDFS 典型场景：从Kafka客户端采集日志经Flume客户端保存到HDFS 典

查看更多 →

日志。 采集容器文件日志时，还需指定容器中的日志路径，详情请参见文件日志路径配置要求。 路径配置：用于配置需要采集的日志路径，详情请参见文件日志路径配置要求。 日志格式 单行文本 每条日志仅包含一行文本，以换行符 \n 作为各条日志的分界线。 多行文本 有些程序打印的日志存在一条完整的日志数据跨占多行（例如

查看更多 →

用户”，选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据 配置Flume参数。 使用 FusionInsight Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight

查看更多 →

通过同时利用Flume服务端和客户端，构成Flume的级联任务，采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。 查看Flume客户端收集日志。 停止及卸载Flume客户端。 图1 Flume使用流程 Flume模块介绍 Flume客户端/服务

查看更多 →

典型场景：从本地采集静态日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从本地采集静态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置加密传输。该配置为只用一个Flume场景，例如：Spooldir

查看更多 →

典型场景：从本地采集动态日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置加密传输。该配置为只用一个Flume场景，例如：Taildir

查看更多 →