以结合Flume服务端一起使用。 使用流程 通过同时利用Flume服务端和客户端，构成Flume的级联任务，采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。 查看Flume客户端收集日志。 停止及卸载Flume客户端。 图1 Flume使用流程

查看更多 →

以结合Flume服务端一起使用。 使用流程 通过同时利用Flume服务端和客户端，构成Flume的级联任务，采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。 查看Flume客户端收集日志。 停止及卸载Flume客户端。 图1 Flume使用流程

查看更多 →

快速使用Flume采集节点日志 操作场景 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端（ MRS 3.x之前版本）

查看更多 →

快速使用Flume采集节点日志 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。

查看更多 →

日志采集 您可以通过一键采集页面，可设置系统默认日志级别及采集后台日志，方便排查问题。 操作步骤 使用系统管理员sysadmin账号登录实例Web控制台。 在左侧导航栏，选择“系统管理 > 系统运维”，单击“系统诊断 > 一键采集”。 单击“开始采集”，执行复现问题的操作。 单击“完成复现”，等待报告生成。

查看更多 →

日志采集 “日志采集”处理器用于自定义日志信息，并显示在当前任务的运行日志中（日志级别为Debug）。 配置参数 基本配置 参数 说明 日志信息 设置日志内容，可使用常量，也可通过变量的方式引用前序步骤中的数据，具体请参考引用变量。 图1 日志采集 父主题： 处理器

查看更多 →

方式上报日志。以下是部分常用数据采集场景示例： 使用Flume采集文本日志上报到LTS 使用Flume采集数据库表数据并且上报至LTS 使用Flume采集syslog协议传输的日志上报到LTS 通过Flume采集TCP/UDP协议传输的日志上报到LTS 通过Flume采集SNMP协议上报的设备管理数据并发送到LTS

查看更多 →

日志采集 “日志采集”处理器用于自定义日志信息，并显示在当前任务的运行日志中（日志级别为Debug）。 配置参数 参数 说明 日志信息 设置日志内容，可使用常量，也可通过变量的方式引用前序步骤中的数据，具体请参考引用变量。 父主题： 处理器

查看更多 →

方式上报日志。以下是部分常用数据采集场景示例： 使用Flume采集文本日志上报到LTS 使用Flume采集数据库表数据并且上报至LTS 使用Flume采集syslog协议传输的日志上报到LTS 通过Flume采集TCP/UDP协议传输的日志上报到LTS 通过Flume采集SNMP协议上报的设备管理数据并发送到LTS

查看更多 →

能对应一个日志推送规则。 日志组ID 日志组（LogGroup）是云日志服务进行日志管理的基本单位，可以创建日志流以及设置日志存储时间。此处填写存量日志组ID，获取方式详见日志组ID。 日志流ID 日志流（LogStream）是日志读写的基本单位，日志组中可以创建日志流，将不同类

查看更多 →

Flume数据采集慢 问题现象 Flume启动后，Flume数据采集慢。 原因分析 Flume堆内存设置不合理，导致Flume进程一直处于频繁GC。查看Flume运行日志： 2019-02-26T13:06:20.666+0800: 1085673.512: [Full GC:[CMS:

查看更多 →

id-gc.log Flume进程的GC日志。 /flume/Flume-audit.log Flume客户端的审计日志。 /flume/startAgent.out Flume启动前的进程参数日志。 日志级别 Flume提供了如表2所示的日志级别。 运行日志的级别优先级从高到低

查看更多 →

实时日志 RES根据实时发送到DIS上的日志，进行数据计算和处理，更新用户的相关数据。用户发送到DIS上的数据具体如下： 实时行为日志 实时行为日志的作用包括： 更新用户的兴趣标签。 记录所选行为类型的历史记录。 更新用户的上下文信息。 召回候选集。 表1 实时行为日志字段描述 字段名

查看更多 →

客户端侧配置文件。 步骤3：安装Flume客户端：在MRS集群中下载并安装Flume客户端。 步骤4：查看日志采集结果：查看日志采集结果。 步骤1：创建MRS集群 创建并购买一个包含有Flume、HDFS组件的MRS集群，详情请参见购买自定义集群。 本文以购买的MRS 3.1.0

查看更多 →

使用Flume服务端从本地采集静态日志保存到Kafka 操作场景 该任务指导用户使用Flume服务端从本地采集静态日志保存到Kafka的Topic列表（test1）。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使

查看更多 →

使用Flume服务端从本地采集静态日志保存到Kafka 该任务指导用户使用Flume服务端从本地采集静态日志保存到Kafka的Topic列表（test1）。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务

查看更多 →

日志采集类 日志出现重复/丢失的原因

查看更多 →

日志存在一条完整日志跨占多行的情况下，如果需要采集显示整条日志，您可以设置“日志格式”，开启多行日志。 单行日志：系统默认按行采集日志。 多行日志：多行合并为一行，系统按设置的匹配规则采集日志，不满足匹配规则的日志行会与上一次满足匹配规则的日志行合并为一行。 选择“日志时间”表示采用时间匹配方式。

查看更多 →

er界面中配置。 表1 Flume日志列表 日志类型 日志文件名 描述 运行日志 /flume/flumeServer.log FlumeServer运行环境信息日志。 /flume/install.log FlumeServer安装日志。 /flume/flumeServer-gc

查看更多 →

Pod日志采集 本章节将介绍在Pod内进行日志采集，允许用户通过配置容器内自定义路径下的日志文件来采集日志，并通过自定义策略处理，上报到用户kafka日志中心。 资源限制 建议您为Fluent Bit预留50MB的内存。 约束与限制 当前不支持容器中软链路径的日志采集。 当前不支持容器标准输出采集上报到kafka。

查看更多 →

DSC上次与实例建立连接的时间。 数据流转日志采集状态 单击打开流转日志采集开关，进行日志采集。 单击打开流转日志采集开关，开通日志采集。“实例状态”为“开通中”正在开通采集，“实例状态”为“运行中”证明开启采集成功。 单击左上角“批量开通流转采集”批量开通日志流转采集。 关闭流转采集 登录管理控制台。

查看更多 →