超额采集 关闭超额采集开关 打开超额采集开关 父主题： API说明

查看更多 →

日志采集 为了减少内存、数据库和磁盘空间占用，您可以按需进行日志采集设置。日志采集开关用来控制是否对日志数据进行采集。 在云日志服务管理控制台，单击“配置中心”，选择“ICAgent采集开关”。 单击开启或关闭“ICAgent采集开关”。 图1 ICAgent采集开关 采集开关默

查看更多 →

采集配置 为了减少内存、数据库、磁盘空间占用，您可以按需进行采集设置。采集设置对所选应用生效。 操作步骤 在左侧导航栏中选择“采集管理 > 采集设置”。 在“应用”下拉列表框中选择应用。 单击打开采集开关。 采集开关默认打开，当您不需要采集某个应用的调用链和拓扑数据时，可通过关闭

查看更多 →

日志采集 “日志采集”处理器用于自定义日志信息，并显示在当前任务的运行日志中（日志级别为Debug）。 配置参数 基本配置 参数 说明 日志信息 设置日志内容，可使用常量，也可通过变量的方式引用前序步骤中的数据，具体请参考引用变量。 图1 日志采集 父主题： 处理器

查看更多 →

日志采集开关 “日志采集开关”默认打开，当不需要采集日志时，可关闭采集开关来停止日志采集，以减少资源占用。 “日志采集开关”关闭后，ICAgent将停止采集日志数据，且云日志服务LTS控制台的“日志采集开关”也将同步关闭。 父主题： 日志配置

查看更多 →

视频采集 描述 视频采集组件提供了视频采集功能，移动端需要采集视频信息时，可以使用该组件完成视频采集功能。 开放能力 视频采集为组件资产，提供视频采集组件，如图1所示。 图1 视频采集组件示例 视频采集组件提供的能力： 组件支持配置处理方式：公共或者ISDP+。 组件提供视频数据保存连接器，连接器处理视频数据。

查看更多 →

数据采集 使用kafka采集数据时报错IllegalArgumentException 采集数据时报错HoodieException 采集数据时报错HoodieKeyException 父主题： Hudi常见问题

查看更多 →

单击“采集状态”，查看主机的采集状态列表。 图1 查看采集状态 表1 采集状态说明 参数名称 说明 主机名称 主机名称。 IP 实例的IP地址。 实例名称 实例名称。 采集器 采集器名称。 单击“采集器”列的，支持按照采集器名称过滤。 状态 采集状态，包括：正常、采集错误以及未开始。 单击“状态”列的，支持按照状态过滤。

查看更多 →

公网采集 适用于采集云平台主机。目前支持的源端云平台为：阿里云、华为云、AWS、腾讯云、Azure。 本节介绍简单项目的公网采集步骤，复杂项目的公网采集步骤请参见创建公网采集任务。 通过公网采集的主机，需要迁移预检查通过或深度采集成功后，才可以创建迁移工作流。 前提条件 已在源端

查看更多 →

数据采集 数据采集概述 采集数据 采集管理 组件管理 父主题： 设置

查看更多 →

采集管理 概述 UniAgent管理 插件市场 采集任务

查看更多 →

Memory（OOM）的出现。 支持定制传输前后准备工作。Flume支持定制脚本，指定在传输前或者传输后执行指定的脚本，用于执行准备工作。 管理客户端告警。Flume通过MonitorServer接收Flume客户端告警，并上报Manager告警管理中心。 父主题： Flume

查看更多 →

Flume常见问题 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功，在日志里都可以看到提示。可以直接输入以下命令查看： tailf /var/log/Bigdata/flume/flume/flumeServer

查看更多 →

服务端使用的keytab文件地址，必须使用机机账号。建议使用Flume服务安装目录下flume/conf/flume_server.keytab。 agent-principal - 服务端使用的安全用户的Principal，必须使用机机账户。建议使用Flume服务默认用户flume_server/hadoop

查看更多 →

ter_1_Flume_ClientConfig/Flume/FlumeClient/flume/plugins.s/plugin.sh plugins = com.huawei.flume.services.FlumePreTransmitService flume.check

查看更多 →

外部服务器能否访问GaussDB(for MySQL)数据库 开通公网访问的实例 对于开通公网访问功能的GaussDB(for MySQL)实例，可以通过外网进行访问。 具体请参见： 通过公网连接GaussDB(for MySQL)实例 未开通公网访问的实例 在虚拟私有云中开通虚拟专用网络（Virtual

查看更多 →

上报采集机采集数据 功能介绍 将采集到的数据上报到server端。 URI URI格式 POST /softcomai/datalake/collection/v1.0/uploading 参数说明 无。 请求 请求样例 POST https://ip:port/softcoma

查看更多 →

使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至HDFS 基于Kafka的Word Count数据流统计案例

查看更多 →

服务端使用的keytab文件地址，必须使用机机账号。建议使用Flume服务安装目录下flume/conf/flume_server.keytab。 agent-principal - 服务端使用的安全用户的Principal，必须使用机机账户。建议使用Flume服务默认用户flume_server/hadoop

查看更多 →

Flume常见问题 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功，在日志里都可以看到提示。可以直接输入以下命令查看： tailf /var/log/Bigdata/flume/flume/flumeServer

查看更多 →

上传采集机采集数据分片 功能介绍 将采集到的数据分片上报到server端。 URI URI格式 POST /softcomai/datalake/collection/v1.0/sliceUploading 参数说明 无。 请求 请求样例 POST https://ip:port

查看更多 →