日志采集 “日志采集”处理器用于自定义日志信息，并显示在当前任务的运行日志中（日志级别为Debug）。 配置参数 参数 说明 日志信息 设置日志内容，可使用常量，也可通过变量的方式引用前序步骤中的数据，具体请参考引用变量。 父主题： 处理器

查看更多 →

工具采集 创建工具采集任务 采集器管理 采集器参数配置说明

查看更多 →

血缘采集 血缘采集概述 创建血缘采集任务 查看血缘关系 父主题： 大数据血缘

查看更多 →

资源采集 资源采集常见问题和处理方法 如何查看采集失败原因？ 公网采集失败，提示：“网络连接超时”或“其他异常” 数据源采集失败，如何重新采集？ 如何获取云平台凭证（AK/SK）？ 如何获取添加Azure凭证所需的信息？ 如何获取Azure对象存储深度采集所需凭证？ 如何配置采集Azure容器资源所需权限？

查看更多 →

模型采集 接入数据源 管理数据源 采集任务管理 父主题： 应用模型

查看更多 →

数据采集 使用kafka采集数据时报错IllegalArgumentException 采集数据时报错HoodieException 采集数据时报错HoodieKeyException 父主题： Hudi常见问题

查看更多 →

超额采集 关闭超额采集开关 打开超额采集开关 父主题： API说明

查看更多 →

采集管理 ICAgent和UniAgent是同一个插件吗？ 如何处理界面“ICAgent状态”为“离线”的问题? 在主机上手工安装ICAgent后提示安装成功，但采集器管理器界面上提示状态异常？ ICAgent安装成功后，无法在界面上获取到ICAgent状态 ICAgent安装成

查看更多 →

上传采集机采集数据分片 功能介绍 将采集到的数据分片上报到server端。 URI URI格式 POST /softcomai/datalake/collection/v1.0/sliceUploading 参数说明 无。 请求 请求样例 POST https://ip:port

查看更多 →

编辑完成后，在上方选择“采集通道管理”页签，并单击目标采集通道操作列的“重启”，重启采集通道。 图9 重启采集通道 检查采集通道和采集节点状态。 重启完成后，在“采集通道管理”页面中，检查目标采集通道的健康状态。 图10 采集通道健康状态 在上方选择“采集节点管理”页签，页面，检查目标采集节点的健康状态。

查看更多 →

创建采集任务（采集Agent方式） 使用采集Agent场景需要用户在自己的网络区域安装采集Agent，保证和数据源网络可以正常通信。 安装采集Agent的方法请参考安装采集Agent。 气象数据不支持采集Agent方式。 支持的协议类型为：sftp、ftps、restful、co

查看更多 →

安装采集Agent 介绍如何安装采集Agent。 操作步骤 执行以下命令，在“NAIE_Collector_20.5.1_Linux_x64”路径下安装采集Agent。 cd NAIE_Collector_20.5.1_Linux_x64 执行如下命令： ./Install.sh

查看更多 →

采集任务的调度频率选择 图4 部署采集任务 图5 编辑采集任务 图6 修改采集任务 未部署的采集任务才可以编辑 采集任务重新部署：部署失败的采集任务可以进行重新部署。 图7 采集子任务-1 图8 采集子任务-2 子任务重新部署 部署失败的子任务可以重新进行部署。 图9 子任务重新调度

查看更多 →

库表采集 左侧导航栏依次选择单击资源管理、库表管理、采集元数据，配置所需要的数据源表， 并依照数据标准规范，合理命名元数据名称，以及代码等项，将采集到的数据资源进行复制至部门资源库，找到部门资源库对应库表物化库表资源，最后通过数据桥接同步对应库表数据。 采集元数据： 图1 采集 复制元数据：

查看更多 →

配置采集模板 配置指令式采集模板 父主题： 质量管理

查看更多 →

日志采集类 日志出现重复/丢失的原因

查看更多 →

。采集器描述对采集器采集的数据进行说明，指标集是规范采集的数据，采集参数可以让用户自定义采集的数据。 数据采集由APM Agent实现采集，比如java性能数据采集通过javaagent来实现。APM Agent采集的数据必须跟采集器的指标集的数据模型定义对应， 服务器 端才会得到处理。

查看更多 →

网络监控采集 网络监控采集(AppNetwork)是网络监控采集器，获取网络监控相关信息。包括：类别、指标、指标名称、指标说明、单位、数据类型以及默认聚合方式。 表1 网络监控采集(AppNetwork)指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式

查看更多 →

数据采集概述 安全云脑的数据采集功能，提供了将第三方（非华为云）日志数据接入安全云脑的能力。它使用Logstash通过多种方式采集各类日志数据，采集后，可以快速实现历史数据分析比对、数据关联分析、以及未知威胁发现等相关分析。 图1 数据采集 数据采集原理 数据采集的基本原理是安全

查看更多 →

上报采集过程 功能介绍 采集过程上报。 URI URI格式 POST /softcomai/datalake/collection/v1.0/report/process 参数说明 无。 请求 请求样例 POST https://ip:port/softcomai/datalake/collection/v1

查看更多 →

collectorStatus 否 String 采集机状态。 subNet 否 String 子网。 name 否 String 采集机名称。 packageName 否 String 采集机包名。 note 否 String 采集机备注。 createTime 否 String 采集机创建时间。 resourceUserName

查看更多 →