中软国际数据治理专业服务解决方案实践

采集数据库位点信息 功能介绍 采集数据库位点信息。 接口约束 目前仅支持MySQL-> GaussDB (DWS)同步场景。 仅支持部分Region使用，详情参考终端节点。 URI POST /v5/{project_id}/jobs/{job_id}/collect-db-position

查看更多 →

通过E CS 接入LTS采集Zabbix数据 Zabbix作为常用的开源监控系统，提供了丰富的告警规则用于系统监控。 云日志服务LTS 支持将Zabbix中的监控数据采集到日志流中。本文介绍通过ECS接入将Zabbix数据采集到云日志服务的操作步骤。 前提条件 准备好需要采集日志的ECS主机

查看更多 →

配置增量元数据采集任务 配置、运行采集任务是构建数据资产的前提，下面举例说明如何通过配置采集任务达到灵活采集元数据的目的。 场景一：仅添加新元数据 用户的数据库中新增的数据表，采集任务仅采集新增的表。 例如新增table4的情况下： 采集前的数据表元数据：table1，table2，table3

查看更多 →

安装采集Agent 介绍如何安装采集Agent。 操作步骤 执行以下命令，在“NAIE_Collector_20.5.1_Linux_x64”路径下安装采集Agent。 cd NAIE_Collector_20.5.1_Linux_x64 执行如下命令： ./Install.sh

查看更多 →

采集任务的调度频率选择 图4 部署采集任务 图5 编辑采集任务 图6 修改采集任务 未部署的采集任务才可以编辑 采集任务重新部署：部署失败的采集任务可以进行重新部署。 图7 采集子任务-1 图8 采集子任务-2 子任务重新部署 部署失败的子任务可以重新进行部署。 图9 子任务重新调度

查看更多 →

库表采集 左侧导航栏依次选择单击资源管理、库表管理、采集元数据，配置所需要的数据源表， 并依照数据标准规范，合理命名元数据名称，以及代码等项，将采集到的数据资源进行复制至部门资源库，找到部门资源库对应库表物化库表资源，最后通过数据桥接同步对应库表数据。 采集元数据： 图1 采集 复制元数据：

查看更多 →

配置采集模板 配置指令式采集模板 父主题： 质量管理

查看更多 →

日志采集类 日志出现重复/丢失的原因

查看更多 →

网络监控采集 网络监控采集(AppNetwork)是网络监控采集器，获取网络监控相关信息。包括：类别、指标、指标名称、指标说明、单位、数据类型以及默认聚合方式。 表1 网络监控采集(AppNetwork)指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式

查看更多 →

。采集器描述对采集器采集的数据进行说明，指标集是规范采集的数据，采集参数可以让用户自定义采集的数据。 数据采集由APM Agent实现采集，比如java性能数据采集通过javaagent来实现。APM Agent采集的数据必须跟采集器的指标集的数据模型定义对应， 服务器 端才会得到处理。

查看更多 →

下停止采集Agent。 由于停止采集Agent会停止采集Agent框架和已创建的采集任务，所以在停止采集Agent之前需要先在数据接入服务前台界面上查看是否存在正在运行中的采集任务，如果前台界面上不存在正在运行中的采集任务或存在正在运行中的采集任务但该采集任务不再需要，则可以直接

查看更多 →

启动采集Agent 介绍如何启动采集Agent。 操作步骤 执行以下命令，切换到collector用户。 su - collector Password:collector用户的密码 执行以下命令，切换到“/opt/ict”目录下。 cd /opt/ict 执行以下命令，启动采集Agent。

查看更多 →

采集机授权 功能介绍 采集机授权给特定租户。 URI URI格式 GET /softcomai/datalake/datalake/collection/v1.0/collector/authorize 参数说明 无。 请求 请求样例 GET https://ip:port/so

查看更多 →

采集技术模型 接入扩展采集器（可选） 接入数据源 创建采集任务 父主题： 应用业务模型使用指导

查看更多 →

血缘采集概述 通过血缘采集，可以建立起数据元素之间的关系和依赖关系，从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知，参见下表。 文件类型 采集须知 血缘模板 需要下载血缘模板，并填写相应数据。 父主题： 血缘采集

查看更多 →

Pod日志采集 本章节将介绍在Pod内进行日志采集，允许用户通过配置容器内自定义路径下的日志文件来采集日志，并通过自定义策略处理，上报到用户kafka日志中心。 资源限制 建议您为Fluent Bit预留50MB的内存。 约束与限制 当前不支持容器中软链路径的日志采集。 当前不支持容器标准输出采集上报到kafka。

查看更多 →

页面性能采集 页面性能采集(WebPage)，页面性能采集器，获取页面性能相关信息。包括：类别、指标、指标名称、指标说明、单位、数据类型以及默认聚合方式。 表1 页面性能采集指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 Page指标集（Page，Page指标集相关信息。）

查看更多 →

设备监控采集 设备监控采集(AppDevice)是设备监控采集器，获取设备监控相关信息。包括：类别、指标、指标名称、指标说明、单位、数据类型以及默认聚合方式。 表1 设备监控采集(AppDevice)指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 设备

查看更多 →

DSC上次与实例建立连接的时间。 数据流转日志采集状态 单击打开流转日志采集开关，进行日志采集。 单击打开流转日志采集开关，开通日志采集。“实例状态”为“开通中”正在开通采集，“实例状态”为“运行中”证明开启采集成功。 单击左上角“批量开通流转采集”批量开通日志流转采集。 关闭流转采集 登录管理控制台。

查看更多 →

在左侧导航栏选择“设置 > 采集管理”，进入采集管理页面后，选择“采集通道管理”页签，进入采集通道管理页面。 图2 进入采集通道管理页面 在采集通道管理页面中，查看采集通道的详细信息。 表1 采集通道参数说明 参数名称 参数说明 分组列表 采集通道分组列表及各分组名称。 名称 采集通道的名称。 连接信息

查看更多 →

上报采集过程 功能介绍 采集过程上报。 URI URI格式 POST /softcomai/datalake/collection/v1.0/report/process 参数说明 无。 请求 请求样例 POST https://ip:port/softcomai/datalake/collection/v1

查看更多 →