数据采集与分析 数据采集与分析 父主题： 运维管理

查看更多 →

APM如何采集探针数据？ 如何采集数据 APM是通过采集探针采集应用数据的。采集探针是通过字节码增强技术进行埋点，生成调用数据。调用数据被采集代理ICAgent所获取并处理，然后上报并呈现在界面中。关系如下图所示： 采集哪些数据 APM仅采集应用的业务调用链数据、资源信息、资源属

查看更多 →

数据采集平台操作说明 数据采集平台面向市级、区级两级的生态环境监测指挥中心的值班长和工作人员，提供多渠道监测站点和污染源数据的功能。 固定微站监测 图1 固定监测站点 通过单击导航栏的【大气监测】，选择子菜单【固定监测站点】，进入固定微站监测。 页面左侧信息栏勾选站点类型、网格风

查看更多 →

如何防止采集数据泄露？ MgC通过以下方式确保采集数据的安全： 数据加密传输：采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证：Edge上的凭证信息都会经过加密处理后保存在本地，不会通过网络传输到云端。 本地数据采集与存储：通过Edge线下采集的信息会被安全地保存在本地

查看更多 →

升级采集机（数据面） 功能介绍 对采集机进行升级。 URI URI格式 POST /softcomai/datalake/collection/v1.0/collector/upgrade 参数说明 无。 请求 请求样例 POST https://ip:port/softcoma

查看更多 →

下载采集数据记录 功能介绍 下载采集数据记录。 URI URI格式 GET /softcomai/datalake/collection/v1.0/collect/download/{taskId} 参数说明 参数名 是否必选 参数类型 备注 taskId 是 String （下载采集记录）任务ID。

查看更多 →

雷达数据采集与上传 堆体服务对雷达点云数据规格约束、云台采集和环境要求 激光雷达点云数据上传 父主题： 堆体测量

查看更多 →

Flume数据采集慢 问题现象 Flume启动后，Flume数据采集慢。 原因分析 Flume堆内存设置不合理，导致Flume进程一直处于频繁GC。查看Flume运行日志： 2019-02-26T13:06:20.666+0800: 1085673.512: [Full GC:[CMS:

查看更多 →

下载采集机日志（数据面） 功能介绍 下载对应采集机上的采集机日志。 URI URI格式 GET /softcomai/datalake/collection/v1.0/download/collectorLog/{collectorId} 参数说明 无。 请求 请求样例 GET

查看更多 →

步骤4：元数据采集 为了在 DataArts Studio 平台中对迁移到云上的原始数据进行管理和监控，我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页，选择对应工作空间的“数据目录”模块，进入数据目录页面。

查看更多 →

采集数据时报错HoodieException 问题 数据采集时报错： com.uber.hoodie.exception.HoodieException: created_at(Part -created_at) field not found in record. Acceptable

查看更多 →

在数据容器中查看采集的数据 数据容器，用于应用中的数据存储，数据容器包含数据库和集群，用来展示在元数据采集中采集的数据。 前提条件 需拥有数据管家角色，角色权限请参考DMAP数小二用户角色与权限说明。 已按如下流程执行采集任务。 已新增数据连接。 已创建采集任务。 已启动/执行采集任务。

查看更多 →

采集数据时报错HoodieException 问题 数据采集时报错： com.uber.hoodie.exception.HoodieException: created_at(Part -created_at) field not found in record. Acceptable

查看更多 →

采集数据时报错HoodieKeyException 问题 创建Hudi表时，是否可以使用包含空记录的可空字段作为主键？ 回答 不可以。 使用包含空记录的可空字段作为主键时会返回HoodieKeyException异常： Caused by: org.apache.hudi.exception

查看更多 →

模型采集支持采集的数据源类型有哪些？ 当前新版模型采集支持采集的数据源类型有：DAMENG、GAUSSDB、DORIS、MYSQL、OpenGauss、ORACLE、POSTGRESQL、SQL Server、DWS、FI Hive、Hive、OCEANBASE、SFTP，用于模型采集。

查看更多 →

采集数据源的元数据 元数据简介 配置元数据采集任务 查看任务监控 父主题： 数据目录

查看更多 →

采集数据时报错HoodieKeyException 问题 创建Hudi表时，是否可以使用包含空记录的可空字段作为主键？ 回答 不可以，会抛HoodieKeyException异常。 Caused by: org.apache.hudi.exception.HoodieKeyException:

查看更多 →

采集Syslog汇聚 服务器 日志到LTS 背景信息 Syslog是网络上各种设备将日志收集到日志服务器的一种数据协议，它几乎被所有的网络设备支持，并且能够记录多种事件类型的日志消息，支持syslog的设备常见的有路由器、交换机、打印机等，甚至unix-like的服务器也可以支持产生

查看更多 →

path 否 String 采集路径。 databaseType 否 String 数据库采集使用数据类型。 databaseVersion 否 String 数据库采集使用数据库版本。 kafkaTopic 否 String kafka topic（需要采集的主题）。 localHost

查看更多 →

采集任务发布数据集 功能介绍 采集任务一键发布数据集。 URI URI格式 POST /softcomai/datalake/collection/v1.0/task/publish 参数说明 无。 请求 请求样例 https://ip:port//softcomai/datalake/collection/v1

查看更多 →

统一管理日志。 采集用户推广日志 采集服务端数据 采集终端用户日志 采集Web/移动端页面用户行为日志 采集服务器日志 采集不同网络环境下的日志数据 统一管理日志 在 云日志服务LTS 控制台创建日志组，详细操作请参考管理日志组。 在云日志服务LTS控制台为不同数据源产生的日志创建日志流，详细操作请参考管理日志流，例如：

查看更多 →