中软国际数据治理专业服务解决方案实践

数据采集与分析 前提条件 已配置邮箱 服务器 ，具体操作请参见调测邮箱通知功能。 操作步骤 选择“运维管理 > 数据采集与分析 > 数据采集与分析”。 根据需要选择相应的功能使用，详情请参见表1。 表1 任务管理 任务 说明 操作方法 采集设备日志 采集和统计设备故障日志，以了解设备的状态以及运行情况。

查看更多 →

数据采集与分析 数据采集与分析 父主题： 运维管理

查看更多 →

运维数据采集 运维数据采集概述 管理监控插件 创建监控模板 按主机绑定监控模板 按分组绑定监控模板 查看虚机报表 常用监控插件说明 父主题： 监控服务

查看更多 →

元数据采集 元数据简介 任务管理 任务监控 父主题： 数据目录组件

查看更多 →

上传采集机采集数据分片 功能介绍 将采集到的数据分片上报到server端。 URI URI格式 POST /softcomai/datalake/collection/v1.0/sliceUploading 参数说明 无。 请求 请求样例 POST https://ip:port

查看更多 →

升级采集机（数据面） 功能介绍 对采集机进行升级。 URI URI格式 POST /softcomai/datalake/collection/v1.0/collector/upgrade 参数说明 无。 请求 请求样例 POST https://ip:port/softcoma

查看更多 →

下载采集数据记录 功能介绍 下载采集数据记录。 URI URI格式 GET /softcomai/datalake/collection/v1.0/collect/download/{taskId} 参数说明 参数名 是否必选 参数类型 备注 taskId 是 String （下载采集记录）任务ID。

查看更多 →

雷达数据采集与上传 堆体服务对雷达点云数据规格约束、云台采集和环境要求 激光雷达点云数据上传 父主题： 堆体测量

查看更多 →

运维数据采集概述 监控服务支持采集主机各项监控指标，并以报表的形式呈现监控指标数据。 功能说明 表1 运维数据采集功能说明 功能 说明 插件管理 用户可在插件管理界面下载插件或查看插件详情。 模板管理 用户可在模板管理界面定义本服务的监控模板，在模板内用户可添加需要使用的插件。 绑定管理

查看更多 →

Flume数据采集慢 问题现象 Flume启动后，Flume数据采集慢。 原因分析 Flume堆内存设置不合理，导致Flume进程一直处于频繁GC。查看Flume运行日志： 2019-02-26T13:06:20.666+0800: 1085673.512: [Full GC:[CMS:

查看更多 →

数据采集平台操作说明 数据采集平台面向市级、区级两级的生态环境监测指挥中心的值班长和工作人员，提供多渠道监测站点和污染源数据的功能。 固定微站监测 图1 固定监测站点 通过单击导航栏的【大气监测】，选择子菜单【固定监测站点】，进入固定微站监测。 页面左侧信息栏勾选站点类型、网格风

查看更多 →

运维数据采集概述 监控服务支持采集主机各项监控指标，并以报表的形式呈现监控指标数据。 功能说明 表1 运维数据采集功能说明 功能 说明 插件管理 用户可在插件管理界面下载插件或查看插件详情。 模板管理 用户可在模板管理界面定义本服务的监控模板，在模板内用户可添加需要使用的插件。 绑定管理

查看更多 →

新建数据大屏 大屏概述 新建大屏 大屏全局参数配置 大屏组件 预览大屏 发布大屏 复制大屏 大屏分享协作 管理大屏

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

采集数据时报错HoodieKeyException 问题 创建Hudi表时，是否可以使用包含空记录的可空字段作为主键？ 回答 不可以，会抛HoodieKeyException异常。 Caused by: org.apache.hudi.exception.HoodieKeyException:

查看更多 →

采集数据时报错HoodieException 问题 数据采集时报错： com.uber.hoodie.exception.HoodieException: created_at(Part -created_at) field not found in record. Acceptable

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

采集数据时报错HoodieKeyException 问题 创建Hudi表时，是否可以使用包含空记录的可空字段作为主键？ 回答 不可以，会抛HoodieKeyException异常。 Caused by: org.apache.hudi.exception.HoodieKeyException:

查看更多 →

无法采集数据加工产物 问题描述 用户登录连接器，在“数据合约”的“我收到的数据合约”页签下，采集失败，无法采集到数据加工产物。 可能原因 下载到可信环境的应用数据再加工后，未放到正确的采集路径下，导致采集失败。 处理方法 用户将数据加工产物保存到正确的文件路径下，才可以被采集到。

查看更多 →

下载采集机日志（数据面） 功能介绍 下载对应采集机上的采集机日志。 URI URI格式 GET /softcomai/datalake/collection/v1.0/download/collectorLog/{collectorId} 参数说明 无。 请求 请求样例 GET

查看更多 →