中软国际数据治理专业服务解决方案实践

新建数据大屏 大屏概述 新建大屏 大屏全局参数配置 大屏组件 预览大屏 发布大屏 复制大屏 大屏分享协作 管理大屏 典型场景示例

查看更多 →

无法采集数据加工产物 问题描述 用户登录连接器，在“数据合约”的“我收到的数据合约”页签下，采集失败，无法采集到数据加工产物。 可能原因 下载到可信环境的应用数据再加工后，未放到正确的采集路径下，导致采集失败。 处理方法 用户将数据加工产物保存到正确的文件路径下，才可以被采集到。

查看更多 →

采集数据时报错HoodieKeyException 问题 创建Hudi表时，是否可以使用包含空记录的可空字段作为主键？ 回答 不可以，会抛HoodieKeyException异常。 Caused by: org.apache.hudi.exception.HoodieKeyException:

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

大屏所展现的数据如何获取到本地？ 可通过对接开放API或大屏所提供的报告导出功能获取相关大屏数据。对接API的具体方法可参见最佳实践中的如何调用API。 父主题： 其他使用相关

查看更多 →

模型采集支持采集的数据源类型有哪些？ 当前新版模型采集支持采集的数据源类型有：DAMENG、GAUSSDB、MYSQL、OpenGauss、ORACLE、POSTGRESQL、SQL Server、DWS、FI Hive、Hive、OCEANBASE、SFTP、也支持把本地文件作为一个数据源，并用于模型采集。

查看更多 →

path 否 String 采集路径。 databaseType 否 String 数据库采集使用数据类型。 databaseVersion 否 String 数据库采集使用数据库版本。 kafkaTopic 否 String kafka topic（需要采集的主题）。 localHost

查看更多 →

采集任务发布数据集 功能介绍 采集任务一键发布数据集。 URI URI格式 POST /softcomai/datalake/collection/v1.0/task/publish 参数说明 无。 请求 请求样例 https://ip:port//softcomai/datalake/collection/v1

查看更多 →

元数据采集任务接口 查询采集任务列表 创建采集任务 查询采集任务详情 编辑采集任务 删除单个采集任务 启动、调度、停止采集任务 获取任务日志 父主题： 数据目录API

查看更多 →

查询采集任务状态（数据准备） 功能介绍 查询采集任务状态。 URI URI格式 GET /softcomai/datalake/collection/v1.0/taskConsole/statusList 参数说明 无。 请求 请求样例 https://localhost:por

查看更多 →

获取指定指标相关采集数据 功能介绍 该接口用于获取指定指标相关采集数据。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/clusters/{cluster_id}/dms/metrics/{metric_name} 表1 路径参数 参数 是否必选

查看更多 →

保存并发布：保存并发布大屏之后，在大屏页面大屏具有查看功能。 在保存并发布的页面输入大屏的名称。 图11 保存并发布 步骤5：查看/预览大屏 当大屏创建完成之后，可以进行预览方便对大屏的效果进行修改，本节将为您介绍如何预览大屏。 在页面的右上侧，单击“预览”，即可完成预览大屏的功能。 图12

查看更多 →

户配置的数据库、数据表的范围内的。 勾选“仅更新数据目录中的元数据”：采集任务仅更新数据目录已经采集到的元数据 勾选“仅添加新元数据”：采集任务仅采集数据源中存在，但是数据目录中不存在的元数据 勾选“更新数据目录中的元数据、添加新元数据”：采集任务全量同步数据源中的元数据 勾选“

查看更多 →

如何查看采集失败原因？ 如果任务状态为“失败”，单击操作列的“查看”，可以查看采集失败的数据源，将鼠标放到数据源的采集状态上，可以查看失败原因。采集失败的数据源，处理完失败原因后，需要删除后通过新增数据源重新采集。 父主题： 应用发现

查看更多 →

如何导出监控数据？ 用户在 云监控服务 页面选择“云服务监控”或“主机监控”。 单击“导出监控数据”。 根据界面提示选择“时间区间”、“周期”、“资源类型”、“维度”、“监控对象”、“监控指标”。 单击 “导出”。 一次可选择多个监控指标导出。导出文件格式为“csv”。 导出监控报告

查看更多 →

投影的名称，单击参数值后系统可根据“标签”取值自动生成。 字段选择器 左侧为外部数据源传入的全部元数据，勾选所需数据字段，单击，将所选数据移到右侧输出字段中。 赋值 数据赋值器，可将缓存中的对象数据、传入的外部数据源数据、某个常量数据或者数据取表达式值赋值给某参数。 图8 赋值器配置 表6 赋值器配置参数说明表

查看更多 →

将编辑好的数据重新打包成“zip”包，重新导入数据，具体步骤请参见如何导入数据。 查看导入成功后的结果，请参见如何使用控制台查询数据。 图6 批量导入成功的数据 如何通过模板进行数据导入 在AstroZero上定义数据导入模板，将模板下载到本地，并录入数据。数据录入完成后，通过导入模板导入新数据并按照预定义的脚本处理数据。

查看更多 →

如何创建数据接入 当需要从外部数据源获取数据时，需要对数据进行一系列处理后，才能转化成内部事件，输出给Kafka或ROMA Connect。在AstroZero中，通过配置数据接入功能可实现上述整个流程。如何新建数据接入，请参见如何创建数据接入。 如何管理数据接入 参考登录管理

查看更多 →

在左侧导航树中，单击，选择“安全与合规 > 数据安全中心”。 在左侧导航树中选择“资产管理 > 元数据任务”，进入“元数据采集任务”页面。 在“元数据采集任务”页面，单击“新建”，进入“新建采集任务 > 数据源配置”页面，具体参数说明如表 数据源配置参数说明所示。 表1 数据源配置参数说明 参数名 参数说明

查看更多 →

已完成：已完成元数据采集任务。 运行中：正在运行元数据采集任务。 运行失败：元数据采集任务运行失败。 调度中：元数据采集任务已添加成功，待运行。 部分完成：已完成部分元数据采集任务。 运行时长 任务开始运行到结束运行用的时间 相关操作 您还可以在任务的操作栏对当前元数据采集任务进行“编辑”或“删除”操作。

查看更多 →

采集数据库位点信息 功能介绍 采集数据库位点信息。 接口约束 目前仅支持MySQL-> GaussDB (DWS)同步场景。 仅支持部分Region使用，详情参考终端节点。 URI POST /v5/{project_id}/jobs/{job_id}/collect-db-position

查看更多 →