中软国际数据治理专业服务解决方案实践

表设计 总体上讲，良好的表设计需要遵循以下原则： 减少需要扫描的数据量。通过分区表的剪枝机制可以大幅减少数据的扫描量。 尽量减少随机I/O。通过聚簇可以实现热数据的连续存储，将随机I/O转换为连续I/O，从而减少扫描的I/O代价。 选择分区方案 当表中的数据量很大时，应当对表进行分区，一般需要遵循以下原则：

查看更多 →

约束设计 DEFAULT和NULL约束 【建议】如果能够从业务层面补全字段值，则不建议使用DEFAULT约束，避免数据加载时产生不符合预期的结果。 【建议】给明确不存在NULL值的字段加上NOT NULL约束，优化器会在特定场景下对其进行自动优化。 【建议】给可以显式命名的约束显式命名。除了NOT

查看更多 →

执行Archive操作 异步Compaction可以将多个表串行到一个作业，资源配置相近的表放到一组，该组作业的资源配置为最大消耗资源的表所需的资源 对于在•Hudi表采用异步Compaction和•采用Spark异步执行Compaction，不...中提到的异步Compaction任务，这里给出以下开发建议：

查看更多 →

is作为数据库使用。 失效时间并非越长越好，需要根据业务性质进行设置。 防止缓存击穿 推荐搭配本地缓存使用Redis，对于热点数据建立本地缓存。本地缓存数据使用异步方式进行刷新。 - 防止缓存穿透 非关键路径透传数据库，建议对访问数据库进行限流。 - 从Redis获取数据未命中时

查看更多 →

作为数据治理的一个核心模块，承担数据治理过程中的数据加工并业务化的功能，提供智能数据规划、自定义主题数据模型、统一数据标准、可视化数据建模、标注数据标签等功能，有利于改善数据质量，有效支撑经营决策。 数据开发 大数据开发环境，降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。支持数据建模、数据

查看更多 →

容灾和多活策略 D CS 缓存实例都存储着大量关键数据，不论是作为数据库前端缓存，还是作为数据存储引擎，数据的可靠性与服务的连续可用性是DCS服务设计上为客户考虑的核心因素，下图展示了DCS在数据和服务方面的容灾架构设计演进。 图1 DCS容灾架构演进 根据对数据与服务的不同可靠性要求，您可以选择

查看更多 →

异步任务进度查询 功能介绍 该接口为扩展接口，主要用于查询异步任务进度。 URI GET /v1/cloudimages/job/{job_id} 参数说明请参见表1。 表1 参数说明 参数 是否必选 描述 job_id 是 异步任务ID 请求消息 请求参数 无 请求示例 异步任务进度查询。

查看更多 →

批量异步实例管理 批量异步创建任务 提交批量创建异步任务 查询批量异步创建的任务列表 查询指定ID批量异步任务详情 更新指定ID批量异步任务详情 下载任务导入模板 批量导入任务 父主题： API v5（公测中）

查看更多 →

异步执行函数 功能介绍 异步执行函数。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/fgs/functions/{function_urn}/invocations-async 表1 路径参数 参数 是否必选 参数类型 描述 project_id

查看更多 →

创建分享异步任务 功能介绍 创建分享异步任务。 URI POST /koodrive/ose/v1/share/tasks 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 Authorization 是 String 该字段存储的是Access Token。

查看更多 →

异步任务查询（废弃） 功能介绍 主要用于异步接口执行情况。 URI GET /v1.0/{project_id}/jobs/{job_id} 表1 参数说明 名称 是否必选 参数类型 说明 project_id 是 String 操作用户的项目ID。 job_id 是 String

查看更多 →

异步导出实例资源 功能介绍 导出需要的实例列表。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/export 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法请参见获取项目ID。

查看更多 →

离线GPU任务需要处理大量数据，对GPU资源供给要求高，通过API调用并行运行加快处理速度。 数据源集成 离线GPU任务对数据源的需求多种多样，处理过程中需要与多种存储产品（例如 对象存储OBS ）和多种消息产品（例如消息队列）进行频繁交互。 功能优势 函数计算为离线异步应用类工作负载提供以下功能优势：

查看更多 →

全量阶段的冲突默认忽略。取值： ignore：忽略。当同步数据与目标库已有数据冲突时（主键/唯一键重复等），DRS将忽略源库的冲突数据，并保留目标库中的冲突数据，继续进行后续同步。 stop：报错。当同步数据与目标库已有数据冲突时（主键/唯一键重复等），同步任务将失败并立即中止。可在同步日志中查看详细信息。

查看更多 →

查询异步操作结果 功能介绍 查询异步操作结果 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/operation/record

查看更多 →

异步命令处理函数 PQexec函数对普通的同步应用里提交命令已经足够使用。但是它却有几个缺陷，而这些缺陷可能对某些用户很重要。 PQexec等待命令结束，而应用可能还有其它的工作要做（比如维护用户界面等），此时并不希望PQexec阻塞应用。 因为客户端应用在等待结果的时候是处于挂

查看更多 →

允许异步状态通知 功能介绍 允许异步状态通知。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/fgs/functions/enable-async-status-logs 表1 路径参数 参数 是否必选 参数类型 描述 project_id

查看更多 →

查看异步方式数据查看任务的状态 功能介绍 查看异步方式数据查看任务的状态。 URI URI格式 GET /softcomai/datalake/dataplan/v1.0/debug/syncTask/status/{progressId} 参数说明 参数名 是否必选 参数类型 备注

查看更多 →

数据治理知识库设计 依托华为自身数据治理实践，以及对外在装备、汽车、电子、交通、制造等行业咨询实践经验，华为已完成汇总沉淀通用数据治理知识集； 在本项目中，基于中小企业客户的特点，定制化提供相关基础知识，同时以多样的呈现样式提供给知识中心，以支撑中小企业自我数据管理能力的升级。 父主题：

查看更多 →

Hudi数据表设计规范 Hudi表模型设计规范 Hudi表索引设计规范 Hudi表分区设计规范 父主题： Hudi应用开发规范

查看更多 →

规范设计 配置中心 流程设计 主题设计 码表管理 数据标准 关系建模 业务指标 技术指标 维度建模 父主题： 实施步骤

查看更多 →