中软国际数据治理专业服务解决方案实践

约束设计 DEFAULT和NULL约束 如果能够从业务层面补全字段值，那么，不建议使用DEFAULT约束，避免数据加载时产生不符合预期的结果。 给明确不存在NULL值的字段加上NOT NULL约束，优化器会在特定场景下对其进行自动优化。 给可以显式命名的约束显式命名。除了NOT

查看更多 →

设计架构 在架构设计阶段伙伴架构师完成集成架构设计和资源清单配置。 创建技术架构 集成架构设计详细操作步骤参见集成架构设计。 伙伴架构师用户登录解决方案工作台，进入工作空间--》选择需要设计的方案--》点击“更多”下拉框--》点击“设计”，即可跳转到架构“设计中心”的页面。 图1

查看更多 →

设计原则 以下是常用的性能优化指导原则： 中心化原则：识别支配性工作量负载功能，并使其处理过程最小化，把注意力集中在对性能影响最大的部分进行提升。 本地化原则：选择靠近的活动、功能和结果的资源；避免通过间接的方式去达到目的，导致通信量或者处理量大辐增加，性能大辐下降。 共享资源：

查看更多 →

设计优化 PERF05-01 设计优化 父主题： PERF05 性能优化

查看更多 →

结合业务情况，综合考虑技术实现难度、技术方案复杂度、成本等设计合适的故障恢复方案： 自动恢复：对于影响业务的故障，系统应尽可能自动恢复自愈，如保护倒换、局部复位或系统服务等。 优先恢复：优先对故障发生概率高、故障影响大的故障进行恢复。 分级复位：提供分级复位设计，尽可能在更小级别进行复位，以减少对业务的影响。

查看更多 →

最小化凭证：尽量消除对长期的、静态凭证的依赖。 数据安全保护原则（Data Security） 数据分类分级，定义不同级别的数据防护措施。 确保对数据进行适当的加密、备份和访问控制，以保护数据的机密性、完整性和可用性。 维护个人隐私权利，保护隐私数据的机密性和完整性。 DevSecOps

查看更多 →

VN设计 通过对不同的业务划分为不同的VN，实现生产业务、办公业务、多媒体业务的同类型业务正常互通，不同类型业务隔离不互通。 同时为生产、办公、多媒体、等不同业务分配不同比例带宽，保障网络拥塞时各业务流量都能得到调度。 父主题： 用户业务设计

查看更多 →

表设计 GaussDB 是分布式架构。数据分布在各个DN上。总体上讲，良好的表设计需要遵循以下原则： 【关注】将表数据均匀分布在各个DN上。数据均匀分布，可以防止数据在部分DN上集中分布，从而导致因存储倾斜造成集群有效容量下降。通过选择合适的分布列，可以避免数据倾斜。 【关注】将表

查看更多 →

表设计 总体上讲，良好的表设计需要遵循以下原则： 减少需要扫描的数据量。通过分区表的剪枝机制可以大幅减少数据的扫描量。 尽量减少随机I/O。通过聚簇可以实现热数据的连续存储，将随机I/O转换为连续I/O，从而减少扫描的I/O代价。 选择分区方案 当表中的数据量很大时，应当对表进行分区，一般需要遵循以下原则：

查看更多 →

约束设计 DEFAULT和NULL约束 【建议】如果能够从业务层面补全字段值，则不建议使用DEFAULT约束，避免数据加载时产生不符合预期的结果。 【建议】给明确不存在NULL值的字段加上NOT NULL约束，优化器会在特定场景下对其进行自动优化。 【建议】给可以显式命名的约束显式命名。除了NOT

查看更多 →

数据下载的消费模式 同Kafka类似，当前dis kafka adapter支持三种消费模式。 assign模式 由用户手动指定consumer实例消费哪些具体分区，此时不会拥有group management机制，也就是当group内消费者数量变化或者通道扩缩容的时候不会有重新分配分区的行为发生。代码样例如下所示：

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

数据下载的消费模式 同Kafka类似，当前dis kafka adapter支持三种消费模式。 assign模式 由用户手动指定consumer实例消费哪些具体分区，此时不会拥有group management机制，也就是当group内消费者数量变化或者通道扩缩容的时候不会有重新分配分区的行为发生。代码样例如下所示：

查看更多 →

数据库模式迁移 功能 runDSC.sh和runDSC.bat分别用于将Teradata、MySQL的schema和query迁移到GaussDB (DWS)上。 迁移参数指导 Teradata SQL迁移 Teradata Perl迁移 MySQL SQL迁移 Oracle SQL迁移

查看更多 →

作为数据治理的一个核心模块，承担数据治理过程中的数据加工并业务化的功能，提供智能数据规划、自定义主题数据模型、统一数据标准、可视化数据建模、标注数据标签等功能，有利于改善数据质量，有效支撑经营决策。 数据开发 大数据开发环境，降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。支持数据建模、数据

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

数据上云设计与实施服务 工作说明书 常见问题 计费说明 父主题： 上云与实施

查看更多 →

数据治理知识库设计 依托华为自身数据治理实践，以及对外在装备、汽车、电子、交通、制造等行业咨询实践经验，华为已完成汇总沉淀通用数据治理知识集； 在本项目中，基于中小企业客户的特点，定制化提供相关基础知识，同时以多样的呈现样式提供给知识中心，以支撑中小企业自我数据管理能力的升级。 父主题：

查看更多 →

Hudi数据表设计规范 Hudi表模型设计规范 Hudi表索引设计规范 Hudi表分区设计规范 父主题： Hudi应用开发规范

查看更多 →