中软国际数据治理专业服务解决方案实践

表设计 总体上讲，良好的表设计需要遵循以下原则： 减少需要扫描的数据量。通过分区表的剪枝机制可以大幅减少数据的扫描量。 尽量减少随机I/O。通过聚簇可以实现热数据的连续存储，将随机I/O转换为连续I/O，从而减少扫描的I/O代价。 选择分区方案 当表中的数据量很大时，应当对表进行分区，一般需要遵循以下原则：

查看更多 →

约束设计 DEFAULT和NULL约束 如果能够从业务层面补全字段值，那么，不建议使用DEFAULT约束，避免数据加载时产生不符合预期的结果。 给明确不存在NULL值的字段加上NOT NULL约束，优化器会在特定场景下对其进行自动优化。 给可以显式命名的约束显式命名。除了NOT

查看更多 →

设计原则 以下是常用的性能优化指导原则： 中心化原则：识别支配性工作量负载功能，并使其处理过程最小化，把注意力集中在对性能影响最大的部分进行提升。 本地化原则：选择靠近的活动、功能和结果的资源；避免通过间接的方式去达到目的，导致通信量或者处理量大辐增加，性能大辐下降。 共享资源：

查看更多 →

设计优化 PERF05-01 设计优化 父主题： PERF05 性能优化

查看更多 →

结合业务情况，综合考虑技术实现难度、技术方案复杂度、成本等设计合适的故障恢复方案： 自动恢复：对于影响业务的故障，系统应尽可能自动恢复自愈，如保护倒换、局部复位或系统服务等。 优先恢复：优先对故障发生概率高、故障影响大的故障进行恢复。 分级复位：提供分级复位设计，尽可能在更小级别进行复位，以减少对业务的影响。

查看更多 →

最小化凭证：尽量消除对长期的、静态凭证的依赖。 数据安全保护原则（Data Security） 数据分类分级，定义不同级别的数据防护措施。 确保对数据进行适当的加密、备份和访问控制，以保护数据的机密性、完整性和可用性。 维护个人隐私权利，保护隐私数据的机密性和完整性。 DevSecOps

查看更多 →

表设计 总体上讲，良好的表设计需要遵循以下原则： 减少需要扫描的数据量。通过分区表的剪枝机制可以大幅减少数据的扫描量。 尽量减少随机I/O。通过聚簇可以实现热数据的连续存储，将随机I/O转换为连续I/O，从而减少扫描的I/O代价。 选择分区方案 当表中的数据量很大时，应当对表进行分区，一般需要遵循以下原则：

查看更多 →

VN设计 通过对不同的业务划分为不同的VN，实现生产业务、办公业务、多媒体业务的同类型业务正常互通，不同类型业务隔离不互通。 同时为生产、办公、多媒体、等不同业务分配不同比例带宽，保障网络拥塞时各业务流量都能得到调度。 父主题： 用户业务设计

查看更多 →

设计架构 在架构设计阶段伙伴架构师完成集成架构设计和资源清单配置。 创建技术架构 集成架构设计详细操作步骤参见集成架构设计。 伙伴架构师用户登录解决方案工作台，进入工作空间--》选择需要设计的方案--》点击“更多”下拉框--》点击“设计”，即可跳转到架构“设计中心”的页面。 图1

查看更多 →

约束设计 DEFAULT和NULL约束 【建议】如果能够从业务层面补全字段值，则不建议使用DEFAULT约束，避免数据加载时产生不符合预期的结果。 【建议】给明确不存在NULL值的字段加上NOT NULL约束，优化器会在特定场景下对其进行自动优化。 【建议】给可以显式命名的约束显式命名。除了NOT

查看更多 →

表设计 GaussDB 是分布式架构。数据分布在各个DN上。总体上讲，良好的表设计需要遵循以下原则： 【关注】将表数据均匀分布在各个DN上。数据均匀分布，可以防止数据在部分DN上集中分布，从而导致因存储倾斜造成集群有效容量下降。通过选择合适的分布列，可以避免数据倾斜。 【关注】将表

查看更多 →

作为数据治理的一个核心模块，承担数据治理过程中的数据加工并业务化的功能，提供智能数据规划、自定义主题数据模型、统一数据标准、可视化数据建模、标注数据标签等功能，有利于改善数据质量，有效支撑经营决策。 数据开发 大数据开发环境，降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。支持数据建模、数据

查看更多 →

大容量数据库 大容量数据库背景介绍 表分区技术 数据分区查找优化 数据分区运维管理 父主题： 分区表

查看更多 →

主题设计 主题设计是通过分层架构表达对数据的分类和定义，帮助厘清数据资产，明确业务领域和业务对象的关联关系。 单击左侧导航栏“主题设计”并进入主题设计页面。 图1 主题设计1 单击导入，单击下载主题导入模板。 图2 主题设计2 下载模板如下： 表1 下载模板 上级流程 *名称 *编码

查看更多 →

设计中心 方案里的流程图可以修改吗？ 如何移动画布？ 图元被线框框住无法选中怎么办？ 如何复制架构？ 设计阶段的方案还能编辑吗？ 架构设计时有些图元搜索不到。 如何新建部署架构？ 部署架构的删除按钮为什么是置灰的？ 解决方案工作台如何体现项目依赖的其他资源信息？ 设计中心页面为什么没有提交审核按钮？

查看更多 →

API设计 API设计 接口审核 编辑模式与API规范检查 公共模型 Markdown设计 API调试 脚本能力

查看更多 →

Markdown设计 新建Markdown，可通过以下三种方式完成。 方法一：单击“新建 Markdown”图标。 方法二：单击目录树搜索框右侧的，在弹出的下拉框中，选择“新建Markdown”。 方法三：在目录树中选择一个目录，单击右侧图标，在弹出的下拉框中，选择“新建Markdown”。

查看更多 →

资源操作的方法，在API设计过程中，需要根据业务和操作类型选择合适的请求方式。 GET（获取）：用于获取指定资源，使用查询参数传递参数，适用于读取资源和查询数据。 POST（提交）：用于提交数据。POST请求可以传递请求体参数，适用创建新资源、提交表单数据或执行某些操作等场景。

查看更多 →

设计DAG 操作场景 合理的设计程序结构，可以优化执行效率。在程序编写过程中要尽量减少shuffle操作，合并窄依赖操作。 操作步骤 以“同行车判断”例子讲解DAG设计的思路。 数据格式：通过收费站时间、车牌号、收费站编号...... 逻辑：以下两种情况下判定这两辆车是同行车 如果两辆车都通过相同序列的收费站，

查看更多 →

约束设计 DEFAULT和NULL约束 如果能够从业务层面补全字段值，那么，不建议使用DEFAULT约束，避免数据加载时产生不符合预期的结果。 给明确不存在NULL值的字段加上NOT NULL约束，优化器会在特定场景下对其进行自动优化。 给可以显式命名的约束显式命名。除了NOT

查看更多 →

表设计 总体上讲，良好的表设计需要遵循以下原则： 【关注】减少需要扫描的数据量。通过分区表的剪枝机制可以大幅减少数据的扫描量。 【关注】尽量减少随机I/O。通过聚簇/局部聚簇可以实现热数据的连续存储，将随机I/O转换为连续I/O，从而减少扫描的I/O代价。 选择存储方案 【建议】

查看更多 →