中软国际数据治理专业服务解决方案实践

ca_address_sk group by a.ca_address_sk; 为了保证改写的等效性，在customer_address_001. ca_address_sk加了not null约束。 父主题： 实际调优案例

查看更多 →

ls_policyno_cusr1 = t2.ls_policyno_cusr1 ); 对应的执行计划如下： 优化说明 很明显，执行计划中存在SubPlan，并且SubPlan中的运算相当重，即此SubPlan是一个明确的性能瓶颈点。 根据SQL语意等价改写SQL消除SubPlan如下： 1 2 3

查看更多 →

子问题分成更小的子问题直到最后子问题可以简单的直接求解，原问题的解可看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。

查看更多 →

小的子问题直到最后子问题可以简单的直接求解，原问题的解可看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。

查看更多 →

大屏 背景信息 ISDP+开发中心资产货架包含两种大屏资产，数据资产和模板资产。数据资产（应用资产下的“大屏数据处理应用模板”）通过订购部署的方式，部署到开发环境；模板资产（组件资产下的“大屏模板（Demo）”）订购后下载到本地，通过导入的方式上传到“业务大屏”下使用，具体请参见订购资产。

查看更多 →

子问题分成更小的子问题直到最后子问题可以简单的直接求解，原问题的解可看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。

查看更多 →

小的子问题直到最后子问题可以简单的直接求解，原问题的解可看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。

查看更多 →

APP、BO中，需要使用rest或者sdk，来直接调用其它BO的内部脚本。 需要先定义错误码，才能正确的抛出错误码信息，否则会随意抛出错误。 不允许跨BO、APP直接操作其它BO、APP的对象，应该调用rest或者sdk。 不推荐以下写法： 对于确实需要查询所有数据的场景，需要考虑平台的查询记录数限制，并自行控制游标查询。

查看更多 →

实际调优案例 案例：选择合适的分布列 案例：建立合适的索引 案例：增加JOIN列非空条件 案例：使排序下推 案例：设置cost_param对查询性能优化 案例：调整分布键 案例：改建分区表 父主题： 性能调优

查看更多 →

出HashJoin在不同的DN上存在严重的计算偏斜。 同时在Memory Information(如下图)中可以看出各个节点的内存资源消耗也存在极为严重的偏斜。 优化分析 上述两个特征表明了此SQL语句存在极为严重的计算倾斜。进一步向HashJoin算子的下层分析发现Seq Scan

查看更多 →

环境配置：指那些针对当前应用基本上固定的环境配置。 环境数据：指那些需要在部署的同时根据情况调整的数据，如：配置文件，开发、测试、生产环境的地址等。 Automation自动化系统 自动化在DevOps中的作用不言而喻，这部分的主线一般由各种类型的Build系统来实现，如：Jenkins、Team

查看更多 →

案例：车联网大数据业务上云 场景介绍 迁移准备 CDM 迁移近一个月的数据 DES迁移一个月前的历史数据 MRS 中恢复HBase表

查看更多 →

实际调优案例 案例：选择合适的分布列 案例：建立合适的索引 案例：增加JOIN列非空条件 案例：使排序下推 案例：设置cost_param对查询性能优化 案例：调整局部聚簇键 案例：调整中间表存储方式 案例：改建分区表 案例：调整GUC参数best_agg_plan 案例：改写SQL消除子查询（案例1）

查看更多 →

案例：使排序下推 现象描述 在做场景性能测试时，发现某场景大部分时间是CN端在做window agg，占到总执行时间95%以上，系统资源不能充分利用。研究发现该场景的特点是：将两列分别求sum作为一个子查询，外层对两列的和再求和后做trunc，然后排序。 表结构如下所示： 1 2

查看更多 →

Join在不同的DN上存在严重的计算偏斜。 同时在Memory Information(如下图)中可以看出各个节点的内存资源消耗也存在极为严重的偏斜。 图2 内存消耗情况 优化分析 上述两个特征表明了此SQL语句存在极为严重的计算倾斜。进一步向HashJoin算子的下层分析发现Seq

查看更多 →

出HashJoin在不同的DN上存在严重的计算偏斜。 同时在Memory Information(如下图)中可以看出各个节点的内存资源消耗也存在极为严重的偏斜。 优化分析 上述两个特征表明了此SQL语句存在极为严重的计算倾斜。进一步向HashJoin算子的下层分析发现Seq Scan

查看更多 →

实际调优案例 案例：调整查询重写GUC参数rewrite_rule 案例：调整I/O相关参数降低日志膨胀率 案例：建立合适的索引 案例：增加JOIN列非空条件 案例：改建分区表 案例：改写SQL消除子查询 案例：改写SQL消除in-clause 父主题： 性能调优

查看更多 →

更多案例实践参考 关于数据开发更多的使用进阶指导和案例，请参见最佳实践。 父主题： 使用教程

查看更多 →

迁移项目案例 上海XX科技有限公司是XX全量搬迁到华为云的重点客户，完成应用和大数据等2大核心业务和15个子系统全面上线华为云。 迁移调研分析 基础资源自动采集，自动化匹配目标端资源，确保源端资源无缝对接至目标环境的合适配置，完成千余项资源整合。 图1 迁移调研分析1 通过分析应

查看更多 →

典型场景配置案例 对当前账号下单个IAM用户授权 对当前账号下多个IAM用户或用户群组授权 对其他账号授权 对所有账号授权 临时授权访问OBS 让IAM用户只能看到被授权的桶 限制指定的IP地址访问桶

查看更多 →

常用委托配置案例 分配委托权限（被委托方操作） 配置 弹性云服务器 E CS 委托

查看更多 →