中软国际数据治理专业服务解决方案实践

案例：使排序下推 在做场景性能测试时，发现某场景大部分时间是CN端在做window agg，占到总执行时间95%以上，系统资源不能充分利用。研究发现该场景的特点是：将两列分别求sum作为一个子查询，外层对两列的和再求和后做trunc，然后排序。可以尝试将语句改写为子查询，使排序下推。

查看更多 →

迁移项目案例 上海XX科技有限公司是XX全量搬迁到华为云的重点客户，完成应用和大数据等2大核心业务和15个子系统全面上线华为云。 迁移调研分析 基础资源自动采集，自动化匹配目标端资源，确保源端资源无缝对接至目标环境的合适配置，完成千余项资源整合。 图1 迁移调研分析1 通过分析应

查看更多 →

实际调优案例 案例：调整查询重写GUC参数rewrite_rule 案例：建立合适的索引 案例：增加JOIN列非空条件 案例：改建分区表 案例：改写SQL消除子查询 案例：改写SQL消除in-clause 父主题： SQL调优指南

查看更多 →

出HashJoin在不同的DN上存在严重的计算倾斜。 同时在Memory Information(如下图)中可以看出各个节点的内存资源消耗也存在极为严重的倾斜。 优化分析 上述两个特征表明了此SQL语句存在极为严重的计算倾斜。进一步向HashJoin算子的下层分析发现Seq Scan

查看更多 →

小的子问题直到最后子问题可以简单的直接求解，原问题的解可看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。

查看更多 →

子问题分成更小的子问题直到最后子问题可以简单的直接求解，原问题的解可看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。

查看更多 →

Snap代码生成案例 - 数据库接口编写 MyBatis作为常见的数据库框架，经常涉及到大量的接口类生成，并且很多情况下这些接口类都具有类似的格式，因此在上文的基础上生成新的业务接口也是比较常见的代码生成场景。 根据注释生成数据库接口代码 对于类似的业务逻辑，可以直接生成对应的接口。 案例总结

查看更多 →

使用数据工程构建NLP大模型数据集 NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集，该数据集格式要求请参见文本类数据集格式要求。 构建NLP大模型所需数据量 使用数据工程构建盘古NLP大模型数据集进行模型训练时，所需数据量见表1。 表1 构建NLP大模型所需数据量

查看更多 →

确认智能标注结果 数据发布 ModelArts训练管理模块支持通过ModelArts数据集或者OBS目录中的文件创建训练作业。如果选择通过数据集作为训练作业的数据源，则需要指定数据集及特定的版本。因此，用户需要为准备好的数据发布一个版本，具体操作参考发布ModelArts数据集中的数据版本。

查看更多 →

Standard的自动学习功能完成“图像分类”AI模型的训练和部署。 面向AI开发零基础的用户 使用Standard自动学习实现口罩检测 本案例基于华为云AI开发者社区AI Gallery中的数据集资产，让零AI基础的开发者使用ModelArts Standard的自动学习功能完成

查看更多 →

案例：改建分区表 逻辑上的一张表根据某种策略分成多个物理块进行存储，这张逻辑上的表称之为分区表，每个物理块则称为一个分区。一般对数据和查询都有明显区间段特征的表使用分区策略可通过较小不必要的数据扫描，从而提升查询性能 在查询时，可通过分区剪枝技术尽可能减少底层数据扫描，即缩小表的

查看更多 →

存储配置：云硬盘EVS。 磁盘规格：按照对应的存储使用情况可选择存储大小。 SSH远程开发：如果需通过VS Code远程连接Notebook实例，可打开SSH远程开发，并选择自己的密钥对。 图2 实例创建 在Notebook列表，单击“操作列”的“打开”，打开Notebook实例。 图3

查看更多 →

练 介绍主流的开源大模型Llama系列、Qwen系列、Yi系列、Baichuan系列、ChatGLM系列等基于ModelArts Standard的训练过程，训练使用PyTorch框架和昇腾NPU计算资源。 训练后的模型可用于推理部署，搭建大模型问答助手。 主流开源大模型基于DevServer适配PyTorch

查看更多 →

角色认证的案例和在职证明的具体要求？ （1）在职证明不统一模板，可由公司统一给所有证书持有员工开具到一张也可以单个员工开具，形式不限。只要能证明该员工在该公司任职，落款、盖章与认证主体完全一致即可； （2）案例具体要求联系接口人。 父主题： 服务合作伙伴发展路径

查看更多 →

环境配置：指那些针对当前应用基本上固定的环境配置。 环境数据：指那些需要在部署的同时根据情况调整的数据，如：配置文件，开发、测试、生产环境的地址等。 Automation自动化系统 自动化在DevOps中的作用不言而喻，这部分的主线一般由各种类型的Build系统来实现，如：Jenkins、Team

查看更多 →

大屏 背景信息 ISDP+开发中心资产货架包含两种大屏资产，数据资产和模板资产。数据资产（应用资产下的“大屏数据处理应用模板”）通过订购部署的方式，部署到开发环境；模板资产（组件资产下的“大屏模板（Demo）”）订购后下载到本地，通过导入的方式上传到“业务大屏”下使用，具体请参见订购资产。

查看更多 →

使用数据工程构建科学计算大模型数据集 科学计算大模型支持接入的数据集类型 盘古科学计算大模型仅支持接入气象类数据集，该数据集格式要求请参见气象类数据集格式要求。 构建科学计算大模型训练数据要求 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求 模型类别

查看更多 →

大屏 新建大屏 更新大屏 获取大屏组件列表 获取大屏指定组件数据 批量发布大屏 批量删除大屏 批量下线大屏

查看更多 →

Total runtime: 3.587 ms (4 rows) 优化分析 从业务层确认表数据(在time字段上)有明显的日期特征，符合分区表的特征。重新规划normal_date表的表定义：字段time为分区键、月为间隔单位定义分区表normal_date_part。修改后结果如下，性能提升近10倍。

查看更多 →

案例：改建分区表 现象描述 如下简单SQL语句查询， 性能瓶颈点在dwcjk的Scan上。 优化分析 从业务层确认表数据(在cjrq字段上)有明显的日期特征，符合分区表的特征。重新规划dwcjk表的表定义：字段cjrq为分区键、天为间隔单位定义分区表dwcjk_part。修改后结果如下，性能提升近1倍。

查看更多 →

Total runtime: 3.587 ms (4 rows) 优化分析 从业务层确认表数据(在time字段上)有明显的日期特征，符合分区表的特征。重新规划normal_date表的表定义：字段time为分区键、月为间隔单位定义分区表normal_date_part。修改后结果如下，性能提升近10倍。

查看更多 →