中软国际数据治理专业服务解决方案实践

Cache中按桶一个一个读取小表内容，然后与大表做匹配直接得到结果并输出。 Join顺序优化 当有3张及以上的表进行Join时，选择不同的Join顺序，执行时间存在较大差异。使用恰当的Join顺序可以有效缩短任务执行时间。 Join顺序原则： Join出来结果较小的组合，例如表数据量小或两张表Join后产生结果较少，优先执行。

查看更多 →

Cache中按桶一个一个读取小表内容，然后与大表做匹配直接得到结果并输出。 Join顺序优化 当有3张及以上的表进行Join时，选择不同的Join顺序，执行时间存在较大差异。使用恰当的Join顺序可以有效缩短任务执行时间。 Join顺序原则： Join出来结果较小的组合，例如表数据量小或两张表Join后产生结果较少，优先执行。

查看更多 →

选择数据类型 高效数据类型，主要包括以下三方面： 尽量使用执行效率比较高的数据类型 一般来说整型数据运算(包括=、＞、＜、≧、≦、≠等常规的比较运算，以及group by)的效率比字符串、浮点数要高。 尽量使用短字段的数据类型 长度较短的数据类型不仅可以减小数据文件的大小，提升I

查看更多 →

选择数据类型 高效数据类型，主要包括以下三方面： 尽量使用执行效率比较高的数据类型 一般来说整型数据运算(包括“=”、“＞”、“＜”、“>=”、“<=”、“!=”等常规的比较运算，以及group by)的效率比字符串、浮点数要高。 尽量使用短字段的数据类型 长度较短的数据类型不仅

查看更多 →

选择数据类型 高效数据类型，主要包括以下三方面： 尽量使用执行效率比较高的数据类型 一般来说整型数据运算(包括=、＞、＜、≧、≦、≠等常规的比较运算，以及group by)的效率比字符串、浮点数要高。 尽量使用短字段的数据类型 长度较短的数据类型不仅可以减小数据文件的大小，提升I

查看更多 →

选择数据类型 高效数据类型，主要包括以下三方面： 尽量使用执行效率比较高的数据类型 一般来说整型数据运算(包括=、＞、＜、≧、≦、≠等常规的比较运算，以及group by)的效率比字符串、浮点数要高。 尽量使用短字段的数据类型 长度较短的数据类型不仅可以减小数据文件的大小，提升I

查看更多 →

选择数据类型 高效数据类型，主要包括以下三方面： 尽量使用执行效率比较高的数据类型 一般来说整型数据运算(包括“=”、“＞”、“＜”、“≧”、“≦”、“≠”等常规的比较运算，以及group by)的效率比字符串、浮点数要高。 尽量使用短字段的数据类型 长度较短的数据类型不仅可以减

查看更多 →

大数据性能优化 HIVE优化 Spark性能优化 Flink性能优化 父主题： 云服务性能优化介绍

查看更多 →

分区扫描，当表内的数据量很大同时具有很长的历史周期时，由于扫描数据缩减所带来的性能提升会有非常明显的效果，如图2所示。 图1 分区表示例图 图2 分区表剪枝示例图 父主题： 大容量数据库

查看更多 →

分区扫描，当表内的数据量很大同时具有很长的历史周期时，由于扫描数据缩减所带来的性能提升会有非常明显的效果，如图2所示。 图1 分区表示例图 图2 分区表剪枝示例图 父主题： 大容量数据库

查看更多 →

业务体验优化数据规划 VN间流量分配数据规划 Overlay ACL策略数据规划 QoS策略数据规划 智能选路数据规划 父主题： 数据规划

查看更多 →

Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。

查看更多 →

NLP大模型训练流程与选择建议 NLP大模型训练流程介绍 NLP大模型专门用于处理和理解人类语言。它能够执行多种任务，如对话问答、文案生成和阅读理解，同时具备逻辑推理、代码生成和插件调用等高级功能。 NLP大模型的训练分为两个关键阶段：预训练和微调。 预训练阶段：在这一阶段，模型

查看更多 →

Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。

查看更多 →

分区扫描。当表内的数据量很大同时具有很长的历史周期时，由于扫描数据缩减所带来的性能提升会有明显的效果，如图2所示。 图1 分区表示例图 图2 分区表剪枝示例图 父主题： 大容量数据库

查看更多 →

分区扫描。当表内的数据量很大同时具有很长的历史周期时，由于扫描数据缩减所带来的性能提升会有明显的效果，如图2所示。 图1 分区表示例图 图2 分区表剪枝示例图 父主题： 大容量数据库

查看更多 →

True 是否进行数据校验，可填True或者False。表示数据去重前需要进行数据校验，否则只进行数据去重。 输入要求 算子输入分为两种，“数据集”或“OBS目录”。 选择“数据集”，请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。

查看更多 →

科学计算大模型训练流程与选择建议 科学计算大模型训练流程介绍 科学计算大模型主要用于。 科学计算大模型的训练主要分为两个阶段：预训练与微调。 预训练阶段：预训练是模型学习基础知识的过程，基于大规模通用数据集进行。例如，在区域海洋要素预测中，可以重新定义深海变量、海表变量，调整深度

查看更多 →

分区导入数据性能优化 场景描述 当向分区表插入数据的时候，如果插入的数据为常量/参数/表达式等简单类型，会自动对INSERT算子进行执行优化（FastPath）。可以通过执行计划来判断是否触发了执行优化，触发执行优化时Insert计划前会带有FastPath关键字。 示例 gaussdb=#

查看更多 →

大数据优化与提升服务 结合华为自身理论经验，帮助企业规划构建大数据体系和治理平台。 产品介绍 常见问题 计费说明 父主题： 优化与提升

查看更多 →

数据库性能优化 以下章节我们结合一些具体建议和案例来说明如何针对数据库的使用进行性能优化： 1.优化数据库配置实践 数据库的配置参数应从具体业务诉求着手，根据实际需要进行设计；华为云在各个数据库云服务中均提供了默认的配置参数，以满足最普遍的业务需要。 华为云提供了多款数据库服务，

查看更多 →