Hive Join数据优化 操作场景 使用Join语句时，如果数据量大，可能造成命令执行速度和查询速度慢，此时可进行Join优化。 Join优化可分为以下方式： Map Join Sort Merge Bucket Map Join Join顺序优化 Map Join Hive的Map

查看更多 →

要启动聚合算法优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.codegen.aggregate.map.twolevel.enabled 是否开启聚合算法优化： true：开启 false：不开启

查看更多 →

Datasource表优化 操作场景 将datasource表的分区消息存储到Metastore中，并在Metastore中对分区消息进行处理。 优化datasource表，支持对表中分区执行增加、删除和修改等语法，从而增加与Hive的兼容性。 支持在查询语句中，把分区裁剪并下压

查看更多 →

Datasource表优化 操作场景 将datasource表的分区消息存储到Metastore中，并在Metastore中对分区消息进行处理。 优化datasource表，支持对表中分区执行增加、删除和修改等语法，从而增加与Hive的兼容性。 支持在查询语句中，把分区裁剪并下压

查看更多 →

Hive Group By语句优化 操作场景 优化Group by语句，可提升命令执行速度和查询速度。 Group by的时候， Map端会先进行分组， 分组完后分发到Reduce端， Reduce端再进行分组。可采用Map端聚合的方式来进行Group by优化，开启Map端初步聚合，减少Map的输出数据量。

查看更多 →

Hive SQL逻辑优化 操作场景 在Hive上执行SQL语句查询时，如果语句中存在“(a&b) or (a&c)”逻辑时，建议将逻辑改为“a & (b or c)”。 样例 假设条件a为“p_partkey = l_partkey”，优化前样例如下所示： select

查看更多 →

息，包括listener、route、cluster和endpoint。这在实例规模不断增大的情况下，将会发生内存爆炸，在实际生产环境中是不可接受的。 Mantis根据服务依赖关系按需更新配置，即每一个实例的Envoy只存储和本服务需要调用的服务的相关信息，可以将Envoy的内存占用最小化。

查看更多 →

况下，在三种join方式（Nested Loop、Merge Join和Hash Join）里，Nested Loop性能较差，实际调优中可以选择关闭。 enable_bitmapscan=on 控制查询优化器对位图扫描规划类型的使用。设置为“on”，表示使用；设置为“off”，表示不使用。

查看更多 →

户时，候选计算Node Group选取规则和参数设置为query时的规则一致。 Node Group名： enable_nodegroup_debug为off时：候选计算Node Group列表包含算子操作对象所在的Node Group和该指定的Node Group。 enabl

查看更多 →

S)会基于geqo_effort和表的个数选取合适的值。 默认值：0 geqo_generations 参数说明：控制GEQO使用的算法的迭代次数。 参数类型：USERSET 取值范围：整型，0～INT_MAX 必须至少是1，且有用的值介于100和1000之间。如果设置为0，则基

查看更多 →

enable_expr_fusion 参数说明：控制SRF、表达式展平、共享聚合函数的转移状态和Step步数优化特性的开关。 参数类型：布尔型 参数单位：无 取值范围： on：表示同时启用SRF、表达式展平、共享聚合函数的转移状态和Step步数优化特性。 off：表示关闭本功能。 默认值：off 设置方式：该参

查看更多 →

用。同样，在缓冲率很高的数据库上，应该相对于CPU参数同时降低这两个值，因为获取内存中的页要比通常情况下开销小很多。 对于指定表空间中的表和索引，可以通过设置同名的表空间参数覆盖库级别的该参数值，即表空间级别该参数的优先级高于库级别该参数的优先级。 相对于seq_page_cos

查看更多 →

on：表示对PBE查询和存储过程中语句的执行计划进行缓存共享。 off：表示不共享。 默认值：off 设置方式：该参数属于POSTMASTER类型参数，请参考表1中对应设置方法进行设置。 设置建议：推荐使用默认值。该参数在CN和DN上必须保持一致。 设置不当的风险与影响：CN和DN上该参数

查看更多 →

数同时降低这两个值，因为获取内存中的页要比通常情况下开销小很多。 取值范围：浮点型，0～DBL_MAX。 默认值：4 对于特别表空间中的表和索引，可以通过设置同名的表空间的参数来覆盖这个值。 相对于seq_page_cost，减少这个值将导致系统更倾向于使用索引扫描，而增加这个值

查看更多 →

JOIN构造仅作为一个FROM项。 取值范围：整型，2～2147483647‬。 默认值：12 geqo_effort 参数说明：控制GEQO在规划时间和规划质量之间的平衡。 该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 geqo_effort实际上并没有直接做任何事情

查看更多 →

predpush：在predpushnormal和predpushforce中根据代价选择最优计划。 disable_pullup_expr_sublink：禁止优化器将expr_sublink类型的子连接提升，关于sublink的分类和提升原理详见《开发指南》中的“SQL调优指南 >

查看更多 →

参数说明：控制SRF、表达式展平、共享聚合函数的转移状态和Step步数优化特性的开关。该参数可在PDB级别设置。 参数类型：布尔型 参数单位：无 取值范围： on：表示同时启用SRF、表达式展平、共享聚合函数的转移状态和Step步数优化特性。 off：表示关闭本功能。 默认值：off。

查看更多 →

设置不当的风险与影响：设置过大，可能导致动态规划枚举所有计划的开销难以接受；设置过小，可能损失计划的准确性。 geqo_effort 参数说明：控制GEQO在规划时间和规划质量之间的平衡。该参数可在PDB级别设置。 参数类型：整型 参数单位：无 取值范围：1 ~ 10 默认值：5。在PDB场景内，若未设置该参数，则继承来自全局的设置。

查看更多 →

enable_redistribute=on 控制查询优化器对于local redistribute和split redistribute重分布模式数据传输的使用。此参数与enable_broadcast是对应关系。优化器可能会对local broadcast和split broadcast代价估计偏大，从而选择了local

查看更多 →

用。同样，在缓冲率很高的数据库上，应该相对于CPU参数同时降低这两个值，因为获取内存中的页要比通常情况下开销小很多。 对于特别表空间中的表和索引，可以通过设置同名的表空间的参数来覆盖这个值。 相对于seq_page_cost，减少这个值将导致系统更倾向于使用索引扫描，而增加这个值

查看更多 →

参数说明：控制查询优化器使用表约束查询的优化。 参数类型：USERSET 取值范围：枚举类型 on表示检查所有表的约束。 off表示不检查约束。 partition表示只检查继承的子表和UNION ALL子查询。 当constraint_exclusion为on，优化器用查询条件和表的CHECK约束比较，并且在

查看更多 →