户时，候选计算Node Group选取规则和参数设置为query时的规则一致。 Node Group名： enable_nodegroup_debug为off时：候选计算Node Group列表包含算子操作对象所在的Node Group和该指定的Node Group。 enabl

查看更多 →

S)会基于geqo_effort和表的个数选取合适的值。 默认值：0 geqo_generations 参数说明：控制GEQO使用的算法的迭代次数。 参数类型：USERSET 取值范围：整型，0～INT_MAX 必须至少是1，且有用的值介于100和1000之间。如果设置为0，则基

查看更多 →

息，包括listener、route、cluster和endpoint。这在实例规模不断增大的情况下，将会发生内存爆炸，在实际生产环境中是不可接受的。 Mantis根据服务依赖关系按需更新配置，即每一个实例的Envoy只存储和本服务需要调用的服务的相关信息，可以将Envoy的内存占用最小化。

查看更多 →

enable_redistribute=on 控制查询优化器对于local redistribute和split redistribute重分布模式数据传输的使用。此参数与enable_broadcast是对应关系。优化器可能会对local broadcast和split broadcast代价估计偏大，从而选择了local

查看更多 →

用。同样，在缓冲率很高的数据库上，应该相对于CPU参数同时降低这两个值，因为获取内存中的页要比通常情况下开销小很多。 对于特别表空间中的表和索引，可以通过设置同名的表空间的参数来覆盖这个值。 相对于seq_page_cost，减少这个值将导致系统更倾向于使用索引扫描，而增加这个值

查看更多 →

参数说明：控制查询优化器使用表约束查询的优化。 参数类型：USERSET 取值范围：枚举类型 on表示检查所有表的约束。 off表示不检查约束。 partition表示只检查继承的子表和UNION ALL子查询。 当constraint_exclusion为on，优化器用查询条件和表的CHECK约束比较，并且在

查看更多 →

Hive Group By语句优化 操作场景 优化Group by语句，可提升命令执行速度和查询速度。 Group by的时候， Map端会先进行分组， 分组完后分发到Reduce端， Reduce端再进行分组。可采用Map端聚合的方式来进行Group by优化，开启Map端初步聚合，减少Map的输出数据量。

查看更多 →

Hive SQL逻辑优化 操作场景 在Hive上执行SQL语句查询时，如果语句中存在“(a&b) or (a&c)”逻辑时，建议将逻辑改为“a & (b or c)”。 样例 假设条件a为“p_partkey = l_partkey”，优化前样例如下所示： select

查看更多 →

Datasource表优化 操作场景 将datasource表的分区消息存储到Metastore中，并在Metastore中对分区消息进行处理。 优化datasource表，支持对表中分区执行增加、删除和修改等语法，从而增加与Hive的兼容性。 支持在查询语句中，把分区裁剪并下压

查看更多 →

统计Kafka节点连接数。 优化数据分区 Kafka将Topic划分为多个分区，所有消息分布式存储在各个分区上。每个分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示：

查看更多 →

转接。 集群服务部署规划 服务规模与业务容量参数配置对照表 Spark作为内存计算引擎，需要更多的内存和CPU。用户在规划规格时，应根据当前的业务容量和增长速度，规划合理的内存和CPU资源，特别需要关注以下几点： 当程序运行在yarn-client模式下时，需要关注在driver

查看更多 →

join。 操作步骤 在Spark SQL中进行Join操作时，可以按照以下步骤进行优化。为了方便说明，设表A和表B，且A、B表都有个名为name的列。对A、B表进行join操作。 估计表的大小。 根据每次加载数据的大小，来估计表大小。 也可以在Hive的数据库存储路径下直接查看

查看更多 →

用。同样，在缓冲率很高的数据库上，应该相对于CPU参数同时降低这两个值，因为获取内存中的页要比通常情况下开销小很多。 对于特别表空间中的表和索引，可以通过设置同名的表空间的参数来覆盖这个值。 相对于seq_page_cost，减少这个值将导致系统更倾向于使用索引扫描，而增加这个值

查看更多 →

on表示检查所有表的约束。 off表示不检查约束。 partition表示只检查继承的子表和UNION ALL子查询。 当该参数设置为on，优化器用查询条件和表的CHECK约束比较，并且在查询条件和约束冲突的时候忽略对表的扫描。 默认值：partition 目前， constraint_exclusion

查看更多 →

= 10; c1和c2列为索引列，后边可以是常量或者参数。 只支持简单UPDATE语句，例如： UPDATE t1 SET c3 = c3+? WHERE c1 = ? and c2 = 10; c3列修改的值可以是常量和参数，也可以是一个简单的表达式，c1和c2列为索引列，后边可以是常量或者参数。

查看更多 →

数同时降低这两个值，因为获取内存中的页要比通常情况下开销小很多。 取值范围：浮点型，0～DBL_MAX。 默认值：4 对于特别表空间中的表和索引，可以通过设置同名的表空间的参数来覆盖这个值。 相对于seq_page_cost，减少这个值将导致系统更倾向于使用索引扫描，而增加这个值

查看更多 →

fort和表的个数选取合适的值。 默认值：0 geqo_generations 参数说明：控制GEQO使用的算法的迭代次数。 该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 取值范围：整型，0～INT_MAX。 必须至少是1，且有用的值介于100和1000之

查看更多 →

用。同样，在缓冲率很高的数据库上，应该相对于CPU参数同时降低这两个值，因为获取内存中的页要比通常情况下开销小很多。 对于指定表空间中的表和索引，可以通过设置同名的表空间参数覆盖库级别的该参数值，即表空间级别该参数的优先级高于库级别该参数的优先级。 相对于seq_page_cos

查看更多 →

性能优化类 Hadoop压力测试工具如何获取？ 如何提高集群Core节点的资源使用率？ 如何配置 MRS 集群knox内存？ 如何调整MRS集群manager-executor进程内存？ 如何设置Spark作业执行时自动获取更多资源？ spark.yarn.executor.memo

查看更多 →

写规则，包括where、having子句的非相关子链接提升和winmagic重写优化。 disable_pullup_not_in_sublink：禁止优化器对not in相关的子链接进行提升，关于sublink的分类和提升原理详见《开发指南》中“SQL调优指南 > 典型SQL调优点

查看更多 →

工程师介入的情况下，即可自动进行超参的调优，在速度和精度上超过人工调优。 ModelArts支持以下三种超参搜索算法： 贝叶斯优化（SMAC） TPE算法 模拟退火算法（Anneal） 贝叶斯优化（SMAC） 贝叶斯优化假设超参和目标函数存在一个函数关系。基于已搜索超参的评估值，

查看更多 →