中软国际数据治理专业服务解决方案实践

Datasource表优化 操作场景 将datasource表的分区消息存储到Metastore中，并在Metastore中对分区消息进行处理。 优化datasource表，支持对表中分区执行增加、删除和修改等语法，从而增加与Hive的兼容性。 支持在查询语句中，把分区裁剪并下压

查看更多 →

查询分子优化任务 功能介绍 通过分子优化任务ID查询分子优化任务状态及结果。 URI GET /v1/{project_id}/task/optimization/{task_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 华为云项目id

查看更多 →

Datasource表优化 操作场景 将datasource表的分区消息存储到Metastore中，并在Metastore中对分区消息进行处理。 优化datasource表，支持对表中分区执行增加、删除和修改等语法，从而增加与Hive的兼容性。 支持在查询语句中，把分区裁剪并下压

查看更多 →

Hive Group By语句优化 操作场景 优化Group by语句，可提升命令执行速度和查询速度。 Group by的时候， Map端会先进行分组， 分组完后分发到Reduce端， Reduce端再进行分组。可采用Map端聚合的方式来进行Group by优化，开启Map端初步聚合，减少Map的输出数据量。

查看更多 →

Hive SQL逻辑优化 操作场景 在Hive上执行SQL语句查询时，如果语句中存在“(a&b) or (a&c)”逻辑时，建议将逻辑改为“a & (b or c)”。 样例 假设条件a为“p_partkey = l_partkey”，优化前样例如下所示： select

查看更多 →

优化器开销常量 介绍优化器开销常量。这里描述的开销可以按照任意标准度量。只关心其相对值，因此以相同的系数缩放它们将不会对优化器的选择产生任何影响。缺省时，它们以抓取顺序页的开销为基本单位。也就是说将seq_page_cost设为1.0，同时其他开销参数以它为基准设置。也可以使用其他基准，比如以毫秒计的实际执行时间。

查看更多 →

geqo_effort实际上并没有直接做任何事情，只是用于计算其他影响GEQO的变量的默认值。如果愿意，可以手工设置其他参数。 取值范围：整型，1～10。 比默认值大的数值增加了查询规划的时间，但是也增加了选中有效查询的几率。 默认值：5 geqo_pool_size 参数说明：控制GEQO使用池的大小，也就是基因全体中的个体数量。

查看更多 →

该参数在集中式版本不生效。 enable_change_hjcost 参数说明：控制优化器在Hash Join代价估算路径选择时，是否使用将内表运行时代价排除在Hash Join节点运行时代价外的估算方式。如果使用，则有利于选择条数少，但运行代价大的表做内表。该参数可在PDB级别设置。 参数类型：布尔型 参数单位：无

查看更多 →

设置方式：该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 设置建议：推荐使用默认值，若动态规划的性能开销能接受，可以调大此值；若当前动态规划的开销较难接受，可以调小此值。 设置不当的风险与影响：设置过大，可能导致动态规划枚举所有计划的开销难以接受；设置过小，可能损失计划的准确性。

查看更多 →

enable_change_hjcost 参数说明：控制优化器在Hash Join代价估算路径选择时，是否使用将内表运行时代价排除在Hash Join节点运行时代价外的估算方式。如果使用，则有利于选择条数少，但运行代价大的表做内表。 参数类型：布尔型 参数单位：无 取值范围： on：表示使用。

查看更多 →

优化器开销常量 介绍优化器开销常量。这里描述的开销可以按照任意标准度量。只关心其相对值，因此以相同的系数缩放它们将不会对优化器的选择产生任何影响。缺省时，以抓取顺序页的开销为基本单位。也就是说将seq_page_cost设为1.0，同时其他开销参数以该参数为基准设置。也可以使用其他基准，比如以毫秒计的实际执行时间。

查看更多 →

设置方式：该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 设置建议：用户在使用sequence大批量导入数据时，可以通过调大该参数，提高插入速度，增加高并发性能；用户在高并发单条插入数据时，将该参数设置为1，减少sequence的跳变。如对连续性有强要求，需要在创建sequence的时

查看更多 →

该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 取值范围：整型，-100～10000。 比默认值大的正数数值增加了ANALYZE所需的时间，但是可能会改善优化器的估计质量。 调整此参数可能存在性能劣化的风险，如果某个查询劣化，可以考虑 恢复默认的统计信息。 使用plan

查看更多 →

确的排序，但是关闭这个变量可以让优化器在存在其他方法的时候优先选择其他方法。 enable_broadcast=on 控制查询优化器对于broadcast广播模式数据传输的使用。此方式网络传输数据量较大，因此当网络传输节点（Stream）实际数据量较大而估算不准时，可以将该参数设置为off，看性能是否有提升。

查看更多 →

默认值：on enable_change_hjcost 参数说明：控制优化器在Hash Join代价估算路径选择时，是否使用将内表运行时代价排除在Hash Join节点运行时代价外的估算方式。如果使用，则有利于选择条数少，但运行代价大的表做内表。 参数类型：USERSET 取值范围：布尔型 on表示使用。

查看更多 →

geqo_effort 参数说明：控制GEQO在规划时间和规划质量之间的平衡。 参数类型：USERSET 取值范围：整型，1～10 默认值：5 比默认值大的数值增加了查询规划的时间，但是也增加了选中有效查询的几率。 geqo_effort实际上并没有直接作用，只是用于计算其他影响GEQO的变量

查看更多 →

确的排序，但是关闭这个变量可以让优化器在存在其他方法的时候优先选择其他方法。 enable_broadcast=on 控制查询优化器对于broadcast广播模式数据传输的使用。此方式网络传输数据量较大，因此当网络传输节点（Stream）实际数据量较大而估算不准时，可以将该参数设置为off，看性能是否有提升。

查看更多 →

优化器开销常量 介绍优化器开销常量。这里描述的开销可以按照任意标准度量。只关心其相对值，因此以相同的系数缩放它们将不会对优化器的选择产生任何影响。缺省时，它们以抓取顺序页的开销为基本单位。也就是说将seq_page_cost设为1.0，同时其他开销参数以它为基准设置。也可以使用其他基准，比如以毫秒计的实际执行时间。

查看更多 →

300作为随机抽样的大小，例如默认值为100时，会随机读取30000个页面再从中随机取30000条数据来完成随机抽样。 参数类型：USERSET 取值范围：浮点型，-100～10000。 比默认值大的正数数值增加了ANALYZE所需的时间，但是可能会改善优化器的估计质量。 调整此参数可能存在性能劣化的风险，如果某个查询劣化，可以考虑

查看更多 →

在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况，业务数据不均衡会降低Kafka集群的性能，降低资源使用率。 业务数据不均衡原因 业务中部分Topic的流量远大于其他Topic，会导致节点间的数据不均衡。 生产者发送消息时指定了分区，未指定的分区没有消息，会导致分区间的数据不均衡。 生产者发送

查看更多 →

ask内存不足导致。此时应减少executor数量，增大数据分片。 数据量少，但小文件数量多：减少数据分片，在reduce算子后执行coalesce算子，以减少task数量，减少cpu负载。 使用spark sql查找一个大表，表列数较多，但是查找的列较少：尽量使用rcfile或

查看更多 →