Hive SQL逻辑优化 操作场景 在Hive上执行SQL语句查询时，如果语句中存在“(a&b) or (a&c)”逻辑时，建议将逻辑改为“a & (b or c)”。 样例 假设条件a为“p_partkey = l_partkey”，优化前样例如下所示： select

查看更多 →

Datasource表优化 操作场景 将datasource表的分区消息存储到Metastore中，并在Metastore中对分区消息进行处理。 优化datasource表，支持对表中分区执行增加、删除和修改等语法，从而增加与Hive的兼容性。 支持在查询语句中，把分区裁剪并下压

查看更多 →

在Spark的配置文件“spark-defaults.conf”中，设置“spark.sql.autoBroadcastJoinThreshold”的值。 spark.sql.autoBroadcastJoinThreshold = <size> 利用Hive CLI命令，设置阈值。在运行Join操作时，提前运行下面语句：

查看更多 →

HOURS;--单位只支持HOURS 优化Delta表 为了提高查询速度，Delta Lake支持优化数据在存储中的布局，这会将许多较小的文件压缩为较大的文件。 optimize delta_table0; optimize delta_table0 where date >= '2020-01-01'; Z排序

查看更多 →

性能优化类 Hadoop压力测试工具如何获取？ 如何提高集群Core节点的资源使用率？ 如何配置 MRS 集群knox内存？ 如何调整MRS集群manager-executor进程内存？ 如何设置Spark作业执行时自动获取更多资源？ spark.yarn.executor.memo

查看更多 →

Kafka性能优化 Kafka性能优化 优化客户端配置 生产者配置建议 可参考配置建议。 消费者配置建议 参数 推荐值 说明 max.poll.records 500 消费者一次能消费到的最大消息数量，默认为500，如果每条消息处理时间较长，建议调小该值，确保在max.poll.interval

查看更多 →

e数据。 调优原则 提高cpu使用率同时减少额外性能开销。 提高内存使用率。 优化业务逻辑，减少计算量和IO操作。 典型业务的调优 优化代码逻辑：在进行Spark参数调优之前，要进行相应的规划设计，优化代码逻辑。 Spark任务跑的比较慢，cpu利用率低：检测室executor线

查看更多 →

基因查询优化器 介绍基因查询优化器相关的参数。基因查询优化器（GEQO）是一种启发式的查询规划算法。这个算法减少了对复杂查询规划的时间，而且生成规划的开销有时也小于正常的详尽的查询算法。 geqo 参数说明：控制基因查询优化的使用。 该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。

查看更多 →

基因查询优化器 介绍基因查询优化器相关的参数。基因查询优化器（GEQO）是一种启发式的查询规划算法。这个算法减少了对复杂查询规划的时间，而且生成规划的开销有时也小于正常的详尽的查询算法。 geqo 参数说明：控制基因查询优化的使用。 该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。

查看更多 →

B场景内，若未设置该参数，则继承来自全局的设置。 设置方式：该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 设置建议：比默认值高的数值可能会导致使用索引扫描，更低的数值可能会导致选择顺序扫描。 设置不当的风险与影响：错误地设置该参数会影响优化器对生成计划的选

查看更多 →

默认值：0。在PDB场景内，若未设置该参数，则继承来自全局的设置。 设置方式：该参数属于USERSET类型参数，请参见表1中对应设置方法进行设置。 设置建议：在明确需要调整选择率的场景后，设置对应参数值。 设置不当的风险与影响：设置不当可能会导致最终的代价估算不符合预期，建议在充分测试后确认应当设置的参数值。

查看更多 →

seq_page_cost 参数说明：设置优化器计算一次顺序磁盘页面抓取的开销。 该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 取值范围：浮点型，0～DBL_MAX。 默认值：1 random_page_cost 参数说明：设置优化器计算一次非顺序抓取磁盘页面的开销。

查看更多 →

基因查询优化器 介绍基因查询优化器相关的参数。基因查询优化器（GEQO）是一种启发式的查询规划算法。这个算法减少了对复杂查询规划的时间，而且生成规划的开销有时也小于正常的详尽的查询算法。 geqo 参数说明：控制基因查询优化的使用。 参数类型：USERSET 取值范围：布尔型 on表示使用。

查看更多 →

该参数属于SIGHUP类型参数，请参考表1中对应设置方法进行设置。 取值范围：布尔型。 on off 默认值：off enable_opfusion 参数说明：控制是否对简单查询进行查询优化。 该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 该开关是优化DN的查询性能，可以设置max_dat

查看更多 →

seq_page_cost 参数说明：设置优化器计算一次顺序磁盘页面抓取的开销。 该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 取值范围：浮点型，0～DBL_MAX。 默认值：1 random_page_cost 参数说明：设置优化器计算一次非顺序抓取磁盘页面的开销。

查看更多 →

基因查询优化器 介绍基因查询优化器相关的参数。基因查询优化器（GEQO）是一种启发式的查询规划算法。这个算法减少了对复杂查询规划的时间，而且生成规划的开销有时也小于正常的详尽的查询算法。 geqo 参数说明：控制基因查询优化的使用。 该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。

查看更多 →

数据预处理优化 模型训练前，需要对数据进行加工，防止某些特征存在极端异常值或大面积错误数据，导致模型训练不稳定。可能会引发如下问题： 模型对异常值过度敏感，导致拟合异常值而非整体数据分布。 训练过程中损失波动较大，甚至出现梯度爆炸。 模型在测试集上表现不佳，泛化能力差。 优化调整策略如下：

查看更多 →

SQL分析与优化 查看TaurusDB的慢SQL 查看TaurusDB的TOP SQL 使用TaurusDB的SQL洞察 使用TaurusDB的SQL限流 使用TaurusDB自治限流 父主题： 智能DBA助手

查看更多 →

优化器开销常量 介绍优化器开销常量。这里描述的开销可以按照任意标准度量。只关心其相对值，因此以相同的系数缩放它们将不会对优化器的选择产生任何影响。缺省时，它们以抓取顺序页的开销为基本单位。也就是说将seq_page_cost设为1.0，同时其他开销参数以它为基准设置。也可以使用其他基准，比如以毫秒计的实际执行时间。

查看更多 →

其他优化器选项 default_statistics_target 参数说明：为没有用ALTER TABLE SET STATIS TICS 设置字段目标的表设置缺省统计目标。此参数设置为正数是代表统计信息的样本数量，为负数时，代表使用百分比的形式设置统计目标，负数转换为对应的百分比

查看更多 →

参的调优，在速度和精度上超过人工调优。 ModelArts支持以下三种超参搜索算法： 贝叶斯优化（SMAC） TPE算法 模拟退火算法（Anneal） 贝叶斯优化（SMAC） 贝叶斯优化假设超参和目标函数存在一个函数关系。基于已搜索超参的评估值，通过高斯过程回归来估计其他搜索点处

查看更多 →