Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

Hudi性能调优 性能调优方式 当前版本Hudi写入操作主推Spark，因此Hudi的调优和Spark比较类似，可参考Spark Core性能调优。 推荐资源配置 mor表： 由于其本质上是写增量文件，调优可以直接根据hudi的数据大小（dataSize）进行调整。 dataSi

查看更多 →

Hudi性能调优 性能调优方式 当前版本Hudi写入操作主推Spark，因此Hudi的调优和Spark比较类似。 推荐资源配置 mor表： 由于其本质上是写增量文件，调优可以直接根据Hudi的数据大小（dataSize）进行调整。 dataSize如果只有几个G，推荐跑单节点运行

查看更多 →

Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项： 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 若您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。

查看更多 →

ClickHouse性能调优 ClickHouse数据表分区过多调优 ClickHouse加速Merge调优 ClickHouse加速TTL操作调优 父主题： 使用ClickHouse

查看更多 →

Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 Spark Core内存调优 配置Spark Core广播变量 配置Spark Executor堆内存参数 使用External Shuffle Service提升Spark Core性能

查看更多 →

发现最后一层使用单层Agg，但行数缩减较多。使用相同的hint，同时结合参数best_agg_plan=3进行双层Agg调优，最终计划如下图所示，运行时间94s，完成调优。 图6 最终调优计划 如果有统计信息变更引起的查询劣化，可以考虑用plan hint来调整到之前的查询计划。这里以TPCH

查看更多 →

SQL调优关键参数调整 本节将介绍影响 GaussDB SQL调优性能的关键数据库主节点配置参数，配置请联系管理员处理。 表1 数据库主节点配置参数 参数/参考值 描述 enable_nestloop=on 控制查询优化器对嵌套循环连接（Nest Loop Join）类型的使用。当

查看更多 →

SQL调优关键参数调整 本节将介绍影响GaussDB SQL调优性能的关键数据库主节点配置参数，配置请联系管理员处理。 表1 数据库主节点配置参数 参数/参考值 描述 enable_nestloop=on 控制查询优化器对嵌套循环连接（Nest Loop Join）类型的使用。当

查看更多 →

SQL调优关键参数调整 本节将介绍影响GaussDB SQL调优性能的关键CN配置参数，配置请联系管理员处理。 表1 CN配置参数 参数/参考值 描述 enable_nestloop=on 控制查询优化器对嵌套循环连接（Nest Loop Join）类型的使用。当设置为“on”后，优化器优先使用Nest

查看更多 →

ClickHouse参数调优实践 表1 ClickHouse参数调优汇总 参数名 参数描述 默认值 建议值 是否需要重启生效 max_memory_usage_for_all_queries 单台 服务器 上所有查询的内存使用量，默认没有限制。建议根据机器的总内存，预留一部分空间，防止内存不够导致服务或者机器异常。

查看更多 →

Spark SQL性能调优 Spark SQL join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 动态分区插入场景内存优化 小文件优化 聚合算法优化 Datasource表优化 合并CBO优化

查看更多 →

SQL调优关键参数调整 本节将介绍影响GaussDB SQL调优性能的关键CN配置参数，配置请联系管理员处理。 表1 CN配置参数 参数/参考值 描述 enable_nestloop=on 控制查询优化器对嵌套循环连接（Nest Loop Join）类型的使用。当设置为“on”后，优化器优先使用Nest

查看更多 →

Flink性能调优建议 Hudi MOR流表开启log Index特性提升Flink流读Mor表性能 Hudi的Mor表可以通过log index提升读写性能，在Sink和Source表添加属性 'hoodie.log.index.enabled'='true'。 通过调整对应算子并行度提升性能

查看更多 →

MySQL到DMS Kafka参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental

查看更多 →

TaurusDB标准版参数调优建议 数据库参数是数据库系统运行的关键配置信息，设置不合适的参数值可能会影响业务。 本文列举了一些重要参数说明，更多参数详细说明，请参见MySQL官网。 通过控制台界面修改TaurusDB标准版参数值，请参见修改TaurusDB标准版实例参数。 敏感参数

查看更多 →

TaurusDB标准版参数调优建议 数据库参数是数据库系统运行的关键配置信息，设置不合适的参数值可能会影响业务。 本文列举了一些重要参数说明，更多参数详细说明，请参见MySQL官网。 通过控制台界面修改TaurusDB标准版参数值，请参见修改TaurusDB标准版实例参数。 敏感参数

查看更多 →

使用SQL PATCH进行调优 SQL PATCH主要设计给DBA、运维人员及其他需要对SQL进行调优的角色使用，用户通过其他运维视图或定位手段识别到业务语句存在计划不优导致的性能问题时，可以通过创建SQL PATCH对业务语句进行基于Hint的调优。目前支持行数、扫描方式、连接方式、连接顺序、PBE

查看更多 →

Spark On Hudi性能调优 优化Spark Shuffle参数提升Hudi写入效率 开启spark.shuffle.readHostLocalDisk=true，本地磁盘读取shuffle数据，减少网络传输的开销。 开启spark.io.encryption.enable

查看更多 →

DMS Kafka到OBS参数调优 源端优化 Kafka抽取优化 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch.max

查看更多 →

ClickHouse数据库调优 ClickHouse调优思路 ClickHouse系统调优 ClickHouse SQL调优 ClickHouse参数调优实践 父主题： ClickHouse应用开发规范

查看更多 →