ClickHouse调优思路 ClickHouse的总体性能调优思路为性能瓶颈点分析、关键参数调整以及SQL调优。在调优过程中，需要综合系统资源、吞吐量、集群负载等各种因素来分析，定位性能问题，设定调优目标，调优达到客户所需目标即可。 ClickHouse调优人员需要系统软件架构

查看更多 →

Plan Hint调优概述 Plan Hint为用户提供了直接影响执行计划生成的方法，用户可以通过指定join顺序，join、scan方法，指定结果行数，等多种方法来进行执行计划的调优，以提升查询的性能。 GaussDB 还提供了SQL PATCH功能，在不修改业务语句的前提下通过创建SQL

查看更多 →

Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

HBase性能调优 提升HBase BulkLoad工具批量加载效率 提升HBase连续Put数据场景性能 提升HBase Put和Scan数据性能 提升HBase实时写数据效率 提升HBase实时读数据效率 提升HBase非业务高峰期的Compaction执行速度 HBase JVM参数优化说明

查看更多 →

Plan Hint调优概述 Plan Hint为用户提供了直接影响执行计划生成的方法，用户可以通过指定join顺序，join、stream、scan方法，指定结果行数，指定重分布过程中的倾斜信息等多种方法来进行执行计划的调优，以提升查询的性能。 GaussDB还提供了SQL PA

查看更多 →

Plan Hint调优概述 Plan Hint为用户提供了直接影响执行计划生成的手段，用户可以通过指定join顺序，join、scan方法，指定结果行数，等多个手段来进行执行计划的调优，以提升查询的性能。 GaussDB还提供了SQL PATCH功能，在不修改业务语句的前提下通过创建SQL

查看更多 →

Plan Hint调优概述 Plan Hint为用户提供了直接影响执行计划生成的手段，用户可以通过指定join顺序，join、scan方法，指定结果行数，等多个手段来进行执行计划的调优，以提升查询的性能。 GaussDB还提供了SQL PATCH功能，在不修改业务语句的前提下通过创建SQL

查看更多 →

在容器设置下面的高级设置中，挂载一个NFS类型的文件存储卷，用于保存训练后的数据。 图3 挂载NFS存储 在启动命令中输出执行命令和参数。 可执行命令：/bin/bash 参数1：-c 参数2：python /home/project/gpu-demo/cifar10/cifar10_multi_gpu_train

查看更多 →

Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项： 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 若您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。

查看更多 →

Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 Spark Core内存调优 配置Spark Core广播变量 配置Spark Executor堆内存参数 配置Yarn模式下Spark动态资源调度 调整Spark Core进程参数 Spark DAG设计规范说明

查看更多 →

Ranger性能调优 操作场景 Ranger给各组件提供权限策略，当使用Ranger的服务增多，需要调整Ranger的规格。 本章节仅适用 MRS 3.2.0及之后版本。 内存参数配置 登录 FusionInsight Manager页面，选择“集群 > 服务 > Ranger > 配置

查看更多 →

Spark on OBS性能调优 配置场景 Spark on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics

查看更多 →

改参数。 配置方法如表1所示。 表1 IoTDB性能调优参数说明 参数名称 描述 默认值 调优建议 SSL_ENABLE 客户端到服务端通道SSL加密。 true “true”表示开启SSL加密，“false”表示关闭SSL加密。数据传输加解密对性能影响较大，经过测试发现具有20

查看更多 →

Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项： 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 如果您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。

查看更多 →

Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 设置Spark Core并行度 配置Spark Core广播变量 配置Spark Executor堆内存参数 使用External Shuffle Service提升Spark Core性能

查看更多 →

创建Bucket索引表调优 Bucket索引常用设置参数： Spark： hoodie.index.type=BUCKET hoodie.bucket.index.num.buckets=5 Flink index.type=BUCKET hoodie.bucket.index.num

查看更多 →

跨分片复杂SQL调优 本章节主要针对跨分片复杂SQL时的调优操作。 Group by和Order by SQL调优建议 当group by 字段不是表中现有的数据列时，可以使用generated column机制（MySQL5.7版本以上支持，5.6及之前版本可新建普通字段和添加

查看更多 →

naged Memory、Direct Memory，这部分是调优的重点，不可被JVM管理的有JVM Metaspace、JVM Overhead，这部分是native memory。 图1 内存 表2 相关参数 参数 配置 注释 说明 Total Memory taskmanager

查看更多 →

c_last_name ... 6. 发现最后一层使用单层Agg，但行数缩减较多。使用相同的hint，同时结合参数best_agg_plan=3进行双层Agg调优，最终计划如下图所示，运行时间94s，完成调优。 如果有统计信息变更引起的查询劣化，可以考虑用plan hint来调整到之前的查询计划。这

查看更多 →

MapReduce Shuffle调优 操作场景 Shuffle阶段是MapReduce性能的关键部分，包括了从Map task将中间数据写到磁盘一直到Reduce task拷贝数据并最终放到reduce函数的全部过程。这部分Hadoop提供了大量的调优参数。 图1 Shuffle过程

查看更多 →

MapReduce Shuffle调优 操作场景 Shuffle阶段是MapReduce性能的关键部分，包括了从Map task将中间数据写到磁盘一直到Reduce task复制数据并最终放到reduce函数的全部过程。这部分Hadoop提供了大量的调优参数。 图1 Shuffle过程

查看更多 →