Flink性能调优规则 及时对Hudi表进行compaction防止Hudi Source算子Checkpoint完成时间过长 当Hudi Source算子Checkpoint完成时间长时，可检查该Hudi表compaction是否正常。因为当长时间不做compaction时list性能会变差。

查看更多 →

ClickHouse性能调优 ClickHouse数据表分区过多调优 ClickHouse加速Merge调优 ClickHouse加速TTL操作调优 父主题： 使用ClickHouse

查看更多 →

Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 Spark Core内存调优 配置Spark Core广播变量 配置Spark Executor堆内存参数 配置Yarn模式下Spark动态资源调度 调整Spark Core进程参数 Spark

查看更多 →

Spark SQL性能调优 Spark SQL join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 配置多并发客户端连接JD BCS erver 配置SparkSQL的分块个数 Spark动态分区插入场景内存优化

查看更多 →

Spark on OBS性能调优 配置场景 Spark on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics

查看更多 →

Ranger性能调优 操作场景 Ranger给各组件提供权限策略，当使用Ranger的服务增多，需要调整Ranger的规格。 本章节仅适用 MRS 3.2.0及之后版本。 内存参数配置 登录 FusionInsight Manager页面，选择“集群 > 服务 > Ranger > 配置

查看更多 →

Spark On Hudi性能调优 优化Spark Shuffle参数提升Hudi写入效率 开启spark.shuffle.readHostLocalDisk=true，本地磁盘读取shuffle数据，减少网络传输的开销。 开启spark.io.encryption.enable

查看更多 →

Flink性能调优开发规范 Flink性能调优规则 Flink性能调优建议 父主题： Flink应用开发规范

查看更多 →

Flink作业性能调优类 Flink作业推荐配置指导 Flink作业性能调优 Flink作业重启后，如何保证不丢失数据？ Flink作业运行异常，如何定位 Flink作业重启后，如何判断是否可以从checkpoint恢复 DLI Flink作业提交运行后（已选择保存作业日志到OB

查看更多 →

点。 对Kafka的性能调优，有以下几个点： 使用Kafka-0.8.2以后版本，可以使用异步模式的新Producer接口。 配置多个Broker的目录，设置多个IO线程，配置Topic合理的Partition个数。 详情请参见Kafka开源文档中的“性能调优”部分：http://kafka

查看更多 →

MapReduce性能调优 多CPU内核下MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →

MapReduce性能调优 多CPU内核下的MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →

点。 对Kafka的性能调优，有以下几个点： 使用Kafka-0.8.2以后版本，可以使用异步模式的新Producer接口。 配置多个Broker的目录，设置多个IO线程，配置Topic合理的Partition个数。 详情请参见Kafka开源文档中的“性能调优”部分：http://kafka

查看更多 →

确定性能调优范围 数据库性能调优通常发生在用户对业务的执行效率不满意，期望通过调优加快业务执行的情况下。正如“性能因素”小节所述，数据库性能受影响因素多，从而性能调优是一项复杂的工程，有些时候无法系统性地说明和解释，而是依赖于DBA的经验判断。尽管如此，此处还是期望能尽量系统性的

查看更多 →

单模型性能调优AOE 使用AOE工具可以在模型转换阶段对于模型运行和后端编译过程进行执行调优，注意AOE只适合静态shape的模型调优。在AOE调优时，容易受当前缓存的一些影响，建议分两次进行操作，以达到较好的优化效果（第一次执行生成AOE的知识库，在第二次使用时可以复用）。在该

查看更多 →

CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql

查看更多 →

确定性能调优范围 数据库性能调优通常发生在用户对业务的执行效率不满意，期望通过调优加快业务执行的情况下。正如“性能因素”小节所述，数据库性能受影响因素多，从而性能调优是一项复杂的工程，有些时候无法系统性地说明和解释，而是依赖于DBA的经验判断。尽管如此，此处还是期望能尽量系统性的

查看更多 →

CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql

查看更多 →

obsutil性能调优最佳实践 obsutil对大于50MB的文件/对象默认采用分段方式进行上传、下载和复制，与分段任务相关的参数在.obsutilconfig配置文件中，如表1所示。 表1 多段参数 参数 描述 defaultBigfileThreshold 开启分段任务的阈值

查看更多 →

Flink应用性能调优建议 配置内存 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container

查看更多 →

RDS for MariaDB性能调优-解决空间不足问题 RDS for MariaDB实例的空间使用率是日常需要重点关注的监控项之一，如果实例的存储空间不足，会导致严重后果，例如数据库无法写入、数据库无法备份、存储空间扩容任务耗时过长等。本文介绍查看空间使用情况的方式，以及各种空间问题的原因和解决方案。

查看更多 →