Flink性能调优规则 及时对Hudi表进行compaction防止Hudi Source算子Checkpoint完成时间过长 当Hudi Source算子Checkpoint完成时间长时，可检查该Hudi表compaction是否正常。因为当长时间不做compaction时list性能会变差。

查看更多 →

Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 Spark Core内存调优 配置Spark Core广播变量 配置Spark Executor堆内存参数 使用External Shuffle Service提升Spark Core性能

查看更多 →

Spark on OBS性能调优 配置场景 Spark on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics

查看更多 →

Ranger性能调优 操作场景 Ranger给各组件提供权限策略，当使用Ranger的服务增多，需要调整Ranger的规格。 本章节仅适用 MRS 3.2.0及之后版本。 内存参数配置 登录 FusionInsight Manager页面，选择“集群 > 服务 > Ranger > 配置

查看更多 →

ClickHouse性能调优 ClickHouse数据表分区过多调优 ClickHouse加速Merge调优 ClickHouse加速TTL操作调优 父主题： 使用ClickHouse

查看更多 →

Spark SQL性能调优 Spark SQL join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 配置多并发客户端连接JD BCS erver 配置SparkSQL的分块个数 Spark动态分区插入场景内存优化

查看更多 →

GaussDB (DWS)性能调优 性能调优概述 性能诊断 系统调优 SQL调优 SQL调优案例

查看更多 →

GaussDB(DWS)性能调优 性能调优概述 性能诊断 系统调优 SQL调优 SQL调优案例

查看更多 →

Flink作业性能调优类 Flink作业推荐配置指导 Flink作业性能调优 Flink作业重启后，如何保证不丢失数据？ Flink作业运行异常，如何定位 Flink作业重启后，如何判断是否可以从checkpoint恢复 DLI Flink作业提交运行后（已选择保存作业日志到OB

查看更多 →

点。 对Kafka的性能调优，有以下几个点： 使用Kafka-0.8.2以后版本，可以使用异步模式的新Producer接口。 配置多个Broker的目录，设置多个IO线程，配置Topic合理的Partition个数。 详情请参见Kafka开源文档中的“性能调优”部分：http://kafka

查看更多 →

Flink性能调优开发规范 Flink性能调优规则 Flink性能调优建议 父主题： Flink应用开发规范

查看更多 →

sharing) 安装tomcat 执行如下命令，进入tomcat目录。 cd /home/webDemo/tomcat 解压tomcat安装包到tomcat目录下。 tar -xvf apache-tomcat-x.x.xx.tar.gz -C /home/webDemo/tomcat/ 例如：以v8

查看更多 →

MapReduce性能调优 多CPU内核下的MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →

点。 对Kafka的性能调优，有以下几个点： 使用Kafka-0.8.2以后版本，可以使用异步模式的新Producer接口。 配置多个Broker的目录，设置多个IO线程，配置Topic合理的Partition个数。 详情请参见Kafka开源文档中的“性能调优”部分：http://kafka

查看更多 →

MapReduce性能调优 多CPU内核下MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →

单模型性能调优AOE 使用AOE工具可以在模型转换阶段对于模型运行和后端编译过程进行执行调优。请注意AOE只适合静态shape的模型调优。在AOE调优时，容易受当前缓存的一些影响，建议分两次进行操作，以达到较好的优化效果（第一次执行生成AOE的知识库，在第二次使用时可以复用）。在

查看更多 →

CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql

查看更多 →

修改完成后保存配置文件。 步骤四：重启Tomcat 在Tomcat bin目录下执行./shutdown.sh命令停止Tomcat服务； 等待10秒后，再执行./startup.sh命令（如进程被守护进程自动拉起，则无需手动启动），启动Tomcat服务。 效果验证 部署成功后，可在浏

查看更多 →

使用Tomcat应用部署模板创建并部署应用 在主机上将war包部署到Tomcat服务，并启动该服务。 请确认目标主机已安装Tomcat，若已安装请移除模板中“安装Tomcat”步骤。 该模板涉及的部署步骤如下所示： 安装JDK 安装Tomcat 停止Tomcat服务 选择部署来源

查看更多 →

CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql

查看更多 →

obsutil性能调优最佳实践 obsutil对大于50MB的文件/对象默认采用分段方式进行上传、下载和复制，与分段任务相关的参数在.obsutilconfig配置文件中，如表1所示。 表1 多段参数 参数 描述 defaultBigfileThreshold 开启分段任务的阈值

查看更多 →