PyTorch迁移性能调优 性能调优总体原则和思路 自动诊断工具MA-Advisor使用指导 性能调优五板斧 训练profiling工具使用 优化算子下发 优化算子执行 父主题： 训练业务昇腾迁移通用指导

查看更多 →

Spark On Hudi性能调优 优化Spark Shuffle参数提升Hudi写入效率 开启spark.shuffle.readHostLocalDisk=true，本地磁盘读取shuffle数据，减少网络传输的开销。 开启spark.io.encryption.enable

查看更多 →

Spark SQL性能调优 Spark SQL join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 多并发JDBC客户端连接JD BCS erver 动态分区插入场景内存优化 小文件优化 聚合算法优化

查看更多 →

ClickHouse性能调优 数据表报错Too many parts解决方法 加速Merge操作 加速TTL操作 父主题： 使用ClickHouse

查看更多 →

MapReduce性能调优 多CPU内核下MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →

MapReduce性能调优 多CPU内核下的MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →

点。 对Kafka的性能调优，有以下几个点： 使用Kafka-0.8.2以后版本，可以使用异步模式的新Producer接口。 配置多个Broker的目录，设置多个IO线程，配置Topic合理的Partition个数。 详情请参见Kafka开源文档中的“性能调优”部分：http://kafka

查看更多 →

单模型性能调优AOE 使用AOE工具可以在模型转换阶段对于模型运行和后端编译过程进行执行调优，注意AOE只适合静态shape的模型调优。在AOE调优时，容易受当前缓存的一些影响，建议分两次进行操作，以达到较好的优化效果（第一次执行生成AOE的知识库，在第二次使用时可以复用）。在该

查看更多 →

sharing) 安装tomcat 执行如下命令，进入tomcat目录。 cd /home/webDemo/tomcat 解压tomcat安装包到tomcat目录下。 tar -xvf apache-tomcat-x.x.xx.tar.gz -C /home/webDemo/tomcat/ 例如：以v8

查看更多 →

TOMCAT结构化模板字段介绍 介绍TOMCAT接入日志结构化模板详情。 结构化模板日志详情 TOMCAT日志示例 表1 结构化模板示例 模板名称 示例日志 TOMCAT 192.168.12.2 - - [07/Mar/2018:09:49:55 +0800] "GET /logHello/test

查看更多 →

CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql

查看更多 →

确定性能调优范围 数据库性能调优通常发生在用户对业务的执行效率不满意，期望通过调优加快业务执行的情况下。正如“性能因素”小节所述，数据库性能受影响因素多，从而性能调优是一项复杂的工程，有些时候无法系统性地说明和解释，而是依赖于DBA的经验判断。尽管如此，此处还是期望能尽量系统性的

查看更多 →

Flink性能调优开发规范 Flink性能调优规则 Flink性能调优建议 父主题： Flink应用开发规范

查看更多 →

向量检索的性能调优 写入性能优化 关闭副本，待数据导入完成后再开启副本，减少副本构建的开销。 调整“refresh_interval”为120s或者更大，避免频繁刷新索引生成大量小的segments，同时减少merge带来的向量索引构建开销。 适当调大“native.vector

查看更多 →

点。 对Kafka的性能调优，有以下几个点： 使用Kafka-0.8.2以后版本，可以使用异步模式的新Producer接口。 配置多个Broker的目录，设置多个IO线程，配置Topic合理的Partition个数。 详情请参见Kafka开源文档中的“性能调优”部分：http://kafka

查看更多 →

性能调优五板斧 性能调优相对来说门槛较高，对PyTorch以及昇腾AI处理器的理解越深刻，越能发挥昇腾AI处理器的计算能力，从而提高训练性能。一般情况下，通过对PyTorch代码做profiling，从而基于数据分析，调整代码，尽可能发挥硬件能力，但在做profiling数据分析

查看更多 →

Flink应用性能调优建议 配置内存 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container

查看更多 →

obsutil性能调优最佳实践 obsutil对大于50MB的文件/对象默认采用分段方式进行上传、下载和复制，与分段任务相关的参数在.obsutilconfig配置文件中，如表1所示。 表1 多段参数 参数 描述 defaultBigfileThreshold 开启分段任务的阈值

查看更多 →

修改完成后保存配置文件。 步骤四：重启Tomcat 在Tomcat bin目录下执行./shutdown.sh命令停止Tomcat服务； 等待10秒后，再执行./startup.sh命令（如进程被守护进程自动拉起，则无需手动启动），启动Tomcat服务。 效果验证 部署成功后，可在浏

查看更多 →

确定性能调优范围 数据库性能调优通常发生在用户对业务的执行效率不满意，期望通过调优加快业务执行的情况下。正如“性能因素”小节所述，数据库性能受影响因素多，从而性能调优是一项复杂的工程，有些时候无法系统性地说明和解释，而是依赖于DBA的经验判断。尽管如此，此处还是期望能尽量系统性的

查看更多 →

确定性能调优范围 数据库性能调优通常发生在用户对业务的执行效率不满意，期望通过调优加快业务执行的情况下。正如“确定性能调优范围”小节所述，数据库性能受影响因素多，从而性能调优是一项复杂的工程，有些时候无法系统性地说明和解释，而是依赖于DBA的经验判断。尽管如此，此处还是期望能尽量

查看更多 →