系统可用内存”， 否则会导致IoTDB启动失败。 查询场景调优举例：如果查询的范围比较大，单个序列10000个点以上，JVM分配内存的20% / 序列数 > 160K，即为默认配置下存储引擎对查询最友好的状态。 序列和内存大小举例：500万序列，对应内存配置为：-Xms128G -Xmx128G

查看更多 →

Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 Spark Core内存调优 配置Spark Core广播变量 配置Spark Executor堆内存参数 使用External Shuffle Service提升Spark Core性能

查看更多 →

Spark on OBS性能调优 配置场景 Spark on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics

查看更多 →

Ranger性能调优 操作场景 Ranger给各组件提供权限策略，当使用Ranger的服务增多，需要调整Ranger的规格。 本章节仅适用 MRS 3.2.0及之后版本。 内存参数配置 登录 FusionInsight Manager页面，选择“集群 > 服务 > Ranger > 配置

查看更多 →

ClickHouse性能调优 ClickHouse数据表分区过多调优 ClickHouse加速Merge调优 ClickHouse加速TTL操作调优 父主题： 使用ClickHouse

查看更多 →

Spark SQL性能调优 Spark SQL join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 配置多并发客户端连接JD BCS erver 配置SparkSQL的分块个数 Spark动态分区插入场景内存优化

查看更多 →

GaussDB (DWS)性能调优 性能调优概述 性能诊断 系统调优 SQL调优 SQL调优案例

查看更多 →

合理设置并行度 任务运行的速度和并行度相关，一般来说提升并行度能有效提升读取的速度，但是过大的并行度可能导致部分节点资源的浪费，过小的并行度可能导致部分节点运行缓慢。对于SQL当前不能手动指定每个Task的并行度，指定的是所有Task统一的并行度。 推荐Source的并行度由上游组件推

查看更多 →

GaussDB(DWS)性能调优 性能调优概述 性能诊断 系统调优 SQL调优 SQL调优案例

查看更多 →

Flink性能调优开发规范 Flink性能调优规则 Flink性能调优建议 父主题： Flink应用开发规范

查看更多 →

Spark Streaming性能调优 操作场景 Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是：秒级时延和高吞吐量。因此Streaming调优的目标：在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。

查看更多 →

S桶），提交运行失败的情形（例如：jar包冲突），有时日志不会写到OBS桶中 Jobmanager与Taskmanager心跳超时，导致Flink作业异常怎么办？ 父主题： Flink作业类

查看更多 →

PyTorch迁移性能调优 性能调优总体原则和思路 自动诊断工具MA-Advisor使用指导 性能可视化工具Ascend-Insight使用指导 性能可视化工具与性能分析工具 父主题： GPU训练业务迁移至昇腾的通用指导

查看更多 →

Spark Streaming性能调优 操作场景 Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是：秒级时延和高吞吐量。因此Streaming调优的目标：在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。

查看更多 →

MapReduce性能调优 多CPU内核下MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →

MapReduce性能调优 多CPU内核下的MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →

图1 调优前模型 图2 调优后模型 AOE优化成功的mindir已经融合了优化的知识库，是一个独立可用的模型。即使AOE知识库删除，不影响该mindir的性能。可以备份这个模型优化产生的知识库，以后需要的话再使用。 父主题： 性能调优

查看更多 →

对于minor压缩，在阶段1中要合并的segment数量和在阶段2中要合并的已压缩的segment数量。 如何调优 每次CarbonData加载创建一个segment，如果每次加载的数据量较小，将在一段时间内生成许多小文件，影响查询性能。配置该参数将小的segment合并为一个大的segment，然后对数据进行排序，可提高查询性能。

查看更多 →

方式。 在PyTorch模型迁移后进行训练的过程中，CPU只负责算子的下发，而NPU负责算子的执行，算子下发和执行异步发生，性能瓶颈在此过程中体现。在PyTorch的动态图机制下，算子被CPU逐个下发到NPU上执行。一方面，理想情况下CPU侧算子下发会明显比NPU侧算子执行更快，

查看更多 →

对于minor压缩，在阶段1中要合并的segment数量和在阶段2中要合并的已压缩的segment数量。 如何调优 每次CarbonData加载创建一个segment，如果每次加载的数据量较小，将在一段时间内生成许多小文件，影响查询性能。配置该参数将小的segment合并为一个大的segment，然后对数据进行排序，可提高查询性能。

查看更多 →

度让任务的数量和每个任务处理的数据与机器的处理能力达到最优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力。 任务的并行度可以通过以下四种层

查看更多 →