ClickHouse性能调优 数据表报错Too many parts解决方法 加速Merge操作 加速TTL操作 父主题： 使用ClickHouse

查看更多 →

所谓的shuffle并发度如下图所示： 集群默认是200，作业可以单独设置。如果发现瓶颈stage（执行时间长），且分配给当前作业的核数大于当前的并发数，说明并发度不足。通过以下配置优化。 场景 配置项 集群默认值 调整后 Jar作业 spark.default.parallelism

查看更多 →

PyTorch迁移性能调优 性能调优总体原则和思路 自动诊断工具MA-Advisor使用指导 性能可视化工具Ascend-Insight使用指导 其他性能分析工具 父主题： GPU训练业务迁移至昇腾的通用指导

查看更多 →

MapReduce性能调优 多CPU内核下的MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →

Spark Streaming性能调优 操作场景 Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是：秒级时延和高吞吐量。因此Streaming调优的目标：在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。

查看更多 →

--saveType=MINDIR --optimize=ascend_oriented > aoe_unet.log 启动AOE调优后，模型转换时长会延长到数小时，因为其中包含了AOE的转化过程耗时较长，也可以指定调优时间，一般情况下时间越长效果会越好，一般10h以内即可，推荐在后台执行。调优完成

查看更多 →

MapReduce性能调优 多CPU内核下MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →

系统操作 GaussDB 通过SQL语句执行不同的系统操作，比如：设置变量，显示执行计划和垃圾收集等操作。 设置变量 设置会话或事务中需要使用的各种参数，请参考SET。 显示执行计划 显示GaussDB为SQL语句规划的执行计划，请参考EXPLAIN。 事务日志检查点 预写式日志（

查看更多 →

系统操作 GaussDB通过SQL语句执行不同的系统操作，比如：设置变量，显示执行计划和垃圾收集等操作。 设置变量 设置会话或事务中需要使用的各种参数，请参考SET。 显示执行计划 显示GaussDB为SQL语句规划的执行计划，请参考EXPLAIN。 事务日志检查点 预写式日志（

查看更多 →

系统操作 GaussDB通过SQL语句执行不同的系统操作，比如：设置变量，显示执行计划和垃圾收集等操作。 设置变量 设置会话或事务中需要使用的各种参数，请参考SET。 显示执行计划 显示GaussDB为SQL语句规划的执行计划，请参考EXPLAIN。 事务日志检查点 预写式日志（

查看更多 →

系统操作 GaussDB通过SQL语句执行不同的系统操作，比如：设置变量，显示执行计划和垃圾收集等操作。 设置变量 设置会话或事务中需要使用的各种参数，请参考SET。 显示执行计划 显示GaussDB为SQL语句规划的执行计划，请参考EXPLAIN。 事务日志检查点 预写式日志（

查看更多 →

系统操作 GaussDB(DWS)通过SQL语句执行不同的系统操作，比如：设置变量，显示执行计划和垃圾收集等操作。 设置变量 设置会话或事务中需要使用的各种参数，请参考SET。 显示执行计划 显示GaussDB(DWS)为SQL语句规划的执行计划，请参考EXPLAIN。 事务日志检查点

查看更多 →

Spark Streaming性能调优 操作场景 Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是：秒级时延和高吞吐量。因此Streaming调优的目标：在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。

查看更多 →

Flink性能调优开发规范 Flink性能调优规则 Flink性能调优建议 父主题： Flink应用开发规范

查看更多 →

“添加至前面”或“添加至后面”表示新建的数仓分层在当前数仓分层的前面或者后面。 图1 自定义数仓分层 配置数仓分层相关参数。 图2 新建数仓分层 表1 数仓分层参数说明 参数 说明 *分层名称 定义数仓分层名称。只能包含中文、英文字母、数字和下划线，且以中文或英文字母开头。输入长度不能超过10个字符。

查看更多 →

为DMAP数小二成员配置系统角色 系统管理员负责系统的配置及管理，并为企业用户授予不同的权限，根据业务需求，系统管理员可为企业用户授予不同的系统权限。 前提条件 需拥有系统管理员角色，角色权限请参考DMAP数小二用户角色与权限说明。 为成员配置系统角色 登录 交换数据空间 官网。 单

查看更多 →

订购IoT边缘工业子系统数采服务 登录华为云官网，选择“产品 > IoT物联网 > 边缘计算 > IoT边缘 IoTEdge”。 单击“管理控制台”进入IoT边缘控制台。 单击“总览”页右上角“我的订购服务”，进入购买页面。 选择“工业子系统数采服务”，单击“购买”。 根据需要选择合适的规格加入清单。

查看更多 →

系统 系统设置 系统管理 关于

查看更多 →

配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted

查看更多 →

配置HDFS文件目录标签策略（NodeLabel） 配置NameNode内存参数 设置HBase和HDFS的句柄数限制 配置HDFS单目录文件数量 HDFS企业级能力增强 HDFS性能调优 HDFS运维管理 HDFS常见问题 HDFS故障排除

查看更多 →

并行任务数x扫描仪线程数。其中并行任务数为分割数和执行器数x执行器核数两者之间的较小值。 数据加载性能调优 数据加载性能调优与查询性能调优差异很大。跟查询性能一样，数据加载性能也取决于可达到的并行性。在数据加载情况下，工作线程的数量决定并行的单元。因此，更多的执行器就意味着更多的

查看更多 →