Join数据倾斜问题 执行任务的时候，任务进度长时间维持在99%，这种现象叫数据倾斜。 数据倾斜是经常存在的，因为有少量的Reduce任务分配到的数据量和其他Reduce差异过大，导致大部分Reduce都已完成任务，但少量Reduce任务还没完成的情况。 解决数据倾斜的问题，可通过设置“set

查看更多 →

By也同样存在数据倾斜的问题，设置hive.groupby.skewindata为true，生成的查询计划会有两个MapReduce Job，第一个Job的Map输出结果会随机的分布到Reduce中，每个Reduce做聚合操作，并输出结果，这样的处理会使相同的Group By Ke

查看更多 →

Hive SQL逻辑优化 操作场景 在Hive上执行SQL语句查询时，如果语句中存在“(a&b) or (a&c)”逻辑时，建议将逻辑改为“a & (b or c)”。 样例 假设条件a为“p_partkey = l_partkey”，优化前样例如下所示： select

查看更多 →

true：支持，目前仅支持Hive表的predicate下压。 false：不支持 true spark.sql.hive.filesourcePartitionFileCacheSize 启用内存中分区文件元数据的缓存大小。 所有表共享一个可以使用指定的num字节进行文件元数据的缓存。 只有当“spark

查看更多 →

聚合算法优化 操作场景 在Spark SQL中支持基于行的哈希聚合算法，即使用快速聚合hashmap作为缓存，以提高聚合性能。hashmap替代了之前的ColumnarBatch支持，从而避免拥有聚合表的宽模式（大量key字段或value字段）时产生的性能问题。 操作步骤 要启动

查看更多 →

true：支持，目前仅支持Hive表的predicate下压。 false：不支持 true spark.sql.hive.filesourcePartitionFileCacheSize 启用内存中分区文件元数据的缓存大小。 所有表共享一个可以使用指定的num字节进行文件元数据的缓存。 只有当“spark

查看更多 →

分子ADMET属性值列表 similarity Number 分子与初始分子的相似度 num_fulfilled_weak_constraints Integer 分子所满足的弱约束数量 score Number 分子的打分 表8 MoleculeConstraint 参数 参数类型 描述

查看更多 →

设置这个参数，要考虑 GaussDB 的共享缓冲区以及内核的磁盘缓冲区，还要考虑预计的在不同表之间的并发查询数目，因为它们将共享可用的空间。 这个参数对GaussDB实际运行时分配的共享内存大小没有影响，它只用于计划生成阶段的估算。该数值是用磁盘页来计算的，通常每个页面是8192字节。 该参数属于U

查看更多 →

基因查询优化器 介绍基因查询优化器相关的参数。基因查询优化器（GEQO）是一种启发式的查询规划算法。这个算法减少了对复杂查询规划的时间，而且生成规划的开销有时也小于正常的详尽的查询算法。 geqo 参数说明：控制基因查询优化的使用。 该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。

查看更多 →

不支持的类型或者表达式，则不论查询的基表为行存表、列存表，还是行列混合存储的，强制将查询转换为向量化的执行计划执行计算。在这种情况下，针对不同的查询场景可能出现性能下降。 optimal，表示在force的基础上，由优化器根据查询的复杂度进行选择是否将查询语句转换为向量化的执行计

查看更多 →

网格安装初始化完成后，所有服务实例（Pod）的Envoy中只存储了CGW组件的路由信息。 当某个服务Service A的实例（Pod）第一次访问另一个服务Service B时，由于Service A实例的Envoy中没有Service B的路由信息，Envoy会将请求发送到CGW上。 CGW保存了网格全局的服务路由

查看更多 →

成本优化支柱简介 成本优化支柱专注于帮助企业高效地使用云服务来构建工作负载，面向工作负载的整个生命周期不断完善和改进，减少不必要的开支并提升运营效率，让云上应用始终最具成本效益。 成本优化实践不意味着只有降本，它是安全合规、韧性等维度的平衡，也是达成业务目标的最优投入。 华为公司

查看更多 →

抢插话规则接口 (interposalrules) 查询抢插话规则 查询所有的抢插话规则 删除抢插话规则 创建抢插话规则 更新抢插话规则 公共参数结构 父主题： 智能质检

查看更多 →

性能优化类 MRS 集群是否支持重装系统？ MRS集群是否支持切换操作系统？ 如何提高集群Core节点的资源使用率？ 如何关闭防火墙服务？

查看更多 →

优化查询性能概述 性能调优是数据库应用开发和迁移过程中的关键步骤，在整个项目实施过程中占据很大的份量。通过性能调优可以提高数据库的资源利用率，降低业务成本，还可以大大降低应用系统的运行风险，提高系统稳定性，给客户带来更大的价值。 SQL调优的唯一目的是“资源利用最大化”，即CPU

查看更多 →

API 客户端采用批量数据的写入方式，每次批量写入的数据建议在1~10MB之间。 3 随机生成_id 如果采用指定_id的写入方式，数据写入时会先触发一次查询操作，进而影响数据写入性能。对于不需要通过_id检索数据的场景，建议使用随机生成的_id。 4 设置合适的分片数 分片数建议设置

查看更多 →

cache.size”设置为更大的值。具体操作请参见参数配置，修改参数配置后一定要重启集群使参数生效。 4 提前Forcemerge，减小需要扫描的Segments数 对于定期滚动后的只读索引，可以定期执行forcemerge，将小的Segments合并为大的Segments，并将标记

查看更多 →

优化集群性能 写入性能优化 查询性能优化

查看更多 →

其他相关参数优化 开启上述导入性能增强的优化后，索引merge任务会相应增加，可以通过调整如下配置降低merge任务开销对导入性能的影响： 通过指定配置项“index.merge.scheduler.max_thread_count”，增加shard的合并线程数，减少合并对数据导入的限流。默认为4，建议设置为8。

查看更多 →

SQL中进行Join操作时，可以按照以下步骤进行优化。为了方便说明，设表A和表B，且A、B表都有个名为name的列。对A、B表进行join操作。 估计表的大小。 根据每次加载数据的大小，来估计表大小。 也可以在Hive的数据库存储路径下直接查看表的大小。首先在Spark的配置文件“hive-site

查看更多 →

effective_cache_size 参数说明：设置优化器在一次单一的查询中可用的磁盘缓冲区的有效大小。 设置这个参数，要考虑GaussDB的共享缓冲区以及内核的磁盘缓冲区，还要考虑预计的在不同表之间的并发查询数目，因为它们将共享可用的空间。 这个参数对GaussDB实际运行时分配的共享内存大小没有影响，它

查看更多 →