Kafka性能优化 Kafka性能优化 优化客户端配置 生产者配置建议 可参考配置建议。 消费者配置建议 参数 推荐值 说明 max.poll.records 500 消费者一次能消费到的最大消息数量，默认为500，如果每条消息处理时间较长，建议调小该值，确保在max.poll.interval

查看更多 →

消息队列性能优化 以下章节我们结合一些具体建议和指标来说明如何针对消息队列的使用进行性能优化。 Kafka性能优化 RabbitMQ性能优化 父主题： 云服务性能优化介绍

查看更多 →

只读实例应急。 不用作消息队列 发布订阅场景下，不建议作为消息队列使用。 强制 如没有非常特殊的需求，不建议将 Redis 当作消息队列使用。 Redis 当作消息队列使用，会有容量、网络、效率、功能方面的多种问题。 如需要消息队列，可使用高吞吐的Kafka或者高可靠的RocketMQ。

查看更多 →

集群服务部署架构 服务规模与业务容量参数配置 Flink作为流数据处理引擎，依赖内存和CPU。用户在规划规格时，应根据当前的业务容量和增长速度，规划合理的内存和CPU资源，特别需要关注以下几点： 根据自己的业务目标，规划CPU资源和内存资源。规划时，需要结合当前的数据分布情况，

查看更多 →

文档插入Elasticsearch的流程 写入性能优化 基于Elasticsearch的数据写入流程分析，有以下几种性能优化方案。 表1 写入性能优化 序号 优化方案 方案说明 1 使用SSD盘或升级集群配置 使用SSD盘可以大幅提升数据写入与merge操作的速度，对应到 CSS 服务，建议选择“超高IO型”存储，或者超高IO型主机。

查看更多 →

遍历各个Segment的方式进行查询。 图2 Elasticsearch的索引组成 查询性能优化 基于Elasticsearch的数据查询流程分析，有以下几种性能优化方案。 表1 查询性能优化 序号 优化方案 方案说明 1 通过_routing减少检索扫描的分片数 在数据入库时指

查看更多 →

Spark性能优化 概述 Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去

查看更多 →

性能优化类 MRS 集群是否支持重装系统？ MRS集群是否支持切换操作系统？ 如何提高集群Core节点的资源使用率？ 如何关闭防火墙服务？

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

上传/下载性能优化 OBS Browser+对大于50MB的文件/对象默认采用分段方式进行上传/下载，与分段任务相关的参数都在“系统设置”->“基础设置”中。 表1 参数 描述 最大并行任务数 任务同时运行的最大数量，默认是3，取值范围是：1~50。 单任务最大并发数 每个任务的

查看更多 →

OBS性能优化建议 OBS按照对象名的UTF-8编码范围来进行分区管理，对系统进行水平扩展与动态负载均衡。如果用户在对象命名规则上使用了顺序前缀（如时间戳或字母顺序），可能导致大量对象的请求访问集中于某个特定分区，造成访问热点。热点分区上的请求速率受限，访问时延上升。 推荐使用随

查看更多 →

大数据性能优化 HIVE优化 Spark性能优化 Flink性能优化 父主题： 云服务性能优化介绍

查看更多 →

所有未确认的消息都会暂存在内存中，太多的未确认消息可能造成服务 OOM。为了限制未确认消息的规模，你可以在消费者端开启prefetch功能来限制消息拉取上限。 持久化资源 为了防止因为服务宕机、重启、硬件问题等原因造成的消息丢失，请使用持久化队列和消息。持久化消息涉及到写磁盘操作，如果

查看更多 →

FunctionGraph函数调用华为云其他云服务资源时（例：dis、obs），如果选择对应云服务sdk，需要对sdk参数进行调优（例：超时时间、连接数、重试次数等）。 FunctionGraph函数中访问第三方服务或华为云服务时，性能上限受第三方服务或华为云服务的性能上限制，需要确保访问的服务无性能瓶颈。 冷启动优化实践

查看更多 →

分区导入数据性能优化 场景描述 当往分区表中插入数据时候，如果插入的数据为常量/参数/表达式等简单类型，会自动对INSERT算子进行执行优化（FastPath）。可以通过执行计划来判断是否触发了执行优化，触发时Insert计划前会带有FastPath关键字。 示例 gaussdb=#

查看更多 →

分区导入数据性能优化 场景描述 当向分区表插入数据的时候，如果插入的数据为常量/参数/表达式等简单类型，会自动对INSERT算子进行执行优化（FastPath）。可以通过执行计划来判断是否触发了执行优化，触发执行优化时Insert计划前会带有FastPath关键字。 示例 gaussdb=#

查看更多 →

数据库性能优化 以下章节我们结合一些具体建议和案例来说明如何针对数据库的使用进行性能优化： 1.优化数据库配置实践 数据库的配置参数应从具体业务诉求着手，根据实际需要进行设计；华为云在各个数据库云服务中均提供了默认的配置参数，以满足最普遍的业务需要。 华为云提供了多款数据库服务，不

查看更多 →

分布式消息（Kafka） 分布式消息（Kafka）连接器包含“Topic列表”、“发送数据”、“指定分区发送”三个执行动作和“消费消息”一个触发事件。 连接参数 创建分布式（Kafka）连接时连接参数说明如表1所示。如果需要连接的Kafka配置了IP地址白名单限制，则需要放通 集成工作台 公网出口访问地址“124

查看更多 →

Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是

查看更多 →

PERF05 性能优化 性能优化工作中，需警惕“过早优化”的问题。我们的基本指导策略还是首先让系统运行起来，再考虑怎么让它变得更快。一般只有在我们证实某部分代码的确存在一个性能瓶颈的时候，才应进行优化。除非用专门的工具分析瓶颈，否则很有可能是在浪费自己的时间。另外，性能优化的隐含代价

查看更多 →