使用Flume客户端从Kafka采集日志保存到HDFS 该任务指导用户使用Flume客户端从Kafka客户端的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式

查看更多 →

Consumer初始化成功但是无法从Kafka中获取指定Topic消息 问题背景与现象 使用 MRS 安装集群，主要安装ZooKeeper、Flume、Kafka、Storm、Spark。 使用Storm、Spark、Flume或者自己编写consumer代码来消费Kafka中指定Topic的消息时，发现消费不到任何数据。

查看更多 →

购买Kafka实例 Kafka实例采用物理隔离的方式部署，租户独占Kafka实例。支持用户自定义规格和自定义特性，您可以根据业务需要定制相应计算能力和存储空间的Kafka实例。 操作视频 本视频演示自定义购买Kafka实例的操作。 准备实例依赖资源 创建Kafka实例前，请提前准备好如表1所示资源。

查看更多 →

Kafka有如下几个特点： 高吞吐量 消息持久化到磁盘 分布式系统易扩展 容错性好 MRS服务提供了Kafka多种场景下的样例开发工程，本章节以最常见的WordCount样例Demo进行说明，对应示例场景的开发思路： 使用Kafka客户端创建两个Topic，用于输入Topic和输出Topic。

查看更多 →

Kafka相关概念 华为云使用Kafka作为消息引擎，以下概念基于Kafka进行描述。 Topic 消息主题。消息的生产与消费，围绕消息主题进行生产、消费以及其他消息管理操作。 Topic也是消息队列的一种发布与订阅消息模型。生产者向消息主题发布消息，多个消费者订阅该消息主题的消息，生产者与消费者彼此并无直接关系。

查看更多 →

要求，却对消息顺序不敏感的业务。 启动新的消费客户端，配置Kafka连接地址为新Kafka实例的连接地址，消费新Kafka实例中的数据。 原有消费客户端需继续运行，消费业务同时消费原Kafka与新Kafka实例的消息。 修改生产客户端，Kafka连接地址改为新Kafka实例的连接地址。

查看更多 →

更多 Kafka连接 Kafka是否支持kerberos认证？ Kafka连接问题排查和解决 客户端单IP连接的个数为多少？ 连接Kafka Manager的操作 更多 消息 为什么Console页面上，消息查询查不到消息？ Kafka生产消息的最大长度是多少？ Kafka消息堆积了怎么办？

查看更多 →

Kafka结果表 功能描述 DLI 将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集

查看更多 →

组件之间通过消息队列、消息缓存、负载均衡器等交互（即松耦合关系），可一定程度上屏蔽组件的状态变化，防止对其他组件造成影响 相关云服务和工具 弹性负载均衡服务 ELB 分布式缓存服务 D CS 分布式消息服务Kafka版 分布式消息服务RabbitMQ版 分布式消息服务RocketMQ版

查看更多 →

properties”，“hosts”文件。 参考更新客户端配置文件，在MRS控制台下载客户端配置文件，解压后： 从“MRS_Services_ClientConfig_ConfigFiles > MRS_Services_ClientConfig_ConfigFiles > Kafka > config”路径

查看更多 →

Hadoop类型： MRS：表示连接MRS的Kafka。 Apache Kafka：表示连接Apache Kafka的Kafka。 linkConfig.brokerList 是 String Apache Kafka 连接需配置此参数。Kafka broker列表，格式如：“host1:port1

查看更多 →

修复Kafka 前提条件 已获取 FusionInsight Manager登录地址及admin账号。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Kafka > 配置 > 全部配置”，搜索参数“KAFKAUI_HEAP_OPTS”。在参数值中添加“

查看更多 →

MRS Kafka 功能 MRS Kafka主要是查询Topic未消费的消息数。 参数 用户可参考表1和表2配置MRS Kafka的参数。 表1 属性参数 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择MRS Kafk

查看更多 →

配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式：

查看更多 →

待操作的集群名称 > 服务 > Kafka”。 单击“实例”，查看Kafka Broker角色实例的IP地址。 记录Kafka角色实例其中任意一个的IP地址即可。 根据业务情况，准备好客户端，登录安装客户端的节点。 请根据客户端所在位置，参考使用MRS客户端章节，登录安装客户端的节点。 执

查看更多 →

最新动态（html） 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态，新特性将在各个区域（Region）陆续发布，欢迎体验。

查看更多 →

/v3/{project_id}/elb/pools elb:pools:create - DELETE /v3/{project_id}/elb/pools/{pool_id} elb:pools:delete - GET /v3/{project_id}/elb/pools elb:pools:list

查看更多 →

使用Flume客户端从Kafka采集日志保存到HDFS 操作场景 该任务指导用户使用Flume客户端从Kafka客户端的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，

查看更多 →

创建Kafka实例 本章节介绍创建Kafka实例。 登录华为云控制台。 单击管理控制台左上角的，选择区域“华南-广州”。 单击左侧的服务列表图标，选择“应用中间件 > 分布式消息服务Kafka版”。 单击“购买Kafka实例”。 选择实例区域和可用区。 配置实例名称和实例规格等信息。

查看更多 →

Manager，不会重启实例。 关闭Kafka Manager 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。

查看更多 →

设置如下参数。 区域：与Kafka实例保持一致。 服务类别：选择“按名称查找服务”。 服务名称：输入9中记录的终端节点服务名称，单击“验证”。显示“已找到服务”后，继续后续操作。 虚拟私有云：选择Kafka客户端所属的VPC。 子网：选择Kafka客户端所属的子网。 IPv4地址：选择“自动分配IPv4地址”

查看更多 →