配置Kafka数据安全传输协议 本章节内容适用于 MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer

查看更多 →

Apache Kafka同步到MRS Kafka 源端优化 Kafka抽取优化 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch

查看更多 →

Manager，选择“集群 > 服务 > Kafka > 配置”。 进入Kafka配置页面，参数类别选择全部配置，显示所有Kafka相关配置，在“搜索”中输入message.max.bytes进行检索。 MRS中Kafka服务端默认可以接收的消息最大为1000012 bytes =977

查看更多 →

使用Kafka Kafka用户权限管理 Kafka客户端使用实践 使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题

查看更多 →

API。 Kafka访问协议说明 Kafka当前支持四种协议类型的访问：PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL。 Kafka服务启动时，默认会启动PLAINTEXT和SASL_PLAINTEXT两种协议类型的访问监测。可通过设置Kafka服务配置“ssl

查看更多 →

重启Kafka实例 分布式消息服务Kafka版支持在控制台重启单个Kafka实例，或批量重启Kafka实例。 约束与限制 在Kafka实例重启过程中，客户端的生产与消费消息等请求会被拒绝。 在客户端配置重试机制，避免因为重启实例导致的业务断连。 前提条件 只有当Kafka实例处于

查看更多 →

最新动态（html） 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态，新特性将在各个区域（Region）陆续发布，欢迎体验。

查看更多 →

Duration 消费者定期发现动态创建的Kafka主题和分区的时间间隔。 ssl_auth_name 否 无 String DLI 侧创建的Kafka_SSL类型的跨源认证名称。Kafka配置SSL时使用该配置。 注意：若仅使用SSL类型，则需要同时配置'properties.security

查看更多 →

Duration 消费者定期发现动态创建的Kafka主题和分区的时间间隔。 ssl_auth_name 否 无 String DLI侧创建的Kafka_SSL类型的跨源认证名称。Kafka配置SSL时使用该配置。 注意：若仅使用SSL类型，则需要同时配置'properties.security

查看更多 →

String DLI侧创建的Kafka_SSL类型的跨源认证名称。Kafka配置SSL时使用该配置。 注意：若仅使用SSL类型，则需要同时配置'properties.security.protocol '= 'SSL'; 若使用SASL_SSL类型，则需要同时配置'properties

查看更多 →

支持设置Kafka的配置项，需要增加 properties. 前缀，作业将自动移除前缀并传入底层Kafka客户端，具体参数可参考 Apache Kafka官方文档 中的配置说明。 配置目的端参数。 图5 Kafka目的端配置项 目标Topic名称规则。 配置源端MySQL库表与目的端Kafka

查看更多 →

P/UDP、21732TCP/UDP端口。 图3 添加入方向规则 在Manager界面选择“集群 > 服务 > Kafka > 配置 > 全部配置”，搜索“kafka.config.expandor”，并添加参数名为“advertised.listeners”，值为“SASL_PLAINTEXT://:21007

查看更多 →

Hadoop类型： MRS：表示连接MRS的Kafka。 Apache Kafka：表示连接Apache Kafka的Kafka。 linkConfig.brokerList 是 String Apache Kafka 连接需配置此参数。Kafka broker列表，格式如：“host1:port1

查看更多 →

使用Kafka Kafka数据消费概述 Kafka用户权限管理 Kafka客户端使用实践 快速使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题

查看更多 →

topic的内容 如何配置Kafka客户端shell命令日志 如何获取Topic的分布信息 Kafka高可靠使用说明 使用Kafka Shell命令无法操作Kafka集群 Kafka生产者写入单条记录过长问题 Kakfa消费者读取单条记录过长问题 Kafka集群节点内多磁盘数据量占用高

查看更多 →

MRS Kafka 获取MRS Kafka配置文件方法如下： 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件，在MRS Manager下载用户认证文件，解压后得到“krb5.conf”和 “user.keytab”文件。 获取“fikafka-producer

查看更多 →

Hadoop类型： MRS：表示连接MRS的Kafka。 Apache Kafka：表示连接Apache Kafka的Kafka。 linkConfig.brokerList 是 String Apache Kafka 连接需配置此参数。Kafka broker列表，格式如：“host1:port1

查看更多 →

MRS Kafka 功能 MRS Kafka主要是查询Topic未消费的消息数。 参数 用户可参考表1和表2配置MRS Kafka的参数。 表1 属性参数 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择MRS Kafk

查看更多 →

登录Manager界面，进入Kafka配置页面。 MRS 3.x之前的版本：登录MRS Manager，选择“服务管理 > Kafka > 配置 > 全部配置”。 MRS 3.x及后续版本，登录 FusionInsight Manager，选择“集群 > 服务 > Kafka > 配置 > 全部配置”。

查看更多 →

Kafka集群部署 服务信息如下： 表1 服务信息3 服务名 服务器 安装目录 端口 zookeeper 10.190.x.x 10.190.x.x 10.190.x.x /app/zookeeper 2181、2888、3888 kafka /app/kafka 9092 安装JDK8

查看更多 →

Kafka的安装 Kafka集群安装 上传confluent安装包 表1 上传confluent安装包 安装服务器 gx01节点、gx02节点、gx03节点 程序名称 Kafka 上传路径 /opt/ 程序安装路径 /usr/local/confluent 安装步骤 在gx01节

查看更多 →