配置Kafka用户Token认证信息 操作场景 使用Token认证机制时对Token的操作。 本章节内容适用于 MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求，并准备一个系统用户。 已开启Token认证机制。 已安装Kafka客户端。

查看更多 →

配置Kafka用户Token认证信息 操作场景 使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求，并准备一个系统用户。 已开启Token认证机制，详细操作请参考Kafka服务端配置。

查看更多 →

填写连接器的描述信息，用于识别不同的连接器。 支持的动作 消费消息 配置参数 参数 说明 主题 需要监听的topic。 GroupId 用来唯一标识consumer进程所在组的字符串，如果设置同样的group id，表示这些processes都是属于同一个consumer group。 KeyDeserializer

查看更多 →

执行命令时默认会读取当前消费者组中未被处理的消息。如果在配置文件指定了新的消费者组且命令中增加参数“--from-beginning”，则会读取所有Kafka中未被自动删除的消息。 Kafka角色实例所在节点IP地址，填写Broker角色实例其中任意一个的IP地址即可。 如果集群启用Ker

查看更多 →

待操作的集群名称 > 服务 > Kafka”。 单击“实例”，查看Kafka Broker角色实例的IP地址。 记录Kafka角色实例其中任意一个的IP地址即可。 根据业务情况，准备好客户端，登录安装客户端的节点。 请根据客户端所在位置，参考使用MRS客户端章节，登录安装客户端的节点。

查看更多 →

Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明

查看更多 →

Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题： 组件介绍

查看更多 →

议。 跨语言支持 支持多语言的客户端 采用Scala和Java编写，支持多种语言的客户端。 采用Erlang编写，支持多种语言的客户端。 流量控制 待规划 支持client和user级别，通过主动设置可将流控作用于生产者或消费者。 RabbitMQ的流控基于Credit-Base

查看更多 →

Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明

查看更多 →

无 String 设置和传递任意 Kafka 的配置项。 “properties.”中的后缀名必须匹配在Apache Kafka中定义的配置键。 Flink 将移除 "properties." 配置键前缀并将变换后的配置键和值传入底层的 Kafka 客户端。例如，你可以通过 'properties

查看更多 →

安装Kafka 简介 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 本教程介绍如何在HCE OS 2.0上安装部署Kafka。

查看更多 →

输入参数 用户配置发送数据执行动作，相关参数说明如表6所示。 表6 发送数据输入参数说明 参数 必须 说明 扩展配置 否 输入键名称和键值，键值模式。 Topic 是 为Kafka服务器中的Topic名称。 数据列表 是 选择数组类型的节点输出，可切换为数组模式。 数组放要传输的事件消息，以数组对象的方式进行传输。

查看更多 →

。开源Kafka客户端连接开启SASL_SSL的Kafka实例，与连接未开启SASL_SSL的Kafka实例的端口号不同，且开启SASL_SSL的Kafka实例需要配置证书信息。 支持区域： 全部 连接未开启SASL的Kafka实例 连接已开启SASL的Kafka实例 跨VPC访问Kafka实例

查看更多 →

如果设为true，Controller会周期性的为所有节点的每个分区均衡Leader，将Leader分配给更优先的副本。 min.insync.replicas 1 当Producer设置acks为-1时，指定需要写入成功的副本的最小数目。 在客户端配置文件producer.properties中配置如表2中参数，producer

查看更多 →

如果设为true，Controller会周期性的为所有节点的每个分区均衡Leader，将Leader分配给更优先的副本。 min.insync.replicas 1 当Producer设置acks为-1时，指定需要写入成功的副本的最小数目。 在客户端配置文件producer.properties中配置如表2中参数，producer

查看更多 →

producer.properties Kafka的producer端配置信息。 server.properties Kafka的服务端的配置信息。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中，如需在本地Windows系统中调测应用程序，需要

查看更多 →

kafkaSecurityMode Kafka服务是否开启安全模式标记文件。 producer.properties Kafka的producer端配置信息。 server.properties Kafka的服务端的配置信息。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。

查看更多 →

当选择为密文接入时会显示对应的安全协议。 Topic 选择Topic。 消费组 输入消费组。 并发数 输入并发数，输入值范围1~1000。 建议并发数与选择的Topic的分区数保持一致，如果不一致可能会影响消息消费速率。当您选择Topic时，如果并发数为空会读取您选择的Topic的分区数作为并发数。

查看更多 →

Folder”对话框。 选择样例工程文件夹kafka-examples，单击“确定”按钮。 在“Import Maven Projects”窗口单击“Finish”按钮。 设置Eclipse的文本文件编码格式，解决乱码显示问题。 在Eclipse的菜单栏中，选择“Window > Preferences”。

查看更多 →

262144 默认的批量处理消息字节数上限。producer将试图批处理消息记录，以减少请求次数。这将改善client与server之间的性能。不会试图处理大于这个字节数的消息字节数。 发送到brokers的请求将包含多个批量处理，其中会包含对每个partition的一个请求。 较小的批量处

查看更多 →

备集群认证用户信息时得到的keytab文件“user.keytab”和“krb5.conf”文件以及准备运行环境配置文件时获取的所有配置文件放置在样例工程的放到样例工程的“kafka-examples\src\main\resources”目录下。 安装IntelliJ IDEA和JDK工具后，需要在IntelliJ

查看更多 →