Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是

查看更多 →

配置Kafka数据安全传输协议 本章节内容适用于 MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer

查看更多 →

配置服务 操作场景 添加设备后，默认没有开通服务，您可以按需选择并开通服务。提供的服务如下： 接入调阅服务：提供视频接入和管理功能，开通后可以查看实况和录像。 录像存储服务：提供云端视频存储功能，开通后设置录像计划进行录像存储，关闭服务后会删除所有录像文件。 行业数据流服务：提供

查看更多 →

依然按照修改前的天数保留实例。 恢复Kafka实例 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏选择“回收站”，进入“回收站”页面。

查看更多 →

，那么将会导致业务写入失败。 参数配置项为服务级配置需要重启Kafka，建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 参考修改集群服务配置参数进入Kafka服务全部配置页面，在服务端配置如表1中参数。 表1 服务端高可用性和高性能参数说明 参数 默认值

查看更多 →

已准备开发环境及MRS集群相关配置文件，详情请参考准备连接Kafka集群配置文件。 操作步骤 获取样例工程文件夹。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。 若需要在本地Windows调测Kafka样例代码

查看更多 →

进入客户端配置文件解压路径的“Kafka\config”，获取Kafka表1中相关配置文件。 表1 配置文件 配置文件 作用 client.properties Kafka的客户端的配置信息。 consumer.properties Kafka的consumer端配置信息。 kafkaSecurityMode

查看更多 →

导入并配置Kafka样例工程 获取样例工程文件夹。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。 若需要在本地Windows调测Kafka样例代码，将准备连接Kafka集群配置文件时获取的

查看更多 →

进入客户端配置文件解压路径的“Kafka\config”，获取Kafka表1中相关配置文件。 表1 配置文件 配置文件 作用 client.properties Kafka的客户端的配置信息。 consumer.properties Kafka的consumer端配置信息。 producer

查看更多 →

配置如下参数，设置安全通道为加密的。 参数修改入口：在 FusionInsight Manager系统中，选择“集群 > 服务 > Kafka > 配置”，展开“全部配置”页签，在搜索框中输入相关参数名称。 配置后应重启对应服务使参数生效。 Kafka服务端的传输加密相关配置参数如表1所示。

查看更多 →

参考Kafka客户端使用实践，登录到Kafka客户端安装目录。 以Kafka客户端安装用户，登录Kafka安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执

查看更多 →

其中keyTab和principal的值请按照实际情况配置，所配置的principal需要有相应的kafka的权限。 配置业务，其中kafka.bootstrap.servers的端口号使用21007，kafka.security.protocol使用SASL_PLAINTEXT。 如果Kafka所在集群的 域名 发生

查看更多 →

其中keyTab和principal的值请按照实际情况配置，所配置的principal需要有相应的kafka的权限。 配置业务，其中kafka.bootstrap.servers的端口号使用21007，kafka.security.protocol使用SASL_PLAINTEXT。 如果Kafka所在集群的域名发生

查看更多 →

select * from ordersSource; 示例2：MRS集群使用kafka SASL_SSL认证方式。 MRS集群请开启Kerberos认证。 在”组件管理 > Kafka > 服务配置”中查找配置项” security.protocol”，并设置为”SASL_SSL”。

查看更多 →

Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明

查看更多 →

Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是

查看更多 →

已准备开发环境及MRS集群相关配置文件，详情请参考准备连接Kafka集群配置文件。 操作步骤 获取样例工程文件夹。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。 若需要在本地Windows调测Kafka样例代码

查看更多 →

导入并配置Kafka样例工程 获取样例工程文件夹。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。 若需要在本地Windows调测Kafka样例代码，将准备连接Kafka集群配置文件时获取的

查看更多 →

导入并配置Kafka样例工程 操作步骤 参考获取MRS应用开发样例工程，下载样例工程到本地。 解压样例工程并找到kafka-examples目录。 导入样例工程到Eclipse开发环境。 打开Eclipse，选择“File > Import”。显示“Import”窗口，选择Existing

查看更多 →

Kafka客户端参数配置建议 Kafka客户端的配置参数很多，以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同，以下配置参数适用于1.1.0及以上版本。其他参数和版本配置，请参考Kafka配置。 表1 Producer参数 参数

查看更多 →

分布式消息服务Kafka版计费概述 通过阅读本文，您可以快速了解分布式消息服务Kafka版的计费模式、计费项、续费、欠费等主要计费信息。 计费模式 分布式消息服务Kafka版提供包年/包月和按需计费两种计费模式，以满足不同场景下的用户需求。包年/包月是一种预付费模式，即先付费再使

查看更多 →