安装Kafka 简介 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 本教程介绍如何在HCE OS 2.0上安装部署Kafka。

查看更多 →

Kafka的安装 Kafka集群安装 上传confluent安装包 表1 上传confluent安装包 安装 服务器 gx01节点、gx02节点、gx03节点 程序名称 Kafka 上传路径 /opt/ 程序安装路径 /usr/local/confluent 安装步骤 在gx01节

查看更多 →

您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。 Apache Kafka Apache Kafka连接适用于用户在本地数据中心或E CS 上自建的第三方Kafka，其中本地数据中心的Kafka需通过专线连接。 连接Apache

查看更多 →

通过以下任意一种方法，重置初始用户的密码。 在需要重置密码的Kafka实例右侧，单击“更多 > 重置Kafka密码”，弹出“重置Kafka密码”对话框。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 重置Kafka密码”，弹出“重置Kafka密码”对话框。 单击Kafka实例名称，进入实例详情页面。在“基本信息”页面，在“连接信息

查看更多 →

您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。 Apache Kafka Apache Kafka连接适用于用户在本地数据中心或ECS上自建的第三方Kafka，其中本地数据中心的Kafka需通过专线连接。 连接Apache

查看更多 →

配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式：

查看更多 →

配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式：

查看更多 →

配置Kafka实例标签 标签是Kafka实例的标识，为Kafka实例添加标签，可以方便用户识别和管理拥有的Kafka实例资源。 您可以在创建Kafka实例时添加标签，也可以在Kafka实例创建完成后，在“标签”页面添加标签，您最多可以给实例添加20个标签。另外，您还可以删除标签。

查看更多 →

修改Kafka Topic配置 本章节指导您在控制台修改Kafka Topic的如下配置。 表1 Kafka Topic的配置参数 参数名称 说明 分区数 Topic的分区数，修改方法请参见修改Kafka Topic分区数。 老化时间 消息的最长保留时间，修改方法请参见修改Kafka消息老化时间。

查看更多 →

Kafka常用配置参数 本章节内容适用于 MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务参数“全部配置”页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表，以逗号分隔多个目录。 %{@auto.detect

查看更多 →

根据业务情况，准备好客户端，参考使用MRS客户端章节，登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env

查看更多 →

根据业务情况，准备好客户端，登录安装客户端的节点。 请根据客户端所在位置，参考使用MRS客户端章节，登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。

查看更多 →

dms_link 服务类型 选择DMS Kafka版本，目前只有专享版。 专享版 Kafka Broker Kafka专享版实例的地址，格式为 host:port。 - Kafka SASL_SSL 选择是否打开客户端连接Kafka专享版实例时SSL认证的开关。当DMS Kafka实例的连

查看更多 →

Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 参数入口，请参考修改集群服务配置参数。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表，以逗号分隔多个目录。 %{@auto.detect.datapart

查看更多 →

登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称，进入实例详情页面。 在左侧导航栏单击“流控管理 >

查看更多 →

dms_link 服务类型 选择DMS Kafka版本，目前只有专享版。 专享版 Kafka Broker Kafka专享版实例的地址，格式为 host:port。 - Kafka SASL_SSL 选择是否打开客户端连接Kafka专享版实例时SSL认证的开关。当DMS Kafka实例的连

查看更多 →

安装配置 Agent管理 采集配置 配置中心

查看更多 →

配置Kafka应用安全认证 使用Sasl Kerberos认证 使用Sasl Plaintext认证 使用Kafka Token认证 父主题： 准备Kafka应用开发环境

查看更多 →

修改Kafka实例配置参数 操作场景 分布式消息服务Kafka版为实例、Topic、消费者提供了几个常用配置参数的默认值，您可以根据实际业务需求，在控制台自行修改参数值。其他在控制台未列出的配置参数，请参考Kafka配置进行修改。 Kafka实例的参数分为动态参数和静态参数： 动

查看更多 →

10485760字节 配置Kafka自动创建Topic 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称，进入“基本信息”页面。

查看更多 →

配置Kafka后进先出 配置场景 当Spark Streaming应用与Kafka对接，Spark Streaming应用异常终止并从checkpoint恢复重启后，对于进入Kafka数据的任务，系统默认优先处理应用终止前（A段时间）未完成的任务和应用终止到重启完成这段时间内（B

查看更多 →