果不一致可能会影响消息消费速率。当您选择Topic时，如果并发数为空会读取您选择的Topic的分区数作为并发数。 消费点位 选择消费点位。 最新点位：将会从消息队列的最新消息开始消费。 最早点位：将会从消息队列的最早消息开始消费。 SASL认证机制 当Kafka实例开启SASL SSL时可见，选择SASL认证机制。

查看更多 →

通过公网访问Kafka（开启SSL加密）。 关闭公网访问（不支持修改SASL开关） 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。

查看更多 →

配置Kafka客户端 Kafka客户端参数配置建议 Kafka客户端使用建议 父主题： 连接实例

查看更多 →

成有序消息队列使用。如果Key为空，则消息分布式存储在不同的消息分区。 失败重试分配 日志推送到Kafka失败后的重试配置。 重试次数：失败后的重试次数，范围为0-5次。 重试间隔时间：失败后的重试时间间隔，范围为1-10秒。 SASL配置信息 安全协议 连接目标Kafka所使用的安全协议。

查看更多 →

配置ClickHouse对接Kafka 配置ClickHouse通过用户密码对接Kafka 配置ClickHouse通过Kerberos认证对接Kafka 配置ClickHouse对接普通模式Kafka 父主题： ClickHouse数据导入

查看更多 →

配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题： 连接实例

查看更多 →

配置Kafka访问控制 配置Kafka实例的明文/密文接入 制作和替换Kafka的SSL证书 配置Kafka的SSL双向认证 配置Kafka用户 父主题： 连接实例

查看更多 →

配置Kafka应用安全认证 使用Sasl Kerberos认证 使用Kafka Token认证 父主题： 准备Kafka应用开发环境

查看更多 →

MRS 集群管理员已明确业务需求，并准备一个Kafka管理员用户（属于kafkaadmin组，普通模式不需要）。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录已安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client

查看更多 →

模式不需要）。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录已安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命

查看更多 →

配置Kafka应用安全认证 使用Sasl Kerberos认证 使用Sasl Plaintext认证 使用Kafka Token认证 父主题： 准备Kafka应用开发环境

查看更多 →

配置Kafka后进先出 配置场景 当Spark Streaming应用与Kafka对接，Spark Streaming应用异常终止并从checkpoint恢复重启后，对于进入Kafka数据的任务，系统默认优先处理应用终止前（A段时间）未完成的任务和应用终止到重启完成这段时间内（B

查看更多 →

Connect。 已创建Kafka实例，且实例状态为“运行中”。 已创建Topic。 配置Kafka数据转储至OBS 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。

查看更多 →

ca-key -out ca-cert -days 3650 按照提示信息输入PEM密码。 按照提示信息输入证书拥有者的信息。 执行以下命令，从1中生成的server.keystore.jks中导出证书，并命名为“server.crt”。 keytool -keystore server

查看更多 →

Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是

查看更多 →

StringDeserializer。 AutoOffsetReset 设置当没有初始的偏移量或者偏移量超出范围时，从哪里开始消费。 latest：从最近的偏移量开始消费； earliest：从最早的偏移量开始消费； none：抛出异常。 父主题： 触发器

查看更多 →

使用CDL从PgSQL同步数据到Kafka 操作场景 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从PgSQL导入数据到Kafka。 前提条件 集群已安装CDL、Kafka服务且运行正常。 PostgreSQL数据

查看更多 →

目标连接 选择目标连接。如果还未创建目标连接，请先创建分布式消息服务Kafka版目标连接，如何创建请参见目标连接。 Topic 选择Topic。先选目标连接以加载Topic选项。 消息Key配置 关闭 不启用消息Key。 开启 变量：从CloudEvents标准事件中获取变量值，将变量值作为Key值。

查看更多 →

"area_id":"330106"} DLI 从Kafka读取数据写入Elasticsearch，在Elasticsearch集群的Kibana中查看相应结果。 前提条件 已创建DMS Kafka实例。 具体步骤可参考：DMS Kafka入门指引。 创建DMS Kafka实例时，不能开启Kafka SASL_SSL。

查看更多 →

Streaming从Kafka读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

分布式消息（Kafka） 分布式消息（Kafka）连接器包含“Topic列表”、“发送数据”、“指定分区发送”三个执行动作和“消费消息”一个触发事件。 连接参数 创建分布式（Kafka）连接时连接参数说明如表1所示。如果需要连接的Kafka配置了IP地址白名单限制，则需要放通 集成工作台 公网出口访问地址“124

查看更多 →