开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型，取值如下： CreateTime：生产者创建消息的时间。 LogAppendTime：broker将消息写入日志的时间。 批处理消息最大值 Kafka允许

查看更多 →

Kafka应用开发简介 Kafka简介 Kafka是一个分布式的消息发布-订阅系统。 它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点：

查看更多 →

分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称，进入实例详情页面。 在左侧导航栏选择“Topic管理”，进入Topic列表页面。 单击Topic名称，进入Topic详情页面。 Topic详情页面显示Topic的基本信息、订阅关系、分区信息和生产者信息。

查看更多 →

Kafka源表 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是

查看更多 →

SDK概述 本文介绍了分布式消息服务RocketMQ版提供的SDK语言版本，列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer 能根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 SDK列表 表1提供了分布式消息服务RocketMQ版支

查看更多 →

如果消费组从未提交过offset，当Kafka实例重启后，该消费组会被删除。 创建Kafka消费组 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。

查看更多 →

Kafka最佳实践汇总 本文汇总了基于分布式消息服务Kafka版常见应用场景的操作实践，为每个实践提供详细的方案描述和操作指导，帮助用户轻松使用Kafka。 表1 Kafka最佳实践一览表 最佳实践 说明 提高Kafka消息处理效率 本章节提供了生产者和消费者对于消息的使用建议，

查看更多 →

配置如下目标连接参数。更多创建Kafka目标连接参数的详细介绍，请参考创建目标连接。 类型：选择“分布式消息服务 Kafka版” 名称：kafka-connect 实例：选择“eg-kafka” SASL_SSL 认证机制：SC RAM -SHA-512 用户名：kafka实例的用户名“kafka-name”，

查看更多 →

Kafka结果表 功能描述 DLI 通过Kafka结果表将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件

查看更多 →

Kafka结果表 功能描述 DLI通过Kafka结果表将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件

查看更多 →

import com.huaweicloud.sdk.kafka.v2.region.KafkaRegion; import com.huaweicloud.sdk.kafka.v2.*; import com.huaweicloud.sdk.kafka.v2.model.*; import

查看更多 →

开源Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务端

查看更多 →

重复发送消息。如果接收到发送成功的信号，则表明该消息已经被分布式消息服务Kafka版可靠存储。 消息消费 消息消费时，消费者需要确认消息是否已被成功消费。 生产的消息被依次存储在分布式消息服务Kafka版的存储介质中。消费时依次获取分布式消息服务Kafka版中存储的消息。消费者获

查看更多 →

使用Kafka Shell命令无法操作Kafka集群 问题背景与现象 用户执行Kafka命令查看当前topic信息，但发现业务执行失败。 具体信息如下： root@Slave2bin]#./kafka-topics.sh --describe --topic example-metric1

查看更多 →

Upsert Kafka 功能描述 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。Upsert Kafka 连接器支持以upsert方式从Kafka topic中读取数据并将数据写入Kafka

查看更多 →

上传kafka证书 功能介绍 上传kafka证书。 URI URI格式 POST /softcomai/datalake/collection/v1.0/datasource/kafka 参数说明 无。 请求 请求样例 POST https://ip:port/softcomai

查看更多 →

Kafka集群部署 服务信息如下： 表1 服务信息3 服务名 服务器 安装目录 端口 zookeeper 10.190.x.x 10.190.x.x 10.190.x.x /app/zookeeper 2181、2888、3888 kafka /app/kafka 9092 安装JDK8

查看更多 →

Kafka的安装 Kafka集群安装 上传confluent安装包 表1 上传confluent安装包 安装服务器 gx01节点、gx02节点、gx03节点 程序名称 Kafka 上传路径 /opt/ 程序安装路径 /usr/local/confluent 安装步骤 在gx01节

查看更多 →

开发Kafka应用 Kafka样例程序开发思路 使用Producer API向安全Topic生产消息 使用Consumer API订阅安全Topic并消费 使用多线程Producer发送消息 使用多线程Consumer消费消息 使用KafkaStreams统计数据 父主题： Kafka开发指南（普通模式）

查看更多 →

本方案中，先将生产消息的业务迁移到ROMA Connect，原Kafka不会有新的消息生产。待原Kafka的消息全部消费完成后，再将消费消息业务迁移到ROMA Connect，开始消费新的消息。 该案为业界通用的迁移方案，操作步骤简单，迁移过程由业务侧自主控制，整个过程中消息不会存在乱序

查看更多 →

Kafka Client 功能 通过Kafka Client向Kafka的Topic中发送数据。 您可以参考跨空间进行作业调度，获取Kafka Client节点的使用案例。 参数 用户可参考表1配置Kafka Client节点的参数。 表1 属性参数 参数 是否必选 说明 数据连接

查看更多 →