开发Kafka应用 Kafka样例程序开发思路 使用Producer API向安全Topic生产消息 使用Consumer API订阅安全Topic并消费 使用多线程Producer发送消息 使用多线程Consumer消费消息 使用KafkaStreams统计数据 父主题： Kafka开发指南（普通模式）

查看更多 →

使用SSL加密方式连接Kafka，需要设置SSL相关配置。 图3 SSL 表2 参数信息 参数 描述 Truststore证书 后缀名为jks的SSL证书，证书文件生成可参考SSL证书。 Truststore证书密码 证书对应的秘钥。 主机名端点识别算法 指定通过服务端证书验证服务端主机名的

查看更多 →

R/W Kafka消息的时间戳。 timestamp-type STRING NOT NULL R Kafka消息的时间戳类型： NoTimestampType：消息中没有定义时间戳。 CreateTime：消息产生的时间。 LogAppendTime：消息被添加到Kafka Broker的时间。

查看更多 →

\"。 engine String 是 消息引擎。取值填写为：kafka。 engine_version String 是 消息引擎的版本。取值支持1.1.0、2.3.0和2.7。 specification String 是 Kafka实例的基准带宽，表示单位时间内传送的最大数据量，单位MB。

查看更多 →

管理Kafka Topic 查看Kafka Topic信息 修改Kafka Topic配置 增加Kafka Topic分区 管理Kafka Topic中的消息 查看Kafka数据生产消费详情 父主题： 使用Kafka

查看更多 →

Kafka日志介绍 日志描述 日志路径：Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”，审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。 Broker：“/var/log/Bigdata/kafka/broker”（运行日志）

查看更多 →

Apache Kafka Apache Kafka连接适用于用户在本地数据中心或E CS 上自建的第三方Kafka，其中本地数据中心的Kafka需通过专线连接。 连接Apache Hadoop上的Kafka数据源时，相关参数如表2所示。 表2 Apache Kafka连接参数 参数名

查看更多 →

管理Kafka集群 管理Kafka集群包含以下内容： 添加集群到KafkaManager的WebUI界面 更新集群参数 删除KafkaManager的WebUI界面的集群 添加集群到KafkaManager的WebUI界面 首次创建Kafka集群后会在KafkaManager的W

查看更多 →

Kafka日志介绍 本章节内容适用于 MRS 3.x及后续版本。 日志描述 日志路径：Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”，审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。 Broker：“/var

查看更多 →

修改Kafka消费组信息 操作场景 消费组创建成功后，您可以根据业务需要修改消费组的描述信息。 修改Kafka消费组信息 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版

查看更多 →

什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款

查看更多 →

DMS分布式消息服务 DMS分布式消息服务支持以下各种消息类型： Kafka版：基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 RabbitMq版：完全兼容开源RabbitMQ，提供即开即用、消息特性丰富、灵活路由、高可用、

查看更多 →

Kafka结果表 功能描述 DLI 通过Kafka结果表将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件

查看更多 →

开源Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务端

查看更多 →

快速开发Kafka应用 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点： 高吞吐量

查看更多 →

Upsert Kafka 功能描述 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。Upsert Kafka 连接器支持以upsert方式从Kafka topic中读取数据并将数据写入Kafka

查看更多 →

group_msgs 堆积消息数 该指标用于统计Kafka实例中所有消费组中总堆积消息数。 topic_messages_remained 队列可消费消息数 该指标用于统计消费组指定队列可以消费的消息个数。 broker_messages_in_rate 每秒消息生产速率 统计Kafka节点每秒生产速率。

查看更多 →

开源Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务端

查看更多 →

在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称，进入“基本信息”页面。 在“实例信息”区域的“Kafka自动创建Topic”后，单击或，弹出“确认”对话框。 开启/关闭“Kafka自动创建Topic”可能会导致实例重启，具体以控制台显示为准。

查看更多 →

上传kafka证书 功能介绍 上传kafka证书。 URI URI格式 POST /softcomai/datalake/collection/v1.0/datasource/kafka 参数说明 无。 请求 请求样例 POST https://ip:port/softcomai

查看更多 →

Kafka集群部署 服务信息如下： 表1 服务信息3 服务名 服务器 安装目录 端口 zookeeper 10.190.x.x 10.190.x.x 10.190.x.x /app/zookeeper 2181、2888、3888 kafka /app/kafka 9092 安装JDK8

查看更多 →