storage.ultra.v2 kafka_storage_space Number 必填 Kafka实例存储空间容量，存储空间不支持缩容。存储空间主要用于存储消息（包含副本，Kafka默认使用3副本），除了存储消息外还需要预留部分空间用于存储日志和元数据。例如：业务消息体积预估100GB，则存储空间最少应为100GB

查看更多 →

Kafka应用开发简介 Kafka简介 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点：

查看更多 →

Kafka应用开发简介 Kafka简介 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点：

查看更多 →

Kafka源表 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是

查看更多 →

Kafka应用开发简介 Kafka简介 Kafka是一个分布式的消息发布-订阅系统。 它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点：

查看更多 →

在连接Kafka实例前，需要确保客户端与Kafka实例之间可以相互连接，如果无法连接，建议先检查网络连接是否正常。 已开启sasl_ssl访问的Kafka实例为例，执行如下命令： curl -kv {ip}:{port} 网络正常，如下： 网络异常/不通，如下： 解决方案： 检查

查看更多 →

可视化 DLV 大屏。 创建分布式消息服务 kafka专享版实例，并创建 Topic，用于电商平台写入业务数据，为用户提供便捷高效的消息队列。 创建 数据湖探索 DLI增强型跨源队列，通过创建Flink作业，用于分析和处理电商平台的业务数据。 创建一个对象存储服务OBS桶，用于用户上传业务数据表csv文件。

查看更多 →

购买Kafka实例 操作场景 Kafka实例采用物理隔离的方式部署，租户独占Kafka实例。支持用户自定义规格和自定义特性，您可以根据业务需要定制相应计算能力和存储空间的Kafka实例。 前提条件 创建Kafka实例前，请提前准备好如表1所示资源。 表1 Kafka实例依赖资源 准备资源

查看更多 →

R/W Kafka消息的时间戳。 timestamp-type STRING NOT NULL R Kafka消息的时间戳类型： NoTimestampType：消息中没有定义时间戳。 CreateTime：消息产生的时间。 LogAppendTime：消息被添加到Kafka Broker的时间。

查看更多 →

R/W Kafka消息的时间戳。 timestamp-type STRING NOT NULL R Kafka消息的时间戳类型： NoTimestampType：消息中没有定义时间戳。 CreateTime：消息产生的时间。 LogAppendTime：消息被添加到Kafka Broker的时间。

查看更多 →

开发Kafka应用 Kafka样例程序开发思路 Kafka Old Producer API使用样例 Kafka Old Consumer API使用样例 Kafka Producer API使用样例 Kafka Consumer API使用样例 Kafka 多线程Producer

查看更多 →

使用SSL加密方式连接Kafka，需要设置SSL相关配置。 图3 SSL 表2 参数信息 参数 描述 Truststore证书 后缀名为jks的SSL证书，证书文件生成可参考SSL证书。 Truststore证书密码 证书对应的秘钥。 主机名端点识别算法 指定通过服务端证书验证服务端主机名的

查看更多 →

开发Kafka应用 Kafka样例程序开发思路 使用Producer API向安全Topic生产消息 使用Consumer API订阅安全Topic并消费 使用多线程Producer发送消息 使用多线程Consumer消费消息 使用KafkaStreams统计数据 父主题： Kafka开发指南（安全模式）

查看更多 →

开发Kafka应用 Kafka样例程序开发思路 使用Producer API向安全Topic生产消息 使用Consumer API订阅安全Topic并消费 使用多线程Producer发送消息 使用多线程Consumer消费消息 使用KafkaStreams统计数据 父主题： Kafka开发指南（普通模式）

查看更多 →

Apache Kafka Apache Kafka连接适用于用户在本地数据中心或E CS 上自建的第三方Kafka，其中本地数据中心的Kafka需通过专线连接。 连接Apache Hadoop上的Kafka数据源时，相关参数如表2所示。 表2 Apache Kafka连接参数 参数名

查看更多 →

Kafka日志介绍 本章节内容适用于 MRS 3.x及后续版本。 日志描述 日志路径：Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”，审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。 Broker：“/var

查看更多 →

Kafka日志介绍 日志描述 日志路径：Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”，审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。 Broker：“/var/log/Bigdata/kafka/broker”（运行日志）

查看更多 →

管理Kafka集群 管理Kafka集群包含以下内容： 添加集群到KafkaManager的WebUI界面 更新集群参数 删除KafkaManager的WebUI界面的集群 添加集群到KafkaManager的WebUI界面 首次创建Kafka集群后会在KafkaManager的W

查看更多 →

管理Kafka Topic 查看Kafka Topic信息 修改Kafka Topic配置 增加Kafka Topic分区 管理Kafka Topic中的消息 查看Kafka数据生产消费详情 父主题： 使用Kafka

查看更多 →

\"。 engine String 是 消息引擎。取值填写为：kafka。 engine_version String 是 消息引擎的版本。取值支持1.1.0、2.3.0和2.7。 specification String 是 Kafka实例的基准带宽，表示单位时间内传送的最大数据量，单位MB。

查看更多 →

“更多配置”中配置如下参数： Kafka SASL_SSL：开启 kafka安全协议：SASL_SSL SASL PLAIN 机制：开启 用户名：kafka-name 密码：填写密码 默认密码：确认密码 单击“立即购买”，完成Kafka实例的创建。 创建Topic 登录分布式消息服务Kafka版控制台，选择Kafka实例所在的区域。

查看更多 →