Kafka日志介绍 本章节内容适用于 MRS 3.x及后续版本。 日志描述 日志路径：Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”，审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。 Broker：“/var

查看更多 →

管理Kafka集群 管理Kafka集群包含以下内容： 添加集群到KafkaManager的WebUI界面 更新集群参数 删除KafkaManager的WebUI界面的集群 添加集群到KafkaManager的WebUI界面 首次创建Kafka集群后会在KafkaManager的W

查看更多 →

Kafka日志介绍 日志描述 日志路径：Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”，审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。 Broker：“/var/log/Bigdata/kafka/broker”（运行日志）

查看更多 →

管理Kafka Topic 查看Kafka Topic信息 修改Kafka Topic配置 增加Kafka Topic分区 管理Kafka Topic中的消息 查看Kafka数据生产消费详情 父主题： 使用Kafka

查看更多 →

Kafka基本原理 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据

查看更多 →

上传kafka证书 功能介绍 上传kafka证书。 URI URI格式 POST /softcomai/datalake/collection/v1.0/datasource/kafka 参数说明 无。 请求 请求样例 POST https://ip:port/softcomai

查看更多 →

Kafka集群部署 服务信息如下： 表1 服务信息3 服务名 服务器 安装目录 端口 zookeeper 10.190.x.x 10.190.x.x 10.190.x.x /app/zookeeper 2181、2888、3888 kafka /app/kafka 9092 安装JDK8

查看更多 →

Kafka的安装 Kafka集群安装 上传confluent安装包 表1 上传confluent安装包 安装服务器 gx01节点、gx02节点、gx03节点 程序名称 Kafka 上传路径 /opt/ 程序安装路径 /usr/local/confluent 安装步骤 在gx01节

查看更多 →

开发Kafka应用 Kafka样例程序开发思路 使用Producer API向安全Topic生产消息 使用Consumer API订阅安全Topic并消费 使用多线程Producer发送消息 使用多线程Consumer消费消息 使用KafkaStreams统计数据 父主题： Kafka开发指南（普通模式）

查看更多 →

创建Kafka Topic 操作场景 用户可以根据业务需要，使用集群客户端或KafkaUI创建Kafka的主题。启用Kerberos认证的集群，需要拥有管理Kafka主题的权限。 前提条件 已安装客户端。 使用Kafka客户端创建Kafka Topic 进入ZooKeeper实例页面：

查看更多 →

fromJobConfig.topicsList 是 String Kafka topic列表，可以为多个topic，以“,”作为分隔符。 fromJobConfig.kafkaConsumerStrategy 是 枚举 从Kafka拉取数据时的初始偏移量设置： LATEST：最大偏移量，即最新的数据。

查看更多 →

DMS Kafka连接 介绍 通过DMS Kafka连接，可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到 云搜索 服务。 连接样例 { "links": [ { "link-config-values": {

查看更多 →

本方案中，先将生产消息的业务迁移到ROMA Connect，原Kafka不会有新的消息生产。待原Kafka的消息全部消费完成后，再将消费消息业务迁移到ROMA Connect，开始消费新的消息。 该案为业界通用的迁移方案，操作步骤简单，迁移过程由业务侧自主控制，整个过程中消息不会存在乱序

查看更多 →

ZooKeeper角色实例所在节点IP地址，填写三个角色实例其中任意一个的IP地址即可。 使用Kafka主题管理消息，请参见管理Kafka Topic中的消息。 MRS 3.x及后续版本：使用kafka-topics.sh创建Kafka主题。 创建主题： Topic的Partition自动划分时，默认根据

查看更多 →

管理Kafka Topic 查看Kafka Topic信息 修改Kafka Topic配置 增加Kafka Topic分区 管理Kafka Topic中的消息 查看Kafka数据生产消费详情 父主题： 使用Kafka

查看更多 →

Kafka Client 功能 通过Kafka Client向Kafka的Topic中发送数据。 您可以参考跨空间进行作业调度，获取Kafka Client节点的使用案例。 参数 用户可参考表1配置Kafka Client节点的参数。 表1 属性参数 参数 是否必选 说明 数据连接

查看更多 →

DMS Kafka连接 介绍 通过DMS Kafka连接，可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到云搜索服务。 连接样例 { "links": [ { "link-config-values": {

查看更多 →

Kafka组件接入 操作场景 您可以直接使用AOM内置的Kafka插件来创建采集任务，通过快捷安装配置Kafka插件，就可以监控Kafka相关指标。 前提条件 主机已安装UniAgent，且状态为运行中。 已创建E CS Prometheus实例。 操作步骤 登录AOM 2.0控制台。

查看更多 →

Kafka接口介绍 Kafka Shell命令介绍 Kafka Java API接口介绍 Kafka安全接口介绍 父主题： Kafka应用开发常见问题

查看更多 →

“更多配置”中配置如下参数： Kafka SASL_SSL：开启 kafka安全协议：SASL_SSL SASL PLAIN 机制：开启 用户名：kafka-name 密码：填写密码 默认密码：确认密码 单击“立即购买”，完成Kafka实例的创建。 创建Topic 登录分布式消息服务Kafka版控制台，选择Kafka实例所在的区域。

查看更多 →

开发Kafka应用 Kafka样例程序开发思路 使用Producer API向安全Topic生产消息 使用Consumer API订阅安全Topic并消费 使用多线程Producer发送消息 使用多线程Consumer消费消息 使用KafkaStreams统计数据 使用SpringBoot生产消费Kafka集群数据

查看更多 →