方案架构 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点： 高吞吐量 消息持久化到磁盘

查看更多 →

执行以下命令切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执行以下命令使用客户端工具查看帮助并使用。 ./kafka-console-consumer.sh：Kafka消息读取工具 ./kafka-console-producer.sh：Kafka消息发布工具

查看更多 →

创建Kafka实例 本章节介绍创建Kafka实例。 登录华为云控制台。 单击管理控制台左上角的，选择区域“华南-广州”。 单击左侧的服务列表图标，选择“应用中间件 > 分布式消息服务Kafka版”。 单击“购买Kafka实例”。 选择实例区域和可用区。 配置实例名称和实例规格等信息。

查看更多 →

映射，避免Kafka client做反向解析，阻塞连接建立。 磁盘容量申请超过业务量 * 副本数的2倍，即保留磁盘空闲50%左右。 业务进程JVM内存使用确保无频繁FGC，否则会阻塞消息的生产和消费。 父主题： 配置Kafka客户端

查看更多 →

/opt/client/Kafka/kafka/config/producer.properties 重新打开一个客户端连接窗口，执行以下命令，使用“kafka-console-consumer.sh”从输出Topic消费数据，查看统计结果。 cd /opt/client source

查看更多 →

/opt/client/Kafka/kafka/config/producer.properties 重新打开一个客户端连接窗口，执行以下命令，使用“kafka-console-consumer.sh”从输出Topic消费数据，查看统计结果。 cd /opt/client source

查看更多 →

KafkaSink client.sinks.kafka_sink.kafka.topic = 数据写入的topic，如flume_test client.sinks.kafka_sink.kafka.bootstrap.servers = XXX.XXX.XXX.XXX:kafka端口号,XXX

查看更多 →

KafkaSink client.sinks.kafka_sink.kafka.topic = 数据写入的topic，如flume_test client.sinks.kafka_sink.kafka.bootstrap.servers = XXX.XXX.XXX.XXX:kafka端口号,XXX

查看更多 →

Kafka Shell命令介绍 查看当前集群Topic列表。 sh kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> sh kafka-topics.sh --list --bootstrap-server

查看更多 →

Kafka Shell命令介绍 查看当前集群Topic列表。 sh kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> sh kafka-topics.sh --list --bootstrap-server

查看更多 →

创建Kafka Topic Topic，即消息主题，用于存储消息，供生产者生产消息以及消费者订阅消息。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic。如果实例开启了“Kafka自动创建Topic”，则该操作为可选。 “Kafka自动

查看更多 →

Kafka Shell命令介绍 查看当前集群Topic列表。 bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> bin/kafka-topics.sh --list --bootstrap-server

查看更多 →

Kafka Shell命令介绍 查看当前集群Topic列表。 bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> bin/kafka-topics.sh --list --bootstrap-server

查看更多 →

如何配置Kafka客户端shell命令日志 用户问题 如何设置客户端shell命令的日志输出级别？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 切换到Kafka客户端配置目录。

查看更多 →

Kafka结果表 功能描述 DLI 将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集

查看更多 →

或在线密钥服务中管理的密钥实体。 语法格式 1 DROP CLIENT MASTER KEY [ IF EXISTS ] client_master_key_name [, ...] [ CASCADE | RESTRICT ]; 参数说明 IF EXISTS 如果指定的客户端

查看更多 →

要通过KeyTool工具才能删除CMK密钥文件。 语法格式 1 DROP CLIENT MASTER KEY [ IF EXISTS ] client_master_key_name [, ...] [ CASCADE | RESTRICT ]; 参数说明 IF EXISTS

查看更多 →

在线密钥服务中管理的密钥实体。 语法格式 1 DROP CLIENT MASTER KEY [ IF EXISTS ] client_master_key_name [, ...] [ CASCADE | RESTRICT ]; 参数说明 IF EXISTS 如果指定的客户端加

查看更多 →

登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称，进入实例详情页面。 在左侧导航栏单击“流控管理 >

查看更多 →

Kafka结果表 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集

查看更多 →

KafkaSink client.sinks.kafka_sink.kafka.topic = 数据写入的topic，如flume_test client.sinks.kafka_sink.kafka.bootstrap.servers = XXX.XXX.XXX.XXX:kafka端口号,XXX

查看更多 →