分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    kafka client 更多内容
  • 调测Kafka High Level KafkaStreams API样例程序

    --producer.config /opt/client/Kafka/kafka/config/producer.properties Broker实例IP地址:登录 FusionInsight Manager,选择“集群 > 服务 > Kafka > 实例”,在实例列表页面中查看并记录任意一个Broker实例业务IP地址。

    来自:帮助中心

    查看更多 →

  • 调测Kafka Low Level KafkaStreams API样例程序

    --producer.config /opt/client/Kafka/kafka/config/producer.properties Broker实例IP地址:登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 实例”,在实例列表页面中查看并记录任意一个Broker实例业务IP地址。

    来自:帮助中心

    查看更多 →

  • 快速使用Flume采集节点日志

    KafkaSink client.sinks.kafka_sink.kafka.topic = 数据写入的topic,如flume_test client.sinks.kafka_sink.kafka.bootstrap.servers = XXX.XXX.XXX.XXX:kafka端口号,XXX

    来自:帮助中心

    查看更多 →

  • 添加独立master、client

    添加独立master、client 功能介绍 由于集群数据面业务的增长或者不确定性,很难在一开始就能够把集群的规模形态想明白,该接口能够在非独立master和client的集群上面添加独立master、client角色。 调用方法 请参见如何调用API。 URI POST /v1

    来自:帮助中心

    查看更多 →

  • 基于Kafka的Word Count数据流统计案例

    基于Kafka的Word Count数据流统计案例 应用场景 Kafka是一个分布式消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。 Kafka有很多适用的场景:消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。

    来自:帮助中心

    查看更多 →

  • 创建Kafka实例

    创建Kafka实例 本章节介绍创建Kafka实例。 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“应用中间件 > 分布式消息服务Kafka版”。 单击“购买Kafka实例”。 选择实例区域和可用区。 配置实例名称和实例规格等信息。

    来自:帮助中心

    查看更多 →

  • Kafka客户端使用建议

    ts文件配置Kafka所有节点IP和主机名映射,避免Kafka client做反向解析,阻塞连接建立。 磁盘容量申请超过业务量 * 副本数的2倍,即保留磁盘空闲50%左右。 业务进程JVM内存使用确保无频繁FGC,否则会阻塞消息的生产和消费。 父主题: 配置Kafka客户端

    来自:帮助中心

    查看更多 →

  • 调测Kafka Low level Streams样例程序

    --producer.config /opt/client/Kafka/kafka/config/producer.properties Broker实例IP地址:登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 实例”,在实例列表页面中查看并记录任意一个Broker实例业务IP地址。

    来自:帮助中心

    查看更多 →

  • 调测Kafka Low Level KafkaStreams API样例程序

    --producer.config /opt/client/Kafka/kafka/config/producer.properties Broker实例IP地址:登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 实例”,在实例列表页面中查看并记录任意一个Broker实例业务IP地址。

    来自:帮助中心

    查看更多 →

  • 调测Kafka High Level KafkaStreams API样例程序

    --producer.config /opt/client/Kafka/kafka/config/producer.properties Broker实例IP地址:登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 实例”,在实例列表页面中查看并记录任意一个Broker实例业务IP地址。

    来自:帮助中心

    查看更多 →

  • 安装主控服务器(Client)

    安装主控服务器(Client) 解压安装程序 假定.zip上传到服务器上的路径为:/root/lab-install,lab-install文件夹自己建立 如果安装最小版本,没有unzip命令需要自己安装 服务器有网情况下使用:yum install unzip 服务器没有网情况

    来自:帮助中心

    查看更多 →

  • 调测Kafka High level Streams样例程序

    --producer.config /opt/client/Kafka/kafka/config/producer.properties Broker实例IP地址:登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 实例”,在实例列表页面中查看并记录任意一个Broker实例业务IP地址。

    来自:帮助中心

    查看更多 →

  • Kafka Shell命令介绍

    Kafka Shell命令介绍 查看当前集群Topic列表。 bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> bin/kafka-topics.sh --list --bootstrap-server

    来自:帮助中心

    查看更多 →

  • Kafka Shell命令介绍

    Kafka Shell命令介绍 查看当前集群Topic列表。 bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> bin/kafka-topics.sh --list --bootstrap-server

    来自:帮助中心

    查看更多 →

  • 使用Kafka流控工具限制生产消费速度

    使用Kafka流控工具限制生产消费速度 操作场景 该任务指导用户根据业务需求,在客户端使用命令行工具kafka-configs.sh来管理Kafka集群的配置,按照不同的级别(topic级别、用户级别、客户端级别等)来限制Kafka消息生产和消费速度。 该功能仅适用于 MRS 3.3

    来自:帮助中心

    查看更多 →

  • 配置Kafka流控

    在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例详情页面。

    来自:帮助中心

    查看更多 →

  • 删除Kafka Topic

    只有运行中的实例才可以删除Topic。 删除Kafka Topic(控制台) 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。

    来自:帮助中心

    查看更多 →

  • 快速使用Flume采集节点日志

    KafkaSink client.sinks.kafka_sink.kafka.topic = 数据写入的topic,如flume_test client.sinks.kafka_sink.kafka.bootstrap.servers = XXX.XXX.XXX.XXX:kafka端口号,XXX

    来自:帮助中心

    查看更多 →

  • Kafka客户端使用实践

    执行以下命令切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执行以下命令使用客户端工具查看帮助并使用。 ./kafka-console-consumer.sh:Kafka消息读取工具 ./kafka-console-producer.sh:Kafka消息发布工具

    来自:帮助中心

    查看更多 →

  • Storm-Kafka开发指引

    metrics-core-<version>.jar kafka-clients-<version>.jar zookeeper-<version>.jar 在Storm客户端的“streaming-cql-<HD-Version>/lib”目录中获取如下jar包: storm-kafka-client-<version>

    来自:帮助中心

    查看更多 →

  • 获取和使用Kafka PEM格式的SSL证书

    域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例详情页面。 在“连接信息 > SSL证书”后,单击“下载”,将SSL证书下载到本地。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了