分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    kafka 性能参数 更多内容
  • 创建Kafka Topic

    创建Kafka Topic 操作场景 用户可以根据业务需要,使用集群客户端或KafkaUI创建Kafka的主题。启用Kerberos认证的集群,需要拥有管理Kafka主题的权限。 前提条件 已安装客户端。 使用Kafka客户端创建Kafka Topic 进入ZooKeeper实例页面:

    来自:帮助中心

    查看更多 →

  • 创建Kafka Topic

    ZooKeeper角色实例所在节点IP地址,填写三个角色实例其中任意一个的IP地址即可。 使用Kafka主题管理消息,请参见管理Kafka Topic中的消息 MRS 3.x及后续版本:使用kafka-topics.sh创建Kafka主题。 创建主题: Topic的Partition自动划分时,默认根据

    来自:帮助中心

    查看更多 →

  • 管理Kafka Topic

    管理Kafka Topic 查看Kafka Topic信息 修改Kafka Topic配置 增加Kafka Topic分区 管理Kafka Topic中的消息 查看Kafka数据生产消费详情 父主题: 使用Kafka

    来自:帮助中心

    查看更多 →

  • Kafka组件接入

    Kafka组件接入 操作场景 您可以直接使用AOM内置的Kafka插件来创建采集任务,通过快捷安装配置Kafka插件,就可以监控Kafka相关指标,并接入开箱即用的Grafana监控大盘。 前提条件 主机已安装UniAgent,且状态为运行中。 已创建E CS Prometheus实例。

    来自:帮助中心

    查看更多 →

  • 开源Kafka输出流

    开源Kafka输出流 功能描述 DLI 将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka服务

    来自:帮助中心

    查看更多 →

  • 使用Kafka Shell命令无法操作Kafka集群

    使用Kafka Shell命令无法操作Kafka集群 问题背景与现象 用户执行Kafka命令查看当前topic信息,但发现业务执行失败。 具体信息如下: root@Slave2bin]#./kafka-topics.sh --describe --topic example-metric1

    来自:帮助中心

    查看更多 →

  • Kafka基本原理

    Kafka基本原理 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据

    来自:帮助中心

    查看更多 →

  • 路由到分布式消息服务Kafka版

    路由到分布式消息服务Kafka版 本章节介绍在创建事件流时如何配置分布式消息Kafka为事件目标。 前提条件 已开通分布式消息Kafka作为事件目标。 事件目标kafka不支持自定义证书。 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件流”,进入“事件流”页面。 单击“创建事件流”。

    来自:帮助中心

    查看更多 →

  • 使用Kafka触发器

    使用Kafka触发器 本节介绍创建Kafka触发器,供用户了解Kafka触发器的使用方法。 使用Kafka触发器后,FunctionGraph会定期轮询Kafka实例指定Topic下的新消息,FunctionGraph将轮询得到的消息作为参数传递来调用函数,关于Kafka触发器的事件源介绍请参见支持的事件源。

    来自:帮助中心

    查看更多 →

  • 查看Kafka流控统计

    分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“流控管理 > 流控监控”,进入流控监控页面。 设置查询流控的参数。 表1 查询流控的参数说明 参数 说明 统计方式 设置流控的统计方式。 前n个

    来自:帮助中心

    查看更多 →

  • 查看Kafka重平衡日志

    登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“重平衡日志”,进入“重平衡日志”页面。

    来自:帮助中心

    查看更多 →

  • 重置Kafka Manager密码

    已创建Kafka实例,且实例处于“运行中”。 重置Kafka Manager密码 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。

    来自:帮助中心

    查看更多 →

  • MRS Kafka输出流

    Kafka在平台部署并托管了Kafka集群。 前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人

    来自:帮助中心

    查看更多 →

  • MRS Kafka输出流

    Kafka在平台部署并托管了Kafka集群。 前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人

    来自:帮助中心

    查看更多 →

  • MRS Kafka输入流

    e Kafka在平台部署并托管了Kafka集群。 前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署

    来自:帮助中心

    查看更多 →

  • 查看Kafka审计日志

    ccess Kafka实例创建Topic失败 kafka Kafka_create_topicFailure Kafka实例删除Topic成功 kafka Kafka_delete_topicsSuccess Kafka实例删除Topic失败 kafka Kafka_delete_topicsFailure

    来自:帮助中心

    查看更多 →

  • 开源Kafka输入流

    开源Kafka输入流 功能描述 创建source流从Kafka获取数据,作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kaf

    来自:帮助中心

    查看更多 →

  • 查看Kafka消费组信息

    查看Kafka消费组信息 本章节介绍如何查询消费组列表。 查看消费组列表(控制台) 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。

    来自:帮助中心

    查看更多 →

  • 开源Kafka输入流

    开源Kafka输入流 功能描述 创建source流从Kafka获取数据,作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kaf

    来自:帮助中心

    查看更多 →

  • SmartConnect迁移KAFKA实施步骤

    步骤一:创建分布式消息kafka 登录华为云控制台 单击“服务列表”,选择“应用中间件 > 分布式消息服务kafka版”,进入“分布式消息服务kafka版”页面,如下图所: 图2 分布式消息服务kafka版 单击“购买Kafka实例”,本次实验配置如下: 图3 购买Kafka实例 步骤二:开启SmartConnect

    来自:帮助中心

    查看更多 →

  • Kafka应用开发规则

    Kafka应用开发规则 调用Kafka API(AdminZkClient.createTopic)创建Topic 对于Java开发语言,正确示例: import kafka.zk.AdminZkClient; import kafka.zk.KafkaZkClient; import

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了