分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    kafka mrs1.8.0 更多内容
  • DMS Kafka连接

    DMS Kafka连接 介绍 通过DMS Kafka连接,可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到 云搜索 服务。 连接样例 { "links": [ { "link-config-values": {

    来自:帮助中心

    查看更多 →

  • DMS Kafka连接

    DMS Kafka连接 介绍 通过DMS Kafka连接,可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到云搜索服务。 连接样例 { "links": [ { "link-config-values": {

    来自:帮助中心

    查看更多 →

  • Kafka组件接入

    Kafka组件接入 操作场景 您可以直接使用AOM内置的Kafka插件来创建采集任务,通过快捷安装配置Kafka插件,就可以监控Kafka相关指标。 前提条件 主机已安装UniAgent,且状态为运行中。 已创建E CS Prometheus实例。 操作步骤 登录AOM 2.0控制台。

    来自:帮助中心

    查看更多 →

  • 创建Kafka Topic

    ZooKeeper角色实例所在节点IP地址,填写三个角色实例其中任意一个的IP地址即可。 使用Kafka主题管理消息,请参见管理Kafka Topic中的消息 MRS 3.x及后续版本:使用kafka-topics.sh创建Kafka主题。 创建主题: Topic的Partition自动划分时,默认根据

    来自:帮助中心

    查看更多 →

  • 管理Kafka Topic

    管理Kafka Topic 查看Kafka Topic信息 修改Kafka Topic配置 增加Kafka Topic分区 管理Kafka Topic中的消息 查看Kafka数据生产消费详情 父主题: 使用Kafka

    来自:帮助中心

    查看更多 →

  • Kafka基本原理

    Kafka基本原理 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据

    来自:帮助中心

    查看更多 →

  • 使用Kafka触发器

    使用Kafka触发器 本节介绍创建Kafka触发器,供用户了解Kafka触发器的使用方法。 使用Kafka触发器后,FunctionGraph会定期轮询Kafka实例指定Topic下的新消息,FunctionGraph将轮询得到的消息作为参数传递来调用函数,关于Kafka触发器的事件源介绍请参见支持的事件源。

    来自:帮助中心

    查看更多 →

  • MRS Kafka输入流

    e Kafka在平台部署并托管了Kafka集群。 前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到 DLI 队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署

    来自:帮助中心

    查看更多 →

  • 查看Kafka审计日志

    ailure Kafka实例创建Topic成功 kafka Kafka_create_topicSuccess Kafka实例创建Topic失败 kafka Kafka_create_topicFailure Kafka实例删除Topic成功 kafka Kafka_delete_topicsSuccess

    来自:帮助中心

    查看更多 →

  • 删除Kafka消费组

    删除Kafka消费组 Kafka实例支持通过以下两种方式删除消费组,您可以根据实际情况选择任意一种方式。 在控制台删除消费组 在Kafka客户端使用命令行工具删除消费组(确保Kafka实例版本与命令行工具版本相同) 约束与限制 若“auto.create.groups.enabl

    来自:帮助中心

    查看更多 →

  • 查看Kafka重平衡日志

    登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“重平衡日志”,进入“重平衡日志”页面。

    来自:帮助中心

    查看更多 →

  • 开源Kafka输入流

    开源Kafka输入流 功能描述 创建source流从Kafka获取数据,作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kaf

    来自:帮助中心

    查看更多 →

  • MRS Kafka输出流

    Kafka在平台部署并托管了Kafka集群。 前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人

    来自:帮助中心

    查看更多 →

  • 导出Kafka Topic列表

    分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏选择“Topic管理”,进入Topic列表页面。 在页面右上角单击,导出Topic列表到本地。 Topic列表中包含如下信息:Topic名称、分区数、副本数、

    来自:帮助中心

    查看更多 →

  • 开源Kafka输入流

    开源Kafka输入流 功能描述 创建source流从Kafka获取数据,作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kaf

    来自:帮助中心

    查看更多 →

  • SmartConnect迁移KAFKA实施步骤

    步骤一:创建分布式消息kafka 登录华为云控制台 单击“服务列表”,选择“应用中间件 > 分布式消息服务kafka版”,进入“分布式消息服务kafka版”页面,如下图所: 图2 分布式消息服务kafka版 单击“购买Kafka实例”,本次实验配置如下: 图3 购买Kafka实例 步骤二:开启SmartConnect

    来自:帮助中心

    查看更多 →

  • 查看Kafka磁盘使用量

    在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例的“基本信息”页面。 在“磁盘存储统计”页面,查看磁盘的使用量。 页面支持从以下三个方面对代理中的Topic磁盘使用量进行查询:使用量排名前xx个、使用量达到xx

    来自:帮助中心

    查看更多 →

  • 导出Kafka实例列表

    导出Kafka实例列表 分布式消息服务Kafka版支持在控制台导出实例列表信息,供用户查看和使用。 导出Kafka实例列表 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafk

    来自:帮助中心

    查看更多 →

  • Kafka应用开发规则

    Kafka应用开发规则 调用Kafka API(AdminZkClient.createTopic)创建Topic 对于Java开发语言,正确示例: import kafka.zk.AdminZkClient; import kafka.zk.KafkaZkClient; import

    来自:帮助中心

    查看更多 →

  • 修改Kafka Topic副本数

    登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“Topic管理”,进入Topic列表页面。

    来自:帮助中心

    查看更多 →

  • 配置Kafka监控告警

    在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 通过以下任意一种方法,进入监控页面。 在Kafka实例名称后,单击“查看监控数据”,进入云监控该实例的监控指标页面。 单击Kafka实例名称,进入实例详情页。在左侧导航栏单击“监控与告警

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了