分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    kafka分布式消息服务 更多内容
  • 使用DNAT实现公网访问Kafka

    在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称,进入实例详情页面。 在“基本信息”页面的“连接信息”区域,获取并记录Kafka实例的内网连接地址。在“

    来自:帮助中心

    查看更多 →

  • 入门实践

    入门实践 实践 描述 基于事件订阅将OBS应用事件源消息路由至分布式消息服务Kafka版 基于事件网格服务的事件订阅功能将OBS应用事件源产生的事件路由至分布式消息服务Kafka

    来自:帮助中心

    查看更多 →

  • 使用Kafka触发器

    使用Kafka触发器 本节介绍创建Kafka触发器,供用户了解Kafka触发器的使用方法。 使用Kafka触发器后,FunctionGraph会定期轮询Kafka实例指定Topic下的新消息,FunctionGraph将轮询得到的消息作为参数传递来调用函数,关于Kafka触发器的事件源介绍请参见支持的事件源。

    来自:帮助中心

    查看更多 →

  • 配置Kafka实例的公网访问

    登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例的“基本信息”页面。 在“公网访问”后,

    来自:帮助中心

    查看更多 →

  • 配置Kafka自动创建Topic

    在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称,进入“基本信息”页面。 在“实例信息”区域的“Kafka自动创建Topic”后,单击或,弹出“确认”对话框。

    来自:帮助中心

    查看更多 →

  • 实施步骤

    实施步骤 创建OBS桶 购买Kafka实例 创建Kafka目标连接 创建事件订阅 发送OBS事件 查看事件消息 父主题: 基于事件订阅将OBS应用事件源消息路由至分布式消息服务Kafka

    来自:帮助中心

    查看更多 →

  • 最佳实践汇总

    MySQL 分布式消息服务Kafka RDS for MySQL同步到Kafka 华为云 GaussDB 分布式分布式消息服务Kafka GaussDB分布式版同步到Kafka 华为云GaussDB主备版 分布式消息服务Kafka GaussDB主备版数据同步到Kafka 实时灾备

    来自:帮助中心

    查看更多 →

  • 配置Kafka实例的明文/密文接入

    只有处于“运行中”状态的Kafka实例才可以修改接入方式。 开启明文接入 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击K

    来自:帮助中心

    查看更多 →

  • 分布式消息服务RocketMQ版

    生产顺序 消费顺序 顺序性效果 设置消息组,保证消息顺序发送。 顺序消费 按照消息组粒度,严格保证消息顺序。 同一消息组内的消息的消费顺序和发送顺序完全一致。 设置消息组,保证消息顺序发送。 并发消费 并发消费,尽可能按时间顺序处理。 未设置消息组,消息乱序发送。 顺序消费 按队列存储粒度,严格顺序。

    来自:帮助中心

    查看更多 →

  • Kafka业务使用流程

    Kafka业务使用流程 分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka实例。使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户,并授予DMS

    来自:帮助中心

    查看更多 →

  • 查看事件消息

    查看事件消息 登录分布式消息服务Kafka版控制台,选择Kafka实例所在的区域。 在“Kafka专享版”页面,单击Kafka实例的名称“eg-kafka”,进入实例详情页面。 选择“消息查询”页签,在消息页签页面,设置查询的Topic名称“topic-eg”、分区以及查询方式。

    来自:帮助中心

    查看更多 →

  • 查看Kafka流控统计

    在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“流控管理 > 流控监控”,进入流控监控页面。 设置查询带宽使用量的参数。 表1 查询带宽使用量的参数说明 参数

    来自:帮助中心

    查看更多 →

  • 使用控制台连接Kafka

    在待生产消息的Topic所在行,单击“更多 > 生产消息”,弹出“生产消息”对话框。 参考表1,设置消息的相关参数。 表1 消息参数 参数名称 说明 消息内容 输入消息的内容。长度为0~128000B。 消息Key 输入消息的Key。 发送到指定分区 选择是否开启消息发送到指定的分区。 关闭:消息基于Key的hash值选择分区。

    来自:帮助中心

    查看更多 →

  • 查看Kafka实例后台任务

    在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例的“基本信息”页面。 在左侧导航栏单击“后台任务管理”,进入后台任务管理页面。

    来自:帮助中心

    查看更多 →

  • 查看Kafka Topic详情

    分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称,进入实例详情页面。 在左侧导航栏选择“Topic管理”,进入Topic列表页面。 单击Topic名称,进入Topic详情页面。 Topic详情页面显示Topic的基本信息、订阅关系、分区信息和生产者信息。

    来自:帮助中心

    查看更多 →

  • 查看Kafka重平衡日志

    登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“重平衡日志”,进入“重平衡日志”页面。

    来自:帮助中心

    查看更多 →

  • 事件源

    事件源 分布式消息服务Kafka版 移动云RocketMQ版 社区版RocketMQ 分布式消息服务RocketMQ版 父主题: 事件流

    来自:帮助中心

    查看更多 →

  • 产品优势

    兼容开源,业务零改动迁移上云 兼容社区版Kafka的API,具备原生Kafka的所有消息处理特性。 业务系统基于开源的Kafka进行开发,只需加入少量认证安全配置,即可使用分布式消息服务Kafka版,做到无缝迁移。 Kafka实例兼容开源社区Kafka 1.1.0、2.7、3.x版本。在客

    来自:帮助中心

    查看更多 →

  • 修改Kafka Topic配置

    开启:生产的每条消息都会立即写入磁盘,可靠性更高。 关闭:生产的消息存在内存中,不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型,取值如下: CreateTime:生产者创建消息的时间。 LogAppendTime:broker将消息写入日志的时间。 批处理消息最大值 Kafka允许

    来自:帮助中心

    查看更多 →

  • DMS输出流

    DMS输出流 分布式消息服务Kafka是一款基于开源社区版Kafka提供的消息队列服务,向用户提供可靠的全托管式的Kafka消息队列。 DLI 支持将作业的输出数据输出到DMS的Kafka实例中。 创建DMS Kafka输出流的语法与创建开源Apache Kafka输出流一样,具体请参见 MRS

    来自:帮助中心

    查看更多 →

  • DMS Kafka队列打开公网SSL加密访问

    DMS Kafka队列打开公网SSL加密访问 规则详情 表1 规则详情 参数 说明 规则名称 dms-kafka-not-enable-public-ssl 规则展示名 DMS Kafka队列打开公网SSL加密访问 规则描述 DMS kafkas队列未打开公网SSL加密访问,视为“不合规”。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了