分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    kafka 消息均匀存储 更多内容
  • 与其他服务的关系

    的目的端,把设备上报的数据转发到DIS。 分布式消息服务 Kafka 分布式消息服务 Kafka(Distributed Message Service for Kafka,简称Kafka)是一款基于开源社区版Kafka提供的消息队列服务,是一个拥有高吞吐、可持久化、可水平扩展,

    来自:帮助中心

    查看更多 →

  • 快速入门

    您可以根据业务需要创建相应计算能力和存储空间的Kafka实例。 API调用方法请参考如何调用API。 前提条件 已获取IAM的Endpoint,具体请参见地区和终端节点。 已获取Kafka的Endpoint,具体请参见地区和终端节点。 创建Kafka实例 如下示例是创建Kafka实例的请求消息: { "name":

    来自:帮助中心

    查看更多 →

  • 查看Kafka重平衡日志

    登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“重平衡日志”,进入“重平衡日志”页面。

    来自:帮助中心

    查看更多 →

  • 包年/包月

    art Connect的代理费用。 存储空间费用 总存储空间(单个代理的存储空间*代理数量)的费用。随包年/包月Kafka实例创建的存储空间,其计费模式也为包年/包月。 假设您计划购买一个Kafka实例,其存储空间为300GB。在购买Kafka实例页面底部,您将看到所需费用的明细,如图1所示。

    来自:帮助中心

    查看更多 →

  • 业务使用介绍

    业务使用介绍 功能简介 消息集成MQS是ROMA Connect的消息集成组件,使用统一的消息接入机制,提供跨网络访问的安全、标准化消息通道。使用ROMA Connect进行消息集成,有如下优势: 支持原生Kafka特性 兼容社区版Kafka的API,具备原生Kafka的所有消息处理特性。 支持安全的消息传输

    来自:帮助中心

    查看更多 →

  • AB类均匀权重(Average)评分方案

    AB类均匀权重(Average)评分方案 该方案同样分为AB两类指标,其中A类总分为60分,B类总分为40分,A类指标按均匀权重扣分,B类指标同样按均匀权重扣分。 AB类均匀权重评分原则(Principle) A类60分,各A类指标得分权重相同。 B类40分,各B类指标得分权重相同。

    来自:帮助中心

    查看更多 →

  • 典型应用场景

    户端。 Kafka客户端批量提交和压缩消息,对应用服务的性能影响非常小。 Kafka将日志存储消息文件中,实现日志的持久化存储。 日志处理应用,如Logstash,订阅并消费Kafka中的日志消息,最终供文件搜索服务检索日志,或者由Kafka消息传递给Hadoop等其他大数据应用系统化存储与分析。

    来自:帮助中心

    查看更多 →

  • 数据转发流程

    根据实际情况,选择数据接入服务DIS、分布式消息服务Kafka、对象存储服务OBS、应用与 数据集成平台 ROMA Connect、第三方应用服务(HTTP推送)、AMQP推送消息队列、分布式消息服务RocketMQ、 函数工作流 服务 (FunctionGraph)、云日志服务(LTS)、云数据库

    来自:帮助中心

    查看更多 →

  • Kafka数据迁移概述

    Connect任务,用于同步两个Kafka消息。具体步骤请参见配置Kafka间的数据复制。 在Kafka控制台的“消息查询”页面,查看两个Kafka的最新消息是否一致,确认两个Kafka的同步进度是否一致。具体步骤请参见查看Kafka消息。 是,执行3。 否,在监控页面查看两个Kafka的“Kafka每分

    来自:帮助中心

    查看更多 →

  • 查看Kafka磁盘使用量

    分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例的“基本信息”页面。 在“磁盘存储统计”页面,查看磁盘的使用量。 图1 查看磁盘的使用量 页面支持从以下三个方面对代理中的Topic磁盘使用量进行查询:使用量排名前xx个、使用量达到xx

    来自:帮助中心

    查看更多 →

  • 购买Kafka实例

    在“单个代理存储空间”区域,您根据实际需要选择存储Kafka数据的磁盘类型和磁盘大小。 Kafka实例创建后,磁盘类型不支持修改。 存储空间用于存储消息(包括副本中的消息)、日志和元数据,建议根据业务消息体积、副本数量以及预留磁盘大小选择存储空间大小。每个Kafka代理会预留33GB的磁盘空间,用于存储日志和元数据。

    来自:帮助中心

    查看更多 →

  • 消息中心发送消息

    消息中心发送消息 功能介绍 向用户消息中心发送消息。 入参中的messageTemplateName(模板名称)需调用查询消息模板信息接口获取; fromUserAccountId(申请人账号ID)/receiver(接收用户)需要调用用户管理中心的查询用户信息接口获取。 URI

    来自:帮助中心

    查看更多 →

  • ALM-38009 Broker磁盘IO繁忙(适用于MRS 3.1.0之后版本)

    如果告警名称为“ALM-38009 Kafka Topic过载”,请参考ALM-38009 Kafka Topic过载(适用于 MRS 3.1.0及之前版本)进行处理。 告警解释 系统每60秒周期性检测Kafka各个磁盘的IO情况,当检测到某个Broker上的Kafka数据目录磁盘IO超出阈值(默认80%)时,产生该告警。

    来自:帮助中心

    查看更多 →

  • 快速部署

    v2 kafka_storage_space Number 必填 Kafka实例存储空间容量,存储空间不支持缩容。存储空间主要用于存储消息(包含副本,Kafka默认使用3副本),除了存储消息外还需要预留部分空间用于存储日志和元数据。例如:业务消息体积预估100GB,则存储空间最少应为100GB

    来自:帮助中心

    查看更多 →

  • 安装Kafka

    安装Kafka 简介 Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 本教程介绍如何在HCE OS 2.0上安装部署Kafka。

    来自:帮助中心

    查看更多 →

  • 创建Kafka实例

    创建Kafka实例 本章节介绍创建Kafka实例。 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“应用中间件 > 分布式消息服务Kafka版”。 单击“购买Kafka实例”。 选择实例区域和可用区。 配置实例名称和实例规格等信息。

    来自:帮助中心

    查看更多 →

  • 产品规格

    内时推荐选用。 Kafka实例的存储空间估算参考 Kafka实例支持多副本存储存储空间用于存储消息(包括副本中的消息)、日志和元数据。您在创建Kafka实例,选择初始存储空间时,建议根据业务消息体积预估、副本数量以及预留磁盘大小选择合适的存储空间。每个Kafka代理会预留33GB的磁盘空间,用于存储日志和元数据。

    来自:帮助中心

    查看更多 →

  • 基本概念

    流向,解释了Kafka的分区、副本与主题间的关系。 图1 Kafka消息流 Topic Topic即消息主题,是消息队列的一种发布与订阅消息的模型,消息的生产、消费及管理围绕着消息主题进行。生产者向消息主题发布消息,多个消费者订阅该消息主题的消息,生产者与消费者彼此并无直接关系。

    来自:帮助中心

    查看更多 →

  • 数据迁移

    云数据库的跨区域迁移可以使用数据复制服务 DRS。DRS服务具有实时迁移、备份迁移、实时同步、数据订阅和实时灾备等多种功能。 其他数据迁移 大数据场景迁移:推荐使用 云数据迁移 CDM Kafka业务迁移:具体请参见分布式消息服务Kafka版的Kafka业务迁移。 Redis业务迁移:具体请参见分布式缓存服务

    来自:帮助中心

    查看更多 →

  • 按需计费

    例价格”。 存储空间费用 存储空间单价 * 购买时长 请参见分布式消息服务Kafka版价格详情中的“存储价格”。 图2给出了上述示例配置的费用计算过程。 图中价格仅供参考,实际计算请以分布式消息服务Kafka版价格详情中的价格为准。 图2 按需计费Kafka实例费用计算示例(华北-北京四区域)

    来自:帮助中心

    查看更多 →

  • 消息中心发送消息

    String 消息内容(和消息模板二选一) messageRedirectUrl 否 String 消息跳转地址 deliveryType 是 String 消息投递类型: ALL全体消息 USER指定用户消息 receiver 否 Array of String 消息接收者(Me

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了