分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    Kafka服务 更多内容
  • MRS Kafka输出流

    Kafka在平台部署并托管了Kafka集群。 前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到 DLI 队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人

    来自:帮助中心

    查看更多 →

  • 使用Kafka

    使用Kafka Kafka数据消费概述 Kafka用户权限管理 Kafka客户端使用实践 快速使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题

    来自:帮助中心

    查看更多 →

  • Kafka连接

    Hadoop类型: MRS :表示连接MRS的Kafka。 Apache Kafka:表示连接Apache KafkaKafka。 linkConfig.brokerList 是 String Apache Kafka 连接需配置此参数。Kafka broker列表,格式如:“host1:port1

    来自:帮助中心

    查看更多 →

  • Kafka基本原理

    c、Partition、Consumer等功能模块的基本信息,同时提供Kafka服务常用命令的界面操作入口。该功能作为Kafka Manager替代,提供符合安全规范的Kafka Web服务。 通过Kafka UI可以进行以下操作: 支持界面检查集群状态(主题,消费者,偏移量,分区,副本,节点)

    来自:帮助中心

    查看更多 →

  • 创建Kafka Topic

    tition数进行均衡划分,如果期望根据磁盘容量进行Partition划分,那么需要修改Kafka服务配置“log.partition.strategy”为“capacity”。 Kafka创建Topic时,支持基于“机架感知” 和 “跨AZ特性” 两种选项组合生成分区及副本的分配方案且支持

    来自:帮助中心

    查看更多 →

  • 开源Kafka输出流

    me上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP 域名 映射,请参见《 数据湖探索 用户指南》中修改主机信息章节。 Kafka是线下集群,需要

    来自:帮助中心

    查看更多 →

  • 使用Kafka触发器

    密码:Kafka实例开启SSL时需要填写。连接Kafka专享版实例的密码。 单击“确定”,完成kafka触发器的创建。 开启函数流VPC访问后,需要在Kafka服务安全组配置对应子网的权限。如何开启VPC访问请参见配置网络。 Kafka触发器当前支持选择多个Topic主题,从而避免Topic过多导致创建的触发器数量被限制。

    来自:帮助中心

    查看更多 →

  • MRS Kafka输入流

    e Kafka在平台部署并托管了Kafka集群。 前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署

    来自:帮助中心

    查看更多 →

  • MRS Kafka输出流

    Kafka在平台部署并托管了Kafka集群。 前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人

    来自:帮助中心

    查看更多 →

  • ALM-38000 Kafka服务不可用(2.x及以前版本)

    ALM-38000 Kafka服务不可用(2.x及以前版本) 告警解释 系统按照30秒的周期检测Kafka服务是否可用,当Kafka服务不可用,系统产生此告警。 当Kafka服务恢复正常,告警自动清除。 告警属性 告警ID 告警级别 可自动清除 38000 致命 是 告警参数 参数名称

    来自:帮助中心

    查看更多 →

  • 分布式消息服务Kafka版计费模式概述

    分布式消息服务Kafka版计费模式概述 分布式消息服务Kafka版提供包年/包月和按需计费两种计费模式,以满足不同场景下的用户需求。如您需要快速了解分布式消息服务Kafka版的具体计费模式对应的具体价格,请参见分布式消息服务Kafka版价格详情。 包年/包月:一种预付费模式,即先

    来自:帮助中心

    查看更多 →

  • Kafka相关概念

    Kafka相关概念 华为云使用Kafka作为消息引擎,以下概念基于Kafka进行描述。 Topic 消息主题。消息的生产与消费,围绕消息主题进行生产、消费以及其他消息管理操作。 Topic也是消息队列的一种发布与订阅消息模型。生产者向消息主题发布消息,多个消费者订阅该消息主题的消息,生产者与消费者彼此并无直接关系。

    来自:帮助中心

    查看更多 →

  • Kafka常用配置参数

    Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务全部配置页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表,以逗号分隔多个目录。 %{@auto.detect

    来自:帮助中心

    查看更多 →

  • 开源Kafka输入流

    Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《 数据湖 探索用户指南》中修改主机信息章节。

    来自:帮助中心

    查看更多 →

  • 数据转发至Kafka存储

    转发目标 选择“分布式消息服务(kafka)” 区域 选择Kafka服务的所在区域。若未授权访问此区域的服务,请根据界面提示,配置云服务访问授权。 对接地址 参考连接已开启SASL的Kafka专享版实例获取对接地址。设备接入基础版和标准版实例只支持公网接入专享版Kafka,IoTDA

    来自:帮助中心

    查看更多 →

  • Kafka结果表

    Kafka结果表 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集

    来自:帮助中心

    查看更多 →

  • Kafka Exporter接入

    Exporter以及实现Kafka Exporter告警接入等操作。 为了方便安装管理Exporter,推荐使用CCE进行统一管理。 前提条件 CCE服务已拥有CCE集群并已安装Kafka。 服务已接入可观测Prometheus监控并接入CCE集群,具体请参见Prometheus实例 for

    来自:帮助中心

    查看更多 →

  • 创建Kafka实例

    创建Kafka实例 本章节介绍创建Kafka实例。 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“应用中间件 > 分布式消息服务Kafka版”。 单击“购买Kafka实例”。 选择实例区域和可用区。 配置实例名称和实例规格等信息。

    来自:帮助中心

    查看更多 →

  • 删除Kafka实例

    。 前提条件 Kafka实例状态为运行中、故障、已冻结的按需付费实例才能执行删除操作。 删除Kafka实例 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。

    来自:帮助中心

    查看更多 →

  • 购买Kafka实例

    购买Kafka实例 Kafka实例采用物理隔离的方式部署,租户独占Kafka实例。支持用户自定义规格和自定义特性,您可以根据业务需要定制相应计算能力和存储空间的Kafka实例。 操作视频 本视频演示自定义购买Kafka实例的操作。 准备实例依赖资源 创建Kafka实例前,请提前准备好如表1所示资源。

    来自:帮助中心

    查看更多 →

  • 购买Kafka实例

    “更多配置”中配置如下参数: Kafka SASL_SSL:开启 kafka安全协议:SASL_SSL SASL PLAIN 机制:开启 用户名:kafka-name 密码:填写密码 默认密码:确认密码 单击“立即购买”,完成Kafka实例的创建。 创建Topic 登录分布式消息服务Kafka版控制台,选择Kafka实例所在的区域。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了