分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    kafka安装 更多内容
  • 安装

    安装 普通安装 静默安装 国产化版本安装 父主题: 安装说明

    来自:帮助中心

    查看更多 →

  • 修改Kafka Topic配置

    修改Kafka Topic配置 本章节指导您在控制台修改如表1所示Kafka Topic的配置。 修改同步复制、同步落盘、消息时间戳类型、批处理消息最大值和描述,不会重启实例。 表1 Kafka Topic的配置参数 参数名称 说明 分区数 Topic的分区数,修改方法请参见修改Kafka

    来自:帮助中心

    查看更多 →

  • 配置Kafka流控

    在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例详情页面。

    来自:帮助中心

    查看更多 →

  • Kafka应用开发简介

    Kafka应用开发简介 Kafka简介 Kafka是一个分布式消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。 Kafka有很多适用的场景:消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点:

    来自:帮助中心

    查看更多 →

  • 配置Kafka实例标签

    创建实例时设置的标签值,首尾字符不能为空格。 配置Kafka实例标签 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。

    来自:帮助中心

    查看更多 →

  • Kafka预检查

    检查事件流作业所在运行时机器是否能正常连接到源端Kafka实例。 原因一:无法连接到源端Kafka实例,请检查网络配置是否正确。 解决方案: 进入Kafka的控制台页面,检查源端实例状态是否正常。 检查事件流集群创建页面中配置的vpc和子网是否与源端Kafka实例网络畅通。 原因二:无法连接源端Kafka实例,请检查填写的实例信息是否正确。

    来自:帮助中心

    查看更多 →

  • 开发Kafka应用

    开发Kafka应用 Kafka样例程序开发思路 使用Producer API向安全Topic生产消息 使用Consumer API订阅安全Topic并消费 使用多线程Producer发送消息 使用多线程Consumer消费消息 使用KafkaStreams统计数据 使用SpringBoot生产消费Kafka集群数据

    来自:帮助中心

    查看更多 →

  • Kafka接口介绍

    Kafka接口介绍 Kafka Shell命令介绍 Kafka Java API接口介绍 Kafka安全接口介绍 父主题: Kafka应用开发常见问题

    来自:帮助中心

    查看更多 →

  • 源端为Kafka

    fromJobConfig.topicsList 是 String Kafka topic列表,可以为多个topic,以“,”作为分隔符。 fromJobConfig.kafkaConsumerStrategy 是 枚举 从Kafka拉取数据时的初始偏移量设置: LATEST:最大偏移量,即最新的数据。

    来自:帮助中心

    查看更多 →

  • 关闭Kafka Manager

    Manager,不会重启实例。 关闭Kafka Manager 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。

    来自:帮助中心

    查看更多 →

  • Kafka应用开发简介

    Kafka应用开发简介 Kafka简介 Kafka是一个分布式消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。 Kafka有很多适用的场景:消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点:

    来自:帮助中心

    查看更多 →

  • 设置Kafka Topic权限

    在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例名称,进入实例详情页面。

    来自:帮助中心

    查看更多 →

  • 重启Kafka Manager

    约束与限制 重启Kafka Manager不会影响业务。 重启Kafka Manager 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。

    来自:帮助中心

    查看更多 →

  • 安装服务

    安装服务 上传产品包 从Manager菜单单击 应用市场,打开应用市场页面, 进入应用市场默认页面,从左侧导航栏单击上传产品包,并选择上传位置。 图1 上传产品包1 上传成功后,相应的服务将会出现在安装服务时的选择服务页面 图2 上传产品包2 父主题: 数据底座模块部署

    来自:帮助中心

    查看更多 →

  • Kafka常用配置参数

    Kafka常用配置参数 本章节内容适用于 MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务参数“全部配置”页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表,以逗号分隔多个目录。 %{@auto.detect

    来自:帮助中心

    查看更多 →

  • 查看Kafka Topic详情

    请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例名称,进入实例详情页面。 在左侧导航栏选择“

    来自:帮助中心

    查看更多 →

  • 配置Kafka用户Token认证信息

    ka服务配置。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证。

    来自:帮助中心

    查看更多 →

  • 配置Kafka用户Token认证信息

    已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证。 kinit 组件业务用户

    来自:帮助中心

    查看更多 →

  • 创建Kafka消费组

    如果消费组从未提交过offset,当Kafka实例重启后,该消费组会被删除。 创建Kafka消费组 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。

    来自:帮助中心

    查看更多 →

  • 管理Kafka Topic

    管理Kafka Topic 查看Kafka Topic信息 修改Kafka Topic配置 增加Kafka Topic分区 管理Kafka Topic中的消息 查看Kafka数据生产消费详情 父主题: 使用Kafka

    来自:帮助中心

    查看更多 →

  • 如何获取Topic的分布信息

    如何获取Topic的分布信息 用户问题 如何获取Topic在Broker实例的分布信息? 前置操作 前提条件 已安装Kafka、ZooKeeper客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了