分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    kafka的配置 更多内容
  • 配置Kafka实例的公网访问

    在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称,进入实例“基本信息”页面。 在“公网访问”后,单击,完成公网访问关闭。 您可以在实例“后台任务管理”页面,查看当前任务操作进度。任务状态为“成功”,表示操作成功。

    来自:帮助中心

    查看更多 →

  • 配置Kafka的SSL双向认证

    配置KafkaSSL双向认证 SSL双向认证是指在通信认证时,将同时验证客户端和服务证书,以确保通信中涉及双方都是受信任。 开启SSL双向认证,主要用于对安全性要求较高场景。 SSL双向认证为白名单特性,需要联系后台管理人员开通后方可使用。 开启/关闭SSL双向认证将重启实例,请谨慎操作。

    来自:帮助中心

    查看更多 →

  • 配置Kafka/DMS Kafka源端参数

    偏移量参数 从Kafka拉取数据时初始偏移量: 最新:最大偏移量,即拉取最新数据。 最早:最小偏移量,即拉取最早数据。 已提交:拉取已提交数据。 时间范围:拉取时间范围内数据。 最新 抽取数据最大运行时间 持续拉取数据时间。如天调度作业,根据每天topic产生数据量,配置足够的拉取时间。单位:分钟。

    来自:帮助中心

    查看更多 →

  • 配置Kafka/DMS Kafka源端参数

    偏移量参数 从Kafka拉取数据时初始偏移量: 最新:最大偏移量,即拉取最新数据。 最早:最小偏移量,即拉取最早数据。 已提交:拉取已提交数据。 时间范围:拉取时间范围内数据。 最新 抽取数据最大运行时间 持续拉取数据时间。如天调度作业,根据每天topic产生数据量,配置足够的拉取时间。单位:分钟。

    来自:帮助中心

    查看更多 →

  • 配置Kafka间的数据复制

    ”/“双向”时,对端Kafka实例别名作为前缀添加到当前Kafka实例Topic名称前,形成Topic新名称。例如对端Kafka实例别名为B,当前Kafka实例Topic名称为test01,重命名后Topic为B.test01。 Kafka数据复制Smart Connect任务创建成功后,如果Smart

    来自:帮助中心

    查看更多 →

  • 配置Kafka流控

    操作影响 当流控值达到上限后,会导致生产/消费时延增大。 设置流控值较小且生产者速率较大时,可能会造成生产超时、消息丢失,导致部分消息生产失败。 初始生产/消费流量较大,如果设置一个较小流控值,会导致生产/消费时延增大、部分消息生产失败。建议逐次减半设置流控值,待生产/消费

    来自:帮助中心

    查看更多 →

  • 修改Kafka Topic配置

    消息时间戳类型 定义消息时间戳类型,取值如下: CreateTime:生产者创建消息时间。 LogAppendTime:broker将消息写入日志时间。 批处理消息最大值 Kafka允许最大批处理大小,如果启用消息压缩,则表示压缩后最大批处理大小。 如果增加“批处理

    来自:帮助中心

    查看更多 →

  • 配置Kafka实例标签

    如您组织已经设定分布式消息服务Kafka相关标签策略,则需按照标签策略规则为Kafka实例添加标签。在“标签”页面新添加标签如果不符合标签策略规则,会添加失败。 标签共由两部分组成:“标签键”和“标签值”,其中,“标签键”和“标签值”命名规则如表1所示。 表1 标签命名规则

    来自:帮助中心

    查看更多 →

  • Kafka的安装

    在gx01节点、gx02和gx03三个节点对应服务器分别执行第一步至第六步步骤。 进入confluent-5.0.0.tar安装/opt/目录;命令行界面输入: cd /opt/ 图1 进入 解压confluent-5.0.0.tar安装包;命令行界面输入: tar -xvf confluent-5

    来自:帮助中心

    查看更多 →

  • 配置Kafka ACL用户

    用户授权操作,请参见设置Kafka Topic权限。 一个Kafka实例最多创建用户数量在控制台存在两种限制,一种为20个,另一种为500个,具体以控制台为准。 在控制台创建用户方法有两种,两种方法对应重置密码步骤有区别。 初始用户:在首次开启密文接入时设置用户,如果

    来自:帮助中心

    查看更多 →

  • Kafka常用配置参数

    Controller连接Broker超时时间。单位:毫秒。 30000 Controller连接Broker超时时间,一般不需要调整。 group.max.session.timeout.ms Consumer注册时允许最大会话超时时间。单位:毫秒。 1800000 允许Consumer配置session

    来自:帮助中心

    查看更多 →

  • 配置Kafka源端参数

    如果是从DMS Kafka导出数据,专享版请任意输入,标准版请输入有效消费组ID。 sumer-group 消费记录策略 消费record策略。 起止时间:根据kafka record元数据TIMESTAMP判断,抽取record是否符合填入起止时间范围。当消费到record

    来自:帮助中心

    查看更多 →

  • Kafka常用配置参数

    Controller连接Broker超时时间。单位:毫秒。 30000 Controller连接Broker超时时间,一般不需要调整。 group.max.session.timeout.ms Consumer注册时允许最大会话超时时间。单位:毫秒。 1800000 允许Consumer配置session

    来自:帮助中心

    查看更多 →

  • 配置Kafka实例的明文/密文接入

    修改实例接入方式。 单机实例只支持开启/关闭公网访问明文接入。 开启了IPv6功能后,不支持修改实例接入方式。 前提条件 只有处于“运行中”状态Kafka实例才可以修改接入方式。 开启明文接入 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。

    来自:帮助中心

    查看更多 →

  • 修改Kafka Topic配置

    在“KafkaManager WebUI”右侧,单击URL链接,访问KafkaUI页面。 单击“Topics”,进入Topic管理页面。 在待修改项“Operation”列单击“Action > Config”,弹出页面中可修改Topic“Key”和“Value”值,如需要添加多条,可单击添加。单击“OK”完成修改。

    来自:帮助中心

    查看更多 →

  • 修改Kafka Topic配置

    > 实例”。 查看ZooKeeper角色实例IP地址。 记录ZooKeeper角色实例其中任意一个IP地址即可。 根据业务情况,准备好客户端,登录安装客户端节点。 请根据客户端所在位置,参考使用 MRS 客户端章节,登录安装客户端节点。 执行以下命令,切换到客户端目录,例如“

    来自:帮助中心

    查看更多 →

  • 配置Kafka自动创建Topic

    factor”(副本数)或“num.partitions”(分区数)参数值,此后自动创建Topic参数值为修改后参数值。例如:“num.partitions”修改为“5”,自动创建Topic参数值如表1所示。 表1 Topic参数值 参数名称 默认参数值 修改后参数值 分区数 3 5 副本数 3 3

    来自:帮助中心

    查看更多 →

  • spring-kafka的使用

    spring-kafka使用 本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。

    来自:帮助中心

    查看更多 →

  • 修改Kafka实例配置参数

    minutes 消费位点保留时间是消费位点最大保留时间,从提交消费位点时间开始计算,超过该时间消费位点将被删除。消费者每次向Topic分区提交一次消费位点时,该消费位点保留时间将会被重置为0。 2023年5月1日前创建实例,此参数为静态参数。 1440 ~ 30240 单位:分钟

    来自:帮助中心

    查看更多 →

  • 配置Kafka应用安全认证

    配置Kafka应用安全认证 使用Sasl Kerberos认证 使用Sasl Plaintext认证 使用Kafka Token认证 父主题: 准备Kafka应用开发环境

    来自:帮助中心

    查看更多 →

  • 配置Kafka后进先出

    入流,需要相对独立无依赖状态,否则可能导致数据切分后结果发生变化。 Kafka后进先出功能开启要求应用只能对接Kafka输入源。 若提交应用同时开启Kafka后进先出和流控功能,对于B段时间进入Kafka数据,将不启动流控功能,以确保读取这些数据任务调度优先级最低。应用重新启动后C段时间的任务启用流控功能。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了