分布式消息服务 Kafka 

 

分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件

 
 

    kafka的配置 更多内容
  • 配置Kafka应用安全认证

    配置Kafka应用安全认证 使用Sasl Kerberos认证 使用Kafka Token认证 父主题: 准备Kafka应用开发环境

    来自:帮助中心

    查看更多 →

  • 配置Kafka网络连接

    配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题: 连接实例

    来自:帮助中心

    查看更多 →

  • 配置Kafka访问控制

    配置Kafka访问控制 配置Kafka实例明文/密文接入 制作和替换KafkaSSL证书 配置KafkaSSL双向认证 配置Kafka用户 父主题: 连接实例

    来自:帮助中心

    查看更多 →

  • 配置Kafka数据均衡工具

    (两个文件做同样修改)。 减少文件中第二行数字(若移出多个目录,则减少数字为移出目录个数)。 删除待移出Partition所在行(行结构为“Topic名称 Partition标识 Offset”,删除前先将该行数据保存,后续此内容还要添加到目的目录下同名文件中)。

    来自:帮助中心

    查看更多 →

  • 配置Kafka数据均衡工具

    两个文件做同样修改)。 减少文件中第二行数字(如果移出多个目录,则减少数字为移出目录个数)。 删除待移出Partition所在行(行结构为“Topic名称 Partition标识 Offset”,删除前先将该行数据保存,后续此内容还要添加到目的目录下同名文件中)。

    来自:帮助中心

    查看更多 →

  • spring-kafka的使用

    spring-kafka使用 本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。

    来自:帮助中心

    查看更多 →

  • 修改Kafka实例配置参数

    2023年4月25日及以后创建实例支持在控制台修改此参数,在此之前创建实例默认开启自动创建消费组功能,无法在控制台关闭此功能。 true/false true offsets.retention.minutes 消费位点保留时间是消费位点最大保留时间,从提交消费位点时间开始计算,超过该时间消费位

    来自:帮助中心

    查看更多 →

  • 配置Kafka客户端

    配置Kafka客户端 Kafka客户端参数配置建议 Kafka客户端使用建议 父主题: 连接实例

    来自:帮助中心

    查看更多 →

  • 配置Kafka日志推送策略

    自定义认证配置 推送日志中,需要携带自定义认证信息。 前端:填写日志中要携带前端自定义认证响应字段信息,多个字段间使用英文逗号(,)分隔。 后端:填写日志中要携带后端自定义认证响应字段信息,多个字段间使用英文逗号(,)分隔。 单击“确定”,完成插件策略创建。 插件

    来自:帮助中心

    查看更多 →

  • 配置ClickHouse对接Kafka

    配置ClickHouse对接Kafka 配置ClickHouse通过用户密码对接Kafka 配置ClickHouse通过Kerberos认证对接Kafka 配置ClickHouse对接普通模式Kafka 父主题: ClickHouse数据导入

    来自:帮助中心

    查看更多 →

  • 配置Kafka应用安全认证

    配置Kafka应用安全认证 使用Sasl Kerberos认证 使用Sasl Plaintext认证 使用Kafka Token认证 父主题: 准备Kafka应用开发环境

    来自:帮助中心

    查看更多 →

  • 配置Kafka后进先出

    入流,需要相对独立无依赖状态,否则可能导致数据切分后结果发生变化。 Kafka后进先出功能开启要求应用只能对接Kafka输入源。 若提交应用同时开启Kafka后进先出和流控功能,对于B段时间进入Kafka数据,将不启动流控功能,以确保读取这些数据任务调度优先级最低。应用重新启动后C段时间的任务启用流控功能。

    来自:帮助中心

    查看更多 →

  • 与开源Kafka的差异

    与开源Kafka差异 分布式消息服务Kafka版在兼容开源Kafka基础上,对版本特性做了一定程度定制和增强,所以,除了拥有开源Kafka优点,分布式消息服务Kafka版提供了更多可靠、实用特性。 表1 分布式消息服务Kafka版与开源Kafka差异说明 对比类 对比项

    来自:帮助中心

    查看更多 →

  • Kafka实例的SASL

    除“华北-北京一”、“中东-利雅得”、“拉美-圣保罗一”和“拉美-圣地亚哥”以外区域,集群版实例SASL_SSL开关支持修改,具体步骤请参考修改实例接入方式。单机版实例不支持SASL_SSL功能。 父主题: 实例问题

    来自:帮助中心

    查看更多 →

  • 配置Kafka数据转储至OBS

    若某个时间段内无数据,则此时间段不会生成打包文件。 AK 访问密钥ID。 获取AK方法,具体请参见新增访问密钥。 SK 与访问密钥ID结合使用密钥。 获取SK方法,具体请参见新增访问密钥。 转储地址 存储Topic数据OBS桶名称。 您可以在下拉列表中选择已创建OBS桶名称,也可以单击“创建转储地址”,新创建一个OBS桶。

    来自:帮助中心

    查看更多 →

  • Kafka支持的监控指标

    Kafka支持监控指标 功能说明 本章节定义了分布式消息服务Kafka版上报云监控服务监控指标的命名空间,监控指标列表和维度定义,您可以通过云监控服务管理控制台或API接口来检索Kafka实例产生监控指标和告警信息,也可以通过分布式消息服务Kafka版控制台提供“监控”

    来自:帮助中心

    查看更多 →

  • Kafka

    填写连接器的描述信息,用于识别不同连接器。 支持动作 写入消息 配置参数 表1 发送消息 参数 说明 主题 填写需要监听topic。 Partition 消息将被写入分区。 Key 消息Key值。 Message 消息内容。 Acks 发送确认参数。 all -1 0 1 KeySerializer

    来自:帮助中心

    查看更多 →

  • 配置MRS Kafka数据连接

    页面提示完成用户创建。 MRS 3.1.0及之后版本集群,所创建用户至少需具备Manager_viewer角色权限才能在管理中心创建连接;如果需要对应组件进行库、表、数据操作,还需要添加对应组件用户组权限。 MRS 3.1.0版本之前集群,所创建用户需要具备Man

    来自:帮助中心

    查看更多 →

  • 配置Flink对接Kafka安全认证

    tPort”值。 服务端topic权限配置。 将KafkaBroker配置参数“allow.everyone.if.no.acl.found”值修改为“true”。 安全认证。 安全认证方式有三种:Kerberos认证、SSL加密认证和Kerberos+SSL模式认证,用

    来自:帮助中心

    查看更多 →

  • 配置对接Kafka可靠性

    Kafka服务的topicleader异常后,若Kafkaleader和followeroffset相差太大,用户重启Kafka服务Kafkafollower和leader相互切换,则Kafka服务重启后,topicoffset变小。 若Spark Streaming应用一直在运行,由于K

    来自:帮助中心

    查看更多 →

  • 配置Flink对接Kafka安全认证

    tPort”值。 服务端topic权限配置。 将KafkaBroker配置参数“allow.everyone.if.no.acl.found”值修改为“true”。 安全认证。 安全认证方式有三种:Kerberos认证、SSL加密认证和Kerberos+SSL模式认证,用

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了