分布式消息（Kafka） 分布式消息（Kafka）连接器包含“Topic列表”、“发送数据”、“指定分区发送”三个执行动作和“消费消息”一个触发事件。 连接参数 创建分布式（Kafka）连接时连接参数说明如表1所示。如果需要连接的Kafka配置了IP地址白名单限制，则需要放通 集成工作台 公网出口访问地址“124

查看更多 →

。 跨AZ容灾 Kafka、RabbitMQ、RocketMQ实例支持跨AZ容灾部署，要求至少3个AZ，当一个AZ异常时，不影响实例持续提供服务。 监控告警 Kafka：配合CES服务，支持对Kafka实例、实例节点、实例主题、实例分区、实例分区的消费组、实例队列的消费组、实例的

查看更多 →

DMS Kafka连接参数说明 连接DMS的Kafka队列时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 DMS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的

查看更多 →

DMS Kafka连接参数说明 连接DMS的Kafka队列时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 DMS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的

查看更多 →

事务与会话消息等功能，适用电商、金融场景。 RabbitMQ：兼容开源RabbitMQ，支持广播、事务消息、消息路由、死信队列、优先级队列等，适用于秒杀、流控、系统解耦等场景。 详细版本对比可参考官方文档。 相关云服务和工具： 分布式消息服务Kafka版 分布式消息服务RocketMQ版

查看更多 →

--bootstrap-server Kafka的Broker实例业务IP:Kafka端口号 --consumer.config /opt/client/Kafka/kafka/config/consumer.properties 参考管理Kafka Topic中的消息，查看Topic并向Kafka中写入数据

查看更多 →

DMS输出流 分布式消息服务Kafka是一款基于开源社区版Kafka提供的消息队列服务，向用户提供可靠的全托管式的Kafka消息队列。 DLI 支持将作业的输出数据输出到DMS的Kafka实例中。 创建DMS Kafka输出流的语法与创建开源Apache Kafka输出流一样，具体请参见 MRS

查看更多 →

消息队列 KafkaConsumer监控 KafkaProducer监控 RabbitMqCommon监控 RabbitMqConsumer监控 RabbitMqProducer监控 RocketMqConsumer监控 RocketMqProducer监控 父主题： 指标总览

查看更多 →

消息队列 消息队列监控项可以对消息队列的访问进行监控，可以监控的消息队列包含KafkaProducer等类型。本章节主要对查看KafkaProducer监控进行介绍。 查看消息队列 登录管理控制台。 单击左侧，选择“管理与监管 > 应用性能管理 APM”，进入APM服务页面。 在左侧导航栏选择“应用监控

查看更多 →

Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题： 组件介绍

查看更多 →

Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明

查看更多 →

了解DLI请参见 数据湖 产品介绍。 了解Kafka请参见分布式消息服务Kafka产品介绍。 图1 Kafka实时入库DWS 本实践预计时长90分钟，实践用到的云服务包括虚拟私有云 VPC及子网、弹性负载均衡 ELB、弹性云服务器 E CS 、对象存储服务 OBS、分布式消息服务 Kafka、 数据湖探索 DLI和 数据仓库 服务

查看更多 →

Kafka同步Kafka 当前仅支持华南-广州。 前提条件 业务有自己的源Kafka和目标Kafka。 源Kafka和目标Kafka实例支持的版本：目前支持2.7及以上，后续支持版本会持续更新。 源Kafka和目标Kafka实例的规格、存储空间需保持一致。 确保vpc、子网、kafka等资源充足。

查看更多 →

kafka_topics Kafka实例主题 kafka_partitions Kafka实例分区 kafka_groups-partitions Kafka实例分区的消费组 kafka_groups_topics Kafka实例队列的消费组 kafka_groups Kafka实例的消费组 connector_task

查看更多 →

户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 Kafka将日志存储在消息文件中，实现日志的持久化存储。 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。

查看更多 →

Kafka业务使用流程 分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka实例。使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户，并授予DMS

查看更多 →

作业队列 查询排队作业列表 操作队列 批量更新队列优先级 父主题： API

查看更多 →

工单队列 您通过工单队列可以创建组织，可邀请或移除成员，实现团队管理功能。创建工单时勾选队列后，队列成员可查看待处理工单。 操作步骤 您登录客户服务云，进入“配置中心>工单配置2.0>工单配置>工单队列”界面，可新建工单队列。 您单击“新建”按钮，可新建工单队列。 您输入基本信息，添加成员后，单击保存，创建成功。

查看更多 →

绑定队列 功能介绍 该API用于在已创建的增强型跨源中绑定队列。 调试 您可以在 API Explorer 中调试该接口。 URI URI格式 POST /v2.0/{project_id}/datasource/enhanced-connections/{connection_id}/associate-queue

查看更多 →

删除队列 功能介绍 该API用于删除指定队列。 若指定队列正在执行任务，则不允许删除。 调试 您可以在API Explorer中调试该接口。 URI URI格式： DELETE /v1.0/{project_id}/queues/{queue_name} 参数说明 表1 URI参数

查看更多 →

系统default队列不支持创建跨源连接。 访问跨源表需要使用已经创建跨源连接的队列。 在Kafka的安全组上放通DLI队列网段 在Kafka管理控制台，选择“Kafka专享版”，单击对应的Kafka名称，进入到Kafka的基本信息页面。 在“连接信息”中获取该Kafka的“内网连接地址”，在“基本信息”的“网络”

查看更多 →