Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题： 组件介绍

查看更多 →

出源，如Kafka、Hbase、ElasticSearch等。 自拓展生态 用户可通过编写代码实现从想要的云生态或者开源生态获取数据，作为Flink作业的输入数据。 云服务生态开发 表1 云服务生态开发一览表 数据源 SQL 自定义作业 输入流：从其他服务或数据库中获取数据 输出

查看更多 →

[flags] 表1 参数说明 参数 简写 是否必选 说明 instance-id 无 否 数据库实例 id，不填写时表示获取数据库实例列表，填写时表示获取数据库实例详情。 --data -d 否 是否查询数据库数据，需要和database-id参数一起使用。 --limit -l 否 限制量，默认为10，取值范围[0

查看更多 →

StringDeserializer。 AutoOffsetReset 设置当没有初始的偏移量或者偏移量超出范围时，从哪里开始消费。 latest：从最近的偏移量开始消费； earliest：从最早的偏移量开始消费； none：抛出异常。 父主题： 触发器

查看更多 →

本地Oracle同步到DDM 华为云RDS for MySQL 分布式消息服务Kafka RDS for MySQL同步到Kafka 华为云 GaussDB 分布式版 分布式消息服务Kafka GaussDB分布式版同步到Kafka 华为云GaussDB主备版 分布式消息服务Kafka GaussDB主备版数据同步到Kafka

查看更多 →

指定类型为application/json。 缺省值：application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。 X-Language 否 String 请求语言类型。 缺省值：en-us 取值： en-us zh-cn 表3 请求Body参数

查看更多 →

Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS 应用开发开源jar包冲突列表说明

查看更多 →

group-offsets（默认值）：从 Zookeeper/Kafka 中某个指定的消费组已提交的偏移量开始。 timestamp：从用户为每个 partition 指定的时间戳开始，时间戳通过scan.startup.timestamp-millis指定。 specific-offsets：从用户为每个

查看更多 →

MapReduce服务 MRS 将数据转发到华为云MRS Kafka云服务，它的Kafka集群是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规

查看更多 →

分布式消息（Kafka） 分布式消息（Kafka）连接器包含“Topic列表”、“发送数据”、“指定分区发送”三个执行动作和“消费消息”一个触发事件。 连接参数 创建分布式（Kafka）连接时连接参数说明如表1所示。如果需要连接的Kafka配置了IP地址白名单限制，则需要放通 集成工作台 公网出口访问地址“124

查看更多 →

选择目标连接。如果还未创建目标连接，请先创建分布式消息服务Kafka版目标连接，如何创建请参见目标连接。 Topic 选择Topic。先选目标连接以加载Topic选项。 消息Key配置 关闭 不启用消息Key。 开启 变量：从CloudEvents标准事件中获取变量值，将变量值作为Key值。

查看更多 →

成长地图 | 华为云 分布式消息服务Kafka版 分布式消息服务Kafka版（Distributed Message Service for Kafka）是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 免费体验 图说Kafka

查看更多 →

依赖服务迁移 本节介绍集群依赖服务的相关数据迁移，如本地存储、数据库、分布式缓存、分布式消息等。若您的集群不涉及这些数据，或者这些数据不需要搬迁上云，可忽略本节内容。 存储迁移 若您的集群使用本地存储，迁移上云可以使用华为云数据快递服务 DES。DES服务是一种海量数据传输解决方

查看更多 →

缺省值：application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。 用户Token也就是调用获取用户Token接口的响应值，该接口是唯一不需要认证的接口。 请求响应成功后在响应消息头中包含的“X-Subject-Token”的值即为Token值。

查看更多 →

如何获取分布式消息服务Kafka实例的SASL证书地址？ 用户在创建事件流，配置事件源为分布式消息服务Kafka版实例时，当Kafka实例开启SASL SSL时，需要输入SASL证书地址。 本章节介绍如何获取Kafka实例的SASL证书地址。 操作步骤 下载Kafka实例的SSL证书。

查看更多 →

使用Kafka Eagle对接MRS Kafka Kafka Eagle简介 Kafka Eagle是一款分布式、高可用的Kafka监控软件，提供丰富的Kafka监控指标，例如：Kafka集群的Broker数、Topic数、Consumer数、Topic LogSize Top10、Topic

查看更多 →

什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款

查看更多 →

获取数据库列表 功能介绍 获取数据库列表 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/{connection_id}/databases 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。

查看更多 →

安装Kafka 简介 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 本教程介绍如何在HCE OS 2.0上安装部署Kafka。

查看更多 →

keytab 必填项。 资源文件。从MRS管理面用户名下拉列表中选择“下载认证凭据”的下载文件中获取。 krb5.conf 必填项。 资源文件。从MRS管理面用户名下拉列表中选择“下载认证凭据”的下载文件中获取。 core-site.xml 必填项。 资源文件。从MRS管理面的“集群>HB

查看更多 →

详细操作请参见《数据接入服务用户指南》中的“从DIS获取数据”章节。 DLI 支持将Flink作业的结果数据输出到RDS上，因此用户需要到RDS上去查看输出结果，详细操作请参见《关系型数据库快速入门》。 DLI支持将流作业的结果数据输出到SMN上，SMN服务会将输出结果反馈到用户绑

查看更多 →