sink的类型，必须设置为org.apache.flume.sink.kafka.KafkaSink。 kafka.bootstrap.servers - Kafka 的bootstrap 地址端口列表。如果集群安装有kafka并且配置已经同步，服务端可以不配置此项，默认值为Kafka集群中所

查看更多 →

sasl_kerberos_principal 连接Kafka的principal，输入1创建的用户名。 kafka.sasl_kerberos_realm 配置为Kafka集群的 域名 。 kafka.sasl_mechanisms 指定连接Kafka使用的SASL认证机制，参数值为GSSAPI。

查看更多 →

分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称，进入实例详情页面。 在左侧导航栏选择“消息查询”，进入消息列表页面。 参考表1，设置查询参数。 表1 查询消息参数说明 参数名称 说明 Topic名称 选择待查询消息的Topic名称。 分区 选择消息所在的分区。

查看更多 →

所在行，单击“消息删除”。 如果实例已开启密文接入功能，在待删除消息的Topic所在行，单击“更多 > 消息删除”。 设置消息删除参数，如表1所示。 图1 消息删除 表1 消息删除参数说明 参数 说明 分区 选择消息所在的分区编号。 偏移量 输入偏移量，此偏移量之前的数据将被删除。

查看更多 →

Kafka生产消息 功能介绍 在控制台发送指定消息到Kafka实例 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/messages/action 表1 路径参数 参数 是否必选 参数类型 描述

查看更多 →

sink的类型，必须设置为org.apache.flume.sink.kafka.KafkaSink。 kafka.bootstrap.servers - Kafka 的bootstrap 地址端口列表。如果集群安装有kafka并且配置已经同步，服务端可以不配置此项，默认值为Kafka集群中所

查看更多 →

安装Kafka 简介 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 本教程介绍如何在HCE OS 2.0上安装部署Kafka。

查看更多 →

keytab”表示的是用户目录，为1中放置目录。 请确保客户端用户具备对应目录权限。 principal名。 security.kerberos.login.principal: abc222 对于HA模式，如果配置了ZooKeeper，还需要设置ZooKeeper Kerberos认证相关的配置。 zookeeper

查看更多 →

不能为空，必须唯一。 test kafka.topics 订阅的Kafka topic列表，用逗号分隔，此参数不能为空。 test1 kafka.consumer.group.id 从Kafka中获取数据的组标识，此参数不能为空。 flume kafka.bootstrap.servers

查看更多 →

DDS->Kafka 暂不支持 支持 暂不支持 PostgreSQL->Kafka 支持 支持 暂不支持 GaussDB (for MySQL)->Kafka 支持 支持 支持 GaussDB主备版->Kafka 支持 支持 暂不支持 GaussDB分布式版->Kafka 支持 支持

查看更多 →

查看提交的拓扑运行Jar，发现包含keytab文件。 查看user.keytab文件，发现principal为zmk_kafka。 发现认证用户和user.keytab文件中principal不对应。 查看日志发现异常信息Delete the tmp keytab file failed，the

查看更多 →

设置华为云账号类型 前提条件 仅当账号类型为空时，才可以在“基本信息”页面设置账号类型。 账号类型设置后，无法进行修改。仅当华为云账号未实名认证时，个人账号的姓名或者企业账号的企业名称可以修改。 设置账号类型 进入“基本信息”页面。 当账号类型为空时，单击“企业名称”后的“修改”。

查看更多 →

创建Kafka_SSL类型跨源认证 操作场景 通过在 DLI 控制台创建的Kafka_SSL类型的跨源认证，将Kafka的认证信息存储到DLI，无需在SQL作业中配置账号密码，安全访问Kafka实例。 MRS Kafka开启Kerberos认证，未开启SSL认证时，创建Kerbero

查看更多 →

使用Kafka Kafka用户权限管理 Kafka客户端使用实践 快速使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题

查看更多 →

不能为空，必须唯一。 test kafka.topics 订阅的Kafka topic列表，用逗号分隔，此参数不能为空。 test1 kafka.consumer.group.id 从Kafka中获取数据的组标识，此参数不能为空。 flume kafka.bootstrap.servers

查看更多 →

FangBo 数据规划 Spark Streaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户）。 确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。 本地新建文件“input_data1.txt”，将“log1.txt

查看更多 →

service.name kafka //10.96.101.32:21007表示kafka服务器的IP:port 开发思路 启动Flink Kafka Producer应用向Kafka发送数据。 启动Flink Kafka Consumer应用从Kafka接收数据，保证topic与producer一致。

查看更多 →

使用Kafka Eagle对接MRS Kafka Kafka Eagle简介 Kafka Eagle是一款分布式、高可用的Kafka监控软件，提供丰富的Kafka监控指标，例如：Kafka集群的Broker数、Topic数、Consumer数、Topic LogSize Top10、Topic

查看更多 →

配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式：

查看更多 →

keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 参数keyTab和principal根据实际情况修改。 问题：执行Flume客户端连接HBase报如下错误：

查看更多 →

分布式消息服务Kafka版 本章节介绍在创建事件流时，如何配置分布式消息服务Kafka版实例为事件源。 前提条件 已在分布式消息服务Kafka版中购买Kafka实例 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件流”，进入“事件流”页面。 单击“创建事件流”。 在弹窗中输

查看更多 →