Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题： 组件介绍

查看更多 →

执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env 启用Kerberos认证的集

查看更多 →

Spark client CLI介绍 Spark CLI详细的使用方法参考官方网站的描述：http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示： spark-shell

查看更多 →

Spark client CLI介绍 Spark CLI详细的使用方法参考官方网站的描述：http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示： spark-shell

查看更多 →

不能同时启动两个或两个以上的集群来共享一个namespace。 用户在启动集群或提交作业时如果使用了-z配置项，则在删除、停止及查询作业、触发savepoint时也要使用-z配置项指明namespace。 父主题： Flink常用API介绍

查看更多 →

COMM_CLIENT_INFO COMM_CLIENT_INFO视图显示单个节点活跃的客户端连接信息（DN上查询该视图显示 CN连接DN的信息），默认只有系统管理员权限才可以访问此系统视图。 表1 COMM_CLIENT_INFO 字段 名称 类型 描述 node_name text

查看更多 →

COMM_CLIENT_INFO COMM_CLIENT_INFO视图显示单个节点活跃的客户端连接信息（DN上查询该视图显示CN连接DN的信息），默认只有系统管理员权限才可以访问此系统视图。 表1 COMM_CLIENT_INFO字段 名称 类型 描述 node_name text

查看更多 →

Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是

查看更多 →

开启启用回收站，并设置保留天数（只能设置为1~7天），单击“确定”。 恢复Kafka实例 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏选择“回收站”，进入“回收站”页面。

查看更多 →

其中keyTab和principal的值请按照实际情况配置，所配置的principal需要有相应的kafka的权限。 配置业务，其中kafka.bootstrap.servers的端口号使用21007，kafka.security.protocol使用SASL_PLAINTEXT。 如果Kafka所在集群的 域名 发生

查看更多 →

配置Kafka高可用和高可靠 操作场景 Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于 MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响： 配置高

查看更多 →

其中keyTab和principal的值请按照实际情况配置，所配置的principal需要有相应的kafka的权限。 配置业务，其中kafka.bootstrap.servers的端口号使用21007，kafka.security.protocol使用SASL_PLAINTEXT。 如果Kafka所在集群的域名发生

查看更多 →

参考Kafka客户端使用实践，登录到Kafka客户端安装目录。 以Kafka客户端安装用户，登录Kafka安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执

查看更多 →

导入并配置Kafka样例工程 获取样例工程文件夹。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。 若需要在本地Windows调测Kafka样例代码，将准备连接Kafka集群配置文件时获取的

查看更多 →

进入客户端配置文件解压路径的“Kafka\config”，获取Kafka表1中相关配置文件。 表1 配置文件 配置文件 作用 client.properties Kafka的客户端的配置信息。 consumer.properties Kafka的consumer端配置信息。 producer

查看更多 →

已准备开发环境及MRS集群相关配置文件，详情请参考准备连接Kafka集群配置文件。 操作步骤 获取样例工程文件夹。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。 若需要在本地Windows调测Kafka样例代码

查看更多 →

进入客户端配置文件解压路径的“Kafka\config”，获取Kafka表1中相关配置文件。 表1 配置文件 配置文件 作用 client.properties Kafka的客户端的配置信息。 consumer.properties Kafka的consumer端配置信息。 kafkaSecurityMode

查看更多 →

动作所属的Kafka消费组。 Kafka源端属性配置 支持设置Kafka的配置项，需要增加 properties. 前缀，作业将自动移除前缀并传入底层Kafka客户端，具体参数可参考Apache Kafka官方文档中的配置说明。 配置目的端参数。 图6 目的端OBS配置 文件存储格式

查看更多 →

配置如下参数，设置安全通道为加密的。 参数修改入口：在 FusionInsight Manager系统中，选择“集群 > 服务 > Kafka > 配置”，展开“全部配置”页签，在搜索框中输入相关参数名称。 配置后应重启对应服务使参数生效。 Kafka服务端的传输加密相关配置参数如表1所示。

查看更多 →

driver.extraClassPath配置给复制出来，并将Kafka相关jar包相对路径追加到该配置项之后，提交结构流任务时需要通过--conf 将该配置项给加上。例如：kafka相关包为kafka-clients-x.x.x.jar，kafka_2.11-x.x.x.jar，提交任务需要增加--conf

查看更多 →

driver.extraClassPath配置给复制出来，并将Kafka相关jar包相对路径追加到该配置项之后，提交结构流任务时需要通过--conf 将该配置项给加上。例如：kafka相关包为kafka-clients-x.x.x.jar，kafka_2.11-x.x.x.jar，提交任务需要增加--conf

查看更多 →