群实际情况，配置为Kafka Broker节点的主机名及端口，可通过集群 FusionInsight Manager界面中单击“集群 > 服务 > Kafka > 实例”查看Broker在Linux中调测程序实例信息。 SECURITY_PROTOCOL为连接Kafka的协议类型，

查看更多 →

配置Kafka用户Token认证信息 操作场景 使用Token认证机制时对Token的操作。 本章节内容适用于 MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求，并准备一个系统用户。 已开启Token认证机制。 已安装Kafka客户端。

查看更多 →

MRS 3.x及后续版本：使用kafka-topics.sh管理Kafka主题。 创建主题： Topic的Partition自动划分时，默认根据节点及磁盘上已有的Partition数进行均衡划分，如果期望根据磁盘容量进行Partition划分，那么需要修改Kafka服务配置“log.partition

查看更多 →

是，删除或者迁移相关数据，然后执行8。 否，执行4。 进入“kafka-logs”目录，执行du -sh *命令，选择一个待移动的Partition文件夹，其名称命名规则为“Topic名称-Partition标识”，记录Topic及Partition。 修改“kafka-logs”目录下的“recover

查看更多 →

使用Kafka触发器 本节介绍创建Kafka触发器，供用户了解Kafka触发器的使用方法。 使用Kafka触发器后，FunctionGraph会定期轮询Kafka实例指定Topic下的新消息，FunctionGraph将轮询得到的消息作为参数传递来调用函数，关于Kafka触发器的事件源介绍请参见支持的事件源。

查看更多 →

使用KafkaUI迁移分区（MRS 3.1.2及之后版本） 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager，选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操作，例如创建Topic，需同时授予用户相关权限，请参考Kafka用户权限说明。

查看更多 →

配置ClickHouse通过用户密码对接Kafka 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 本章节主要介绍ClickHouse通过用户名和密码的方式连接Kafka，消费Kafka的数据。 前提条件 已创建Kafka集群，且为安全模式。 已安装集群客户端。 如

查看更多 →

conf, builder.createTopology()); } 部署运行及结果查看 获取相关配置文件，获取方式如下。 安全模式：参见4获取keytab文件。 普通模式：无。 在Storm示例代码根目录执行如下命令打包："mvn package"。执行成功后，将会在target目录生成storm-examples-1

查看更多 →

创建Kafka实例 04 使用 根据业务发展需要，您可以为实例扩容存储空间和基准带宽、修改实例安全组、开启实例转储。除此之外，你还可以实时查看监控指标及审计日志，以便及时了解Kafka实例节点、队列、消费组等相关状态。 日常操作 查看实例信息 扩容实例存储空间 扩容实例代理个数 开启Smart

查看更多 →

际情况，配置为Kafka Broker节点的主机名及端口，可通过集群FusionInsight Manager界面中选择“集群 > 服务 > Kafka > 实例”查看Broker实例信息。 SECURITY_PROTOCOL为连接Kafka的协议类型，在本示例中，配置为“PLAINTEXT”。

查看更多 →

使用Flume客户端（MRS 3.x及之后版本） 普通集群不需要执行2-6。 安装Flume客户端。 可参考安装MRS 3.x及之后版本Flume客户端在日志生成节点安装Flume客户端，例如安装目录为“/opt/Flumeclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。 将Ma

查看更多 →

使用Flume客户端（MRS 3.x及之后版本） 普通集群不需要执行2-6。 安装Flume客户端。 可参考安装MRS 3.x及之后版本Flume客户端在日志生成节点安装Flume客户端，例如安装目录为“/opt/Flumeclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。 将Ma

查看更多 →

配置ClickHouse对接普通模式Kafka 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 本章节主要介绍ClickHouse连接普通模式的Kafka，消费Kafka的数据。 前提条件 已创建Kafka集群，且为普通模式。 已创建ClickHouse集群，并且C

查看更多 →

createTopology()); } 如果修改了集群 域名 ，在设置Kafka消费者/生产者属性中kerberos域名时，需要将其设置为集群实际域名，例如props.put(KERBEROS_DOMAIN_NAME , "hadoop.hadoop1.com")。 部署运行及结果查看 导出本地jar包，请参见打包Storm样例工程应用。

查看更多 →

使用Kubectl命令操作集群 kubectl kubectl是Kubernetes集群的命令行工具，您可以将kubectl安装在任意一台机器上，通过kubectl命令操作Kubernetes集群。 CCE集群的kubectl安装请参见通过kubectl连接集群。连接后您可以执行kubectl

查看更多 →

SCAN Proxy集群实例不支持在pipeline中使用SCAN命令。 Proxy集群SCAN命令支持指定分片：在命令后面添加 ip:port。(执行icluster nodes命令可以查询不同分片的IP地址及端口。) 如果执行SCAN命令指定分片未能返回需要信息，可能是因为您的Pro

查看更多 →

前提条件 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。（普通模式跳过此步骤）

查看更多 →

配置ClickHouse通过Kerberos认证对接Kafka 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 本章节介绍ClickHouse通过Kerberos认证的方式连接Kafka，消费Kafka的数据。 前提条件 已创建Kafka集群，且为安全模式。 已安装集群客户端。

查看更多 →

同步数据具体内容如下。 配置MySQL 安装Maxwell 配置Maxwell 启动Maxwell 验证Maxwell 停止Maxwell Maxwell生成的数据格式及常见字段含义 配置MySQL 开启binlog，在MySQL中打开my.cnf文件，在[mysqld] 区块检查是否配置serv

查看更多 →

同步数据具体内容如下。 配置MySQL 安装Maxwell 配置Maxwell 启动Maxwell 验证Maxwell 停止Maxwell Maxwell生成的数据格式及常见字段含义 配置MySQL 开启binlog，在MySQL中打开my.cnf文件，在[mysqld] 区块检查是否配置serv

查看更多 →

Kafka业务使用流程 使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户，并授予DMS for Kafka的权限，以达到用户之间权限的隔离。 购买Kafka实例 Kafka实例采用物理隔离的方式部署，租户独占Kafka实例。

查看更多 →