Kafka样例工程简介 MRS 样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Kafka相关样例工程：

查看更多 →

Kafka样例工程简介 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Kafka相关样例工程：

查看更多 →

创建MRS集群 场景描述 本章节指导用户通过API创建一个MRS分析集群。API的调用方法请参见如何调用API。 约束限制 已在待创建集群区域通过虚拟私有云服务创建VPC，子网。创建VPC请参考查询VPC列表和创建VPC。创建子网请参考查询子网列表和创建子网。 已获取待创建集群区域

查看更多 →

管理MRS集群 查看MRS集群基本信息 查看MRS集群运行状态 启动停止MRS集群 重启MRS集群 导出MRS集群配置参数 同步MRS集群配置 克隆MRS集群 转换MRS按需集群为包周期集群 删除MRS集群 切换MRS集群VPC子网 修改MRS集群NTP服务器 修改 OMS 服务配置

查看更多 →

MRS创建 登录MRS管理控制台。 单击“购买集群”，进入“购买集群”页面。 在购买集群页面，选择“自定义购买”页签。 配置软件配置集群信息，“区域”选择【华北-北京四】，填写集群名称，选择集群版本“MRS 3.0.5”，“集群类型”选择【分析集群】，“分析组件”除默认外勾选“S

查看更多 →

该章节仅适用MRS 3.x及之后版本。 使用Kafka客户端修改Kafka Topic 进入ZooKeeper实例页面： 登录 FusionInsight Manager，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。然后选择“集群 > 服务 > ZooKeeper

查看更多 →

准备运行环境配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts 域名 信息。 场景

查看更多 →

该权限的用户可以拥有MRS所有权限。 KMS Administrator：数据加密服务加密密钥的管理员权限。 MRS Spark SQL、MRS Hive SQL、MRS Kafka、Kafka Client（通过代理方式连接集群） DAYU Administrator KMS Administrator

查看更多 →

恢复Flink元数据 恢复HBase元数据 恢复HBase业务数据 恢复HDFS NameNode元数据 恢复HDFS业务数据 恢复Hive业务数据 恢复IoTDB元数据 恢复IoTDB业务数据 恢复Kafka元数据 父主题： 备份恢复MRS集群数据

查看更多 →

参考更新客户端配置文件，在MRS控制台下载客户端配置文件，解压后： 从“MRS_Services_ClientConfig_ConfigFiles > MRS_Services_ClientConfig_ConfigFiles”路径中得到“hosts”和“Version”文件。 从“MRS_Ser

查看更多 →

参考更新客户端配置文件，在MRS控制台下载客户端配置文件，解压后： 从“MRS_Services_ClientConfig_ConfigFiles > MRS_Services_ClientConfig_ConfigFiles”路径中得到“hosts”文件。 从“MRS_Services

查看更多 →

MRS.Components 字段说明 表1 字段说明 属性 是否必选 参数类型 描述 componentName 是 string 组件名称 取值约束：MRS 2.0.0版本支持Hadoop、Spark、HBase、Hive、Tez、Hue、Loader、Flume、Kafka和Storm组件。MRS

查看更多 →

Manager页面执行滚动重启HBase服务和Hue服务。具体操作请参考重启MRS集群组件。 图1 HBase服务和Hue服务状态 新增弹性公网IP访问MRS Manager功能，弹性公网IP使用及注意事项说明参考访问MRS集群Manager。 普通集群（Kerberos关闭）增加了登录MRS Manage

查看更多 →

用户组拥有Kafka管理员权限）。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit MRS集群用户 例如：kinit admin 进入“客户端安装目录/Kafka/kafka/bin”执行Kafka shell命令。 常用的命令如下： 查看当前集群Topic列表。

查看更多 →

准备连接Kafka集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，用于验证应用程序运行。 场景一：准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager，选择“集群 > 概览 > 更多 > 下载客户端”（MRS

查看更多 →

Kafka集群部署 服务信息如下： 表1 服务信息3 服务名 服务器 安装目录 端口 zookeeper 10.190.x.x 10.190.x.x 10.190.x.x /app/zookeeper 2181、2888、3888 kafka /app/kafka 9092 安装JDK8

查看更多 →

${BIGDATA_DATA_HOME}/kafka/data1/kafka-logs,${BIGDATA_DATA_HOME}/kafka/data2/kafka-logs”。 单击“保存”，并单击“确定”。界面提示“操作成功”，单击“完成”。 选择“集群 > 服务 > Kafka ，右上角选择“更多

查看更多 →

${BIGDATA_DATA_HOME}/kafka/data1/kafka-logs,${BIGDATA_DATA_HOME}/kafka/data2/kafka-logs”。 单击“保存”，并单击“确定”。界面提示“操作成功”，单击“完成”。 选择“集群 > 服务 > Kafka”，右上角选择“更多

查看更多 →

管理Kafka Topic中的消息 操作场景 用户可以根据业务需要，使用MRS集群客户端，在Kafka主题中产生消息，或消费消息。 前提条件 已安装集群客户端。 启用Kerberos认证的集群，需要提前在Manager中创建业务用户，用户拥有在Kafka主题中执行相应操作的权限。

查看更多 →

配置Doris目的端参数 配置HBase 目的端参数 配置MongoDB目的端参数 配置MRS Kafka目的端参数 配置GBase目的端参数 配置Redis目的端参数 配置HDFS目的端参数 父主题： 数据集成（离线作业）

查看更多 →

Spark连接Kafka认证错误 问题现象 MRS 2.1.0版本集群中Spark消费kafka数据，过一天以后就会出现认证失败的报错： 原因分析 集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS

查看更多 →