数据迁移到 MRS 前信息收集 由于离线大数据搬迁有一定的灵活性，迁移前需要掌握现有集群的详细信息，以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图（包括峰值和均值流量等）。 识别平台数据接入源、大数据平台数据流入方式（实时数据上报、批量数据抽取）、分析平台数据流向。

查看更多 →

如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户，然后在创建MRS数据连接时，“用户名”和“密码”填写为新建的MRS用户及其密码。 说明： 如果 CDM 集群为2.9

查看更多 →

rdKafka（DMS/DRS）同步数据到Hudi。 前提条件 MRS集群已安装CDL组件，并且正常运行。 CDL数据同步任务使用到Kafka组件。 操作步骤 登录 FusionInsight Manager，选择“集群 > 服务 > Kafka > 配置 > 全部配置”。 在右上

查看更多 →

由浅入深，带您玩转MRS 01 了解 了解华为云MRS服务的产品优势和应用场景，有助于您更准确地匹配实际业务，更快速地选择所需的组件，帮助您构建海量数据信息处理分析的一站式企业级大数据集群。 产品介绍 什么是MRS MRS应用场景 MRS各版本组件一览表 MRS使用限制 集群组件介绍 产品功能

查看更多 →

获取MRS集群信息 MRS服务支持的组件 MRS 3.2.0-LTS.1支持的组件信息如下： 分析集群包含的组件有：Hadoop,Spark2x,HBase,Hive,Hue,Loader,Flink,Oozie,ZooKeeper,HetuEngine,Ranger,Tez,Guardian

查看更多 →

和Storm组件。MRS 1.8.3版本支持Presto、Hadoop、Spark、HBase、Hive、Hue、Loader、Flume、Kafka、KafkaManager和Storm组件。MRS 1.8.3以前版本支持Hadoop、Spark、HBase、Hive、Hue、

查看更多 →

应用服务密钥将响应消息进行加密处理。 应用客户端收到ST响应消息后，将ST打包到发给应用服务的消息里面传输给对应的应用服务端（Application Server）。 应用服务端收到请求后，使用本端应用服务对应的密钥解析其中的ST，并校验成功后，本次请求合法通过。 安全认证基本概念

查看更多 →

HDFS组件 Hive组件 Hue组件 Hudi组件 IoTDB组件 Impala组件 Kafka组件 KafkaManager组件 Kudu组件 Loader组件 MapReduce组件 Oozie组件 Opentsdb组件 Presto组件 Ranger组件 Spark组件 Storm组件

查看更多 →

Kafka与其他组件的关系 Kafka作为一个消息发布-订阅系统，为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。 Kafka可以实时接受来自外部的消息，并提供给在线以及离线业务进行处理。 Kafka与其他组件的具体的关系如下图所示： 图1 与其他组件关系 父主题：

查看更多 →

如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户，然后在创建MRS数据连接时，“用户名”和“密码”填写为新建的MRS用户及其密码。 说明： 如果CDM集群为2.9

查看更多 →

组件配置类 MRS是否支持Hive on Kudu？ MRS集群是否支持Hive on Spark？ 如何修改DBService的IP地址？ Kafka支持的访问协议类型有哪些？ MRS集群中Spark任务支持哪些Python版本？ MRS 2.1.0版本集群对Storm日志的大小有什么限制？

查看更多 →

快速购买Kafka流式集群 本章节为您介绍如何快速购买一个Kafka流式集群，Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。 Kafka流式集群包含如下组件： MRS

查看更多 →

MRS各组件样例工程汇总 样例工程获取地址参见获取MRS应用开发样例工程，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用，当前版本各组件提供的样例工程汇总参见表1。 表1

查看更多 →

Kafka样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Kafka相关样例工程：

查看更多 →

Kafka样例工程简介 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Kafka相关样例工程：

查看更多 →

Kafka样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Kafka相关样例工程：

查看更多 →

。 开发一个Kafka Streams完成单词统计功能，通过读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topic消费数据，将统计结果以Key-Value的形式输出。 创建MRS集群 购买一个包含有Kafka组件的MRS集群，详情请参见购买自定义集群。 本文以购买的MRS

查看更多 →

Kafka样例工程简介 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Kafka相关样例工程：

查看更多 →

使用率达到上限（例如：数据量非常大的Topic的Partition数目小于配置的磁盘个数，导致各磁盘上数据分配无法均匀，进而部分磁盘达到使用率上限）。 如果不清楚哪些Topic业务数据量较大，可以根据2中获取到的主机节点信息，登录到实例节点上，进入对应的数据目录（即6中“log.

查看更多 →

查看Kafka Topic信息 操作场景 用户可以在Manager或KafkaUI上查看Kafka已创建的主题信息。 在Manager查看Kafka Topic信息 进入Kafka服务页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Kafka”。

查看更多 →

MRS组件jar包版本与集群对应关系说明 MRS 3.1.5 表1 MRS 3.1.5版本集群jar版本 组件 组件版本 jar版本 Flink 1.12.2 1.12.2-hw-ei-315008 Hive 3.1.0 3.1.0-hw-ei- 315008 Tez 0.9.2

查看更多 →