# MapReduce服务 MRS

> 企业级大数据集群云服务

## 开发指南（LTS版）

- [MRS组件应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_010000.md): MRS是企业级大数据存储、查询、分析的统一平台，能够帮助企业快速构建海量数据信息处理系统，通过对海量信息数据的分析挖掘，发现全新价值点和企业商机。MRS提供了各组件的常见业务场景样例程序，开发者用户可基于样例工程进行相关数据应用的开发与编译，样例工程依赖的jar包直接通过华为云开源镜像站下载，其他社区开源jar包可从各Maven公共仓库下
- [HBase访问多ZooKeeper场景安全认证](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_010001.md): 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper时，为了避免访问连接ZooKeeper认证冲突，提供了样例代码使HBase客户端访问FusionInsight ZooKeeper和客户应用访问第三方ZooKeeper。以下为“src/main/resources”目录下提供的与认证相关
- [获取MRS应用开发样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_010002.md): MRS样例工程构建流程包括三个主要步骤：下载样例工程的Maven工程源码和配置文件，请参见获取MRS样例工程。配置华为镜像站中SDK的Maven镜像仓库，请参见配置华为开源镜像仓。根据用户自身需求，构建完整的Maven工程并进行编译开发。MRS样例工程下载地址为https://github.com/huaweicloud/huaweicl
- [HBase](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_010005.md): 使用MRS集群内的ZooKeeper包“zookeeper*.jar”。使用exclusions排除掉hbase-client里面的zookeeper。
- [HDFS](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_010006.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [Kafka](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_010007.md): Kafka不建议使用开源版本的包。
- [Spark](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_010008.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [MRS组件jar包版本与集群对应关系说明](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_010009.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [MRS组件应用安全认证说明](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_020001.md): 开启了Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。应用客户端（Ap
- [准备MRS应用开发用户](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_020002.md): 开发用户用于运行样例工程。进行不同服务的组件开发时，需要赋予不同的用户权限。填写角色的名称，例如developrole，单击“确定”保存角色。参考如何判断某个服务是否使用了Ranger鉴权，确认服务是否启用了Ranger鉴权？是，执行3。否，编辑角色，根据服务的权限控制类别添加业务开发时需要的权限，参见表1。权限列表服务所需添加权限HDF
- [Flink应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050002.md): Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。Flink技术栈如图1所示。Flink
- [Flink应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050004.md): Flink开发流程参考如下步骤：
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果使用Linux环境调测程序，需在准备安装集群客户端的Linux节点并获取相关配置文件。在节点中安装客户端，例如客户端安装目录为“/opt/hadoopclient”。客户端安装可参考配置Flink应用安全认证
- [导入并配置Flink样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050008.md): Flink针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Flink工程。针对Java和Scala不同语言的工程，其导入方式相同。以下操作步骤以导入Java样例代码为例。操作流程如图1所示。在安全模式下，获取“src\flink-examples”下的样例工程flink-examples-securi
- [配置Flink应用安全认证](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050010.md): 在安全集群环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。用户在提交Flink应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交Flink的应用程序中需要设置安全认证，确保Flink程序能够正常运行。当前Flink系统支持认证和加密传输，要使用认证和加密传输，用户需要安装Flin
- [Flink DataStream样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050013.md): 假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能：DataStream应用程序可以在Windows环境和Linux环境中运行。实时统计总计网购时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符
- [Flink DataStream样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050014.md): 统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.flink.examples.FlinkStreamJavaExample：执行之后打印结果如下所示：执行如图1所示。
- [Flink DataStream样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050015.md): 实时统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印出来。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.flink.examples.FlinkStreamScalaExample：执行之后打印结果如下所示：执行如图1所示。
- [Flink Kafka样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050017.md): 假定某个Flink业务每秒就会收到1个消息记录。基于某些业务要求，开发的Flink应用程序实现功能：实时输出带有前缀的消息内容。Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。确保集群安装完成，包括HDFS、Yarn、Flink和Kafka。创建Topic。
- [Flink Kafka样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050018.md): 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar，该jar包可在Kafka的客户端目录下获取。下面列出producer和consumer主要逻辑代码作为演示。完整代码参见c
- [Flink Kafka样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050019.md): 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar，该jar包可在kafka客户端目录下获取。下面列出producer和consumer主要逻辑代码作为演示。完整代码参见co
- [Flink开启Checkpoint样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050021.md): 假定用户需要每隔1秒钟统计4秒钟窗口中数据的量，并做到状态严格一致性，即：当应用出现异常并恢复后，各个算子的状态能够处于统一的状态。使用自定义算子每秒钟产生大约10000条数据。产生的数据为一个四元组（Long，String，String，Integer）。数据经统计后，统计结果打印到终端输出。打印输出的结果为Long类型的数据。sour
- [Flink开启Checkpoint样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050022.md): 假定用户需要每隔1秒钟统计4秒钟窗口中数据的量，并做到状态严格一致性。快照数据该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。import java.io.Serializale;

// 该类作为快照的一部分，保存用户自定义状态
public class UDFState implements Serializable {

- [Flink开启Checkpoint样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050023.md): 假定用户需要每隔1秒钟统计4秒钟窗口中数据的量，并做到状态严格一致性。发送数据形式case class SEvent(id: Long, name: String, info: String, count: Int)快照数据该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。// 用户自定义状态
class UDFState ex
- [Flink Job Pipeline样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050026.md): 本章节适用于MRS 3.6.0-LTS.1之前版本。下面列出的主要逻辑代码作为演示。完整代码请参阅：com.huawei.bigdata.flink.examples.UserSource。com.huawei.bigdata.flink.examples.TestPipeline_NettySink。com.huawei.bigdata
- [Flink Job Pipeline样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050027.md): 本章节适用于MRS 3.6.0-LTS.1之前版本。下面列出的主要逻辑代码作为演示。完整代码请参阅：com.huawei.bigdata.flink.examples.UserSource。com.huawei.bigdata.flink.examples.TestPipeline_NettySink。com.huawei.bigdata
- [Flink Join样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050033.md): 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。基于某些业务要求，开发的Flink应用程序实现功能：实时地以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询。业务1的数据存储在Kafka
- [Flink Join样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050034.md): 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar，该jar包可在Kafka客户端目录下获取。下面列出producer和consumer，以及Flink Stream SQL
- [编译并调测Flink应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050036.md): 在程序代码完成开发后，编译jar包并上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是相同的。基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。编译方式有以下两种：方法一：选择“Maven > 样例工程名称 > Lifecycle
- [查看Flink应用调测结果](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050037.md): Flink应用程序运行完成后，您可以查看运行结果数据，也可以通过Flink WebUI查看应用程序运行情况。查看Flink应用运行结果数据。当用户查看执行结果时，需要在Flink的web页面上查看Task Manager的Stdout日志。当执行结果输出到文件或者其他，由Flink应用程序指定，您可以通过指定文件或其他获取到运行结果数据。
- [Flink Java API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050040.md): 由于Flink开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Flink主要使用到如下这几个类：StreamExecutionEnvironment：是Flink流处理的基础，提供了程序的执行环境。DataStream：Flink用类DataStream来表示程序中的流式数据。用户可以认为它们是含有重复数据
- [Flink Scala API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050041.md): 由于Flink开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Flink主要使用到如下这几个类：StreamExecutionEnvironment：是Flink流处理的基础，提供了程序的执行环境。DataStream：Flink用特别的类DataStream来表示程序中的流式数据。用户可以认为它们是含有重
- [Flink REST API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050042.md): Flink具有可用于查询正在运行的作业的状态和统计信息以及最近完成作业的监视API。该监视API由Flink自己的WEB UI使用。监视API是REST API，可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问Web服务器的一套API。当前在Flink中，Web服务器是JobManager的一个模块，和JobM
- [Flink Savepoints CLI介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050043.md): Savepoints在持久化存储中保存某个checkpoint，以便用户可以暂停自己的应用进行升级，并将状态设置为savepoint的状态，并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照，并将快照的元数据（meta-data）写入到一个额外的持久化文件系统中。如果需要使用savepoints的功能，强烈推荐用
- [Flink Client CLI介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050044.md): Flink常用的CLI如下所示：yarn-session.sh可以使用yarn-session.sh启动一个常驻的Flink集群，接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下：bin/yarn-session.shyarn-session.sh的其他参数可以通过以下命令获取：bin/yarn-
- [如何处理用户在使用chrome浏览器时无法显示任务状态的title](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050047.md): 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析，用户将鼠标置于Tasks的彩色小方框上，无法显示彩色小框的title说明，如图1所示。正常的显示界面如图2所示。如果用户遇到chrome浏览器无法显示title，步骤如下：请检查本机是否同时运行会影响chrome浏览器冒泡提示的
- [如何处理IE10/11页面算子的文字部分显示异常](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050048.md): 如何处理IE10/11页面显示异常，每个算子的文字部分没有显示出来的问题？如图1所示，Overview显示为空白。Flink中用了foreignObject元素来代理绘制svg矢量图，但是IE 10/11不支持foreignObject导致算子显示异常。推荐使用chrome浏览器。
- [如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050049.md): 如何处理checkpoint设置RocksDBStateBackend方式，且当数据量大时，执行checkpoint会很慢的问题？由于窗口使用自定义窗口，这时窗口的状态使用ListState，且同一个key值下，value的值非常多，每次新的value值到来都要使用RocksDB的merge()操作；触发计算时需要将该key值下所有的va
- [如何处理blob.storage.directory配置/home目录时启动yarn-session失败](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050050.md): 当用户设置blob.storage.directory为“/home”时，用户没有权限在“/home”下创建blobStore-UUID的文件，导致yarn-session启动失败。修改Flink客户端配置文件conf/flink-conf.yaml，配置blob.storage.directory: /home/testdir/test
- [如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050051.md): Flink内核升级到1.3.0之后，当Kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProducer010去构造函数时，运行时会报错。报错内容如下：Flink的1.3.0版本，为了兼容原有那些使用KafkaPartitioner的API接口，如FlinkKafkaProducer010
- [如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050052.md): 创建一个新的Flink用户，提交任务，ZooKeeper目录无权限导致提交Flink任务失败，日志中报如下错误：首先查看ZooKeeper中/flink_base的目录权限是否为：'world,'anyone: cdrwa；如果不是，请修改/flink_base的目录权限为：'world,'anyone: cdrwa，然后继续根据步骤二排
- [如何处理无法直接通过URL访问Flink Web](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050053.md): 无法通过http://JobManager IP:JobManager的端口访问Web页面。由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过修改客户端的配置文件“conf/flink-conf.yaml”来解决问题。确认配置项“jobmanager.web.ssl.enabled”的值是否是“false”，若不是，请
- [如何查看System.out.println打印的调试信息或将调试信息输出至指定文件](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050054.md): Flink业务代码中添加了System.out.println调试信息打印，该如何查看此调试日志？避免与运行日志混在一起打印，如何将业务日志单独输出至指定文件？Flink所有的运行日志打印都会打印至Yarn的本地目录下，默认所有Log都会输出至Yarn container本地目录下taskmanager.log，所有调用System.ou
- [如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050055.md): Flink任务配置State Backend为RocksDB时，运行报如下错误：运行的系统和编译环境所在的系统版本不同，造成GLIBC的版本不兼容。使用strings /lib64/libpthread.so.0 | grep GLIBC命令查看GLIBC是否版本低于2.12。如果GLIBC版本太低，则需要使用含有较高版本的（此处为2.1
- [FlinkServer REST API样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050057.md): 本样例调用FlinkServer的RestAPI创建租户。准备用户认证文件：登录Manager下载用户凭证，获取“user.keytab”和“krb5.conf”文件。准备待创建的租户信息，如“tenantId”为“92”，“tenantName”为“test92”，“remark”为“test tenant remark1”。如果是在W
- [FlinkServer REST API样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050058.md): 通过调用FlinkServer RestAPI创建租户。具体代码参见com.huawei.bigdata.flink.examples.TestCreateTenants。
- [Flink HBase样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050060.md): 本章节适用于MRS 3.2.0及以后版本。本样例介绍通过Flink API作业读写HBase数据。准备HBase配置文件，通过Manager下载集群配置，获取“hbase-site.xml”文件。写HBase：通过参数指定“hbase-site.xml”文件的父目录，Flink Sink可以获取到HBase的Connection。通过Co
- [Flink HBase样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050061.md): 通过调用Flink API读写HBase数据。下面列出WriteHBase和ReadHBase主要逻辑代码作为演示。完整代码参见com.huawei.bigdata.flink.examples.WriteHBase和com.huawei.bigdata.flink.examples.ReadHBase。WriteHBase主要逻辑代码p
- [Flink Hudi样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050063.md): 本章节适用于MRS 3.3.0及以后版本。本样例中Job每秒生成1条数据，将数据写入到Hudi表中，再读取并打印Hudi表中的数据。写Hudi：通过一个随机生成数据类来生成数据。将生成的数据转化为DataStream<RowData>。将数据写入到Hudi表中。同步数据到Hive（适用于MRS 3.6.0-LTS及之后版本）。通过一个随机
- [Flink Hudi样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050064.md): 通过调用Flink API读写Hudi数据。下面列出WriteIntoHudiWithSyncHive、WriteIntoHudi和ReadFromHudi主要逻辑代码作为演示。完整代码参见com.huawei.bigdata.flink.examples.WriteIntoHudiWithSyncHive、com.huawei.bigd
- [Flink Jar作业提交SQL样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050066.md): 当作业的SQL语句修改频繁时，可使用Flink Jar的方式提交Flink SQL语句，以减少用户工作量。本场景适用于MRS 3.2.1及以后版本。使用当前样例提交并执行指定的SQL语句，多个语句之间使用分号分隔。
- [Flink Jar作业提交SQL样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050067.md): 提交SQL的核心逻辑如下，目前只支持提交CREATE和INSERT语句。完整代码参见com.huawei.bigdata.flink.examples.FlinkSQLExecutor。需将当前样例需要的依赖包，即编译之后lib文件下面的jar包复制到客户端的lib文件夹内。以对接普通模式Kafka提交SQL为例：
- [使用代理用户访问FlinkServer REST API样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050068.md): 通过代理用户调用FlinkServer RestAPI。以FlinkServer管理员权限的用户访问API来获取普通用户权限。本章节适用于MRS 3.3.0及以后版本。以租户用户为“test92”，租户ID为“92”，获取具有FlinkServer管理员权限的用户名为“flinkserveradmin”的代理访问API为例，以下代码为完整
- [PyFlink样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050071.md): 假定业务平台需要提交Flink任务到MRS集群，业务平台主要使用的语言是Python，提供Python读写Kafka作业和Python提交SQL作业的样例。本场景适用于MRS 3.3.0及以后的集群版本。
- [PyFlink样例程序代码说明](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050072.md): 下面列出pyflink-kafka.py的主要逻辑代码作为演示，在提交之前需要确保“file_path” 为要运行的SQL的路径。完整代码参见“flink-examples/pyflink-example/pyflink-kafka”中的“pyflink-kafka.py”。import os
import logging
import 
- [使用Python提交Flink普通作业](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050073.md): yarn-application模式：将上述文件和“flink-connector-kafka-实际版本号.jar”包上传到“客户端安装目录/Flink/flink/yarnship”。yarn-application模式：修改为：file://"+os.getcwd()+"/../../../../yarnship/flink-conn
- [使用Python提交Flink SQL作业](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050077.md): yarn-application模式：将上述文件上传到“客户端安装目录/Flink/flink/yarnship”。yarn-session模式：将上述文件上传到“客户端安装目录/Flink/flink/conf/ssl”。yarn-application模式：修改为os.getcwd() + "/../../../../yarnship
- [导入并配置Flink SpringBoot样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050078.md): 该章节内容适用于MRS 3.3.0及之后版本。为了运行FusionInsight MRS产品Flink组件的SpringBoot接口样例代码，需要完成下面的操作。当前支持GaussDB（DWS）样例工程。该章节以在Linux环境下开发GaussDB（DWS） SpringBoot方式连接Flink服务的应用程序为例。执行GaussDB（D
- [调测Flink SpringBoot样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050079.md): 该章节内容适用于MRS 3.3.0及之后版本。当输出“BUILD SUCCESS”，表示编译成功，如下图所示。编译成功后将会在样例工程的target下生成含有“flink-dws-sink-example-1.0.0-SNAPSHOT”字段的Jar包。yarn-session.sh -t ssl/ -nm "session-spring1
- [Flink Join样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050080.md): 本章节适用于MRS 3.3.0及以后版本。在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar，该jar包可在Kafka客户端目录下获取。下面列出producer和consum
- [场景说明](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050084.md): 本样例中将Iceberg源表数据写入到Iceberg目标表中。读取Iceberg源表数据DataStream<RowData> 。将获取的数据写入Iceberg目标表中。
- [场景说明](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050084_0.md): 本样例中将Iceberg源表数据写入到Iceberg目标表中。读取Iceberg源表数据DataStream<RowData> 。将获取的数据写入Iceberg目标表中。
- [Java样例代码](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050085.md): 通过调用Flink API读写Iceberg数据。下面列出ReadFromIcebergToIceberg主要逻辑代码作为演示。完整代码参见com.huawei.bigdata.flink.examples.ReadFromIcebergToIceberg。ReadFromIcebergToIceberg主要逻辑代码：public cla
- [Java样例代码](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_050085_0.md): 通过调用Flink API读写Iceberg数据。下面列出ReadFromIcebergToIceberg主要逻辑代码作为演示。完整代码参见com.huawei.bigdata.flink.examples.ReadFromIcebergToIceberg。ReadFromIcebergToIceberg主要逻辑代码：public cla
- [HBase应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080002.md): HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。HBase使用场景有如下几个特点：处理海量数据（TB或PB级别以上）。具有高吞吐量。在海量数据中实现高效的随机读取。具有很好的伸缩能力。能够同时处理结构化和非结构化的数据。不需要完全拥有传统关系型数据库所具备
- [HBase应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080004.md): 本文档主要基于Java API对HBase进行应用开发。开发流程中各阶段的说明如图1和表1所示。
- [准备HBase应用开发和运行环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080006.md): 在进行二次开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调测程序所需的集群配置文件及配置网络连通后，然后直接在Windows中进行程序调测。下载并解压客户端软件包。MRS 3.3.0
- [导入并配置HBase样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080007.md): 获取HBase开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。确保本地PC的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。打开IntelliJ IDEA，选择“Configure”。Quick Start在下拉框中选择“
- [HBase数据读写示例安全认证（单集群场景）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080009.md): 在安全集群环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。HBase应用开发需要进行ZooKeeper和Kerberos安全认证。用于ZooKeeper认证的文件为jaas.conf，用于Kerberos安全认证文件为keytab文件和krb5.conf文件。具体使用方法在样例代码的“RE
- [HBase数据读写样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080011.md): 假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，如表1所示，A业务操作流程如下：创建用户信息表。在用户信息中新增用户的学历、职称等信息。根据用户编号查询用户姓名和地址。根据用户姓名进行查询。查询年龄段在[20-29]之间的用户信息。数据统计，统计用户信息表的人员数、年龄最大值、年龄最小值、平均年龄。用户销户，删除用户信息表
- [配置HBase应用输出日志](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080014.md): 将HBase客户端的日志单独输出到指定日志文件，与业务日志分开，方便分析定位HBase的问题。如果进程中已经有log4j的配置，需要将hbase-example\src\main\resources\log4j.properties中RFA与RFAS相关的配置复制到已有的log4j配置中。以下为代码示例：
- [初始化HBase配置](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080015.md): HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。MRS 3.3.0-LTS之前版本：下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。private static void init() throws IOException {
 
- [创建HBase客户端连接](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080016.md): HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类
- [创建HBase表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080017.md): HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表，并指定表名、列族名。创建表有两种方式（强烈建议采用预分Region建表方式）：快速建表，即创建表后整张表只有一个Region，随着数据量的增加会自动分裂成多个Region。预分Region建表，即创建表时预先分配
- [删除HBase表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080018.md): HBase通过org.apache.hadoop.hbase.client.Admin的deleteTable方法来删除表。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的dropTable方法中。注[1] 只有表被disable时，才能被删除掉，所以deleteTable
- [修改HBase表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080019.md): HBase通过org.apache.hadoop.hbase.client.Admin的modifyTable方法修改表信息。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testModifyTable方法中。注[1] modifyTable只有表被disable时，才能
- [向HBase表中插入数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080020.md): HBase是一个面向列的数据库，一行数据，可能对应多个列族，而一个列族又可以对应多个列。通常，写入数据的时候，需要指定要写入的列（含列族名称和列名称）。HBase通过HTable的put方法来Put数据，可以是一行数据也可以是数据集。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSampl
- [删除HBase表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080021.md): HBase通过Table实例的delete方法来Delete数据，可以是一行数据也可以是数据集。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中。如果被删除的cell所在的列族上设置了二级索引，也会同步删除索引数据。
- [使用Get API读取HBase表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080022.md): 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testG
- [使用Scan API读取HBase表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080023.md): 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中，每行数据以Result对象形式存储，Result中存储了多个Cell。以下代码片段在com.hua
- [使用Filter过滤器读取HBase表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080024.md): HBase Filter主要在Scan和Get过程中进行数据过滤，通过设置一些过滤条件来实现，如设置RowKey、列名或者列值的过滤条件。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testSingleColumnValueFilter方法中。当前二级索引不支持使用Su
- [创建HBase表二级索引](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080025.md): 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理，该类中提供了创建索引的方法。二级索引不支持修改，如果需要修改，请先删除旧的然后重新创建。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSamp
- [删除HBase二级索引](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080026.md): 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理，该类中提供了索引的查询和删除等方法。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的dropIndex方法中。
- [基于二级索引查询HBase表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080027.md): 针对添加了二级索引的用户表，您可以通过Filter来查询数据。其数据查询性能高于针对无二级索引用户表的数据查询。HIndex支持的Filter类型为“SingleColumnValueFilter”，“SingleColumnValueExcludeFilter”以及“SingleColumnValuePartitionFilter”。H
- [创建HBase表Region](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080030.md): 一般通过org.apache.hadoop.hbase.client.HBaseAdmin进行多点分割。注意：分割操作只对空Region起作用。本例使用multiSplit进行多点分割将HBase表按照“-∞~A”、“A~D”、“D~F”、“F~H”、“H~+∞”分为五个Region。以下代码片段在com.huawei.bigdata.h
- [创建Phoenix表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080036.md): Phoenix依赖HBase作为其后备存储，支持标准SQL和JDBC API的强大功能，使得SQL用户可以访问HBase集群。以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testCreateTable方法中。
- [向Phoenix表中插入数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080037.md): 使用Phoenix实现写数据。以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。
- [读取Phoenix表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080038.md): 使用Phoenix实现读数据。以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。
- [HBase访问多个ZooKeeper样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080039.md): 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper，其中HBase客户端访问FusionInsight ZooKeeper，客户应用访问第三方ZooKeeper。以下代码片段在“hbase-zk-example\src\main\java\com\huawei\hadoop\hbase\
- [在本地Windows环境中调测HBase应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080042.md): 在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。需要在运行样例代码的本机hosts文件中设置访问节点的主机名和IP地址映射，主机名和IP地址请保持一一对应。放置好配置文件，并
- [在Linux环境中调测HBase应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080045.md): HBase应用程序支持在已安装或未安装HBase客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。MRS 3.6.0-LTS及之后版本的HBase客户端仅支持JDK 17和JDK 8，如果需要在Linux中调测JDK 21版本的程序，仅支持非客户端运行方式，具体操作请参见未安装客户端
- [Phoenix SQL查询样例介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080049.md): Phoenix是构建在HBase之上的一个SQL中间层，提供一个客户端可嵌入的JDBC驱动，Phoenix查询引擎将SQL输入转换为一个或多个HBase scan，编译并执行扫描任务以产生一个标准的JDBC结果集。客户端hbase-example/conf/hbase-site.xml中配置存放查询中间结果的临时目录，如果客户端程序在Li
- [HBase Shell接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080054.md): 您可以使用Shell在服务端直接对HBase进行操作。HBase的Shell接口同开源社区版本保持一致，请参见https://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/Shell命令执行方法：进入HBase客户端任意目录，执行以下命令。hbase shell进入HBa
- [HBase Java API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080055.md): 建议使用org.apache.hadoop.hbase.Cell作为KV数据对象，而不是org.apache.hadoop.hbase.KeyValue。建议使用Connection connection = ConnectionFactory.createConnection(conf)来创建连接，废弃HTablePool。建议使用or
- [Sqlline接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080056.md): 用户可以直接使用sqlline.py在服务端对HBase进行SQL操作。Phoenix的sqlline接口与开源社区保持一致。详情请参见https://phoenix.apache.org/。此版本不包含开源社区中Phoenix二级索引特性。
- [HBase JDBC API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080057.md): Phoenix实现了大部分的java.sql接口，SQL语法紧跟ANSI SQL标准。其支持处理函数可参见：https://phoenix.apache.org/docs/functions其支持语法可参见：https://phoenix.apache.org/docs/features/secondary-indexes
- [HBase Web UI接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080058.md): Web UI展示了HBase集群的状态，其中包括整个集群概况信息、RegionServer和Master的信息、快照、运行进程等信息。通过Web UI提供的信息可以对整个HBase集群的状况有一定的了解。请联系管理员获取具有访问Web UI权限的业务账号及其密码。登录FusionInsight Manager页面。选择“集群 > 待操作集
- [运行HBase应用开发程序产生ServerRpcControllerFactory异常如何处理](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080060.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [BulkLoad和Put应用场景有哪些](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080061.md): HBase支持使用bulkload和put方式加载数据，在大部分场景下bulkload提供了更快的数据加载速度，但bulkload并不是没有缺点的，在使用时需要关注bulkload和put适合在哪些场景使用。bulkload是通过启动MapReduce任务直接生成HFile文件，再将HFile文件注册到HBase，因此错误地使用bulkl
- [HBase服务数据读写示例安全认证（多集群互信场景）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080062.md): 当不同的多个Manager系统下安全模式的集群需要互相访问对方的资源时，管理员可以设置互信的系统，使外部系统的用户可以在本系统中使用。每个系统用户安全使用的范围定义为“域”，不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。集群配置互信具体操作步骤请参考集群互信管理章节。多集群互信场景下，以符合跨域访
- [调用REST接口访问HBase应用安全认证](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080063.md): HBase服务安装时可选部署RESTServer实例，可通过访问HBase REST服务的形式调用HBase相关操作，包括对Namespace、table的操作等。访问HBase REST服务同样需要进行Kerberos认证。该场景下不需要进行初始化配置，仅需要用于Kerberos安全认证的keytab文件和krb5.conf文件。具体使
- [访问HBase ThriftServer认证](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080064.md): HBase把Thrift结合起来可以向外部应用提供HBase服务。在HBase服务安装时可选部署ThriftServer实例，ThriftServer系统可访问HBase的用户，拥有HBase所有NameSpace和表的读、写、执行、创建和管理的权限。访问ThriftServer服务同样需要进行Kerberos认证。HBase实现了两套T
- [使用REST接口查询HBase集群信息](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080065.md): 使用REST服务，传入对应host与port组成的url，通过HTTPS协议，获取集群版本与状态信息。获取集群版本信息以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“HBaseRestTest”类的getClusterVersion方
- [使用REST接口获取所有HBase表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080066.md): 使用REST服务，传入对应host与port组成的URL，通过HTTPS协议，获取得到所有table。以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“HBaseRestTest”类的getAllUserTables方法中。privat
- [使用REST接口操作Namespace](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080067.md): 使用REST服务，传入对应host与port组成的url以及指定的Namespace，通过HTTPS协议，对Namespace进行创建、查询、删除，获取指定Namespace中表的操作。HBase表以“命名空间:表名”格式进行存储，若在创建表时不指定命名空间，则默认存储在“default”中。其中，“hbase”命名空间为系统表命名空间，
- [使用REST接口操作HBase表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080068.md): 使用REST服务，传入对应host与port组成的url以及指定的tableName和jsonHTD，通过HTTPS协议，进行查询表信息，修改表，创建表以及删除表的操作。方法调用// Add a table with specified info.
createTable(url, "testRest",
     "{\"name\":
- [通过ThriftServer实例操作HBase表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080069.md): 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，进行根据指定namespace获取tablename以及创建表、删除表的操作。方法调用// Get table of specified namespace. 
getTableNamesByNam
- [通过ThriftServer实例向HBase表中写入数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080070.md): 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，分别使用put和putMultiple进行写数据操作。方法调用// Write data with put.
putData(client, TABLE_NAME);

// Write data 
- [通过ThriftServer实例读HBase表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080071.md): 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，分别使用get和scan进行读数据操作。方法调用// Get data with single get.
getData(client, TABLE_NAME);

// Get data with
- [如何配置HBase双读功能](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080072.md): HBase客户端应用通过自定义加载主备集群配置项，实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性，适用于使用Get读取数据、使用批量Get读取数据、使用Scan读取数据，以及基于二级索引查询。它能够同时读取主备集群数据，减少查询毛刺，具体表现为：高成功率：双并发读机制，保证每一次读请求的成功率。可用性：单集
- [Phoenix命令行操作介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080073.md): Phoenix支持SQL的方式来操作HBase，以下简单介绍使用SQL语句建表/插入数据/查询数据/删表等操作。已安装HBase客户端，例如安装目录为“/opt/client”。以下操作的客户端目录只是举例，请根据实际安装目录修改。在使用客户端前，需要先下载并更新客户端配置文件，确认Manager的主管理节点后才能使用客户端。进入HBas
- [install编译构建HBase Jar包失败报错Could not transfer artifact如何处理](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080074.md): 样例代码在进行maven编译构建jar包时，Build Failed，提示错误信息：Could not transfer artifact org.apache.commons:commons-crypto:pom:${commons-crypto.version}hbase-common模块依赖commons-crypto，在hbase
- [调用SpringBoot接口访问HBase/Phoenix应用安全认证](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080079.md): 为了运行MRS产品HBase/Phoenix组件的SpringBoot接口样例代码，需要完成下面的操作。该章节内容适用于MRS 3.3.0及之后版本。已获取样例工程运行所需的配置文件及认证文件，详细操作请参见准备HBase应用开发和运行环境。
- [HBase全局二级索引样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080087.md): HBase支持使用全局二级索引加速条件查询，通过本样例，您可以了解如何管理及使用全局二级索引。该样例程序仅适用于MRS 3.3.0及之后版本。假定用户开发一个应用程序，其中一个功能需要记录用户信息及地址，记录数据如下表：合理地设计表结构、行键、列名能充分利用HBase的优势。全局二级索引应用于scan条件查询场景，查询均由索引表完成，无需
- [创建HBase全局二级索引](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080088.md): 通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理，该类中addIndices用于创建全局二级索引。全局二级索引的创建需要指定索引列、覆盖列（可选）、索引表预分区（可选，建议指定）。在已有存量数据的表上创建全局二级索引，需要创建索
- [查询HBase全局二级索引信息](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080089.md): 通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理，该类中listIndices用于查询索引信息，可以获取当前用户表所有相关索引的定义及索引状态。以下代码片段在com.huawei.bigdata.hbase.examples包的
- [基于全局二级索引查询HBase表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080090.md): 添加了全局二级索引的用户表，在使用索引条件进行查询时，可以转换为对索引表的范围查询，性能高于针对无二级索引用户表的数据查询。以下代码片段在com.huawei.bigdata.hbase.examples包的“GlobalSecondaryIndexSample”类中。本样例用于查询指定id对应的id、age、name信息，并命中idx_
- [禁用HBase全局二级索引](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080091.md): 全局二级索引的索引状态决定了索引是否有效，通过修改索引状态，可以实现索引的禁用、启用、弃用（不再生成索引数据）等功能。通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法可以完成对索引状态的修改。以下代码片段在com.huawei.bigdata.hbase.ex
- [删除HBase全局二级索引](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_080092.md): 通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理，该类中dropIndices用于删除索引。以下代码片段在com.huawei.bigdata.hbase.examples包的“GlobalSecondaryIndexSampl
- [HDFS应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090002.md): HDFS（Hadoop Distributed File System）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用。HDFS适用于如下场景：处理海量数据（TB或PB级别以上）需要很高的吞吐量需要高可靠性需要很好的可扩展能力HDFS支持使用Java语言进行程序开发，具体的A
- [HDFS应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090004.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备HDFS应用开发和运行环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调测程序所需的集群配置文件及配置网络连通后，然后直接在Windows中进行程序调测。登录FusionInsight Manag
- [导入并配置HDFS样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090007.md): HDFS针对多个场景提供样例工程，帮助客户快速学习HDFS工程。以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。将准备MRS应用开发用户时得到的keytab文件“user.keytab”和krb5.conf文件放到样例工程的“conf”目录下。针对MRS 3.6.0及之后版本集群，如果需要运行SpringBoot对接HDFS样
- [配置HDFS应用安全认证](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090008.md): 访问安全集群环境中的服务，需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码，确保HDFS程序能够正常运行。安全认证有两种方式：命令行认证：提交HDFS应用程序运行前，在HDFS客户端执行如下命令进行认证。kinit 组件业务用户该方式仅适用于Linux操作系统，且安装了HDFS的客户端。提交HDFS应用程序运
- [HDFS样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090011.md): HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。本代码样例讲解顺序为：HDFS初始化创建目录写文件追加文件内容读文件删除文件删除目录多线程设置存储策略Colocation
- [初始化HDFS](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090013.md): 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为：加载HDFS服务配置文件，并进行kerberos安全认证。认证通过后，实例化Filesystem。此处kerberos安全认证需要使用到的keytab文件，请提前准备。如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples的Hdf
- [创建HDFS目录](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090014.md): 创建目录过程为：调用FileSystem实例的exists方法查看该目录是否存在。如果存在，则直接返回。如果不存在，则调用FileSystem实例的mkdirs方法创建该目录。如下是写文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [创建HDFS文件并写入内容](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090015.md): 写文件过程为：使用FileSystem实例的create方法获取写文件的输出流。使用该输出流将内容写入到HDFS的指定文件中。在写完文件后，需关闭所申请资源。如下是写文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [追加信息到HDFS指定文件](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090016.md): 追加文件内容，是指在HDFS的某个指定文件后面，追加指定的内容。过程为：使用FileSystem实例的append方法获取追加写入的输出流。使用该输出流将待追加内容添加到HDFS的指定文件后面。在完成后，需关闭所申请资源。如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExampl
- [读取HDFS指定文件内容](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090017.md): 获取HDFS上某个指定文件的内容。过程为：使用FileSystem实例的open方法获取读取文件的输入流。使用该输入流读取HDFS的指定文件的内容。在完成后，需关闭所申请资源。如下是读文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [删除HDFS指定文件](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090018.md): 删除HDFS上某个指定文件。被删除的文件会被直接删除，且无法恢复。所以，执行删除操作需谨慎。如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [删除HDFS指定目录](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090019.md): 删除HDFS上某个指定目录。被删除的目录会被直接删除，且无法恢复。所以，执行删除操作需谨慎。如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [创建HDFS多线程任务](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090020.md): 建立多线程任务，同时启动多个实例执行文件操作。如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。example.test()方法即为对文件的操作，代码如下：
- [配置HDFS存储策略](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090021.md): 为HDFS上某个文件或文件夹指定存储策略。登录MRS集群Manager。登录集群Manager具体操作，请参考访问MRS集群Manager。登录集群Manager具体操作，请参考访问MRS集群Manager。选择“集群 >服务 > HDFS > 配置 > 全部配置”。搜索并查看dfs.storage.policy.enabled的参数值是
- [配置HDFS同分布策略（Colocation）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090023.md): 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。在使用Colocation功能之前，建议用户对Colocation的内部机制有一定了
- [在本地Windows环境中调测HDFS程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090026.md): 在代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。编译并运行SpringBoot对接HDFS样例：登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到hdf
- [在Linux环境中调测HDFS应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090029.md): HDFS应用程序支持在Linux环境中运行。在程序代码完成开发后，可以上传Jar包至准备好的Linux环境中运行。HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。已安装客户端时：已安装HDFS客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主
- [HDFS Java API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090034.md): HDFS完整和详细的接口可以直接参考官方网站上的描述：https://hadoop.apache.org/docs/r3.1.1/api/index.html。HDFS常用的Java类有以下几个：FileSystem：是客户端应用的核心类。常用接口参见表1。FileStatus：记录文件和目录的状态信息。常用接口参见表2。DFSColoc
- [HDFS C API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090035.md): C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/LibHdfs.html。下面代码片段仅为演示，具体代码
- [HDFS HTTP REST API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090036.md): REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html。执行下列命令进行用户认证，这里以hd
- [HDFS Shell命令介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090037.md): 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。执行HDFS Shell的方法：进入HDFS客户端如下目录，直接输入命令即可。例如：cd /opt/client/HDFS/hadoop/bin./hdfs dfs -mkdir /tmp/input执行如下命令查询HDFS命令的帮助。./hdfs -
- [配置Windows通过EIP访问安全模式集群HDFS](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090038.md): 该章节通过指导用户配置集群绑定EIP，并配置HDFS文件的方法，方便用户可以在本地对样例文件进行编译。本章节以运行HdfsExample样例为例进行说明。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云 > 用户指南
- [HDFS样例工程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090039.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下HDFS相关样例工程：HDFS相关样例工程样例工程位置描述hdfs-example-s
- [SpringBoot对接HDFS](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_090040.md): 该章节仅适用于MRS 3.6.0及之后版本。通过SpringBoot对接HDFS集群，实现向HDFS读写数据的功能。登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“springboot > hdfs-examples”工程的src/main/resource目录。 配置文件文件名称作用core-site.xml配置HDFS
- [HetuEngine应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100002.md): HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。HSBroker： HetuEngine的服务代理，用作用户租户管理校验，HetuEngine访问URL的获取等。Coordinator：HetuEng
- [HetuEngine应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100004.md): 开发流程中各阶段的说明如图1所示：
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调测程序所需的集群配置文件及配置网络连通后，然后直接在Windows中进行程序调测。下载客户端到本地并解压。MRS 3.3.0
- [导入并配置HetuEngine样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100009.md): 客户端安装程序目录中包含了HetuEngine开发样例工程，将从工程导入样例开始学习，本文以IntelliJ IDEA 2020.1.3 (Community Edition)为例。确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过Manager页面右下角查看。打开IntelliJ IDEA，选择
- [配置HetuEngine应用安全认证](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100010.md): KeyTab文件认证，需要“jaas-zk.conf”（MRS 3.6.0-LTS之前版本）、“krb5.conf”和“user.keytab”文件。“krb5.conf”和“user.keytab”文件参考MRS组件应用安全认证说明章节获得。MRS 3.6.0-LTS之前版本，“jaas-zk.conf”文件如下定义，principal
- [HetuEngine样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100014.md): 通过典型场景，用户可以快速学习和掌握HetuEngine的开发过程，并且对关键的接口函数有所了解。假定用户开发一个应用程序，需要对Hive数据源的A表和MPPDB数据源的B表进行join运算，则可以用HetuEngine来实现Hive数据源数据查询，流程如下：连接HetuEngine JDBC Server。组装SQL语句。SQL语句执行
- [通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100016.md): 支持客户端跨网段访问。只需要确保业务侧和HetuEngine服务端HSFabric所在业务节点网络互通，且对外开放HSFabric固定的IP和端口。适用于双平面的网络场景。通过KeyTab文件认证方式连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，完成对Hive数据源的增删改查操作。上述代码中各参数说明如表1所
- [在本地Windows环境中调测HetuEngine应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100019.md): 在程序代码完成开发后，可以在Windows环境下进行编译，本地和集群业务平面网络互通时，您可以直接在本地进行调测。-Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty -Dzookeeper.client.secure=true选择“Maven > 
- [在Linux环境中调测HetuEngine应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100020.md): 在程序代码完成开发后，也可以把代码编译成jar包，上传到Linux环境进行程序功能调试。在Linux环境上调测程序前，需在Linux节点预安装客户端。jdbc驱动包可在集群客户端软件包解压路径“FusionInsight_Cluster_1_Services_ClientConfig\HetuEngine\XXX\”路径下获取“hetu-
- [通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100022.md): 需要确保业务侧和HetuEngine服务端HSBroker、Coordinator（随机分布在Yarn NodeManger）所在业务节点网络互通，且需对外开放Coordinator的IP，端口。能够触发未启动实例或是故障实例自动拉起。通过HSBroker连接方式实现，使用用户名和密码连接到HetuEngine，组装对应的SQL发送到He
- [通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100026.md): 支持客户端跨网段访问。只需要确保业务侧和HetuEngine服务端HSFabric所在业务节点网络互通，且对外开放HSFabric固定的IP和端口。适用于双平面的网络场景。通过HSFabric连接方式实现，使用用户名和密码连接到HetuEngine，组装对应的SQL发送到HetuEngine执行。上述代码中各参数说明如表1所示：
- [导入并配置HetuEngine Python3样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100029.md): 为了运行HetuEngine组件的Python3样例代码，需要完成下面的操作。本章节适用于MRS 3.3.0及以后版本。在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。Python 3.8.2 (default, Jun 23 2020, 10:26:03)
[GCC 4.8.5 
- [通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100031.md): 本章节适用于MRS 3.3.0及以后版本。通过HSBroker连接方式实现，使用用户名和密码连接到HetuEngine，组装对应的SQL发送到HetuEngine执行。上述代码中各参数说明如下表所示：
- [通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100032.md): 通过HSFabric连接方式实现，使用用户名和密码连接到HetuEngine，组装对应的SQL发送到HetuEngine执行。上述代码中各参数说明下表所示：
- [通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100033.md): 通过HSFabric实现KeyTab文件认证方式连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，完成对Hive数据源的增删改查操作。上述代码中各参数说明如下表所示：
- [调测HetuEngine Python3应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100034.md): 本章节适用于MRS 3.3.0及以后版本。在python3程序代码完成开发后，可以在Windows环境或者上传到Linux环境进行调测，和集群业务平面网络互通时，可以直接在本地进行调测。参考导入并配置HetuEngine Python3样例工程章节，获取样例代码，获取hetu-jdbc-XXX.jar文件，并复制到自定义目录中。参考通过H
- [调测SpringBoot样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100035.md): 程序代码开发完成后，通过Windows环境进行编译生成Jar包。该Jar包既可在本地Windows环境进行调测，也可部署至Linux环境执行调测。如果本地与集群业务平面网络互通时，可直接在本地进行调测。MRS 3.6.0-LTS.1及之后版本，“hetu-rest-client-example”样例代码仅支持JDK 17和JDK 21版本
- [调测SpringBoot样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_100035_0.md): 程序代码开发完成后，通过Windows环境进行编译生成Jar包。该Jar包既可在本地Windows环境进行调测，也可部署至Linux环境执行调测。如果本地与集群业务平面网络互通时，可直接在本地进行调测。MRS 3.6.0-LTS.1及之后版本，“hetu-rest-client-example”样例代码仅支持JDK 17和JDK 21版本
- [MRS集群各组件JDK支持说明](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_101117.md): 由于旧版本JDK在性能优化、安全补丁及新特性支持上已无法满足当前集群的运行需求，MRS对最新版本集群中各组件运行的JDK版本进行了升级，可有效提升集群的稳定性、运行效率，并降低潜在的安全风险。MRS集群内各组件服务端的Java进程均默认运行在JDK 21下，集群各组件对JDK支持情况请参见表1。该章节仅适用于MRS 3.6.0及之后版本。
- [Hive应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110002.md): Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。Hive主要特点如下：通过HQL语言非常容易地完成数据提取、转换和加载（ETL）。通过HQL完成海量结构化数
- [Hive应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110005.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备Hive应用开发和运行环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110007.md): Hive组件可以使用Java（JDBC和HCatalog）、Python、Python3接口进行应用开发，要准备的开发和运行环境分别如下表所示。Python开发工具的详细安装配置可参见配置Hive Python样例工程。Python3开发工具的详细安装配置可参见配置Hive Python3样例工程。进行应用开发时，需要同时准备代码的运行调
- [导入并配置Hive JDBC样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110008.md): 为了运行MRS产品Hive组件的JDBC接口样例代码，需要完成下面的操作。以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。MRS 3.6.0-LTS及之后版本，Hive支持使用Kerberos认证和用户名密码认证两种方式。如果使用Kerberos认证，客户端需要提供开发用户的“user.keytab”和krb5.c
- [导入并配置Hive HCatalog样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110009.md): 为了运行MRS产品Hive组件的HCatalog接口样例代码，需要完成下面的操作。以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。在IntelliJ IDEA的菜单栏中，选择“File > Open...”，显示“Open File or Project”对话框。在弹出窗口选择文件夹“hcatalog-ex
- [配置Hive Python样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110010.md): 为了运行MRS产品Hive组件的Python接口样例代码，需要完成下面的操作。在客户端机器的命令行终端输入python可查看Python版本号。如下显示Python版本为2.6.6。Python 2.6.6 (r266:84292, Oct 12 2012, 14:23:48)  
[GCC 4.4.6 20120305 (Red Hat
- [配置Hive Python3样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110011.md): 为了运行MRS产品Hive组件的Python3接口样例代码，需要完成下面的操作。在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。Python 3.8.2 (default, Jun 23 2020, 10:26:03)
[GCC 4.8.5 20150623 (Red Hat 4.
- [Hive JDBC样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110017.md): 假定用户开发一个Hive数据分析应用，用于管理企业雇员信息，如表1、表2所示。创建三张表，雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended”。雇员信息表“employees_info”的字段为雇员编号、姓名、支付薪水币种、薪水金
- [创建Hive表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110019.md): 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式：自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。内部表，如果对数据的处理都由Hive完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。外部表，如果数据要被多种工具（如Pig等）共同处理，则应该使用外部表，可避免对该数据的误操作。删
- [加载数据到Hive表中](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110020.md): 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。在启用了安全服务的集群中执行如下操作，需要在数据库中具有UPDATE权限及对加载数据文件具有owner权限和读写权限。如果加载数据语句中有关键字LOCAL，表明从本
- [查询Hive表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110021.md): 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法：SELECT查询的常用特性，如JOIN等。加载数据进指定分区。如何使用Hive自带函数。如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见创建Hive用户自定义函数。在启用了安全服务的集群中执行如下操作，需要对涉及的表具有与操作对应的权限。配置Hiv
- [实现Hive进程访问多ZooKeeper](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110024.md): FusionInsight支持在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper，分别通过“testConnectHive”和“testConnectApacheZK”方法实现。在hive-jdbc-example-multizk包中的“JDBCExample”类中，main方法的代码结
- [调测Hive HCatalog样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110027.md): Hive HCatalog应用程序支持在安装Hive和Yarn客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。已安装Hive和Yarn客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。当输出“
- [调测Hive Python样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110028.md): chmod +x python-examples -R。使用准备MRS应用开发用户章节中创建的开发用户执行以下命令运行客户端程序：kinit -ktkeytab的存储路径 usernamecd python-examplespython pyCLI_sec.py如果出现如下异常：请按照以下方式处理：首先执行如下命令，查询所装操作系统中Li
- [调测Hive Python3样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110029.md): chmod +x python3-examples -R。修改“python3-examples/pyCLI_sec.py”时，“hosts”数组支持配置多个HiveServer节点，MRS 3.6.0-LTS及之后版本还支持配置“maxRetryTimes”和“retryInterval”参数。“maxRetryTimes”为重试次数，
- [Hive JDBC接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110035.md): Hive JDBC接口遵循标准的JAVA JDBC驱动标准。Hive作为数据仓库类型数据库，其并不能支持所有的JDBC标准API。例如事务类型的操作：rollback、setAutoCommit等，执行该类操作会获得Method not supported的SQLException异常。
- [Hive WebHCat接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110037.md): 以下示例的IP为WebHCat的业务IP，端口为安装时设置的WebHCat HTTP端口。需要在安装客户端的机器上进行kinit认证操作后才可执行示例操作。以下示例均为https协议的示例，若要使用http协议，需要执行以下操作：将REST接口切换成HTTP协议方式，请参见配置基于HTTPS/HTTP协议的REST接口。将示例中的“--i
- [使用二次开发程序产生Unable to read HiveServer2异常如何处理](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110040.md): 使用二次开发程序产生异常，提示“Unable to read HiveServer2 configs from ZooKeeper”信息。问题原因使用的krb5.conf、user.keytab文件不是最新的，或者文件与示例代码里填写登录用户不匹配。使用客户端环境的时间与连接的集群时间差大于5分钟。解决措施检查代码下载最新的用户的认证凭据
- [使用IBM JDK产生异常“Problem performing GSS wrap”如何处理](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110041.md): 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息。问题原因：在IBM JDK下建立的Hive connection时间超过登录用户的认证超时时间（默认一天），导致认证失败。IBM JDK的机制跟Oracle JDK的机制不同，IBM JDK在认证登录后的使用过程中做了时间检查却没有检测外部的时
- [Hive SQL与SQL2003标准有哪些兼容性问题](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110042.md): 本文列举目前已发现的Hive SQL与SQL2003标准兼容性问题。不支持在having中写视图。举例如下：select c_last_name
      ,c_first_name
      ,s_store_name
      ,sum(netpaid) paid
from ssales
where i_color = 'chi
- [配置Windows通过EIP访问安全模式集群Hive](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110043.md): 该章节通过指导用户配置集群绑定EIP，并配置Hive文件的方法，方便用户可以在本地对样例文件进行编译。本章节以运行hive-jdbc-example样例为例进行说明。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云 
- [调测Hive SpringBoot样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110047.md): 该章节内容适用于MRS 3.3.0及之后版本。当输出“BUILD SUCCESS”，表示编译成功，如下图所示。编译成功后将会在样例工程的target下生成含有“-with-dependencies”字段的Jar包。在Windows环境下执行：cd /d d:\hive-rest-client-examplejava -jar hive-r
- [导入并配置SpringBoot样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110048.md): 为了运行MRS产品Hive组件的SpringBoot接口样例代码，需要完成下面的操作。该章节以在Windows环境下开发SpringBoot方式连接Hive服务的应用程序为例。该章节内容适用于MRS 3.3.0及之后版本。MRS 3.6.0-LTS及之后版本，Hive支持使用Kerberos认证和用户名密码认证两种方式。如果使用Kerbe
- [使用JDBC接口提交数据分析任务](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110052.md): 本章节介绍如何使用JDBC样例程序完成数据分析任务。使用Hive JDBC接口提交数据分析任务，该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中，实现该功能的模块如下：读取HiveServer客户端property文件，其中hiveclient.properties文件
- [HCatalog访问Hive样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110053.md): 本章节介绍如何在MapReduce任务中使用HCatalog分析Hive表数据，读取输入表第一列int类型数据执行count(distinct XX)操作，将结果写入输出表。该样例程序在“hive-examples/hcatalog-example”的“HCatalogExample.java”中，实现该功能的模块如下：实现Mapper类
- [基于Python的Hive样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110054.md): 本章节介绍如何使用Python连接Hive执行数据分析任务。使用Python方式提交数据分析任务，参考样例程序中的“hive-examples/python-examples/pyCLI_sec.py”。该样例程序连接的集群的认证模式是安全模式，运行样例程序之前需要使用kinit命令认证相应权限的Kerberos用户。导入HAConnec
- [基于Python3的Hive样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110055.md): 本章节介绍如何使用Python3连接Hive执行数据分析任务。安全模式连接Hive前需要使用集群客户端进行认证，使用kinit命令认证相应权限的Kerberos用户，认证后执行分析任务示例在“hive-examples/python3-examples/pyCLI_sec.py”文件中。导入hive类from pyhive import 
- [在本地Windows环境中调测Hive JDBC样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110056.md): 在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。需要在运行样例代码的本机hosts文件中设置访问节点的主机名和公网IP地址映射，主机名和公网IP地址请保持一一对应。仅JDBC
- [在Linux环境中调测Hive JDBC样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_110057.md): Hive JDBC应用程序支持在Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。已安装Java。当运行Hive JDBC应用程序所在主机不是集群中的节点时，需要在该主机的hosts文件中设置MRS集群节点的主机名和IP地址的映射关系，确保主机名和IP地址一一对应。在IDEA界面左下方单击“
- [Kafka应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130002.md): Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。Kafka有如下几个特点：高吞吐量消息持久化到磁盘分布式系统易扩展容错性好支持online和offline场景Kafka提供
- [Kafka应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130004.md): Kafka客户端角色包括Producer和Consumer两个角色，其应用开发流程是相同的。开发流程中各个阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130006.md): Kafka开发应用时，需要准备的开发和运行环境如表1所示：
- [导入并配置Kafka样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130007.md): 获取Kafka开发样例工程，将工程导入到IntelliJ IDEA开始样例学习及应用程序开发。确保本地环境的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。已准备开发环境及MRS集群相关配置文件，详情请参考准备连接Kafka集群配置文件。参
- [Kafka样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130010.md): Kafka是一个分布式消息系统，在此系统上用户可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。使用Linux客户端创建一个Topic。可参考Kafka Shell命令介绍。开发一个Producer向
- [使用Producer API向安全Topic生产消息](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130012.md): 用于实现Producer API向安全Topic生产消息。以下为用于实现Producer API向安全Topic生产消息的代码片段。详细内容在com.huawei.bigdata.kafka.example.Producer类的run方法中。
- [使用Consumer API订阅安全Topic并消费](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130013.md): 用于实现使用Consumer API订阅安全Topic，并进行消息消费。以下为用于实现使用Consumer API订阅安全Topic，并进行消息消费的代码片段。详细内容在com.huawei.bigdata.kafka.example.Consumer类中。
- [使用多线程Producer发送消息](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130014.md): 在使用Producer API向安全Topic生产消息基础上，实现了多线程Producer，可启动多个Producer线程，并通过指定相同key值的方式，使每个线程对应向特定Partition发送消息。下面代码片段在com.huawei.bigdata.kafka.example.ProducerMultThread类的run方法中，用于
- [使用多线程Consumer消费消息](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130015.md): 在使用Consumer API订阅安全Topic并消费基础上，实现了多线程并发消费，可根据Topic的Partition数目启动相应个数的Consumer线程来对应消费每个Partition上的消息。下面代码片段在com.huawei.bigdata.kafka.example.ConsumerMultThread类的run方法中，用于实
- [Kafka样例工程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130016.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下Kafka相关样例工程：Kafka相关样例工程样例工程位置描述kafka-exampl
- [使用KafkaStreams统计数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130017.md): 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例，通过Kafka Streams读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topic消费数据，将统计结果以Key-Value的形式输出，完成单词统计功能。下面代码片段在com.huawei.
- [使用Sasl Plaintext认证](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130018.md): 在启用Kerberos认证集群环境下，Kafka当前支持Sasl Plaintext认证。本章节适用于MRS 3.2.0及之后版本。如果当前集群版本为MRS 3.2.0-LTS.1，需确保集群已安装MRS 3.2.0-LTS.1.5或之后的补丁版本。登录FusionInsight Manager页面。选择“集群 > 服务 > Kafka 
- [准备连接Kafka集群配置文件](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130020.md): 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。以下Kafka权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。是，创建用户并在Ranger中赋予该用户相关操作权限：选择“系统 > 权限 > 用户 > 添加用户”，在新增用户界面创建一个机机用户，例如developuser。“用户组”需
- [使用Kafka Token认证](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130021.md): Token认证机制是一种轻量级身份认证机制，无需访问Kerberos认证，可在API中使用。提前在“样例工程文件夹\src\main\resources\producer.properties”文件中添加用户Token的如下参数。sasl.mechanism：用户使用的SASL机制，配置为SCRAM-SHA-512。sasl.jaas.c
- [调测Kafka Producer样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130023.md): 已配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问集群Kafka。如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装JDK并已设置java相关环境变量。构建jar包方式有以下两种：方法一：选择“Ma
- [调测Kafka Consumer样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130024.md): 如需在Windows调测程序，需要配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问集群Kafka。如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装Jdk并已设置java相关环境变量。java -c
- [调测Kafka High level Streams样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130025.md): 在Windows环境调测程序步骤请参考在Windows中调测程序。cd /opt/clientsource bigdata_envkinit 组件操作用户（例如developuser）kafka-topics.sh --create --zookeeperquorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka--r
- [调测Kafka Low level Streams样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130026.md): 在Windows环境调测程序步骤请参考在Windows中调测程序。cd /opt/clientsource bigdata_envkinit 组件操作用户（例如developuser）kafka-topics.sh --create --zookeeperquorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka--r
- [使用Sasl Kerberos认证](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130027.md): 在安全集群环境下，各个组件之间不能够简单地相互通信，而需要在通信之前进行相互认证，以确保通信的安全性。Kafka应用开发需要进行Kafka、ZooKeeper、Kerberos的安全认证，这些安全认证只需要生成一个jaas文件并设置相关环境变量即可。LoginUtil相关接口可以完成这些配置。此代码片段在com.huawei.bigdat
- [调测Kafka Token认证机制样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130028.md): 登录FusionInsight Manager管理界面，选择“集群 > 服务 > Kafka > 配置”，打开Kafka服务配置页面。开启Token认证机制。查找配置项delegation.token.master.key，该配置指定用于生成和验证Token的主密钥。先查看是否已经配置，如果已配置且不为null，则表示Token认证机制是
- [Kafka Shell命令介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130031.md): 查看当前集群Topic列表。bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka>bin/kafka-topics.sh --list --bootstrap-server<Kafka集群IP:21007> --command-config config/clie
- [Kafka Java API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130032.md): Kafka相关接口同开源社区保持一致，详情请参见https://kafka.apache.org/24/documentation.html。
- [使用Kafka客户端SSL加密](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130034.md): 客户端使用SSL功能前，必须要保证服务端SSL对应服务功能已经开启（服务端参数“ssl.mode.enable”设置为“true”）。SSL功能需要配合API进行使用，可参考配置Kafka数据安全传输协议章节。Linux客户端使用SSL功能修改客户端安装目录/Kafka/kafka/config/producer.properties和客
- [运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED”](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130036.md): 运行样例时提示Topic鉴权失败“example-metric1=TOPIC_AUTHORIZATION_FAILED”。
- [运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...”](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130037.md): 已经拥有Topic访问权限，但是运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata for topics...”。如果IP与Kafka集群部署的业务IP不一致，那么需要修改为当前集群正确的IP地址。如果配置中的端口为21007（Kafka安全模式端口），那么修改该端口为9092
- [配置Windows通过EIP访问集群Kafka](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130038.md): 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹
- [使用SpringBoot生产消费Kafka集群数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130039.md): 本章节适用于MRS 3.3.0及之后版本。通过SpringBoot实现对Kafka集群生产消费的功能。通过SpringBoot实现Kafka生产消费的样例代码如下：Produce为生产消息接口，consume为消费消息接口，KafkaProperties为客户端参数，参数需要根据实际业务修改。上述样例代码中的KafkaProperties
- [调测Kafka SpringBoot样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130040.md): 本章节适用于MRS 3.3.0及之后版本。“kafka-springboot-examples”样例代码，JDK版本支持JDK 8、JDK 17。登录FusionInsight Manager页面，选择“集群 > 服务 > Kafka > 配置 > 全部配置”，搜索参数“sasl.enabled.mechanisms”，将参数值改为“GS
- [SpringBoot使用Spring-Kafka模块访问Kafka样例代码](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130042.md): 本章节适用于MRS 3.6.0及之后版本。Spring-Kafka是Spring生态系统中用于与Apache Kafka集成的模块，其提供了简化的API和配置方式，能帮助开发者更容易地在Spring应用中实现Kafka的生产者和消费者功能，能够显著降低Kafka的使用门槛。无论是简单的消息队列场景，还是复杂的事件驱动架构，Spring-K
- [调测Spring-Kafka模块访问Kafka样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_130044.md): 本章节适用于MRS 3.6.0及之后版本。“module-spring-kafka-examples”样例代码，JDK版本支持JDK 17、JDK 21。登录FusionInsight Manager页面，选择“集群 > 服务 > Kafka > 配置 > 全部配置”，搜索参数“sasl.enabled.mechanisms”，将参数值改
- [MapReduce应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_150002.md): Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理数T级别的数据集。一个MapReduce作业（application/job）通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对m
- [MapReduce应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_150004.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备MapReduce开发和运行环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_150006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调测程序所需的集群配置文件及配置网络连通后，然后直接在Windows中进行程序调测。登录FusionInsight Manag
- [导入并配置MapReduce样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_150007.md): MapReduce针对多个场景提供样例工程，帮助客户快速学习MapReduce工程。以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。打开IntelliJ IDEA，依次选择File > Open。在弹出的Open File or Project会话框中选择样例工程文件夹mapreduce-example-securi
- [（可选）创建MapReduce样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_150008.md): 除了导入MapReduce样例工程，您还可以使用IntelliJ IDEA新建一个MapReduce工程。
- [配置MapReduce应用安全认证](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_150009.md): 在安全集群环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写入安全认证代码，确保MapReduce程序能够正常运行。安全认证有两种方式：命令行认证：提交MapReduc
- [MapReduce统计样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_150012.md): 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发MapReduce应用程序实现如下功能：统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“,”。log1.txt：周六网民停留日志log2.txt：周日网民停留日志首
- [MapReduce统计样例代码](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_150013.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。主要分为三个部分：从原文件中筛选女性网民上网时间数据信息，通过类CollectionMapper继承Mapper抽象类实现。汇总每个女性上网时间，并输出时间大于两个小时的女性网民信息，通过类CollectionReducer继承Reducer抽象类实现。main方法提供建立一个
- [MapReduce访问多组件样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_150015.md): 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。该样例逻辑过程如下：以HDFS文本文件为输入数据：log1.txt：数据输入文件Map阶段：获取输入数据的一行并提取姓名信息。查询HBase一条数据。查询Hive一条数据。将HBa
- [MapReduce访问多组件样例代码](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_150016.md): 主要分为三个部分：从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。获取拼接后的数据取最后一条输出到HBase、HDFS，通过类MultiComponentReducer继承Reducer抽象类实现。main方法提供建立一个Map
- [在本地Windows环境中调测MapReduce应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_150019.md): 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。MapReduce应用程序运行完成后，可通过如下方式查看应用程序的运行情况。在IntelliJ IDEA中查看应用程序运行情况。通过MapReduce日志获取应用程序运行情况。登录MapReduce WebUI查看应用程序运
- [在Linux环境中调测MapReduce应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_150022.md): 在程序代码完成开发后，您可以在Linux环境中运行应用。MapReduce应用程序运行完成后，可通过如下方式查看应用程序的运行情况。通过运行结果查看程序运行情况。登录MapReduce WebUI查看应用程序运行情况。登录Yarn WebUI查看应用程序运行情况。通过MapReduce日志获取应用程序运行情况。请联系管理员获取具有访问We
- [MapReduce Java API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_150027.md): 关于MapReduce的详细API可以参考官方网站：https://hadoop.apache.org/docs/r3.1.1/api/index.html常用接口MapReduce中常见的类如下：org.apache.hadoop.mapreduce.Job：用户提交MR作业的接口，用于设置作业参数、提交作业、控制作业执行以及查询作业状
- [MapReduce REST API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_150028.md): 通过HTTP REST API来查看更多MapReduce任务的信息。目前MapReduce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用：https://hadoop.apache.org/docs/r3.1.1/hadoop-mapreduce-client/hadoop-mapredu
- [提交MapReduce任务时客户端长时间无响应](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_150030.md): 向YARN服务器提交MapReduce任务后，客户端提示如下信息后长时间无响应。对于上述出现的问题，ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息，对于一个已经提交到YARN上的MapReduce任务，用户可以通过该诊断信息获取当前作业的状态以及处于该状态的原因。具体操作：登录FusionIn
- [网络问题导致运行应用程序时出现异常](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_150031.md): 应用程序在Windows环境下运行时，发现连接不上MRS集群，而在Linux环境下（和安装了MRS集群的机器是同一个网络）却运行正常。由于Kerberos认证需要使用UDP协议，而防火墙做了特殊处理关掉了需要使用的UDP端口，导致应用程序在Windows环境下运行的机器与MRS集群的网络不是完全通畅的，需要重新设置防火墙，把需要使用的UD
- [MapReduce二次开发远程调试](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_150032.md): MapReduce二次开发过程中如何远程调试业务代码？MapReduce开发调试采用的原理是Java的远程调试机制，在Map/Reduce任务启动时，添加Java远程调试命令。修改客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中mapreduce.map.java.opts和mapreduce.r
- [Oozie应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160002.md): Oozie是一个用来管理Hadoop job任务的工作流引擎，Oozie流程基于有向无环图（Directed Acyclical Graph）来定义和描述，支持多种工作流模式及流程定时触发机制。易扩展、易维护、可靠性高，与Hadoop生态系统各组件紧密结合。Oozie流程的三种类型：Workflow描述一个完整业务的基本流程。描述一个完整
- [Oozie应用开发流程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160004.md): 本文档主要基于Java API对Oozie进行应用开发。开发流程中各阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160006.md): 在进行二次开发时，要准备的开发和运行环境如表1所示。
- [导入并配置Oozie样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160007.md): 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。已按照准备本地应用开发环境章节准备好开发用户，例如developuser，并下载用户的认证凭据文件到本地。用户需要具备Oozie的普通用户权限，HDFS访问权限，Hive表读写权限，HBase读写权限以及Yarn的队列提交权限。用户需要具备Oozie的普通用户权限，H
- [配置Oozie应用安全认证](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160008.md): 在安全集群环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。用户在开发Oozie应用程序时，某些场景下需要Oozie与Hadoop、Hive等之间进行通信。那么Oozie应用程序中需要写入安全认证代码，确保Oozie程序能够正常运行。安全认证有两种方式：命令行认证：提交Oozie应用程序运行
- [Oozie样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160011.md): 工作流配置文件workflow.xml（coordinator.xml是对工作流进行调度，bundle.xml是对一组coordinator进行管理）与job.properties。如果有实现代码，需要开发对应的jar包，例如Java Action；如果是Hive，则需要开发SQL文件。上传配置文件与jar包（包括依赖的jar包）到HDF
- [Oozie应用开发步骤](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160012.md): 可以使用客户端样例目录中Mapreduce程序对日志目录的数据进行分析、处理。将Mapreduce程序的分析结果移动到数据分析结果目录，并将数据文件的权限设置成660。为了满足每天分析一次的需求，需要每天重复执行一次1.a～1.b。登录Oozie客户端所在节点，新建dataLoad目录，作为程序运行目录，后面编写的文件均保存在该目录下。例
- [job.properties](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160015.md): 流程的属性定义文件，定义了流程运行期间使用的外部参数值对。job.properties文件中包含的各参数及其含义，请参见表1。可以根据业务需要，以“key＝values”的格式自定义参数及值。
- [workflow.xml](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160016.md): 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。workflow.xml文件中包含的各参数及其含义，请参见表1。
- [Start Action](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160017.md): 流程任务的执行入口，每个流程任务有且仅有一个该节点。Start Action节点中包含的各参数及其含义，请参见表1。
- [End Action](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160018.md): 流程任务执行的终点，每个流程任务有且仅有一个该节点。End Action节点中包含的各参数及其含义，请参见表1。
- [Kill Action](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160019.md): 流程任务运行期间发生异常后，流程的异常结束节点。Kill Action节点中包含的各参数及其含义，请参见表1。
- [FS Action](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160020.md): HDFS文件操作节点，支持对HDFS文件及目录的创建、删除、授权功能。FS Action节点中包含的各参数及其含义，请参见表1。“${变量名}”表示：该值来自job.properties所定义。例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见job.properties）
- [MapReduce Action](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160021.md): MapReduce任务节点，负责执行一个map-reduce任务。MapReduce Action节点中包含的各参数及其含义，请参见表1。“${变量名}”表示：该值来自job.properties所定义。例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见job.properties）
- [coordinator.xml](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160022.md): 周期性执行workflow类型任务的流程定义文件。coordinator.xml中包含的各参数及其含义，请参见表1。“${变量名}”表示：该值来自job.properties所定义。例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见job.properties）
- [通过Java API提交Oozie作业开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160024.md): 通过典型场景，用户可以快速学习和掌握Oozie的开发过程，并且对关键的接口函数有所了解。本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，代码示例只涉及了MapReduce作业，其他作业的API调用代码是一样的，只是job配置job.properties与工作流配置文件workflow.xml不一样。完成导入并
- [通过Java API提交Oozie作业](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160025.md): Oozie通过org.apache.oozie.client.OozieClient的run方法提交作业，通过getJobInfo获取作业信息。代码示例中请根据实际情况，修改“OOZIE_URL_DEFAULT”为实际的任意Oozie节点的主机名，例如“https://10-1-131-131:21003/oozie/”。通过Java A
- [在本地Windows环境中调测Oozie应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160029.md): 在使用Java接口完成开发程序代码后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在Windows本地运行程序，需要配置https ssl证书。登录集群任意节点，进入如下目录下载ca.crt文件。cd ${BIGDATA_HOME}/om-agent_8.1.2.2/nodeagent
- [查看Oozie应用调测结果](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160030.md): Oozie样例工程运行完成后可以通过控制台查看输出结果。控制台显示运行结果会有如下成功信息：同时在HDFS上生成目录/user/developuser/examples/output-data/map-reduce，包括如下两个文件：_SUCCESSpart-00000可以通过Hue的文件浏览器或者通过HDFS如下命令行查看：hdfs d
- [Oozie Shell接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160036.md): Oozie其他的命令和参数可参见以下地址：https://oozie.apache.org/docs/5.1.0/DG_CommandLineTool.html。
- [Oozie Java接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160037.md): Java API主要由org.apache.oozie.client.OozieClient提供。
- [Oozie REST接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160038.md): Oozie常用REST接口与Java一样。Java API主要由org.apache.oozie.client.OozieClient提供。详情请参见https://oozie.apache.org/docs/5.1.0/WebServicesAPI.html。
- [使用Oozie调度Spark访问HBase以及Hive](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_160039.md): 已经配置完成导入并配置Oozie样例工程的前提条件。进入项目根目录，比如“D:\sample_project\src\oozie-examples\ooziesecurity-examples\OozieSparkHBaseExample”，然后执行mvn clean package -DskipTests命令，打包成功之后在target
- [Spark应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200002.md): Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 适用以下场景：数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。迭代计算（Iterative Computation）：支持迭代计算，有效应对多步的数据处理逻辑。数据挖掘（D
- [Spark应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200004.md): Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程都是相同的。开发流程中各阶段的说明如图1和表1所示。
- [准备Spark本地应用开发环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200006.md): Spark2x可以使用Java/Scala/Python语言进行应用开发，要准备的开发和运行环境如表1所示。开发环境准备项说明操作系统开发环境：Windows系统，支持Windows 7以上版本。运行环境：Windows系统或Linux系统。如需在本地调测程序，运行环境需要和集群业务平面网络互通。安装JDKJava/Scala开发和运行环
- [导入并配置Spark样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200007.md): Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*.py）即可。以下操作步骤以导入Java样例代码为例。操作流程如图1所示。打开IntelliJ IDE
- [新建Spark样例工程（可选）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200008.md): 除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。如果您需要新建Java语言的工程，选择对应参数即可。选择开发环境
- [配置Spark应用安全认证](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200012.md): 在安全集群环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。用户在开发Spark应用程序时，某些场景下，需要Spark与Hadoop、HBase等之间进行通信。那么Spark应用程序中需要写入安全认证代码，确保Spark程序能够正常运行。安全认证有三种方式：命令认证：提交Spark应用程序运
- [Spark Core样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200015.md): 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能：统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为,。log1.txt：周六网民停留日志LiuYang,female,20
YuanJi
- [Spark Core样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200016.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类：
- [Spark Core样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200017.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection：
- [Spark Core样例程序（Python）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200018.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见collectFemaleInfo.py：
- [Spark SQL样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200020.md): 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能：统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为,。log1.txt：周六网民停留日志LiuYang,female,20
YuanJi
- [Spark SQL样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200021.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection：上面是简单示例，其它sparkSQL特性请参见如下链接：https://archive.apache.org/dist/spark/d
- [Spark SQL样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200022.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection：上面是简单示例，其它sparkSQL特性请参见如下链接：https://archive.apache.org/dist/spark/d
- [Spark SQL样例程序（Python）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200023.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见SparkSQLPythonExample：
- [通过JDBC访问Spark SQL样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200030.md): 用户自定义JDBCServer的客户端，使用JDBC连接来进行表的创建、数据加载、查询和删除。在default数据库下创建child表。把/home/data的数据加载进child表中。查询child表中的数据。删除child表。安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user
- [通过JDBC访问Spark SQL样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200031.md): 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。样例工程中的data文件需要放到JDBCServer所在机器的home目录下。由于KERBEROS认证成功后，默认有效期为1天，超过有效期后，如果客户端需要和JDBCServer新建连接则需要重新认证，否则就会执行失败。因此，若长期执行应用过程中需要新建连接，用户需要在url中添
- [通过JDBC访问Spark SQL样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200032.md): 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。样例工程中的data文件需要放到JDBCServer所在机器的home目录下。由于KERBEROS认证成功后，默认有效期为1天，超过有效期后，如果客户端需要和JDBCServer新建连接则需要重新认证，否则就会执行失败。因此，若长期执行应用过程中需要新建连接，用户需要在url中添
- [操作Avro格式数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200034.md): 用户可以在Spark应用程序中以数据源的方式去使用HBase，本例中将数据以Avro格式存储在HBase中，并从中读取数据以及对读取的数据进行过滤等操作。在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：create'ExampleAvrotable','rowkey','cf1'
- [操作HBase数据源](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200039.md): 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：create'HBaseSourceExampleTable','rowkey
- [BulkPut接口使用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200044.md): 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将构建的RDD写入HBase中。在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：create 'bulktable','cf1'创建RDD。以HBaseContext的方式操作HBase，将上面生成
- [BulkGet接口使用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200049.md): 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要获取的数据的rowKey构造成rdd，然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。基于BulkPut接口使用章节中创建的HBase表及其中的数据进行操作。创建包含了要获取的rowkey信息的RDD。
- [BulkDelete接口使用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200054.md): 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要删除的数据的rowKey构造成rdd，然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。基于BulkPut接口使用章节创建的HBase表及其中的数据进行操作。创建包含了要删除的rowkey信息的
- [BulkLoad接口使用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200059.md): 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要插入的数据的rowKey构造成rdd，然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile文件导入HBase表的操作采用如下格式的命令，不属于本接口范围，不在此进行详细说明：hbase org.apache.
- [foreachPartition接口使用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200064.md): 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，将要插入的数据的rowKey构造成rdd，然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。在客户端执行：hbase shell命令进入HBase命令行。使用下面的命令创建HBase表：create 'table2
- [分布式Scan HBase表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200069.md): 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用hbaseRDD方法以特定的规则扫描HBase表。使用操作Avro格式数据章节中创建的hbase数据表。设置scan的规则，例如：setCaching。使用特定的规则扫描Hbase表。安全模式下Spark Core样例代码需要读取两个文件（user.ke
- [mapPartitions接口使用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200074.md): 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用mapPartition接口并行遍历HBase表。使用foreachPartition接口使用章节创建的HBase数据表。构造需要遍历的HBase表中rowkey的RDD。使用mapPartition接口遍历上述rowkey对应的数据信息，并进行简单的操
- [SparkStreaming批量写入HBase表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200079.md): 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入HBase表中。在客户端执行hbase shell进入HBase命令行。在hbase命令执行下面的命令创建HBase表：create'streamingTable','cf1'create'streamingTa
- [Spark从HBase读取数据再写入HBase样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200085.md): 假定HBase的table1表存储用户当天消费的金额信息，table2表存储用户历史消费的金额信息。现table1表有记录key=1,cf:cid=100，表示用户1在当天消费金额为100。table2表有记录key=1,cf:cid=1000，表示用户1的历史消息记录金额为1000。基于某些业务要求，要求开发Spark应用程序实现如下功
- [Spark从HBase读取数据再写入HBase样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200086.md): 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHbasetoHbase。
- [Spark从HBase读取数据再写入HBase样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200087.md): 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHbasetoHbase。
- [Spark从HBase读取数据再写入HBase样例程序（Python）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200088.md): 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。下面代码片段仅为演示，具体代码参见SparkHbasetoHbasePythonExample：
- [Spark从Hive读取数据再写入HBase样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200090.md): 假定Hive的person表存储用户当天消费的金额信息，HBase的table2表存储用户历史消费的金额信息。现person表有记录name=1,account=100，表示用户1在当天消费金额为100。table2表有记录key=1,cf:cid=1000，表示用户1的历史消息记录金额为1000。基于某些业务要求，要求开发Spark应用
- [Spark从Hive读取数据再写入HBase样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200091.md): 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase
- [Spark从Hive读取数据再写入HBase样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200092.md): 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase
- [Spark从Hive读取数据再写入HBase样例程序（Python）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200093.md): 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。下面代码片段仅为演示，具体代码参见SparkHivetoHbasePythonExample:
- [Spark Streaming对接Kafka0-10样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200100.md): 假定某个业务Kafka每1秒就会收到1个单词记录。基于某些业务要求，开发的Spark应用程序实现如下功能：实时累加计算每个单词的记录总数。log1.txt示例文件：Spark Streaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户）。确保集群安装完成，包括HDFS、Yarn、Spark和
- [Spark Streaming对接Kafka0-10样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200101.md): 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SecurityKafkaWordCount。下面代码片段仅为演示，具体代码参见
- [Spark Streaming对接Kafka0-10样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200102.md): 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SecurityKafkaWordCount。下面代码片段仅为演示，具体代码参见
- [Spark Structured Streaming样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200104.md): 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。StructuredStreaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户）。确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。
- [Spark Structured Streaming样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200105.md): 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SecurityKafkaWordCount。当Streaming DataFrame/Da
- [Spark Structured Streaming样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200106.md): 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SecurityKafkaWordCount。当Streaming DataFrame/Da
- [Spark Structured Streaming样例程序（Python）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200107.md): 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。下面代码片段仅为演示，具体代码参见：SecurityKafkaWordCount。当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Str
- [Spark Structured Streaming对接Kafka样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200111.md): 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。已知：终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的adRequest topic中。请求一个广告后，可能用于多次展示，每次展示，会生成广告展示事件，保存到kafka的adShow topic中。每个广告展示
- [Spark Structured Streaming对接Kafka样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200112.md): 使用Structured Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaADCount。
- [Spark Structured Streaming状态操作样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200124.md): 假设需要跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp。同时输出本批次被更新状态的session。在kafka中生成模拟数据（需要有Kafka权限用户）。确保集群安装完成，包括安装HDFS、Yarn、Spark2x和Kafka服务。将Kafka的Broker配置参数allow.ev
- [Spark Structured Streaming状态操作样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200125.md): 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.kafkaSessionization。当Streaming 
- [Spark同时访问两个HBase样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200127.md): spark支持同时访问两个集群中的HBase，前提是两个集群配置了互信。将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的/etc/hosts文件中。分别将cluster1和cluster2集群Spark2x客户端conf下的hbase-site.xml文件放到“/op
- [Spark同时访问两个HBase样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200128.md): 以下为Spark同时访问两个HBase样例程序的Scala示例。下面代码片段仅为演示。具体代码参见：com.huawei.spark.examples.SparkOnMultiHbase
- [在Linux环境中调测Spark应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200130.md): 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。用户需保证worker和driver的Python版本一致，否则将报错："Python in wor
- [Spark Java API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200137.md): 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Spark主要使用到如下这几个类：JavaSparkContext：是Spark的对外接口，负责向调用该类的Java应用提供Spark的各种功能，如连接Spark集群，创建RDD，累积量和广播量等。它的作用相当于一个容器。SparkConf：Sp
- [Spark Scala API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200138.md): 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Spark主要使用到如下这几个类：SparkContext：是Spark的对外接口，负责向调用该类的scala应用提供Spark的各种功能，如连接Spark集群，创建RDD等。SparkConf：Spark应用配置类，如设置应用名称，执行模式，e
- [Spark Python API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200139.md): 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Spark主要使用到如下这几个类：pyspark.SparkContext：是Spark的对外接口。负责向调用该类的python应用提供Spark的各种功能，如连接Spark集群、创建RDD、广播变量等。pyspark.SparkConf：Spa
- [Spark REST API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200140.md): Spark的REST API以JSON格式展现Web UI的一些指标，提供用户一种更简单的方法去创建新的展示和监控的工具，并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Stages、Storage、Environment和Executors的信息进行查询，FusionInsight
- [Spark client CLI介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200141.md): Spark CLI详细的使用方法参考官方网站的描述：https://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。Spark常用的CLI如下所示：spark-shell提供了一个简单学习API的方法，类似于交互式数据分析的工具。同时支持Scala和Python两种语言。
- [Spark JDBCServer接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200142.md): JDBCServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。JDBCServer是一个JDBC接口，用户可以通过JDBC连接JDBCServer来访问SparkSQL的数据。JDBCServer在启动的时候，会启动一个sparkSQL的应用程序，而通
- [structured streaming功能与可靠性介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200144.md): 支持对流式数据的ETL操作。支持流式DataFrames或Datasets的schema推断和分区。流式DataFrames或Datasets上的操作：包括无类型，类似SQL的操作（比如select、where、groupBy），以及有类型的RDD操作（比如map、filter、flatMap）。支持基于Event Time的聚合计算，支
- [如何添加自定义代码的依赖包](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200146.md): 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？在Project Structure页面，选择Artifacts页签。在右侧窗口中单击+，选择Library Files添加依赖包。添加Library Files选择需要添加的依赖包，然后单击OK。Choose Librari
- [如何处理自动加载的依赖包](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200147.md): 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？建议在导入工程后，手动删除自动加载的依赖。步骤如下：在IDEA工具中，选择FileProject Structures...,。选择Li
- [运行SparkStreamingKafka样例工程时报“类不存在”问题](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200148.md): 通过spark-submit脚本提交KafkaWordCount（org.apache.spark.examples.streaming.KafkaWordCount）任务时，日志中报Kafka相关的类不存在的错误。KafkaWordCount样例为Spark开源社区提供的。Spark部署时，如下jar包存放在客户端的${SPARK_HO
- [SparkSQL UDF功能的权限控制机制](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200149.md): SparkSQL中UDF功能的权限控制机制是怎样的？目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备admin权限的用户注册，由admin用户保证自定义的函数的安全性。
- [由于Kafka配置的限制，导致Spark Streaming应用运行失败](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200150.md): 使用运行的Spark Streaming任务回写Kafka时，Kafka上接收不到回写的数据，且Kafka日志报错信息如下：如下图所示，Spark Streaming应用中定义的逻辑为，从Kafka中读取数据，执行对应处理之后，然后将结果数据回写至Kafka中。例如：Spark Streaming中定义了批次时间，如果数据传入Kafka的
- [执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200151.md): 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出，日志内容如下。用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。
- [Spark应用名在使用yarn-cluster模式提交时不生效](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200152.md): Spark应用名在使用yarn-cluster模式提交时不生效，在使用yarn-client模式提交时生效，如图1所示，第一个应用是使用yarn-client模式提交的，正确显示代码里设置的应用名Spark Pi，第二个应用是使用yarn-cluster模式提交的，设置的应用名没有生效。导致这个问题的主要原因是，yarn-client和y
- [如何使用IDEA远程调试](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200153.md): 在Spark二次开发中如何使用IDEA远程调试？以调试SparkPi程序为例，演示如何进行IDEA的远程调试：打开工程，在菜单栏中选择Run > Edit Configurations。在弹出的配置窗口中用鼠标左键单击左上角的号，在下拉菜单中选择Remote，如图1所示。选择Remote选择对应要调试的源码模块路径，并配置远端调试参数Ho
- [如何采用Java命令提交Spark应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200154.md): 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：如果您使用Java语言开发程序，您可以参考如下示例，编写SparkLauncher类。public static
- [使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200155.md): 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息问题原因：在IBM JDK下建立的JDBC connection时间超过登录用户的认证超时时间（默认一天），导致认证失败。IBM JDK的机制跟Oracle JDK的机制不同，IBM JDK在认证登录后的使用过程中做了时间检查却没有检测外部的时间
- [Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200156.md): Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。原因分析：显示该异常是因为recoverFromCheckpointLocation的值判定为false，但却配置了checkpoint目录。参数recoverFromCheckpointLoca
- [从checkpoint恢复spark应用的限制](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200158.md): Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。由于checkpoint中包含了spark应用的对象序列化信息、task执行状态信息、配置信息等，因此，当存在以下问题时，从checkpoint恢复spark应用将会失败。业务代码变更
- [第三方jar包跨平台（x86、TaiShan）支持](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200159.md): 用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本，如何让spark2x支持其正常运行。第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案：cd /opt/Bigdata/FusionInsight_Spark_*/install/FusionInsight-Spark-*/spark步
- [在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200160.md): 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。Spark任务在运行过程中，driver会创建一个spark-开头的本地临时目录，用于存放业务jar包，配置文件等，同时在本地创建一个blockmgr-开头的本地临时目录，用于存放block data。此两个目录会在Spark
- [ARM环境python pipeline运行报139错误码](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200162.md): 在TaiShan服务器上，使用python插件的pipeline报错显示139错误。具体报错如下：该python程序既使用了libcrypto.so，也使用了libssl.so。而一旦LD_LIBRARY_PATH添加了hadoop的native库目录，则使用的就是hadoop native库中的libcrypto.so，而使用系统自带的
- [Structured Streaming 任务提交方式变更](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200163.md): 用户提交结构流任务时，通常需要通过--jars命令指定kafka相关jar包的路径，例如--jars /kafkadir/kafka-clients-x.x.x.jar,/kafkadir/kafka_2.11-x.x.x.jar。当前版本用户除了这一步外还需要额外的配置项，否则会报class not found异常。当前版本的Spark
- [使用Spark执行Hudi样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200168.md): 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。详细代码请参考样例代码。将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。编译打包前，
- [使用Spark执行Hudi样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200169.md): 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。插入数据：查询数据：更新数据：增量查询：特定时间点查询：
- [使用Spark执行Hudi样例程序（Python）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200170.md): 下面代码片段仅为演示，具体代码参见：HudiPythonExample.py。插入数据：#insert
inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList(dataGen.generateInserts(10))
df = spark.read.jso
- [HoodieDeltaStreamer](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200172.md): 编写自定义的转化类实现Transformer。编写自定义的Schema实现SchemaProvider。在执行HoodieDeltaStreamer时加入参数：Transformer和SchemaProvider样例：
- [自定义排序器](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200173.md): 编写自定义排序类继承BulkInsertPartitioner，在写入Hudi时加入配置：自定义分区排序器样例：
- [配置Windows通过EIP访问集群Spark](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200175.md): 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。本章节以运行SparkScalaExample样例为例进行说明。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云
- [常见jar包冲突处理方式](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200176.md): Spark能对接很多的第三方工具，因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带，这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致，在使用过程中就有可能出现jar包冲突的情况。常见的jar包冲突报错有：1、报错类找不到：java.lang.NoClassDefFoundError2、报错方法找不到：j
- [在本地Windows环境中调测Spark应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200181.md): 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。下
- [配置Spark Python3样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200182.md): 为了运行MRS产品Spark2x组件的Python3接口样例代码，需要完成下面的操作。在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。Python 3.8.2 (default, Jun 23 2020, 10:26:03)
[GCC 4.8.5 20150623 (Red Hat
- [在PySpark程序中使用Conda打包Python环境及第三方库](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200190.md): 本小节旨在指导用户在PySpark环境中配置Python第三方库。使用其他Python版本可能会导致兼容性问题。通过使用Conda创建独立的Python环境，您可以灵活地安装和管理所需的第三方库，避免与系统Python或其他项目环境产生冲突。确保您的开发环境中已经安装Conda环境，支持Windows和Linux系统，您可以从Anacon
- [在PySpark程序中创建自定义UDF、UDAF和UDTF](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200193.md): 本章节指导用户通过PySpark程序中创建自定义UDF、UDAF和UDTF。当前版本Spark仅支持Python 3.7、3.8、3.9和3.10版本，使用其他Python版本可能会导致兼容性问题。已参考在PySpark程序中使用Conda打包Python环境及第三方库章节准备Python环境。在PySpark中，通过Python创建的U
- [Driver所在节点“/tmp”目录下残留大量大文件](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_200195.md): 在执行某些PySpark任务后，Driver节点的“/tmp”目录下会残留大量大文件，占用过多的磁盘存储空间。残留目录样例如下：在提交PySpark任务时，如果代码中导入了prophet或fbprophet库（其他第三方库也可能导致类似问题，需要业务提前识别），并在进行模型训练或预测时，这些库会在工作目录（默认情况下是系统的临时目录，通常
- [YARN应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_220001.md): Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、I/O、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce框架设计的不足，在原MapReduce框架上进行
- [YARN Command介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_220003.md): 管理员可以使用yarn命令对YARN集群进行一些操作，例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。YARN Commands可同时供普通用户和管理员用户使用，它包含了少量普通用户可以执行的命令，比如jar、logs，而大部分只有管理员有权限使用。用法：进入Yarn客户端目
- [YARN Java API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_220004.md): YARN常用的Java类如下所示，更多关于YARN的详细API可以参考官方网站描述：https://hadoop.apache.org/docs/r3.3.1/api/index.html。ApplicationClientProtocol用于Client与ResourceManager之间，Client通过该协议可实现将应用程序提交到R
- [YARN REST API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_220005.md): 通过HTTP REST API来查看更多Yarn任务的信息，目前Yarn的REST接口只能进行一些资源或者任务的查询。更多完整和详细的接口描述请参考官网https://hadoop.apache.org/docs/r3.3.1/hadoop-yarn/hadoop-yarn-site/WebServicesIntro.html。在集群节点
- [Superior Scheduler REST API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_220006.md): REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分，通常以“Resource Manager实例IP地址:端口”的形式连接YARN。在开启了Kerberos认证的安全模式MRS集群中，使用HTTPS作为URL的一部分，并且只有HTTPS将得到支持。查询Scheduler 
- [Flink应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260002.md): Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。Flink技术栈如图1所示。Flink
- [Flink应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260004.md): Flink开发流程参考如下步骤：
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果使用Linux环境调测程序，需在准备安装集群客户端的Linux节点并获取相关配置文件。在节点中安装客户端，例如客户端安装目录为“/opt/client”。客户端机器的时间与集群的时间要保持一致，时间差小于5分
- [导入并配置Flink样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260008.md): Flink针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Flink工程。针对Java和Scala不同语言的工程，其导入方式相同。以下操作步骤以导入Java样例代码为例。操作流程如图1所示。在安全模式下，获取“src\flink-examples”下的样例工程flink-examples-securi
- [Flink DataStream样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260012.md): 假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能：DataStream应用程序可以在Windows环境和Linux环境中运行。实时统计总计网购时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符
- [Flink DataStream样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260013.md): 统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.flink.examples.FlinkStreamJavaExample：执行之后打印结果如下所示：执行如图1所示。
- [Flink DataStream样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260014.md): 实时统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印出来。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.flink.examples.FlinkStreamScalaExample：执行之后打印结果如下所示：执行如图1所示。
- [Flink Kafka样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260016.md): 假定某个Flink业务每秒就会收到1个消息记录。基于某些业务要求，开发的Flink应用程序实现功能：实时输出带有前缀的消息内容。Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。确保集群安装完成，包括HDFS、Yarn、Flink和Kafka。创建Topic。
- [Flink Kafka样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260017.md): 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。下面列出producer和consumer主要逻辑代码作为演示。完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink.examples.Re
- [Flink Kafka样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260018.md): 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。下面列出producer和consumer主要逻辑代码作为演示。完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink.examples.Re
- [Flink开启Checkpoint样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260020.md): 假定用户需要每隔1秒钟统计4秒钟窗口中数据的量，并做到状态严格一致性，即：当应用出现异常并恢复后，各个算子的状态能够处于统一的状态。使用自定义算子每秒钟产生大约10000条数据。产生的数据为一个四元组（Long，String，String，Integer）。数据经统计后，统计结果打印到终端输出。打印输出的结果为Long类型的数据。sour
- [Flink开启Checkpoint样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260021.md): 假定用户需要每隔1秒钟统计4秒钟窗口中数据的量，并做到状态严格一致性。快照数据该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。import java.io.Serializale;

// 该类作为快照的一部分，保存用户自定义状态
public class UDFState implements Serializable {

- [Flink开启Checkpoint样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260022.md): 假定用户需要每隔1秒钟统计4秒钟窗口中数据的量，并做到状态严格一致性。发送数据形式case class SEvent(id: Long, name: String, info: String, count: Int)快照数据该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。// 用户自定义状态
class UDFState ex
- [Flink Job Pipeline样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260025.md): 本章节适用于MRS 3.6.0-LTS.1之前版本。下面列出的主要逻辑代码作为演示。完整代码请参阅：com.huawei.bigdata.flink.examples.UserSource。com.huawei.bigdata.flink.examples.TestPipelineNettySink。com.huawei.bigdata.
- [Flink Job Pipeline样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260026.md): 本章节适用于MRS 3.6.0-LTS.1之前版本。下面列出的主要逻辑代码作为演示。完整代码请参阅：com.huawei.bigdata.flink.examples.UserSource。com.huawei.bigdata.flink.examples.TestPipeline_NettySink。com.huawei.bigdata
- [Flink Join样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260032.md): 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。基于某些业务要求，开发的Flink应用程序实现功能：实时地以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询。业务1的数据存储在Kafka
- [Flink Join样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260033.md): 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。用户在开发前需要使用对接安全模式的Kafka，则需要引入kafka-clients-*.jar，该jar包可在client目录下获取。下面列出producer和consumer，以及Flink Stream SQL Join使用主要逻辑代码作为演
- [编译并调测Flink应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260035.md): 在程序代码完成开发后，建议您上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。编译方式有以下两种：方法一：选择“Maven > 样例工程名称 > Lifecycle > c
- [查看Flink应用调测结果](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260036.md): Flink应用程序运行完成后，您可以查看运行结果数据，也可以通过Flink WebUI查看应用程序运行情况。查看Flink应用运行结果数据。当用户查看执行结果时，需要在Flink的web页面上查看Task Manager的Stdout日志。当执行结果输出到文件或者其他，由Flink应用程序指定，您可以通过指定文件或其他获取到运行结果数据。
- [Flink Java API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260039.md): 由于Flink开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Flink主要使用到如下这几个类：StreamExecutionEnvironment：是Flink流处理的基础，提供了程序的执行环境。DataStream：Flink用类DataStream来表示程序中的流式数据。用户可以认为它们是含有重复数据
- [Flink Scala API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260040.md): 由于Flink开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Flink主要使用到如下这几个类：StreamExecutionEnvironment：是Flink流处理的基础，提供了程序的执行环境。DataStream：Flink用特别的类DataStream来表示程序中的流式数据。用户可以认为它们是含有重
- [Flink REST API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260041.md): Flink具有可用于查询正在运行的作业的状态和统计信息以及最近完成作业的监视API。该监视API由Flink自己的WEB UI使用。监视API是REST API，可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问Web服务器的一套API。当前在Flink中，Web服务器是JobManager的一个模块，和JobM
- [Flink Savepoints CLI介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260042.md): Savepoints在持久化存储中保存某个checkpoint，以便用户可以暂停自己的应用进行升级，并将状态设置为savepoint的状态，并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照，并将快照的元数据（meta-data）写入到一个额外的持久化文件系统中。如果需要使用savepoints的功能，强烈推荐用
- [Flink Client CLI介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260043.md): Flink常用的CLI如下所示：yarn-session.sh可以使用yarn-session.sh启动一个常驻的Flink集群，接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下：bin/yarn-session.shyarn-session.sh的其他参数可以通过以下命令获取：bin/yarn-
- [如何处理用户在使用chrome浏览器时无法显示任务状态的title](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260046.md): 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析，用户将鼠标置于Tasks的彩色小方框上，无法显示彩色小框的title说明，如图1所示。正常的显示界面如图2所示。如果用户遇到chrome浏览器无法显示title，步骤如下：请检查本机是否同时运行会影响chrome浏览器冒泡提示的
- [如何处理IE10/11页面算子的文字部分显示异常](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260047.md): 如何处理IE10/11页面显示异常，每个算子的文字部分没有显示出来的问题？如图1所示，Overview显示为空白。Flink中用了foreignObject元素来代理绘制svg矢量图，但是IE 10/11不支持foreignObject导致算子显示异常。支持使用chrome浏览器。
- [如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260048.md): 如何处理checkpoint设置RocksDBStateBackend方式，且当数据量大时，执行checkpoint会很慢的问题？由于窗口使用自定义窗口，这时窗口的状态使用ListState，且同一个key值下，value的值非常多，每次新的value值到来都要使用RocksDB的merge()操作；触发计算时需要将该key值下所有的va
- [如何处理blob.storage.directory配置/home目录时启动yarn-session失败](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260049.md): 当用户设置blob.storage.directory为“/home”时，用户没有权限在“/home”下创建blobStore-UUID的文件，导致yarn-session启动失败。修改Flink客户端配置文件conf/flink-conf.yaml，配置blob.storage.directory: /home/testdir/test
- [如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260050.md): Flink内核升级到1.3.0之后，当Kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProducer010去构造函数时，运行时会报错。报错内容如下：Flink的1.3.0版本，为了兼容原有那些使用KafkaPartitioner的API接口，如FlinkKafkaProducer010
- [如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260051.md): 创建一个新的Flink用户，提交任务，ZooKeeper目录无权限导致提交Flink任务失败，日志中报如下错误：首先查看ZooKeeper中/flink_base的目录权限是否为：'world,'anyone: cdrwa；如果不是，请修改/flink_base的目录权限为：'world,'anyone: cdrwa，然后继续根据2排查；
- [如何处理无法直接通过URL访问Flink Web](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260052.md): 无法通过http://JobManager IP:JobManager的端口访问Web页面。由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过修改客户端的配置文件“conf/flink-conf.yaml”来解决问题。确认配置项“jobmanager.web.ssl.enabled”的值是否是“false”，若不是，请
- [如何查看System.out.println打印的调试信息或将调试信息输出至指定文件](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260053.md): Flink业务代码中添加了System.out.println调试信息打印，该如何查看此调试日志？避免与运行日志混在一起打印，如何将业务日志单独输出至指定文件？Flink所有的运行日志打印都会打印至Yarn的本地目录下，默认所有Log都会输出至Yarn container本地目录下taskmanager.log，所有调用System.ou
- [如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260054.md): Flink任务配置State Backend为RocksDB时，运行报如下错误：运行的系统和编译环境所在的系统版本不同，造成GLIBC的版本不兼容。使用strings /lib64/libpthread.so.0 | grep GLIBC命令查看GLIBC是否版本低于2.12。如果GLIBC版本太低，则需要使用含有较高版本的（此处为2.1
- [Flink HBase样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260066.md): 本章节适用于MRS 3.2.0及以后版本。本样例介绍通过Flink API作业读写HBase数据。准备HBase配置文件，通过Manager下载集群配置，获取“hbase-site.xml”文件。写HBase：通过参数指定“hbase-site.xml”文件的父目录，Flink Sink可以获取到HBase的Connection。通过Co
- [Flink HBase样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260067.md): 通过调用Flink API读写HBase数据。下面列出WriteHBase和ReadHBase主要逻辑代码作为演示。完整代码参见com.huawei.bigdata.flink.examples.WriteHBase和com.huawei.bigdata.flink.examples.ReadHBase。WriteHBase主要逻辑代码p
- [导入并配置Flink SpringBoot样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260068.md): 该章节内容适用于MRS 3.3.0及之后版本。为了运行FusionInsight MRS产品Flink组件的SpringBoot接口样例代码，需要完成下面的操作。当前支持GaussDB（DWS）样例工程。该章节以在Linux环境下开发GaussDB（DWS） SpringBoot方式连接Flink服务的应用程序为例。执行GaussDB（D
- [Flink Join样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260069.md): 本章节适用于MRS 3.3.0及以后版本。在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar，该jar包可在Kafka客户端目录下获取。下面列出producer和consum
- [Flink Jar作业提交SQL样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260071.md): 当作业的SQL语句修改频繁时，可使用Flink Jar的方式提交Flink SQL语句，以减少用户工作量。本场景适用于MRS 3.2.1及以后版本。使用当前样例提交并执行指定的SQL语句，多个语句之间使用分号分隔。
- [Flink Jar作业提交SQL样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260072.md): 提交SQL的核心逻辑如下，目前只支持提交CREATE和INSERT语句。完整代码参见com.huawei.bigdata.flink.examples.FlinkSQLExecutor。需将当前样例需要的依赖包，即编译之后lib文件下面的jar包复制到客户端的lib文件夹内。以对接普通模式Kafka提交SQL为例：
- [使用代理用户访问FlinkServer REST API样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260074.md): 通过代理用户调用FlinkServer RestAPI。以FlinkServer管理员权限的用户访问API来获取普通用户权限。本章节适用于MRS 3.3.0及以后版本。以租户用户为“test92”，租户ID为“92”，获取具有FlinkServer管理员权限的用户名为“flinkserveradmin”的代理访问API为例，以下代码为完整
- [Flink Hudi样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260076.md): 本章节适用于MRS 3.3.0及以后版本。本样例中Job每秒生成1条数据，将数据写入到Hudi表中，再读取并打印Hudi表中的数据。写Hudi：通过一个随机生成数据类来生成数据。将生成的数据转化为DataStream<RowData>。将数据写入到Hudi表中。同步数据到Hive（适用于MRS 3.6.0-LTS及之后版本）。通过一个随机
- [Flink Hudi样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260077.md): 通过调用Flink API读写Hudi数据。下面列出WriteIntoHudiWithSyncHive、WriteIntoHudi和ReadFromHudi主要逻辑代码作为演示。完整代码参见com.huawei.bigdata.flink.examples.WriteIntoHudiWithSyncHive、com.huawei.bigd
- [PyFlink样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260080.md): 假定业务平台需要提交Flink任务到MRS集群，业务平台主要使用的语言是Python，提供Python读写Kafka作业和Python提交SQL作业的样例。本场景适用于MRS 3.3.0及以后的集群版本。
- [PyFlink样例程序代码说明](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260081.md): 下面列出pyflink-kafka.py的主要逻辑代码作为演示，在提交之前需要确保“file_path” 为要运行的SQL的路径。完整代码参见“flink-examples/pyflink-example/pyflink-kafka”中的“pyflink-kafka.py”。import os
import logging
import 
- [使用Python提交Flink普通作业](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260082.md): yarn-application模式：将上述文件和“flink-connector-kafka-实际版本号.jar”包上传到“客户端安装目录/Flink/flink/yarnship”。yarn-application模式：修改为：file://"+os.getcwd()+"/../../../../yarnship/flink-conn
- [使用Python提交Flink SQL作业](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260086.md): yarn-application模式：将上述文件上传到“客户端安装目录/Flink/flink/yarnship”。yarn-session模式：将上述文件上传到“客户端安装目录/Flink/flink/conf/ssl”。yarn-application模式：修改为os.getcwd() + "/../../../../yarnship
- [调测Flink SpringBoot样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_260087.md): 该章节内容适用于MRS 3.3.0及之后版本。当输出“BUILD SUCCESS”，表示编译成功，如下图所示。编译成功后将会在样例工程的target下生成含有“flink-dws-sink-example-1.0.0-SNAPSHOT”字段的Jar包。yarn-session.sh -t ssl/ -nm "session-spring1
- [HBase应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290002.md): HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。HBase使用场景有如下几个特点：处理海量数据（TB或PB级别以上）。具有高吞吐量。在海量数据中实现高效的随机读取。具有很好的伸缩能力。能够同时处理结构化和非结构化的数据。不需要完全拥有传统关系型数据库所具备
- [HBase应用开发流程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290004.md): 本文档主要基于Java API对HBase进行应用开发。开发流程中各阶段的说明如图1和表1所示。
- [准备HBase应用开发和运行环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290006.md): 在进行二次开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调测程序所需的集群配置文件及配置网络连通后，然后直接在Windows中进行程序调测。下载并解压客户端软件包。MRS 3.3.0
- [导入并配置HBase样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290007.md): 获取HBase开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。其他样例项目配置文件放置及样例代码执行注意事项指导，请参考对应样例项目“README.md”文档。打开Inte
- [HBase数据读写样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290009.md): 假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，如表1所示，A业务操作流程如下：创建用户信息表。在用户信息中新增用户的学历、职称等信息。根据用户编号查询用户姓名和地址。根据用户姓名进行查询。查询年龄段在[20-29]之间的用户信息。数据统计，统计用户信息表的人员数、年龄最大值、年龄最小值、平均年龄。用户销户，删除用户信息表
- [配置HBase应用输出日志](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290012.md): 将HBase客户端的日志单独输出到指定日志文件，与业务日志分开，方便分析定位HBase的问题。如果进程中已经有log4j的配置，需要将“hbase-example\src\main\resources\log4j.properties”中RFA与RFAS相关的配置复制到已有的log4j配置中。以下为代码示例：
- [初始化HBase配置](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290013.md): HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。MRS 3.3.0-LTS之前版本：下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。private static void init() throws IOException {
 
- [创建HBase客户端连接](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290014.md): HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类
- [创建HBase表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290015.md): HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表，并指定表名、列族名。创建表有两种方式（强烈建议采用预分Region建表方式）：快速建表，即创建表后整张表只有一个Region，随着数据量的增加会自动分裂成多个Region。预分Region建表，即创建表时预先分配
- [删除HBase表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290016.md): HBase通过org.apache.hadoop.hbase.client.Admin的deleteTable方法来删除表。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的dropTable方法中注[1] 只有表被disable时，才能被删除掉，所以deleteTable常
- [修改HBase表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290017.md): HBase通过org.apache.hadoop.hbase.client.Admin的modifyTable方法修改表信息。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testModifyTable方法中注[1] modifyTable只有表被disable时，才能生
- [向HBase表中插入数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290018.md): HBase是一个面向列的数据库，一行数据，可能对应多个列族，而一个列族又可以对应多个列。通常，写入数据的时候，需要指定要写入的列（含列族名称和列名称）。HBase通过HTable的put方法来Put数据，可以是一行数据也可以是数据集。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSampl
- [删除HBase表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290019.md): HBase通过Table实例的delete方法来Delete数据，可以是一行数据也可以是数据集。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中如果被删除的cell所在的列族上设置了二级索引，也会同步删除索引数据。
- [使用Get API读取HBase表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290020.md): 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testG
- [使用Scan API读取HBase表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290021.md): 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中，每行数据以Result对象形式存储，Result中存储了多个Cell。以下代码片段在com.hua
- [使用Filter过滤器读取HBase表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290022.md): HBase Filter主要在Scan和Get过程中进行数据过滤，通过设置一些过滤条件来实现，如设置RowKey、列名或者列值的过滤条件。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testSingleColumnValueFilter方法中。当前二级索引不支持使用Su
- [创建HBase表二级索引](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290023.md): 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理，该类中提供了创建索引的方法。二级索引不支持修改，如果需要修改，请先删除旧的然后重新创建。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSamp
- [删除HBase二级索引](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290024.md): 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理，该类中提供了索引的查询和删除等方法。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的dropIndex方法中。
- [基于二级索引查询HBase表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290025.md): 针对添加了二级索引的用户表，您可以通过Filter来查询数据。其数据查询性能高于针对无二级索引用户表的数据查询。HIndex支持的Filter类型为“SingleColumnValueFilter”，“SingleColumnValueExcludeFilter”以及“SingleColumnValuePartitionFilter”。H
- [创建HBase表Region](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290028.md): 一般通过org.apache.hadoop.hbase.client.HBaseAdmin进行多点分割。注意：分割操作只对空Region起作用。本例使用multiSplit进行多点分割将HBase表按照“-∞~A”“A~D”、“D~F”、“F~H”、“H~+∞”分为五个Region。以下代码片段在com.huawei.bigdata.hb
- [创建Phoenix表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290034.md): Phoenix依赖HBase作为其后备存储，支持标准SQL和JDBC API的强大功能，使得SQL用户可以访问HBase集群。以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testCreateTable方法中。
- [向Phoenix表中插入数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290035.md): 使用Phoenix实现写数据。以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。
- [读取Phoenix表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290036.md): 使用Phoenix实现读数据。以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。
- [HBase访问多个ZooKeeper样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290037.md): 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper，其中HBase客户端访问FusionInsight ZooKeeper，客户应用访问第三方ZooKeeper。以下代码片段在“hbase-zk-example\src\main\java\com\huawei\hadoop\hbase\
- [在本地Windows环境中调测HBase应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290040.md): 在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。需要在运行样例代码的本机hosts文件中设置访问节点的主机名和IP地址映射，主机名和IP地址请保持一一对应。放置好配置文件，并
- [在Linux环境中调测HBase应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290043.md): HBase应用程序支持在安装HBase客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。MRS 3.6.0-LTS及之后版本的HBase客户端仅支持JDK 17和JDK 8，如果需要在Linux中调测JDK 21版本的程序，仅支持非客户端运行方式，具体操作请参见未安装客户端时编译并运行程序。
- [Phoenix SQL查询样例介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290047.md): Phoenix是构建在HBase之上的一个SQL中间层，提供一个客户端可嵌入的JDBC驱动，Phoenix查询引擎将SQL输入转换为一个或多个HBase scan，编译并执行扫描任务以产生一个标准的JDBC结果集。客户端hbase-example/conf/hbase-site.xml中配置存放查询中间结果的临时目录，如果客户端程序在Li
- [HBase Shell接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290052.md): 您可以使用Shell在服务端直接对HBase进行操作。HBase的Shell接口同开源社区版本保持一致，请参见https://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/Shell命令执行方法：进入HBase客户端任意目录，执行以下命令。hbase shell进入HBa
- [HBase Java API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290053.md): 建议使用org.apache.hadoop.hbase.Cell作为KV数据对象，而不是org.apache.hadoop.hbase.KeyValue。建议使用Connection connection = ConnectionFactory.createConnection(conf)来创建连接，废弃HTablePool。建议使用or
- [Sqlline接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290054.md): 用户可以直接使用sqlline.py在服务端对HBase进行SQL操作。Phoenix的sqlline接口与开源社区保持一致。详情请参见https://phoenix.apache.org/。
- [HBase JDBC API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290055.md): Phoenix实现了大部分的java.sql接口，SQL语法紧跟ANSI SQL标准。其支持处理函数可参见：https://phoenix.apache.org/docs/functions其支持语法可参见：https://phoenix.apache.org/docs/features/secondary-indexes
- [HBase Web UI接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290056.md): Web UI展示了HBase集群的状态，其中包括整个集群概况信息、RegionServer和Master的信息、快照、运行进程等信息。通过Web UI提供的信息可以对整个HBase集群的状况有一定的了解。请联系管理员获取具有访问Web UI权限的业务账号及其密码。登录FusionInsight Manager页面。选择“集群 > 待操作集
- [运行HBase应用开发程序产生ServerRpcControllerFactory异常如何处理](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290058.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [Bulkload和Put应用场景有哪些](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290059.md): HBase支持使用bulkload和put方式加载数据，在大部分场景下bulkload提供了更快的数据加载速度，但bulkload并不是没有缺点的，在使用时需要关注bulkload和put适合在哪些场景使用。bulkload是通过启动MapReduce任务直接生成HFile文件，再将HFile文件注册到HBase，因此错误地使用bulkl
- [使用REST接口查询HBase集群信息](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290060.md): 使用REST服务，传入对应host与port组成的url，通过HTTP协议，获取集群版本与状态信息。连接RestServer服务普通模式下，用户不需要登录即可连接RestServer服务。所以请将“hbase-rest-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“HB
- [使用REST接口获取所有HBase表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290061.md): 使用REST服务，传入对应host与port组成的url，通过HTTP协议，获取得到所有table。以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“HBaseRestTest”类的getAllUserTables方法中。private
- [使用REST接口操作Namespace](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290062.md): 使用REST服务，传入对应host与port组成的url以及指定的Namespace，通过HTTP协议，对Namespace进行创建、查询、删除，获取指定Namespace中表的操作。HBase表以“命名空间:表名”格式进行存储，若在创建表时不指定命名空间，则默认存储在“default”中。其中，“hbase”命名空间为系统表命名空间，请
- [使用REST接口操作HBase表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290063.md): 使用REST服务，传入对应host与port组成的url以及指定的tableName和jsonHTD，通过HTTP协议，进行查询表信息，修改表，创建表以及删除表的操作。方法调用// Add a table with specified info.
createTable(url, "testRest",
     "{\"name\":\
- [通过ThriftServer实例操作HBase表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290064.md): 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，进行根据指定namespace获取tablename以及创建表、删除表的操作。“hbase.rpc.protection”与“hbase.thrift.security.qop”参数值的对应关系为：
- [通过ThriftServer实例向HBase表中写入数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290065.md): 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，分别使用put和putMultiple进行写数据操作。方法调用// Write data with put.
putData(client, TABLE_NAME);

// Write data 
- [通过ThriftServer实例读HBase表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290066.md): 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，分别使用get和scan进行读数据操作。方法调用// Get data with single get.
getData(client, TABLE_NAME);

// Get data with
- [如何配置HBase双读功能](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290067.md): HBase客户端应用通过自定义加载主备集群配置项，实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性，适用于使用Get读取数据、使用批量Get读取数据、使用Scan读取数据，以及基于二级索引查询。它能够同时读取主备集群数据，减少查询毛刺，具体表现为：高成功率：双并发读机制，保证每一次读请求的成功率。可用性：单集
- [Phoenix命令行操作介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290069.md): Phoenix支持SQL的方式来操作HBase，以下简单介绍使用SQL语句建表/插入数据/查询数据/删表等操作。已安装HBase客户端，例如安装目录为“/opt/client”。以下操作的客户端目录只是举例，请根据实际安装目录修改。在使用客户端前，需要先下载并更新客户端配置文件，确认Manager的主管理节点后才能使用客户端。进入HBas
- [install构建HBase Jar包失败报错Could not transfer artifact如何处理](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290070.md): 样例代码在进行maven编译构建jar包时，Build Failed，提示错误信息：Could not transfer artifact org.apache.commons:commons-crypto:pom:${commons-crypto.version}hbase-common模块依赖commons-crypto，在hbase
- [配置HBase/Phoenix对接SpringBoot样例](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290073.md): 为了运行MRS产品HBase/Phoenix组件的SpringBoot接口样例代码，需要完成下面的操作。该章节内容适用于MRS 3.3.0及之后版本。已获取样例工程运行所需的配置文件，详细操作请参见准备HBase应用开发和运行环境。
- [HBase全局二级索引样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290081.md): HBase支持使用全局二级索引加速条件查询，通过本样例，您可以了解如何管理及使用全局二级索引。该样例程序仅适用于MRS 3.3.0及之后版本。假定用户开发一个应用程序，其中一个功能需要记录用户信息及地址，记录数据如下表：合理地设计表结构、行键、列名能充分利用HBase的优势。全局二级索引应用于scan条件查询场景，查询均由索引表完成，无需
- [创建HBase全局二级索引](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290082.md): 通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理，该类中addIndices用于创建全局二级索引。全局二级索引的创建需要指定索引列、覆盖列（可选）、索引表预分区（可选，建议指定）。在已有存量数据的表上创建全局二级索引，需要创建索
- [查询HBase全局二级索引信息](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290083.md): 通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理，该类中listIndices用于查询索引信息，可以获取当前用户表所有相关索引的定义及索引状态。以下代码片段在com.huawei.bigdata.hbase.examples包的
- [基于全局二级索引查询HBase表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290084.md): 添加了全局二级索引的用户表，在使用索引条件进行查询时，可以转换为对索引表的范围查询，性能高于针对无二级索引用户表的数据查询。以下代码片段在com.huawei.bigdata.hbase.examples包的“GlobalSecondaryIndexSample”类中。本样例用于查询指定id对应的id、age、name信息，并命中idx_
- [禁用HBase全局二级索引](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290085.md): 全局二级索引的索引状态决定了索引是否有效，通过修改索引状态，可以实现索引的禁用、启用、弃用（不再生成索引数据）等功能。通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法可以完成对索引状态的修改。以下代码片段在com.huawei.bigdata.hbase.ex
- [删除HBase全局二级索引](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_290086.md): 通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理，该类中dropIndices用于删除索引。以下代码片段在com.huawei.bigdata.hbase.examples包的“GlobalSecondaryIndexSampl
- [HDFS应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300002.md): HDFS（Hadoop Distributed File System）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用。HDFS适用于如下场景：处理海量数据（TB或PB级别以上）需要很高的吞吐量需要高可靠性需要很好的可扩展能力HDFS支持使用Java语言进行程序开发，具体的A
- [HDFS应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300004.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备HDFS应用开发和运行环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调测程序所需的集群配置文件及配置网络连通后，然后直接在Windows中进行程序调测。登录FusionInsight Manag
- [导入并配置HDFS样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300007.md): HDFS针对多个场景提供样例工程，帮助客户快速学习HDFS工程。以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。针对MRS 3.6.0及之后版本集群，如果需要运行SpringBoot对接HDFS样例，需要获取样例代码解压目录中“src”目录下的样例工程“springboot > hdfs-examples”。并将如下步骤中对“
- [HDFS样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300010.md): HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。本代码样例讲解顺序为：HDFS初始化创建目录写文件追加文件内容读文件删除文件删除目录多线程设置存储策略Colocation
- [初始化HDFS](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300012.md): 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为：加载HDFS服务配置文件。实例化Filesystem。如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。在Linux客户端运行应用和在Windows环境下运行应用的初始化代码相同，代码样例如下所示
- [创建HDFS目录](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300013.md): 创建目录过程为：调用FileSystem实例的exists方法查看该目录是否存在。如果存在，则直接返回。如果不存在，则调用FileSystem实例的mkdirs方法创建该目录。如下是写文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [创建HDFS文件并写入内容](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300014.md): 写文件过程为：使用FileSystem实例的create方法获取写文件的输出流。使用该数据流将内容写入到HDFS的指定文件中。在写完文件后，需关闭所申请资源。如下是写文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [追加信息到HDFS指定文件](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300015.md): 追加文件内容，是指在HDFS的某个指定文件后面，追加指定的内容。过程为：使用FileSystem实例的append方法获取追加写入的输出流。使用该输出流将待追加内容添加到HDFS的指定文件后面。在完成后，需关闭所申请资源。如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExampl
- [读取HDFS指定文件内容](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300016.md): 获取HDFS上某个指定文件的内容。过程为：使用FileSystem实例的open方法获取读取文件的输入流。使用该输入流读取HDFS的指定文件的内容。在完成后，需关闭所申请资源。如下是读文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [删除HDFS指定文件](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300017.md): 删除HDFS上某个指定文件。被删除的文件会被直接删除，且无法恢复。所以，执行删除操作需谨慎。如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [删除HDFS指定目录](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300018.md): 删除HDFS上某个指定目录。被删除的目录会被直接删除，且无法恢复。所以，执行删除操作需谨慎。如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [创建HDFS多线程任务](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300019.md): 建立多线程任务，同时启动多个实例执行文件操作。如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。example.test()方法即为对文件的操作，代码如下：
- [配置HDFS存储策略](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300020.md): 为HDFS上某个文件或文件夹指定存储策略。登录MRS集群Manager。登录集群Manager具体操作，请参考访问MRS集群Manager。登录集群Manager具体操作，请参考访问MRS集群Manager。选择“集群 >服务 > HDFS > 配置 > 全部配置”。搜索并查看dfs.storage.policy.enabled的参数值是
- [配置HDFS同分布策略（Colocation）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300022.md): 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。在使用Colocation功能之前，建议用户对Colocation的内部机制有一定了
- [在本地Windows中调测HDFS程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300025.md): 在代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。编译并运行SpringBoot对接HDFS样例：登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到hdf
- [在Linux环境中调测HDFS应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300028.md): HDFS应用程序支持在Linux环境中运行。在程序代码完成开发后，可以上传Jar包至准备好的Linux环境中运行。HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。已安装客户端时：已安装HDFS客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主
- [HDFS Java API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300033.md): HDFS完整和详细的接口可以直接参考官方网站上的描述：https://hadoop.apache.org/docs/r3.1.1/api/index.html。HDFS常用的Java类有以下几个：FileSystem：是客户端应用的核心类。常用接口参见表1。FileStatus：记录文件和目录的状态信息。常用接口参见表2。DFSColoc
- [HDFS C API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300034.md): C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/LibHdfs.html下面代码片段仅为演示，具体代码请
- [HDFS HTTP REST API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300035.md): REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html。在客户端目录准备文件testFile
- [HDFS Shell命令介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300036.md): 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。执行HDFS Shell的方法：进入HDFS客户端如下目录，直接输入命令即可。例如：cd /opt/client/HDFS/hadoop/bin./hdfs dfs -mkdir /tmp/input执行如下命令查询HDFS命令的帮助。./hdfs -
- [配置Windows通过EIP访问普通模式集群HDFS](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300037.md): 该章节通过指导用户配置集群绑定EIP，并配置HDFS文件的方法，方便用户可以在本地对样例文件进行编译。本章节以运行HdfsExample样例为例进行说明。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云 > 用户指南
- [SpringBoot对接HDFS](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_300038.md): 该章节仅适用于MRS 3.6.0及之后版本。通过SpringBoot对接HDFS集群，实现向HDFS读写数据的功能。登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到hdfs-examples工程的src/main/resource目录。 配置文件文件名称作用core-site.xml配置HDFS详细参数。hdfs-site.
- [HetuEngine应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_310002.md): HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。HSBroker：HetuEngine的服务代理，用作用户租户管理校验，HetuEngine访问URL的获取等。Coordinator：HetuEngi
- [HetuEngine应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_310004.md): 开发流程中各阶段的说明如图1所示：
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_310006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调测程序所需的集群配置文件及配置网络连通后，然后直接在Windows中进行程序调测。下载客户端到本地并解压。MRS 3.3.0
- [导入并配置HetuEngine样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_310009.md): 客户端安装程序目录中包含了HetuEngine开发样例工程，将从工程导入样例开始学习，本文以IntelliJ IDEA 2020.1.3 (Community Edition)为例。确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过Manager页面右下角查看。打开IntelliJ IDEA，选择
- [HetuEngine样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_310011.md): 通过典型场景，用户可以快速学习和掌握HetuEngine的开发过程，并且对关键的接口函数有所了解。假定用户开发一个应用程序，需要对Hive数据源的A表和MPPDB数据源的B表进行join运算，则可以用HetuEngine来实现Hive数据源数据查询，流程如下：连接HetuEngine JDBC Server。组装SQL语句。SQL语句执行
- [在本地Windows环境中调测HetuEngine应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_310015.md): 在程序代码完成开发后，可以在Windows环境下进行编译，本地和集群业务平面网络互通时，您可以直接在本地进行调测。-Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty -Dzookeeper.client.secure=true在IDEA的conso
- [在Linux环境中调测HetuEngine应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_310016.md): 在程序代码完成开发后，可以把代码编译成jar包，上传到Linux环境进行程序功能调试。在Linux环境上调测程序前，需在Linux节点预安装客户端。jdbc驱动包获取方法：在“FusionInsight_Cluster_集群ID_HetuEngine_ClientConfig\HetuEngine\xxx\”路径下获取“hetu-jdbc
- [通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_310017.md): 需要确保业务侧和HetuEngine服务端HSBroker、Coordinator（随机分布在Yarn NodeManger）所在业务节点网络互通，且需对外开放Coordinator的IP，端口。能够触发未启动实例或是故障实例自动拉起。通过HSBroker方式连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，完成
- [通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_310018.md): 支持客户端跨网段访问。只需要确保业务侧和HetuEngine服务端HSFabric所在业务节点网络互通，且对外开放HSFabric固定的IP和端口。适用于双平面的网络场景。通过HSFabric方式连接到HetuServer，组装对应的SQL发送到HetuServer执行，完成对Hive数据源的增删改查操作。public class JDB
- [通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_310023.md): 本章节适用于MRS 3.3.0及以后版本。通过HSBroker方式连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，完成对Hive数据源的增删改查操作。上述代码中各参数说明如下表所示：
- [通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_310024.md): 通过HSFabric方式连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，完成对Hive数据源的增删改查操作。上述代码中各参数说明下表所示：
- [调测HetuEnginePython3应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_310025.md): 本章节适用于MRS 3.3.0及以后版本。在python3程序代码完成开发后，可以在Windows环境或者上传到Linux环境进行调测，和集群业务平面网络互通时，可以直接在本地进行调测。参考导入并配置HetuEngine Python3样例工程章节，获取样例代码，获取hetu-jdbc-XXX.jar文件，并复制到自定义目录中。编辑样例代
- [导入并配置HetuEngine Python3样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_310027.md): 为了运行HetuEngine组件的Python3样例代码，需要完成下面的操作。本章节适用于MRS 3.3.0及以后版本。在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。Python 3.8.2 (default, Jun 23 2020, 10:26:03)
[GCC 4.8.5 
- [Hive应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320002.md): Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。Hive主要特点如下：通过HQL语言非常容易地完成数据提取、转换和加载（ETL）。通过HQL完成海量结构化数
- [Hive应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320004.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备Hive应用开发和运行环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320006.md): Hive组件可以使用Java（JDBC和HCatalog）、Python、Python3接口进行应用开发，要准备的开发和运行环境分别如下表所示。Python开发工具的详细安装配置可参见配置Hive Python样例工程。Python3开发工具的详细安装配置可参见配置Hive Python3样例工程。进行应用开发时，需要同时准备代码的运行调
- [导入并配置Hive JDBC样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320007.md): 为了运行MRS产品Hive组件的JDBC接口样例代码，需要完成下面的操作。本章节以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。MRS 3.3.1及后续版本Hive支持JDBC连接串添加扩展标识，扩展标识添加后会在HiveServer审计日志中打印扩展标识用于区分SQL来源。若需要配置，可修改“hive-jdbc-
- [导入并配置Hive HCatalog样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320008.md): 为了运行MRS产品Hive组件的HCatalog接口样例代码，需要完成下面的操作。本章节以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。在IntelliJ IDEA的菜单栏中，选择“File > Open...”，显示“Open File or Project”对话框。在弹出窗口选择文件夹“hcatalog
- [配置Hive Python样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320009.md): 为了运行MRS产品Hive组件的Python接口样例代码，需要完成下面的操作。在客户端机器的命令行终端输入python可查看Python版本号。如下显示Python版本为2.6.6。Python 2.6.6 (r266:84292, Oct 12 2012, 14:23:48)  
[GCC 4.4.6 20120305 (Red Hat
- [配置Hive Python3样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320010.md): 为了运行MRS产品Hive组件的Python3接口样例代码，需要完成下面的操作。在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。Python 3.8.2 (default, Jun 23 2020, 10:26:03)
[GCC 4.8.5 20150623 (Red Hat 4.
- [Hive JDBC样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320012.md): 假定用户开发一个Hive数据分析应用，用于管理企业雇员信息，如表1、表2所示。创建三张表，雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended”。雇员信息表“employees_info”的字段为雇员编号、姓名、支付薪水币种、薪水金
- [创建Hive表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320014.md): 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式：自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。内部表，如果对数据的处理都由Hive完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。外部表，如果数据要被多种工具（如Pig等）共同处理，则应该使用外部表，可避免对该数据的误操作。删
- [加载数据到Hive表中](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320015.md): 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。加载数据的实质是将数据复制到HDFS上指定表的目录下。
- [查询Hive表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320016.md): 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法：SELECT查询的常用特性，如JOIN等。加载数据进指定分区。如何使用Hive自带函数。如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见创建Hive用户自定义函数。配置Hive中间过程的数据加密指定表的格式为RCFile(推荐使用)或Sequenc
- [调测HCatalog样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320021.md): Hive HCatalog应用程序支持在安装Hive和Yarn客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。已安装Hive和Yarn客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。当输出“
- [调测Hive Python样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320022.md): chmod +x python-examples -Rcd python-examplespython pyCLI_nosec.py例如：[['default', '']] 
 [{'comment': 'from deserializer', 'columnName': 'tab_name', 'type': 'STRING_TYPE'
- [调测Hive Python3样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320023.md): chmod +x python3-examples -R。修改“python3-examples/pyCLI_sec.py”时，“hosts”数组支持配置多个HiveServer节点，MRS 3.6.0-LTS及之后版本还支持配置“maxRetryTimes”和“retryInterval”参数。“maxRetryTimes”为重试次数，
- [Hive JDBC接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320026.md): Hive JDBC接口遵循标准的JAVA JDBC驱动标准。Hive作为数据仓库类型数据库，其并不能支持所有的JDBC标准API。例如事务类型的操作：rollback、setAutoCommit等，执行该类操作会获得Method not supported的SQLException异常。
- [Hive WebHCat接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320028.md): 以下示例的IP为WebHCat的业务IP，端口为安装时设置的WebHCat HTTP端口。除:version、status、version、version/hive、version/hadoop以外，其他API都需要添加user.name参数。MRS 3.6.0-LTS及之后版本，对于WebHCat提交Yarn作业的接口，例如“/hive
- [使用IBM JDK产生异常“Problem performing GSS wrap”如何处理](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320030.md): 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息。问题原因：在IBM JDK下建立的Hive connection时间超过登录用户的认证超时时间（默认一天），导致认证失败。IBM JDK的机制跟Oracle JDK的机制不同，IBM JDK在认证登录后的使用过程中做了时间检查却没有检测外部的时
- [配置Windows通过EIP访问普通模式集群Hive](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320031.md): 该章节通过指导用户配置集群绑定EIP，并配置Hive文件的方法，方便用户可以在本地对样例文件进行编译。本章节以运行hive-jdbc-example样例为例进行说明。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云 
- [实现Hive进程访问多ZooKeeper](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320032.md): FusionInsight支持在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper，分别通过“testConnectHive”和“testConnectApacheZK”方法实现。在hive-jdbc-example-multizk包中的“JDBCExample”类中，main方法的代码结
- [使用JDBC提交数据分析任务](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320038.md): 本章节介绍如何使用JDBC样例程序完成数据分析任务。使用Hive JDBC接口提交数据分析任务，该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中，实现该功能的模块如下：读取HiveServer客户端property文件，其中hiveclient.properties文件
- [HCatalog访问Hive样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320039.md): 本章节介绍如何在MapReduce任务中使用HCatalog分析Hive表数据，读取输入表第一列int类型数据执行count(distinct XX)操作，将结果写入输出表。该样例程序在“hive-examples/hcatalog-example”的“HCatalogExample.java”中，实现该功能的模块如下：实现Mapper类
- [Python访问Hive样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320040.md): 本章节介绍如何使用Python连接Hive执行数据分析任务。使用Python方式提交数据分析任务，参考样例程序中的“hive-examples/python-examples/pyCLI_sec.py”。导入HAConnection类。from pyhs2.haconnection import HAConnection声明HiveSer
- [Python3访问Hive样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320041.md): 本章节介绍如何使用Python3连接Hive执行数据分析任务。以下分析任务示例在“hive-examples/python3-examples/pyCLI_nosec.py”文件中。导入hive类from pyhive import hive创建JDBC连接：connection = hive.Connection(host='hives
- [在Windows中调测JDBC样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320042.md): 在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。需要在运行样例代码的本机hosts文件中设置访问节点的主机名和公网IP地址映射，主机名和公网IP地址请保持一一对应。仅JDBC
- [在Linux中调测JDBC样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320043.md): Hive JDBC应用程序支持在Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。已安装Java。当运行Hive JDBC应用程序所在主机不是集群中的节点时，需要在该主机的hosts文件中设置MRS集群节点的主机名和IP地址的映射关系，确保主机名和IP地址一一对应。在IDEA界面左下方单击“
- [导入并配置SpringBoot样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320047.md): 为了运行MRS产品Hive组件的SpringBoot接口样例代码，需要完成下面的操作。该章节以在Windows环境下开发SpringBoot方式连接Hive服务的应用程序为例。该章节内容适用于MRS 3.3.0及之后版本。MRS 3.3.1及后续版本Hive支持JDBC连接串添加扩展标识，扩展标识添加后会在HiveServer审计日志中打
- [调测Hive SpringBoot样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_320048.md): 该章节内容适用于MRS 3.3.0及之后版本。当输出“BUILD SUCCESS”，表示编译成功，如下图所示。编译成功后将会在样例工程的target下生成含有“-with-dependencies”字段的Jar包。在Windows环境下执行：cd /d d:\hive-rest-client-examplejava -jar hive-r
- [Kafka应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340002.md): Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。Kafka有如下几个特点：高吞吐量消息持久化到磁盘分布式系统易扩展容错性好支持online和offline场景Kafka提供
- [Kafka样例工程简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340003.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下Kafka相关样例工程：Kafka相关样例工程样例工程位置描述kafka-exampl
- [Kafka应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340004.md): Kafka客户端角色包括Producer和Consumer两个角色，其应用开发流程是相同的。开发流程中各个阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340006.md): Kafka开发应用时，需要准备的开发和运行环境如表1所示：
- [导入并配置Kafka样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340007.md): 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。若需要在本地Windows调测Kafka样例代码，将准备连接Kafka集群配置文件时获取的所有配置文件放置在样例工程的“kafka-examples\src\main\resources”目录下。不同的IDEA版本的操作
- [Kafka样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340009.md): Kafka是一个分布式消息系统，在此系统上用户可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。使用Linux客户端创建一个Topic。开发一个Producer向该Topic生产数据。开发一个Cons
- [使用Producer API向安全Topic生产消息](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340011.md): 用于实现Producer API向安全Topic生产消息。以下为用于实现Producer API向安全Topic生产消息的代码片段。详细内容在com.huawei.bigdata.kafka.example.Producer类的run方法中。
- [使用Consumer API订阅安全Topic并消费](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340012.md): 用于实现使用Consumer API订阅安全Topic，并进行消息消费。以下为用于实现使用Consumer API订阅安全Topic，并进行消息消费的代码片段。详细内容在com.huawei.bigdata.kafka.example.Consumer类中。
- [使用多线程Producer发送消息](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340013.md): 在使用Producer API向安全Topic生产消息基础上，实现了多线程Producer，可启动多个Producer线程，并通过指定相同key值的方式，使每个线程对应向特定Partition发送消息。下面代码片段在com.huawei.bigdata.kafka.example.ProducerMultThread类的run方法中，用于
- [使用多线程Consumer消费消息](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340014.md): 在使用Consumer API订阅安全Topic并消费基础上，实现了多线程并发消费，可根据Topic的Partition数目启动相应个数的Consumer线程来对应消费每个Partition上的消息。下面代码片段在com.huawei.bigdata.kafka.example.ConsumerMultThread类的run方法中，用于实
- [使用KafkaStreams统计数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340016.md): 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例，通过Kafka Streams读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topic消费数据，将统计结果以Key-Value的形式输出，完成单词统计功能。下面代码片段在com.huawei.
- [准备连接Kafka集群配置文件](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340017.md): 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，用于验证应用程序运行。场景一：准备本地Windows开发环境调测程序所需配置文件。登录FusionInsight Manager，选择“集群 > 概览 > 更多 > 下载客户端”（MRS 3.3.0-LTS及之后版本，在“主页”右上方选择“更多 > 下载客户端”），“选择
- [调测Kafka Producer样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340020.md): 如需在Windows调测程序，需要配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问集群Kafka。如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装JDK并已设置java相关环境变量。构建jar包方
- [调测Kafka Consumer样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340021.md): 如需在Windows调测程序，需要配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问集群Kafka。如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装Jdk并已设置java相关环境变量。java -c
- [调测Kafka High Level KafkaStreams API样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340023.md): 在Windows环境调测程序步骤请参考在Windows中调测程序。cd /opt/clientsource bigdata_envkafka-topics.sh --create --zookeeperquorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka--replication-factor 1 --parti
- [调测Kafka Low Level KafkaStreams API样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340024.md): 在Windows环境调测程序步骤请参考在Windows中调测程序。cd /opt/clientsource bigdata_envkafka-topics.sh --create --zookeeperquorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka--replication-factor 1 --parti
- [Kafka Shell命令介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340027.md): 查看当前集群Topic列表。bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka>bin/kafka-topics.sh --list --bootstrap-server<Kafka集群IP:21007> --command-config config/clie
- [Kafka Java API介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340028.md): Kafka相关接口同开源社区保持一致，详情请参见https://kafka.apache.org/24/documentation.html。
- [运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...”](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340030.md): 已经拥有Topic访问权限，但是运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata for topics...”。如果IP与Kafka集群部署的业务IP不一致，那么需要修改为当前集群正确的IP地址。如果配置中的端口为21007（Kafka安全模式端口），那么修改该端口为9092
- [配置Windows通过EIP访问集群Kafka](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340031.md): 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹
- [Kafka对接SpringBoot样例代码](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340033.md): 本章节适用于MRS 3.3.0及之后版本。通过SpringBoot实现对Kafka集群生产消费的功能。通过SpringBoot实现Kafka生产消费的样例代码如下：Producer为生产消息接口，Consumer为消费消息接口，KafkaProperties为客户端参数，参数需要根据实际业务修改。上述样例代码中的KafkaProperti
- [Kafka对接SpringBoot样例运行指导](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340035.md): 本章节适用于MRS 3.3.0及之后版本。“kafka-springboot-examples”样例代码，JDK版本支持JDK 8、JDK 17。在样例代码的“springboot/kafka-examples/kafka-springboot-examples”目录下找到pom文件，在此文件同级目录使用maven install工具编译
- [SpringBoot使用Spring-Kafka模块访问Kafka样例运行指导](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340036.md): 本章节适用于MRS 3.6.0及之后版本。“module-spring-kafka-examples”样例代码，JDK版本支持JDK 17、JDK 21。在样例代码的“springboot/kafka-examples/module-spring-kafka-examples”目录下找到pom文件，在此文件同级目录使用maven inst
- [SpringBoot使用Spring-Kafka模块访问Kafka样例代码](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_340037.md): 本章节适用于MRS 3.6.0及之后版本。Spring-Kafka是Spring生态系统中用于与Apache Kafka集成的模块，其提供了简化的API和配置方式，能帮助开发者更容易地在Spring应用中实现Kafka的生产者和消费者功能，能够显著降低Kafka的使用门槛。无论是简单的消息队列场景，还是复杂的事件驱动架构，Spring-K
- [MapReduce应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_360002.md): Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理数T级别的数据集。一个MapReduce作业（application/job）通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对m
- [MapReduce应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_360004.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备MapReduce开发和运行环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_360006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调测程序所需的集群配置文件及配置网络连通后，然后直接在Windows中进行程序调测。登录FusionInsight Manag
- [导入并配置MapReduce样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_360007.md): MapReduce针对多个场景提供样例工程，帮助客户快速学习MapReduce工程。以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。打开IntelliJ IDEA，依次选择File > Open。在弹出的Open File or Project会话框中选择样例工程文件夹mapreduce-example-normal
- [（可选）创建MapReduce样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_360008.md): 除了导入MapReduce样例工程，您还可以使用IntelliJ IDEA新建一个MapReduce工程。
- [MapReduce统计样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_360011.md): 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发MapReduce应用程序实现如下功能：统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“,”。log1.txt：周六网民停留日志log2.txt：周日网民停留日志首
- [MapReduce统计样例代码](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_360012.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。主要分为三个部分：从原文件中筛选女性网民上网时间数据信息，通过类CollectionMapper继承Mapper抽象类实现。汇总每个女性上网时间，并输出时间大于两个小时的女性网民信息，通过类CollectionReducer继承Reducer抽象类实现。main方法提供建立一个
- [MapReduce访问多组件样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_360014.md): 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。该样例逻辑过程如下：以HDFS文本文件为输入数据：log1.txt：数据输入文件Map阶段：获取输入数据的一行并提取姓名信息。查询HBase一条数据。查询Hive一条数据。将HBa
- [MapReduce访问多组件样例代码](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_360015.md): 主要分为三个部分：从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。获取拼接后的数据取最后一条输出到HBase、HDFS，通过类MultiComponentReducer继承Reducer抽象类实现。main方法提供建立一个Map
- [在本地Windows环境中调测MapReduce应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_360018.md): 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。MapReduce应用程序运行完成后，可通过如下方式查看应用程序的运行情况。在IntelliJ IDEA中查看应用程序运行情况。通过MapReduce日志获取应用程序运行情况。登录MapReduce WebUI查看应用程序运
- [在Linux环境中调测MapReduce应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_360021.md): 在程序代码完成开发后，可以在Linux环境中运行应用。MapReduce应用程序运行完成后，可通过如下方式查看应用程序的运行情况。通过运行结果查看程序运行情况。登录MapReduce WebUI查看应用程序运行情况。登录Yarn WebUI查看应用程序运行情况通过MapReduce日志获取应用程序运行情况。mvn -s "{maven_s
- [MapReduce Java API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_360026.md): 关于MapReduce的详细API可以参考官方网站：https://hadoop.apache.org/docs/r3.1.1/api/index.html常用接口MapReduce中常见的类如下：org.apache.hadoop.mapreduce.Job：用户提交MR作业的接口，用于设置作业参数、提交作业、控制作业执行以及查询作业状
- [MapReduce REST API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_360027.md): 功能简介通过HTTP REST API来查看更多MapReduce任务的信息。目前MapReduce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用：https://hadoop.apache.org/docs/r3.1.1/hadoop-mapreduce-client/hadoop-map
- [提交MapReduce任务时客户端长时间无响应](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_360029.md): 向YARN服务器提交MapReduce任务后，客户端长时间无响应。对于上述出现的问题，ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息，对于一个已经提交到YARN上的MapReduce任务，用户可以通过该诊断信息获取当前作业的状态以及处于该状态的原因。具体操作：登录FusionInsight M
- [MapReduce二次开发远程调试](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_360030.md): MapReduce二次开发过程中如何远程调试业务代码？MapReduce开发调试采用的原理是Java的远程调试机制，在Map/Reduce任务启动时，添加Java远程调试命令。修改客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中mapreduce.map.java.opts和mapreduce.r
- [Oozie应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370002.md): Oozie是一个用来管理Hadoop job任务的工作流引擎，Oozie流程基于有向无环图（Directed Acyclical Graph）来定义和描述，支持多种工作流模式及流程定时触发机制。易扩展、易维护、可靠性高，与Hadoop生态系统各组件紧密结合。Oozie流程的三种类型：Workflow描述一个完整业务的基本流程。描述一个完整
- [Oozie应用开发流程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370004.md): 本文档主要基于Java API对Oozie进行应用开发。开发流程中各阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370006.md): 在进行二次开发时，要准备的开发和运行环境如表1所示。
- [导入并配置Oozie样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370007.md): 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。已在Linux环境中安装了完整客户端。获取Oozie服务器URL（任意节点），这个URL将是客户端提交流程任务的目标地址。URL格式为：https://Oozie业务IP:21003/oozie。例如，“https://10.10.10.176:21003/oozie
- [Oozie样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370010.md): 工作流配置文件workflow.xml（coordinator.xml是对工作流进行调度，bundle.xml是对一组coordinator进行管理）与job.properties。如果有实现代码，需要开发对应的jar包，例如Java Action；如果是Hive，则需要开发SQL文件。上传配置文件与jar包（包括依赖的jar包）到HDF
- [Oozie应用开发步骤](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370011.md): 可以使用客户端样例目录中Mapreduce程序对日志目录的数据进行分析、处理。将Mapreduce程序的分析结果移动到数据分析结果目录，并将数据文件的权限设置成660。为了满足每天分析一次的需求，需要每天重复执行一次1.a～1.b。登录客户端所在节点，新建dataLoad目录，作为程序运行目录，后面编写的文件均保存在该目录下。例如/opt
- [job.properties](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370014.md): 流程的属性定义文件，定义了流程运行期间使用的外部参数值对。job.properties文件中包含的各参数及其含义，请参见表1。可以根据业务需要，以“key＝values”的格式自定义参数及值。
- [workflow.xml](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370015.md): 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。workflow.xml文件中包含的各参数及其含义，请参见表1。
- [Start Action](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370016.md): 流程任务的执行入口，每个流程任务有且仅有一个该节点。Start Action节点中包含的各参数及其含义，请参见表1。
- [End Action](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370017.md): 流程任务执行的终点，每个流程任务有且仅有一个该节点。End Action节点中包含的各参数及其含义，请参见表1。
- [Kill Action](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370018.md): 流程任务运行期间发生异常后，流程的异常结束节点。Kill Action节点中包含的各参数及其含义，请参见表1。
- [FS Action](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370019.md): HDFS文件操作节点，支持对HDFS文件及目录的创建、删除、授权功能。FS Action节点中包含的各参数及其含义，请参见表1。“${变量名}”表示：该值来自job.properties所定义。例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见job.properties）
- [MapReduce Action](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370020.md): MapReduce任务节点，负责执行一个map-reduce任务。MapReduce Action节点中包含的各参数及其含义，请参见表1。“${变量名}”表示：该值来自job.properties所定义。例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见job.properties）
- [coordinator.xml](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370021.md): 周期性执行workflow类型任务的流程定义文件。coordinator.xml中包含的各参数及其含义，请参见表1。“${变量名}”表示：该值来自job.properties所定义。例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见job.properties）
- [通过Java API提交Oozie作业开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370023.md): 通过典型场景，用户可以快速学习和掌握Oozie的开发过程，并且对关键的接口函数有所了解。本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，代码示例只涉及了MapReduce作业，其他作业的API调用代码是一样的，只是job配置job.properties与工作流配置workflow.xml不一样。完成导入并配置
- [通过Java API提交Oozie作业](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370024.md): Oozie通过org.apache.oozie.client.OozieClient的run方法提交作业，通过getJobInfo获取作业信息。代码示例中请根据实际情况，修改“OOZIE_URL_DEFAULT”为实际的任意Oozie的主机名，例如“https://10-1-131-131:21003/oozie/”。
- [在本地Windows环境中调测Oozie应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370028.md): 在使用Java接口完成开发程序代码后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在Windows本地运行程序，需要配置https ssl证书。登录集群任意节点，进入如下目录下载ca.crt文件。cd ${BIGDATA_HOME}/om-agent_8.1.2.2/nodeagent
- [查看Oozie应用调测结果](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370029.md): Oozie样例工程运行完成后可以通过控制台查看输出结果。控制台显示运行结果会有如下成功信息：同时在HDFS上生成目录/user/developuser/examples/output-data/map-reduce，包括如下两个文件：_SUCCESSpart-00000可以通过Hue的文件浏览器或者通过HDFS如下命令行查看：hdfs d
- [OozieShell接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370035.md): Oozie其他的命令和参数可参见以下地址：https://oozie.apache.org/docs/5.1.0/DG_CommandLineTool.html。
- [OozieJava接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370036.md): Java API主要由org.apache.oozie.client.OozieClient提供。
- [OozieREST接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370037.md): Oozie常用REST接口与Java一样。Java API主要由org.apache.oozie.client.OozieClient提供。详情请参见https://oozie.apache.org/docs/5.1.0/WebServicesAPI.html。
- [使用Oozie调度Spark访问HBase以及Hive](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_370038.md): 已经配置完成导入并配置Oozie样例工程的前提条件进入项目根目录，比如“D:\sample_project\src\oozie-examples\oozienormal-examples\OozieSparkHBaseExample”，然后执行mvn clean package -DskipTests，打包成功之后在target目录里面。
- [Spark应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410002.md): Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 适用以下场景：数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。迭代计算（Iterative Computation）：支持迭代计算，有效应对多步的数据处理逻辑。数据挖掘（D
- [Spark应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410004.md): Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程都是相同的。开发流程中各阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调测程序所需的集群配置文件及配置网络连通后，然后直接在Windows中进行程序调测。登录FusionInsight Manag
- [导入并配置Spark样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410007.md): Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*.py）即可。以下操作步骤以导入Java样例代码为例。操作流程如图1所示。打开IntelliJ IDE
- [新建Spark样例工程（可选）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410008.md): 除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。如果您需要新建Java语言的工程，选择对应参数即可。选择开发环境
- [Spark Core样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410013.md): 假定用户有某个周末网民网购停留时间的日志，基于某些业务要求，要求开发Spark应用程序实现如下功能：统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为,。log1.txt：周六网民停留日志LiuYang,female,20
YuanJing
- [Spark Core样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410014.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类：
- [Spark Core样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410015.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection：
- [Spark Core样例程序（Python）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410016.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见collectFemaleInfo.py：
- [Spark SQL样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410018.md): 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能：统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为,。log1.txt：周六网民停留日志LiuYang,female,20
YuanJi
- [Spark SQL样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410019.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection：上面是简单示例，其它SparkSQL特性请参见如下链接：https://archive.apache.org/dist/spark/d
- [Spark SQL样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410020.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection：上面是简单示例，其它sparkSQL特性请参见如下链接：https://archive.apache.org/dist/spark/d
- [Spark SQL样例程序（Python）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410021.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见SparkSQLPythonExample：
- [通过JDBC访问Spark SQL样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410028.md): 用户自定义JDBCServer的客户端，使用JDBC连接来进行表的创建、数据加载、查询和删除。在default数据库下创建child表。把/home/data的数据加载进child表中。查询child表中的数据。删除child表。通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。
- [通过JDBC访问Spark SQL样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410029.md): 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。样例工程中的data文件需要放到JDBCServer所在机器的home目录下。连接字符串中的zk.quorum也可以使用配置文件中的配置项spark.deploy.zookeeper.url来代替。在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避
- [通过JDBC访问Spark SQL样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410030.md): 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。样例工程中的data文件需要放到JDBCServer所在机器的home目录下。连接字符串中的zk.quorum也可以使用配置文件中的配置项spark.deploy.zookeeper.url来代替。在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避
- [操作Avro格式数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410032.md): 用户可以在Spark应用程序中以数据源的方式去使用HBase，本例中将数据以Avro格式存储在HBase中，并从中读取数据以及对读取的数据进行过滤等操作。在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：create'ExampleAvrotable','rowkey','cf1'
- [操作HBase数据源](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410037.md): 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：create'HBaseSourceExampleTable','rowkey
- [BulkPut接口使用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410042.md): 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将构建的RDD写入HBase中。在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：create'bulktable','cf1'创建RDD。以HBaseContext的方式操作HBase，将上面生成的
- [BulkGet接口使用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410047.md): 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要获取的数据的rowKey构造成rdd，然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。基于BulkPut接口使用章节创建的HBase表及其中的数据进行操作。创建包含了要获取的rowkey信息的RDD。以
- [BulkDelete接口使用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410052.md): 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要删除的数据的rowKey构造成rdd，然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。基于BulkPut接口使用章节创建的HBase表及其中的数据进行操作。创建包含了要删除的rowkey信息的
- [BulkLoad接口使用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410057.md): 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要插入的数据的rowKey构造成rdd，然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile导入HBase表的操作采用如下格式的命令，不属于本接口范围，不在此进行详细说明：hbase org.apache.ha
- [foreachPartition接口使用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410062.md): 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，将要插入的数据的rowKey构造成rdd，然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。在客户端执行：hbase shell命令进入HBase命令行。使用下面的命令创建HBase表：create'table2'
- [分布式Scan HBase表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410067.md): 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用hbaseRDD方法以特定的规则扫描HBase表。使用操作Avro格式数据章节中创建的HBase数据表。设置scan的规则，例如：setCaching。使用特定的规则扫描Hbase表。通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参
- [mapPartition接口使用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410072.md): 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用mapPartition接口并行遍历HBase表。使用foreachPartition接口使用章节创建的HBase数据表。构造需要遍历的HBase表中rowkey的RDD。使用mapPartition接口遍历上述rowkey对应的数据信息，并进行简单的操
- [SparkStreaming批量写入HBase表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410077.md): 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入Hbase表中。在客户端执行hbase shell进入HBase命令行。在HBase命令执行下面的命令创建HBase表：create'streamingTable','cf1'create'streamingTa
- [Spark从HBase读取数据再写入HBase样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410083.md): 假定HBase的table1表存储用户当天消费的金额信息，table2表存储用户历史消费的金额信息。现table1表有记录key=1,cf:cid=100，表示用户1在当天消费金额为100。table2表有记录key=1,cf:cid=1000，表示用户1的历史消息记录金额为1000。基于某些业务要求，要求开发Spark应用程序实现如下功
- [Spark从HBase读取数据再写入HBase样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410084.md): 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHbasetoHbase。
- [Spark从HBase读取数据再写入HBase样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410085.md): 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHbasetoHbase。
- [Spark从HBase读取数据再写入HBase样例程序（Python）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410086.md): 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。下面代码片段仅为演示，具体代码参见SparkHbasetoHbasePythonExample：
- [Spark从Hive读取数据再写入HBase样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410088.md): 假定Hive的person表存储用户当天消费的金额信息，HBase的table2表存储用户历史消费的金额信息。现person表有记录name=1,account=100，表示用户1在当天消费金额为100。table2表有记录key=1,cf:cid=1000，表示用户1的历史消息记录金额为1000。基于某些业务要求，要求开发Spark应用
- [Spark从Hive读取数据再写入HBase样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410089.md): 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase
- [Spark从Hive读取数据再写入HBase样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410090.md): 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase
- [Spark从Hive读取数据再写入HBase样例程序（Python）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410091.md): 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。下面代码片段仅为演示，具体代码参见SparkHivetoHbasePythonExample：
- [Spark Streaming对接Kafka0-10样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410098.md): 假定某个业务Kafka每1秒就会收到1个单词记录。基于某些业务要求，开发的Spark应用程序实现如下功能：实时累加计算每个单词的记录总数。log1.txt示例文件：Spark Streaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户）。确保集群安装完成，包括HDFS、Yarn、Spark和
- [Spark Streaming对接Kafka0-10样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410099.md): 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaWordCount。下面代码片段仅为演示，具体代码参见：com.hua
- [Spark Streaming对接Kafka0-10样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410100.md): 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaWordCount。下面代码片段仅为演示，具体代码参见com.huaw
- [Spark Structured Streaming样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410102.md): 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。StructuredStreaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户）。确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。
- [Spark Structured Streaming样例程序（Java）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410103.md): 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaWordCount。当Streaming DataFrame/Dataset中有新
- [Spark Structured Streaming样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410104.md): 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaWordCount。当Streaming DataFrame/Dataset中有新
- [Spark Structured Streaming样例程序（Python）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410105.md): 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。下面代码片段仅为演示，具体代码参见：SecurityKafkaWordCount。当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Str
- [Spark Structured Streaming对接Kafka样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410107.md): 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。已知：终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的adRequest topic中。请求一个广告后，可能用于多次展示，每次展示，会生成广告展示事件，保存到kafka的adShow topic中。每个广告展示
- [Spark Structured Streaming对接Kafka样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410108.md): 使用Structured Streaming，从Kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaADCount。
- [Spark Structured Streaming状态操作样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410120.md): 假设需要跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。在kafka中生成模拟数据（需要有Kafka权限用户）确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。创建Topic。{zkQuorum}表示ZooKeeper集
- [Spark Structured Streaming状态操作样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410121.md): 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.kafkaSessionization。当Streaming 
- [在Linux环境中调测Spark应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410123.md): 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。用户需保证worker和driver的Python版本一致，否则将报错："Python in wor
- [Spark Java API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410127.md): 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Spark主要使用到如下这几个类：JavaSparkContext：是Spark的对外接口，负责向调用该类的Java应用提供Spark的各种功能，如连接Spark集群，创建RDD，累积量和广播量等。它的作用相当于一个容器。SparkConf：Sp
- [Spark scala API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410128.md): 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Spark主要使用到如下这几个类：SparkContext：是Spark的对外接口，负责向调用该类的scala应用提供Spark的各种功能，如连接Spark集群，创建RDD等。SparkConf：Spark应用配置类，如设置应用名称，执行模式，e
- [Spark Python API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410129.md): 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Spark主要使用到如下这几个类：pyspark.SparkContext：是Spark的对外接口。负责向调用该类的python应用提供Spark的各种功能，如连接Spark集群、创建RDD、广播变量等。pyspark.SparkConf：Spa
- [Spark REST API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410130.md): Spark的REST API以JSON格式展现Web UI的一些指标，提供用户一种更简单的方法去创建新的展示和监控的工具，并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Stages、Storage、Environment和Executors的信息进行查询，FusionInsight
- [Spark client CLI介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410131.md): Spark CLI详细的使用方法参考官方网站的描述：https://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。Spark常用的CLI如下所示：spark-shell提供了一个简单学习API的方法，类似于交互式数据分析的工具。同时支持Scala和Python两种语言。
- [Spark JDBCServer接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410132.md): JDBCServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。JDBCServer是一个JDBC接口，用户可以通过JDBC连接JDBCServer来访问SparkSQL的数据。JDBCServer在启动的时候，会启动一个sparkSQL的应用程序，而通
- [structured streaming功能与可靠性介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410133.md): 支持对流式数据的ETL操作。支持流式DataFrames或Datasets的schema推断和分区。流式DataFrames或Datasets上的操作：包括无类型，类似SQL的操作（比如select、where、groupBy），以及有类型的RDD操作（比如map、filter、flatMap）。支持基于Event Time的聚合计算，支
- [如何添加自定义代码的依赖包](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410135.md): 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？在Project Structure页面，选择Artifacts页签。在右侧窗口中单击+，选择Library Files添加依赖包。添加Library Files选择需要添加的依赖包，然后单击OK。Choose Librari
- [如何处理自动加载的依赖包](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410136.md): 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？建议在导入工程后，手动删除自动加载的依赖。步骤如下：在IDEA工具中，选择FileProject Structures...,。选择Li
- [运行SparkStreamingKafka样例工程时报“类不存在”问题](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410137.md): 通过spark-submit脚本提交KafkaWordCount（org.apache.spark.examples.streaming.KafkaWordCount）任务时，日志中报Kafka相关的类不存在的错误。KafkaWordCount样例为Spark开源社区提供的。Spark部署时，如下jar包存放在客户端的${SPARK_HO
- [由于Kafka配置的限制，导致Spark Streaming应用运行失败](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410138.md): 使用运行的Spark Streaming任务回写Kafka时，Kafka上接收不到回写的数据，且Kafka日志报错信息如下：如下图所示，Spark Streaming应用中定义的逻辑为，从Kafka中读取数据，执行对应处理之后，然后将结果数据回写至Kafka中。例如：Spark Streaming中定义了批次时间，如果数据传入Kafka的
- [执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410139.md): 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出，日志内容如下。用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。
- [Spark应用名在使用yarn-cluster模式提交时不生效](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410140.md): Spark应用名在使用yarn-cluster模式提交时不生效，在使用yarn-client模式提交时生效，如图1所示，第一个应用是使用yarn-client模式提交的，正确显示代码里设置的应用名Spark Pi，第二个应用是使用yarn-cluster模式提交的，设置的应用名没有生效。导致这个问题的主要原因是，yarn-client和y
- [如何使用IDEA远程调试](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410141.md): 在Spark二次开发中如何使用IDEA远程调试？以调试SparkPi程序为例，演示如何进行IDEA的远程调试：打开工程，在菜单栏中选择Run > Edit Configurations。在弹出的配置窗口中用鼠标左键单击左上角的号，在下拉菜单中选择Remote，如图1所示。选择Remote选择对应要调试的源码模块路径，并配置远端调试参数Ho
- [如何采用Java命令提交Spark应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410142.md): 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：如果您使用Java语言开发程序，您可以参考如下示例，编写SparkLauncher类。public static
- [使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410143.md): 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息问题原因：在IBM JDK下建立的JDBC connection时间超过登录用户的认证超时时间（默认一天），导致认证失败。IBM JDK的机制跟Oracle JDK的机制不同，IBM JDK在认证登录后的使用过程中做了时间检查却没有检测外部的时间
- [Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410144.md): Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。原因分析：显示该异常是因为recoverFromCheckpointLocation的值判定为false，但却配置了checkpoint目录。参数recoverFromCheckpointLoca
- [从checkpoint恢复spark应用的限制](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410146.md): Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。由于checkpoint中包含了spark应用的对象序列化信息、task执行状态信息、配置信息等，因此，当存在以下问题时，从checkpoint恢复spark应用将会失败。业务代码变更
- [第三方jar包跨平台（x86、TaiShan）支持](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410147.md): 用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本，如何让spark2x支持其正常运行。第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案：cd /opt/Bigdata/FusionInsight_Spark_*/install/FusionInsight-Spark-*/spark步
- [在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410148.md): 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。Spark任务在运行过程中，driver会创建一个spark-开头的本地临时目录，用于存放业务jar包，配置文件等，同时在本地创建一个blockmgr-开头的本地临时目录，用于存放block data。此两个目录会在Spark
- [ARM环境python pipeline运行报139错误码规避方案](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410150.md): 在TaiShan服务器上，使用python插件的pipeline报错显示139错误。具体报错如下：该python程序既使用了libcrypto.so，也使用了libssl.so。而一旦LD_LIBRARY_PATH添加了hadoop的native库目录，则使用的就是hadoop native库中的libcrypto.so，而使用系统自带的
- [Structured Streaming 任务提交方式变更](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410151.md): 用户提交结构流任务时，通常需要通过--jars命令指定kafka相关jar包的路径，例如--jars /kafkadir/kafka-clients-x.x.x.jar,/kafkadir/kafka_2.11-x.x.x.jar。当前版本用户除了这一步外还需要额外的配置项，否则会报class not found异常。当前版本的Spark
- [使用Spark执行Hudi样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410156.md): 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。详细代码请参考样例代码。通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。运行Python样例代码无需通过Maven打包。运行Python样例代码无需通过Maven
- [使用Spark执行Hudi样例程序（Scala）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410157.md): 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。插入数据：查询数据：更新数据：增量查询：特定时间点查询：
- [使用Spark执行Hudi样例程序（Python）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410158.md): 下面代码片段仅为演示，具体代码参见：HudiPythonExample.py。插入数据：#insert
inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList(dataGen.generateInserts(10))
df = spark.read.jso
- [HoodieDeltaStreamer](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410160.md): 编写自定义的转化类实现Transformer。编写自定义的Schema实现SchemaProvider。在执行HoodieDeltaStreamer时加入参数：Transformer和SchemaProvider样例：
- [自定义排序器](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410161.md): 编写自定义排序类继承BulkInsertPartitioner，在写入Hudi时加入配置：自定义分区排序器样例：
- [配置Windows通过EIP访问集群Spark](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410163.md): 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。本章节以运行SparkScalaExample样例为例进行说明。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云
- [常见jar包冲突处理方式](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410164.md): Spark能对接很多的第三方工具，因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带，这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致，在使用过程中就有可能出现jar包冲突的情况。常见的jar包冲突报错有：1、报错类找不到：java.lang.NoClassDefFoundError2、报错方法找不到：j
- [配置Spark Python3样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410165.md): 为了运行MRS产品Spark2x组件的Python3接口样例代码，需要完成下面的操作。在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。Python 3.8.2 (default, Jun 23 2020, 10:26:03)
[GCC 4.8.5 20150623 (Red Hat
- [在本地Windows环境中调测Spark应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_410167.md): 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。下
- [YARN应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_430001.md): Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、I/O、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce框架设计的不足，在原MapReduce框架上进行
- [YARN Command介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_430003.md): 您可以使用YARN Commands对YARN集群进行一些操作，例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。完整和详细的Command描述可以参考官网文档：https://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-y
- [YARN Java API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_430004.md): 关于YARN的详细API可以直接参考官方网站上的描述：https://hadoop.apache.org/docs/r3.1.1/api/index.htmlYARN常用的Java类有如下几个。ApplicationClientProtocol用于Client与ResourceManager之间。Client通过该协议可实现将应用程序提交
- [YARN REST API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_430005.md): 通过HTTP REST API来查看更多Yarn任务的信息。目前Yarn的REST接口只能进行一些资源或者任务的查询。完整和详细的接口请直接参考官网上的描述以了解其使用：https://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/WebServicesIntro.h
- [Superior Scheduler REST API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_430006.md): REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:portasSS_REST_SERVER.的形式指示YARN。下面使用HTTP作为URL的一部分，并且只有HTTP将得到支持。查询Application查询scheduler engine中的所有 
- [Manager应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440002.md): 本文档供需要以HTTP基本认证（Basic Authentication）方式访问FusionInsight Manager REST API的用户使用。REST API是访问Web服务器的一套API，REST API接口的执行方式是通过HTTP请求进行的，接收GET、PUT、POST、DELETE等请求并使用JSON数据进行响应。HTT
- [Manager应用开发流程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440004.md): 本文档主要基于Java API对Manager进行应用开发。开发流程中各阶段的说明如图1和表1所示。
- [准备Manager应用开发和运行环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440006.md): 在进行开发时，要准备的开发和运行环境如表1所示。
- [导入并配置Manager样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440007.md): 打开IntelliJ IDEA，选择“File > New > Project from Existing Sources”，在弹出的“Select File or Directory to Import”窗口中选择样例代码文件夹。选择样例工程文件夹中的pom.xml文件，根据界面提示，在导入时选择“Import project from
- [Manager样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440009.md): 通过典型场景，可以快速学习和掌握Manage REST API的开发过程，并且对关键的函数有所了解。假定用户需要以非界面方式实现操作FusionInsight Manager系统，要求开发基于HTTP Basic认证的应用程序实现如下功能：登录FusionInsight Manager系统。访问FusionInsight Manager系
- [Manager登录认证](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440012.md): 实现Basic认证登录，并返回登录后的httpClient。配置用户的集群信息和登录账号信息：配置文件：“样例工程文件夹\conf\UserInfo.properties”。参数说明：userName：登录Manager系统的用户名。password：userName对应的用户密码。webUrl：Manager首页地址。userName：
- [添加Manager用户](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440013.md): 通过访问Manager接口完成添加用户。以下代码片段是添加用户的示例，在rest包的“UserManager”类的main方法中。
- [查找Manager用户](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440014.md): 通过访问Manager接口完成查找用户。以下代码片段是查找用户的示例，在rest包的“UserManager”类的main方法中。
- [修改Manager用户](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440015.md): 通过访问Manager接口完成修改用户。以下代码片段是修改用户的示例，在rest包的“UserManager”类的main方法中。
- [删除Manager用户](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440016.md): 通过访问Manager接口完成删除用户。以下代码片段是删除用户的示例，在rest包的“UserManager”类的main方法中。
- [导出Manager用户列表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440017.md): 通过访问Manager接口完成导出用户列表，导出用户列表需要依次调用导出和下载接口完成用户列表的导出。导出接口的输出为下载接口的输入。以下代码片段是导出用户列表的示例，在rest包的“ExportUsers”类的main方法中。
- [在本地开发环境中调测Manager应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440020.md): 在程序代码完成开发后，可以在Windows开发环境中直接运行应用。如果Windows运行环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。在开发环境中（例如IntelliJ IDEA中），分别选中以下两个工程运行程序：选中UserManager.java，右键选择Run 'UserManager.main()'运行应
- [查看Manager应用调测结果](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440021.md): Manager应用程序运行完成后，可通过如下方式查看运行结果：通过IntelliJ IDEA运行结果查看应用程序运行情况，可通过配置文件conf\log4j.properties配置日志打印信息。登录主管理节点查看系统日志/var/log/Bigdata/tomcat/web.log。运行UserManager类，运行成功会有如下日志信息
- [Manager Java API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440024.md): 以下仅对Manager REST API开发过程中的典型方法进行描述。该接口实现Basic认证登录，并返回登录后的HttpClient，登录过程中用户只需要调用一个接口，简化了使用过程。该接口的入参是从配置文件UserInfo.properties中获取的，该文件中的参数需要用户填写，该接口还会调用BasicAuthAccess类内部的多
- [运行Manager应用报错“authorize failed”](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440027.md): 运行应用程序时，操作失败，日志显示如图1所示。可能的原因为用户名、密码的配置错误。可排查UserInfo.properties文件中username和password的值是否配置正确。
- [运行Manager应用报错“WARN No appenders could be found for logger”](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440028.md): 运行应用程序时，操作失败，日志显示如图1所示。查看工程的bin目录下是否有编译过的log4j.properties，如果没有，则添加编译路径。
- [运行Manager应用报错“illegal character in path at index”](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440029.md): 运行应用程序时，操作失败，日志显示如图1所示。可能的原因是URL中带空格导致服务器端无法正确识别URL。需要去掉URL中的空格。
- [如何通过curl命令访问Manager REST API](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_440030.md): 用户可通过openssl version查看系统的openssl版本，如果版本低于OpenSSL 1.0.1，需要为操作系统安装较高版本的openssl，以支持使用TLSv1.1和TLSv1.2与集群交互。发送GET方法访问查询用户列表接口并保存jsessionid到jessionid.txt文件中：curl -k -i --basic 
- [ClickHouse应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460001.md): ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。ClickHouse的设计优点：数据压缩比高多核并行计算向量化计算引擎支持嵌套数据结构支持稀疏索引支持数据Insert和UpdateClickHouse的应用场景：实时数仓场景使
- [ClickHouse应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460004.md): 开发流程中各阶段的说明如图1所示。
- [准备ClickHouse应用开发和运行环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调测程序所需的集群配置文件及配置网络连通后，然后直接在Windows中进行程序调测。登录FusionInsight Manag
- [导入并配置ClickHouse样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460007.md): 获取ClickHouse开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。ClickHouse针对多个场景提供样例工程，帮助客户快速学习ClickHouse工程。在IDEA界
- [ClickHouse应用程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460008.md): 通过典型场景，用户可以快速学习和掌握ClickHouse的开发过程，并且对关键的接口函数有所了解。ClickHouse作为一款独立的DBMS系统，使用SQL语言就可以进行常见的操作。开发程序示例中，全部通过clickhouse-jdbc API接口来进行描述。设置属性建立连接创建库创建表插入数据查询数据删除表
- [配置ClickHouse连接属性](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460012.md): 在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置连接属性，如下样例代码设置socket超时时间为60s。如果导入并配置ClickHouse样例工程中的“clickhouse-example.properties”配置文件中“sslUsed”参数配置为“
- [建立ClickHouse连接](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460013.md): 本章节介绍建立ClickHouse连接样例代码。以下代码片段在“ClickhouseJDBCHaDemo”类的initConnection方法中。在创建连接时传入表1中配置的user和password作为认证凭据，ClickHouse会带着用户名和密码在服务端进行安全认证。MRS 3.3.0之前版本，示例代片段参考如下：MRS 3.3.0
- [创建ClickHouse数据库](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460014.md): 本章节介绍创建ClickHouse数据库样例代码。通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。示例代片段参考如下：private void createDatabase(String databaseName, String clusterName) throws Exception 
- [创建ClickHouse表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460015.md): 本章节介绍创建ClickHouse表样例代码。通过on cluster语句在集群中创建表1中tableName参数值为表名的ReplicatedMerge表和Distributed表。示例代片段参考如下：
- [插入ClickHouse数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460016.md): 本章节介绍插入ClickHouse数据样例代码。创建ClickHouse表创建的表具有三个字段，分别是String、UInt8和Date类型。示例代片段参考如下：
- [查询ClickHouse数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460017.md): 本章节介绍查询ClickHouse数据样例代码。查询语句1：querySql1查询创建ClickHouse表创建的tableName表中任意10条数据；查询语句2：querySql2通过内置函数对创建ClickHouse表创建的tableName表中的日期字段取年月后进行聚合。示例代片段参考如下：
- [删除ClickHouse表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460018.md): 本章节介绍删除ClickHouse表样例代码。删除在创建ClickHouse表中创建的副本表和分布式表。示例代片段参考如下：
- [在本地Windows环境中调测ClickHouse应用（MRS 3.3.0之前版本）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460021.md): 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run 'Demo'”运行应用程序工程。ClickHouse应用程序运行完成后，可通过以下方式查看程序运行情况：通过运行结果查看程序运
- [在Linux环境中调测ClickHouse应用（MRS 3.3.0之前版本）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460022.md): ClickHouse应用程序支持在Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。Linux环境已安装JDK，版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致，并设置好Java环境变量。进入IntelliJ IDEA，选择“File > Project Structu
- [导入并配置ClickHouse springboot样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460024.md): 为了运行MRS产品ClickHouse组件的SpringBoot接口样例代码，需要完成下面的操作。本章节以在Windows环境下开发SpringBoot方式连接ClickHouse服务的应用程序为例。该章节内容适用于MRS 3.3.0及之后版本。选择“File > New > Project from Existing Sources”。
- [调测springboot样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460026.md): “clickhouse-rest-client-example”样例代码，JDK版本只支持JDK 8和JDK 17。编译并运行程序在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-rest-client-exa
- [导入并配置ClickHouse事务样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460028.md): 本章节仅适用MRS 3.3.0及之后版本。获取ClickHouse开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。ClickHouse针对多个场景提供样例工程，帮助客户快速
- [在本地Windows环境中调测ClickHouse应用（MRS 3.3.0及之后版本）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460030.md): 在调测程序前，需要先确认当前使用的JDK版本（IDEA中默认使用JDK 8），并根据实际需要修改。以下操作以JDK 17为例，JDK 8操作类似。在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。事务样例工程无需执行此步骤。事务样例工程无需执行此步骤。选择“Maven > 
- [在Linux环境中调测ClickHouse应用（MRS 3.3.0及之后版本）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_460031.md): ClickHouse应用程序支持在Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。Linux环境已安装JDK，版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致，并设置好Java环境变量。选择“Maven > clickhouse-examples > Lifecycl
- [ClickHouse应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480002.md): ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。ClickHouse的设计优点：数据压缩比高多核并行计算向量化计算引擎支持嵌套数据结构支持稀疏索引支持数据Insert和UpdateClickHouse的应用场景：实时数仓场景使
- [ClickHouse应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480005.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备ClickHouse应用开发和运行环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480007.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调测程序所需的集群配置文件及配置网络连通后，然后直接在Windows中进行程序调测。登录FusionInsight Manag
- [导入并配置ClickHouse样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480008.md): 获取ClickHouse开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。ClickHouse针对多个场景提供样例工程，帮助客户快速学习ClickHouse工程。在IDEA界
- [ClickHouse应用程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480009.md): 通过典型场景，用户可以快速学习和掌握ClickHouse的开发过程，并且对关键的接口函数有所了解。ClickHouse作为一款独立的DBMS系统，使用SQL语言就可以进行常见的操作。以下开发程序示例中，全部通过clickhouse-jdbc API接口来进行描述。设置属性建立连接创建库创建表插入数据查询数据删除表
- [配置ClickHouse连接属性](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480013.md): 在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置连接属性，如下样例代码设置socket超时时间为60s。如果导入并配置ClickHouse样例工程中的“clickhouse-example.properties”配置文件中“sslUsed”参数配置为“
- [建立ClickHouse连接](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480014.md): 本章节介绍建立ClickHouse连接样例代码。以下代码片段在“ClickhouseJDBCHaDemo”类的initConnection方法中。在创建连接时传入表1中配置的user和password作为认证凭据，ClickHouse会带着用户名和密码在服务端进行安全认证。MRS 3.3.0之前版本，示例代片段参考如下：MRS 3.3.0
- [创建ClickHouse数据库](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480015.md): 本章节介绍创建ClickHouse数据库样例代码。通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。示例代片段参考如下：private void createDatabase(String databaseName, String clusterName) throws Exception 
- [创建ClickHouse表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480016.md): 本章节介绍创建ClickHouse表样例代码。通过on cluster语句在集群中创建表1中tableName参数值为表名的ReplicatedMerge表和Distributed表。示例代片段参考如下：
- [插入ClickHouse数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480017.md): 本章节介绍插入ClickHouse数据样例代码。创建ClickHouse表创建的表具有三个字段，分别是String、UInt8和Date类型。示例代片段参考如下：
- [查询ClickHouse数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480018.md): 本章节介绍查询ClickHouse数据样例代码。查询语句1：querySql1查询创建ClickHouse表创建的tableName表中任意10条数据；查询语句2：querySql2通过内置函数对创建ClickHouse表创建的tableName表中的日期字段取年月后进行聚合。示例代片段参考如下：
- [删除ClickHouse表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480019.md): 本章节介绍删除ClickHouse表样例代码。删除在创建ClickHouse表中创建的副本表和分布式表。示例代片段参考如下：
- [在本地Windows环境中调测ClickHouse应用（MRS 3.3.0之前版本）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480021.md): 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run 'Demo'”运行应用程序工程。ClickHouse应用程序运行完成后，可通过以下方式查看程序运行情况：通过运行结果查看程序运
- [在Linux环境中调测ClickHouse应用（MRS 3.3.0之前版本）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480022.md): ClickHouse应用程序也支持在Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。Linux环境已安装JDK，版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致，并设置好Java环境变量。进入IntelliJ IDEA，选择“File > Project Struct
- [导入并配置ClickHouse springboot样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480024.md): 为了运行MRS产品ClickHouse组件的SpringBoot接口样例代码，需要完成下面的操作。本章节以在Windows环境下开发SpringBoot方式连接ClickHouse服务的应用程序为例。该章节内容适用于MRS 3.3.0及之后版本。选择“File > New > Project from Existing Sources”。
- [调测ClickHouse SpringBoot样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480026.md): 编译并运行程序在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-rest-client-examples”中右键单击“ClickHouseApplication”，选择“Run ClickHouseApplic
- [导入并配置ClickHouse事务样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480028.md): 本章节仅适用MRS 3.3.0及之后版本。获取ClickHouse开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。ClickHouse针对多个场景提供样例工程，帮助客户快速
- [在本地Windows环境中调测ClickHouse应用（MRS 3.3.0及之后版本）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480030.md): 在调测程序前，需要先确认当前使用的JDK版本（IDEA中默认使用JDK 8），并根据实际需要修改。以下操作以JDK 17为例，JDK 8操作类似。在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。事务样例工程无需执行此步骤。事务样例工程无需执行此步骤。选择“Maven > 
- [在Linux环境中调测ClickHouse应用（MRS 3.3.0及之后版本）](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_480031.md): ClickHouse应用程序也支持在Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。Linux环境已安装JDK，版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致，并设置好Java环境变量。选择“Maven > clickhouse-examples > Lifecyc
- [IoTDB应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490002.md): IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，支持对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。本文档内容仅适用于MRS 3.2.0及之后版本。以电力场景为例，说明如何在IoTDB中创建一个正确的数据模型。如图1所示，即“电力集
- [IoTDB应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490004.md): 本文档主要基于Java API对IoTDB进行应用开发。开发流程中各阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。
- [导入并配置IoTDB样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490007.md): 获取IoTDB开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。配置各样例工程的“..\src\main\resources”目录下“com.huawei.bigdata.iotdb.IoTDBProperties”类，修改该类的IoTDBProperties()方法的proPath的值为“iotdb-example.pr
- [IoTDB JDBC样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490010.md): 通过JDBC连接方式，执行IoTDB SQL语句。下面代码片段仅为演示，具体代码参见“com.huawei.bigdata.iotdb.JDBCExample”类。其中，在jdbc url里设置待连接的IoTDBServer所在的节点IP、端口、用户名和密码。待连接的IoTDBServer所在的节点IP地址，可通过登录FusionInsi
- [IoTDB Session样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490011.md): 通过Session连接方式，执行IoTDB SQL语句。下面代码片段仅为演示，具体代码参见“com.huawei.bigdata.SessionExample”。其中在Session对象的参数里，设置IoTDBServer所在的节点IP、端口、用户名和密码。待连接的IoTDBServer所在的节点IP地址，可通过登录FusionInsig
- [在本地Windows环境中调测IoTDB应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490015.md): 在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。需要在运行样例代码的本机hosts文件中设置访问节点的主机名和IP地址映射，主机名和IP地址请保持一一对应。修改代码匹配的Io
- [FlinkIoTDBSink样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490018.md): IoTDB与Flink的集成。此模块包含了iotdb sink，通过flink job将时序数据写入IoTDB。该样例演示了从一个Flink job中发送数据到IoTDB server的场景。一个模拟的Source SensorSource每秒钟产生一个数据点。Flink使用IoTDBSink消费产生数据并写入IoTDB。其中在Sessi
- [FlinkIoTDBSource样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490019.md): IoTDB与Flink的集成。此模块包含了iotdb source，通过flink job将时序数据从IoTDB读取出来并且打印。该示例演示了Flink job 如何从IoTDB server读取时序数据的场景：Flink使用IoTDBSource从 IoTDB server读取数据。要使用IoTDBSource，您需要构造一个IoTDB
- [在Linux中调测JDBC或Session应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490025.md): IoTDB应用程序支持在安装IoTDB客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。操作以Session程序为例，JDBC程序操作与Session程序一样。已安装IoTDB客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。
- [在Flink WebUI和Linux中调测Flink应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490030.md): IoTDB应用程序支持在安装了Flink客户端的Linux环境和安装了Flink WebUI的环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的环境中运行。集群已安装Flink组件，并且添加了FlinkServer实例。已安装包含Flink服务的集群客户端，例如安装路径如：/opt/client。当客户端所在主机不是集群中的节
- [IoTDB Java API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490034.md): IoTDB提供了一个针对原生接口的连接池（SessionPool），使用该接口时，您只需要指定连接池的大小，就可以在使用时从池中获取连接。如果超过60s没有得到一个连接，就会打印一条警告日志，但是程序仍将继续等待。当一个连接被用完后，该连接会自动返回池中等待下次被使用；当一个连接损坏后，该连接会从池中被删除，并重建一个连接重新执行用户的操
- [IoTDB Kafka样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490036.md): 该样例介绍如何通过Kafka将数据发送到IoTDB。Producer.java：该样例展示如何将时序数据发送到Kafka集群。根据实际场景，修改“KafkaProperties.java”文件中的“TOPIC”变量，例如：public final static String TOPIC = "kafka-topic"。该样例默认的时序数据
- [在Linux环境中调测Kafka应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490038.md): 在程序代码完成开发后，可以在Linux环境中运行IoTDB-Kafka样例程序。已安装IoTDB和Kafka客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。构建Jar包方式有以下两种：方法一：选择“Maven > 样例工程名称 > Lifecycl
- [注册UDF](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490041.md): 构建Jar包。构建Jar包方式有以下两种：方法一：选择“Maven > 样例工程名称 > Lifecycle > clean”，双击“clean”运行maven的clean命令。选择“Maven > 样例工程名称 > Lifecycle > install”，双击“install”运行maven的install命令。maven工具clea
- [使用UDF进行查询](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490042.md): SLIMIT / SOFFSETLIMIT / OFFSETNON ALIGN支持值过滤支持时间过滤UDF查询目前不支持对齐时间序列“(Aligned Timeseries)”进行的查询，若在SELECT子句中选择的序列中包含对齐时间序列时，会提示错误。假定现在有时间序列“root.sg.d1.s1”和“root.sg.d1.s2”。执行
- [卸载UDF](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490043.md): DROP FUNCTION <UDF-NAME>在IoTDB客户端执行以下命令，卸载名称为“example”的UDF。
- [IoTDB自定义函数（UDF）样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490045.md): 该样例代码介绍如何实现一个简单的IoTDB自定义函数（UDF）。详细信息可以参考UDF样例程序与操作章节。以下为代码片段示例：
- [准备连接IoTDB集群配置文件](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_490047.md): 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。场景一：准备本地Windows开发环境调测程序所需配置文件。下载并解压客户端软件包。M
- [IoTDB应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500002.md): IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，支持对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。本文档内容仅适用于MRS 3.2.0及之后版本。以电力场景为例，说明如何在IoTDB中创建一个正确的数据模型。如图1所示，即“电力集
- [IoTDB应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500004.md): 本文档主要基于Java API对IoTDB进行应用开发。开发流程中各阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。
- [导入并配置IoTDB样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500007.md): 获取IoTDB开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。需放置准备集群认证用户信息获取到的认证文件“user.keytab”和“krb5.conf”及SSL证书文件“truststore.jks”到各样例工程的“..\src\main\resources”目录下。配置各样例工程的“..\src\main\resou
- [IoTDB JDBC样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500010.md): 通过JDBC连接方式，执行IoTDB SQL语句。下面代码片段仅为演示，具体代码参见“com.huawei.bigdata.iotdb.JDBCExample”类。其中，在jdbc url里设置待连接的IoTDBServer所在的节点IP、RPC端口、用户名和密码。待连接的IoTDBServer所在的节点IP地址，可通过登录FusionI
- [IoTDB Session样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500011.md): 通过Session连接方式，执行IoTDB SQL语句。下面代码片段仅为演示，具体代码参见“com.huawei.bigdata.SessionExample”。其中修改HOST_1、HOST_2、HOST_3为IoTDBServer所在节点的业务IP，在Session对象的参数里，设置用户名和密码。待连接的IoTDBServer所在节点
- [在本地Windows环境中调测IoTDB应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500015.md): 在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。需要在运行样例代码的本机hosts文件中设置访问节点的主机名和IP地址映射，主机名和IP地址请保持一一对应。修改代码匹配的Io
- [FlinkIoTDBSink样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500018.md): IoTDB与Flink的集成。此模块包含了iotdb sink，通过flink job将时序数据写入IoTDB。该样例演示了从一个Flink job中发送数据到IoTDB server的场景。一个模拟的Source SensorSource每秒钟产生一个数据点。Flink使用IoTDBSink消费产生数据并写入IoTDB。其中在Sessi
- [FlinkIoTDBSource样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500019.md): IoTDB与Flink的集成。此模块包含了iotdb source，通过flink job将时序数据从IoTDB读取出来并且打印。该示例演示了Flink job如何从IoTDB server读取时序数据的场景：Flink使用IoTDBSource从IoTDB server读取数据。要使用IoTDBSource，您需要构造一个IoTDBSo
- [在Linux环境中调测JDBC或Session应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500025.md): IoTDB应用程序支持在安装IoTDB客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。操作以Session程序为例，JDBC程序操作与Session程序一样。已安装IoTDB客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。
- [在Flink WebUI和Linux环境中调测Flink应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500030.md): IoTDB应用程序支持在安装了Flink客户端的Linux环境和安装了Flink WebUI的环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的环境中运行。集群已安装Flink组件，并且添加了FlinkServer实例。已安装包含Flink服务的集群客户端，例如安装路径为“/opt/client”。当客户端所在主机不是集群中的
- [IoTDB Java API接口介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500034.md): IoTDB提供了一个针对原生接口的连接池（SessionPool），使用该接口时，您只需要指定连接池的大小，就可以在使用时从池中获取连接。如果超过60s没有得到一个连接，就会打印一条警告日志，但是程序仍将继续等待。当一个连接被用完后，该连接会自动返回池中等待下次被使用；当一个连接损坏后，该连接会从池中被删除，并重建一个连接重新执行用户的操
- [IoTDB Kafka样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500036.md): 该样例介绍如何通过Kafka将数据发送到IoTDB。Producer.java：该样例展示如何将时序数据发送到Kafka集群。根据实际场景，修改“KafkaProperties.java”文件中的“TOPIC”变量，例如：public final static String TOPIC = "kafka-topic"。该样例默认的时序数据
- [在Linux环境中调测Kafka应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500038.md): 在程序代码完成开发后，可以在Linux环境中运行IoTDB-Kafka样例程序。已安装IoTDB和Kafka客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。构建Jar包方式有以下两种：方法一：选择“Maven > 样例工程名称 > Lifecycl
- [IoTDB自定义函数（UDF）样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500041.md): 该样例代码介绍如何实现一个简单的IoTDB自定义函数（UDF）。详细信息可以参考UDF样例程序与操作章节。以下为代码片段示例：
- [注册UDF](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500043.md): 构建Jar包。构建Jar包方式有以下两种：方法一：选择“Maven > 样例工程名称 > Lifecycle > clean”，双击“clean”运行maven的clean命令。选择“Maven > 样例工程名称 > Lifecycle > install”，双击“install”运行maven的install命令。maven工具clea
- [使用UDF进行查询](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500044.md): SLIMIT / SOFFSETLIMIT / OFFSETNON ALIGN支持值过滤支持时间过滤UDF查询目前不支持对齐时间序列“(Aligned Timeseries)”进行的查询，若在SELECT子句中选择的序列中包含对齐时间序列时，会提示错误。假定现在有时间序列“root.sg.d1.s1”和“root.sg.d1.s2”。执行
- [卸载UDF](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500045.md): DROP FUNCTION <UDF-NAME>在IoTDB客户端执行以下命令，卸载名称为“example”的UDF。
- [使用Keytab文件进行JDBC安全认证](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500046.md): 使用keytab文件进行JDBC认证。登录FusionInsight Manager，选择“系统 > 权限 > 用户”，下载参考准备MRS应用开发用户准备的开发用户的认证凭据。以下代码片段仅为演示，具体代码参见“com.huawei.bigdata.iotdb.JDBCbyKerberosExample”类。在Manager界面，选择“集
- [使用Keytab文件进行Session安全认证](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500047.md): 使用Keytab文件进行Session认证。登录FusionInsight Manager，选择“系统 > 权限 > 用户”，下载参考准备MRS应用开发用户准备的开发用户的认证凭据。以下代码片段仅为演示，具体代码参见“com.huawei.bigdata.iotdb.SessionbyKerberosExample”类。在Manager界
- [准备连接IoTDB集群配置文件](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_500049.md): 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。以下IoTDB权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。填写角色的名称，例如developrole。在“配置资源权限”的表格中选择“待操作集群的名称 > IoTDB > 普通用户权限”，勾选root根目录的“设置数据库”权限。单击
- [Doris应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_530003.md): Doris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分
- [Doris应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_530005.md): 开发流程中各阶段的说明如下图所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_530008.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。
- [准备连接Doris集群配置文件](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_530009.md): 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。以下Doris权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。填写角色名称，如“dorisrole”.在“配置资源权限”选择“待操作的集群  > Doris”，勾选“Doris管理员权限”，单击“确定”。用于程序调测或运行的节点，需要与
- [配置并导入JDBC、Stream Load或Flink Jar样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_530010.md): 为了运行Doris组件的JDBC接口样例代码，需要完成下面的操作。在IntelliJ IDEA的菜单栏中，选择“File > Open...”，显示“Open File or Project”对话框。在弹出窗口选择文件夹“doris-jdbc-example”，单击“OK”。Windows下要求该文件夹的完整路径不包含空格。以在Windo
- [配置并导入SpringBoot样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_530011.md): 为了运行MRS产品Doris组件的SpringBoot接口样例代码，需要完成下面的操作。本章节以在Windows环境下开发SpringBoot方式连接Doris服务的应用程序为例。选择“File > New > Project from Existing Sources”。在显示的“Select File or Directory to 
- [Doris JDBC接口样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_530013.md): 通过典型场景，用户可以快速学习和掌握Doris的开发过程，并且对关键的接口函数有所了解。Doris可以使用SQL进行常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。本代码样例操作流程如下：使用JDBC连接到Doris。创建数据库。在数据库中创建表。向表中插入数据。查询表数据。删
- [创建Doris连接](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_530015.md): 以下代码片段在“JDBCExample”类的“createConnection”方法中。USER和PASSWD为在创建连接时用于进行安全认证的用户名和密码。
- [创建Doris数据库](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_530016.md): 本章节介绍创建Doris数据库样例代码。以下代码片段在“JDBCExample”类中。以Java JDBC方式执行SQL语句在集群中创建dbName变量对应的数据库。String createDatabaseSql = "create database if not exists " + dbName;
public static voi
- [创建Doris表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_530017.md): 本章节介绍创建Doris表样例代码。以下代码片段在“JDBCExample”类中。以Java JDBC方式执行SQL语句在集群中dbName变量对应的数据库下创建tableName对应的表。
- [向Doris表中插入数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_530018.md): 本章节介绍向Doris表中插入数据样例代码。以下代码片段在“JDBCExample”类中。以Java JDBC方式执行SQL语句在集群的dbName.tableName表中插入数据。
- [查询Doris表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_530019.md): 本章节介绍查询Doris表数据样例代码。以下代码片段在“JDBCExample”类中。以Java JDBC方式执行SQL语句查询集群中的dbName.tableName表数据。
- [删除Doris表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_530020.md): 本章节介绍删除Doris表样例代码。以下代码片段在“JDBCExample”类中。以Java JDBC方式执行SQL语句删除集群中的dbName.tableName表。
- [在本地Windows环境中调测Doris应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_530023.md): 在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。需要在运行样例代码的本机hosts文件中设置访问节点的主机名和公网IP地址映射，主机名和公网IP地址请保持一一对应。放置好配置
- [在Linux环境中调测Doris应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_530026.md): 在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。Linux环境已安装JDK，版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。当Linux环境所在主机不是集群中的节点时，需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。构建Jar包方式有以下两种：方法一：选择“
- [Doris Stream Load接口调用样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_530029.md): Doris Stream Load样例程序用于将本地文件csv文件数据导入到Doris表中。本章节内容仅适用于MRS 3.3.1-LTS及之后版本。需根据实际环境修改样例代码中的以下参数值：HOST：值为Doris的Master FE节点IP地址，Master FE节点可通过在Manager界面，选择“集群 > 服务 > Doris”，查
- [Doris对接Flink Jar样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_530031.md): Doris支持对接Flink Jar样例程序，用于将数据导入到Doris表中。该章节内容仅适用于MRS 3.6.0-LTS及之后版本需根据实际环境修改“com/huawei/doris/FlinkDorisConnectorJarDemo.java”样例代码中的以下参数值：HOST：值为Doris的Master FE节点IP地址，Mast
- [Doris应用开发简介](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_540002.md): Doris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分
- [Doris应用开发流程介绍](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_540004.md): 开发流程中各阶段的说明如下图所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_540007.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。
- [准备连接Doris集群配置文件](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_540008.md): 对于未开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。以下Doris权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。mysql -uadmin-P数据库连接端口-hDoris FE实例IP地址admin用户默认密码为空。数据库连接端口为Doris FE的查询连接端口，默认为29982，也
- [配置并导入JDBC、Stream Load或Flink Jar样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_540009.md): 为了运行Doris组件的JDBC接口样例代码，需要完成下面的操作。在IntelliJ IDEA的菜单栏中，选择“File > Open...”，显示“Open File or Project”对话框。在弹出窗口选择文件夹“doris-jdbc-example”，单击“OK”。Windows下要求该文件夹的完整路径不包含空格。以在Windo
- [配置并导入SpringBoot样例工程](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_540010.md): 为了运行MRS产品Doris组件的SpringBoot接口样例代码，需要完成下面的操作。本章节以在Windows环境下开发SpringBoot方式连接Doris服务的应用程序为例。选择“File > New > Project from Existing Sources”。在显示的“Select File or Directory to 
- [Doris JDBC接口样例程序开发思路](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_540012.md): 通过典型场景，用户可以快速学习和掌握Doris的开发过程，并且对关键的接口函数有所了解。Doris可以使用SQL进行常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。本代码样例操作流程如下：使用JDBC连接到Doris。创建数据库。在数据库中创建表。向表中插入数据。查询表数据。删
- [创建Doris连接](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_540014.md): 以下代码片段在“JDBCExample”类的“createConnection”方法中。USER和PASSWD为在创建连接时用于进行安全认证的用户名和密码。
- [创建Doris数据库](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_540015.md): 本章节介绍创建Doris数据库样例代码。以下代码片段在“JDBCExample”类中。以Java JDBC方式执行SQL语句在集群中创建dbName变量对应的数据库。String createDatabaseSql = "create database if not exists " + dbName;
public static voi
- [创建Doris表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_540016.md): 本章节介绍创建Doris表样例代码。以下代码片段在“JDBCExample”类中。以Java JDBC方式执行SQL语句在集群中dbName变量对应的数据库下创建tableName对应的表。
- [向Doris表中插入数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_540017.md): 本章节介绍向Doris表中插入数据样例代码。以下代码片段在“JDBCExample”类中。以Java JDBC方式执行SQL语句在集群的dbName.tableName表中插入数据。
- [查询Doris表数据](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_540018.md): 本章节介绍查询Doris表数据样例代码。以下代码片段在“JDBCExample”类中。以Java JDBC方式执行SQL语句查询集群中的dbName.tableName表数据。
- [删除Doris表](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_540019.md): 本章节介绍删除Doris表样例代码。以下代码片段在“JDBCExample”类中。以Java JDBC方式执行SQL语句删除集群中的dbName.tableName表。
- [在本地Windows环境中调测Doris应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_540022.md): 在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。需要在运行样例代码的本机hosts文件中设置访问节点的主机名和公网IP地址映射，主机名和公网IP地址请保持一一对应。放置好配置
- [在Linux环境中调测Doris应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_540025.md): 在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。Linux环境已安装JDK，版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。当Linux环境所在主机不是集群中的节点时，需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。构建Jar包方式有以下两种：方法一：选择“
- [Doris Stream Load接口调用样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_540028.md): Doris Stream Load样例程序用于将本地文件csv文件数据导入到Doris表中。本章节内容仅适用于MRS 3.3.1-LTS及之后版本。需根据实际环境修改样例代码中的以下参数值：HOST：值为Doris的Master FE节点IP地址，Master FE节点可通过在Manager界面，选择“集群 > 服务 > Doris”，查
- [Doris对接Flink Jar样例程序](https://support.huaweicloud.com/devg-lts-mrs/mrs_07_540029.md): Doris支持对接Flink Jar样例程序，用于将数据导入到Doris表中。该章节内容仅适用于MRS 3.6.0-LTS及之后版本需根据实际环境修改“com/huawei/doris/FlinkDorisConnectorJarDemo.java”样例代码中的以下参数值：HOST：值为Doris的Master FE节点IP地址，Mast
- [快速开发HBase应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_09_0019.md): HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。HBase使用场景有如下几个特点：处理海量数据（TB或PB级别以上）。具有高吞吐量。在海量数据中实现高效的随机读取。具有很好的伸缩能力。能够同时处理结构化和非结构化的数据。MRS对外提供了基于HBase组件的
- [快速开发HDFS应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_09_0020.md): HDFS（Hadoop Distributed File System）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用。HDFS适用于如下场景：处理海量数据（TB或PB级别以上）需要很高的吞吐量需要高可靠性需要很好的可扩展能力MRS对外提供了基于HDFS组件的应用开发样例工程
- [快速开发Hive JDBC应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_09_0021.md): Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。Hive主要特点如下：通过HQL语言非常容易地完成数据提取、转换和加载（ETL）。通过HQL完成海量结构化数
- [快速开发Hive HCatalog应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_09_0022.md): Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。Hive主要特点如下：通过HQL语言非常容易地完成数据提取、转换和加载（ETL）。通过HQL完成海量结构化数
- [快速开发Kafka应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_09_0023.md): Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。Kafka有如下几个特点：高吞吐量消息持久化到磁盘分布式系统易扩展容错性好支持online和offline场景MRS对外提供
- [快速开发Flink应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_09_0024.md): Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。Flink整个系统包含三个部分：Cli
- [快速开发ClickHouse应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_09_0025.md): ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。ClickHouse的设计优点：数据压缩比高多核并行计算向量化计算引擎支持嵌套数据结构支持稀疏索引支持数据Insert和UpdateClickHouse的应用场景：实时数仓场景使
- [快速开发Spark应用](https://support.huaweicloud.com/devg-lts-mrs/mrs_09_0026.md): Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言的应用开发。 通常适用以下场景：数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。迭代计算（Iterative Computation）：支持迭代计算，有效应对多步的数据处理逻辑。数据挖掘（Data Mining）：在海量数据

## 服务公告

- [MRS 3.1.2-LTS.3版本说明](https://support.huaweicloud.com/bulletin-mrs/mrs_08_0156.md): MRS 3.1.2-LTS.3 2022年5月1日首个商用LTS版本上线。
- [MRS 3.1.5版本说明](https://support.huaweicloud.com/bulletin-mrs/mrs_08_0157.md): MRS 3.1.5 2023年3月28日
- [MRS 3.2.0-LTS.1版本说明](https://support.huaweicloud.com/bulletin-mrs/mrs_08_0158.md): MRS 3.2.0-LTS.1 2023年4月28日
- [MRS 3.5.0-LTS版本说明](https://support.huaweicloud.com/bulletin-mrs/mrs_08_0189.md): MRS 3.5.0-LTS 2024年10月30日
- [Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）公告](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000002.md): 近日，华为云关注到Apache Log4j2存在一处远程代码执行漏洞（CVE-2021-44228），在引入Apache Log4j2处理日志时，会对用户输入的内容进行一些特殊的处理，攻击者可以构造特殊的请求，触发远程代码执行。目前POC已公开，风险较高。具体漏洞详情，请参见Apache Log4j2 远程代码执行漏洞（CVE-2021-
- [Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）修复指导](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000003.md): 本章节指导用户修复log4j2的CVE-2021-44228漏洞。目前有两种方式可以采用如下两种方式修复：现有集群节点安装补丁扩容节点安装补丁从OBS路径中下载的补丁工具“MRS_Log4j_Patch.tar.gz”，下载路径：https://mrs-container1-patch-cn-south-1.obs.cn-south-1.
- [简介](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000005.md): Fastjson披露存在一处反序列化远程代码执行漏洞，漏洞影响所有1.2.80及以下版本，成功利用漏洞可绕过autoType限制，实现远程任意执行代码。存在漏洞的业务被攻击时，将可能导致攻击者远程在业务平台中执行任意代码。在产品未发布对应解决方案前，建议您参考以下的相关预防措施。加固物理设备安全边界，防止外网直接访问及攻击内网管理平面。排
- [影响范围](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000006.md): MRS 3.0.x至MRS 3.5.x版本。管理面：不涉及该漏洞租户面：Manager（Web+Controller+Acs+Aos+Disaster+pms+iam+BackupRecovery+nodeagent+MetricAgent）、ClickHouse、Kafka、Flink、Ranger执行以下章节：修复Manager We
- [修复Manager Web](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000007.md): 已获取FusionInsight Manager登录地址及admin账号。cp $OM_TOMCAT_HOME/bin/catalina.sh /tmp$OMS_RUN_PATH/workspace/ha/module/harm/plugin/script/tomcat stop$OMS_RUN_PATH/workspace/ha/mod
- [修复Manager Controller](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000008.md): 已获取FusionInsight Manager登录地址及admin账号。cp $CONTROLLER_HOME/sbin/controller.sh /tmpsh /opt/Bigdata/om-server/om/sbin/restart-controller.shps -ef |grep ControllerService如果包含参
- [修复Manager nodeagent](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000009.md): 已获取FusionInsight Manager登录地址及admin账号。cp $NODE_AGENT_HOME/bin/nodeagent_ctl.sh /tmp可以手动通过omm用户将修改完成的“$NODE_AGENT_HOME/bin/nodeagent_ctl.sh”文件覆盖到所有节点。$CONTROLLER_HOME/inst/
- [修复Kafka](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000010.md): 已获取FusionInsight Manager登录地址及admin账号。例如原参数值为：“-Xmx4G -Xms4G”，则修改后的参数值为：“-Xmx4G -Xms4G -Dfastjson.parser.safeMode=true”。ps -ef | grep KafkaUI如果包含参数“-Dfastjson.parser.safeM
- [修复Flink](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000011.md): 已获取FusionInsight Manager登录地址及admin账号。例如原参数值为：“xxx”，则修改后的参数值为：“xxx -Dfastjson.parser.safeMode=true”。ps -ef | grep FlinkServer如果包含参数“-Dfastjson.parser.safeMode=true”，说明漏洞问题
- [MRS集群版本生命周期](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000014.md): MRS当前提供两种版本集群的创建：普通版和LTS版。MRS普通版集群版本号：格式为a.b.c.d，其中a.b为大版本号，c为小版本号，d为补丁版本，例如 MRS 3.1.5.1。a：代表了版本有较大的变动。b：代表了版本有一些组件的变动。c：代表了小版本的变动，可以向前兼容。d：代表了补丁版本，用于问题修复。MRS普遍版集群版本号a：代表
- [MRS控制台操作日志不再记录作业操作变更公告](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000016.md): 华为云计划于2025/03/10 00:00:00（北京时间）对MapReduce服务控制台操作日志功能进行调整，调整后操作日志处将不再记录作业操作的相关日志。管理控制台操作日志处将不再记录MRS集群作业操作的相关日志，MRS集群作业操作日志请到云审计服务CTS中事件列表中查看。云审计服务CTS支持在管理控制台对7天内操作记录按照事件类型
- [1.9.x版本集群停止维护公告](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000018.md): 发布时间：2023/3/8根据MRS版本生命周期策略，华为云MRS 1.9.x版本即将于2023.9.8 00:00（北京时间）EOS（停止服务），届时针对该版本集群，华为云将不再提供技术支持和服务，不再承诺安全性、稳定性及相应SLA。若您账号下存在1.9.x及之前版本的集群，为了保证您的服务权益，建议使用最新的商用版本，否则需自行承担存
- [2.1.x版本集群停止维护公告](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000019.md): 发布时间：2022/12/13根据MRS版本生命周期策略，华为云MRS 2.1.x版本即将于2023.5.13 00:00（北京时间）EOS（停止服务），届时针对该版本集群，华为云将不再提供技术支持和服务，不再承诺安全性、稳定性及相应SLA。若您账号下存在2.1.x及之前版本的集群，为了保证您的服务权益，建议使用最新的商用版本，否则需自行
- [3.1.0版本集群停止维护公告](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000020.md): 发布时间：2024/5/9根据MRS版本生命周期策略，华为云MRS 3.1.0版本即将于2024.11.9 00:00（北京时间）EOS（停止服务），届时针对该版本集群，华为云将不再提供技术支持和服务，不再承诺安全性、稳定性及相应SLA。若您账号下存在3.1.0及之前版本的集群，为了保证您的服务权益，建议使用最新的商用版本，否则需自行承担
- [3.1.0-LTS版本集群停止维护公告](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000021.md): 发布时间：2024/3/26根据MRS版本生命周期策略，华为云MRS 3.1.0-LTS版本即将于2024.9.26 00:00（北京时间）EOS（停止服务），届时针对该版本集群，华为云将不再提供技术支持和服务，不再承诺安全性、稳定性及相应SLA。若您账号下存在3.1.0-LTS及之前版本的集群，为了保证您的服务权益，建议使用最新的商用版
- [3.1.2-LTS版本集群停止维护公告](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000022.md): 发布时间：2025/6/2根据MRS版本生命周期策略，华为云MRS 3.1.2-LTS版本即将于2025.12.2 00:00（北京时间）EOS（停止服务），届时针对该版本集群，华为云将不再提供技术支持和服务，不再承诺安全性、稳定性及相应SLA。若您账号下存在3.1.2-LTS及之前版本的集群，为了保证您的服务权益，建议使用最新的商用版本
- [MRS 3.6.0-LTS.1版本说明](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000024.md): MRS 3.6.0-LTS.1 2026年5月30日无。
- [Linux内核权限提升漏洞（CVE-2026-31431）公告](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000025.md): 近期，互联网披露CVE-2026-31431 Linux Copy Fail本地提权漏洞。由于Linux内核加密子系统authencesn模块中存在逻辑缺陷，攻击者通过AF_ALG套接字暴露的内核加密API，配合splice()系统调用，可实现对setuid二进制文件（如 /usr/bin/su）页缓存的4字节任意写入，可导致容器逃逸、权
- [Linux内核权限提升漏洞（CVE-2026-43284）公告](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000026.md): 近期，业界公开了一个Linux内核高危本地权限提升（LPE）漏洞。它是继不久前的Copy Fail（CVE-2026-31431）之后，又一个利用内核页面缓存（Page Cache）写原语实现提权的逻辑漏洞，该漏洞被命名为Dirty Frag，可导致容器逃逸、权限提升，详情如下：CVE-2026-43284（xfrm/ESP路径）：攻击者
- [修复Manager Acs](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000027.md): 执行结果如果包含参数“-Dfastjson.parser.safeMode=true”，则漏洞问题已经修复。
- [修复Manager Aos](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000028.md): 执行结果如果包含参数“-Dfastjson.parser.safeMode=true”，则漏洞问题已经修复。
- [修复Manager Disaster](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000029.md): 执行结果如果包含参数“-Dfastjson.parser.safeMode=true”，则漏洞问题已经修复。
- [修复Manager pms](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000030.md): 执行结果如果包含参数“-Dfastjson.parser.safeMode=true”，则漏洞问题已经修复。
- [修复Manager iam](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000031.md): 执行结果如果包含参数“-Dfastjson.parser.safeMode=true”，则漏洞问题已经修复。
- [修复Manager BackupRecovery](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000032.md): 安全集群（启用Kerberos认证）：sh $BIGDATA_HOME/om-server/om/sbin/start-backupplugin.sh '' 20028 'security' 'backup/manager' '$BIGDATA_HOME/om-server/om/etc/om/backup.keytab' '$BIGDA
- [修复Manager MetricAgent](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000033.md): 可以手动通过omm用户将修改完成的“$BIGDATA_OM_AGENT_HOME/metric-agent/bin/mpa_ctl.sh”文件覆盖到所有节点。执行结果如果包含参数“-Dfastjson.parser.safeMode=true”，则漏洞问题已经修复。可以手动通过omm用户将修改完成的“$BIGDATA_OM_AGENT_H
- [修复ClickHouse](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000034.md): 找到check_shard_status函数，在${JAVA}命令后添加“-Dfastjson.parser.safeMode=true”， 如下图所示：登录ClickHouseServer所在实例的后台，执行如下命令：执行结果如下图所示，则规避成功：登录ClickHouseServer所在实例的后台，执行如下命令：执行结果如下图所示，则
- [修复Ranger](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000035.md): 已获取FusionInsight Manager登录地址及admin账号。是，操作结束。否，则在搜索到的参数内容末尾添加“-Dfastjson.parser.safeMode=true”，修改的为所有Ranger的角色。注意与前参数有空格。注意与前参数有空格。执行结果如果如下图所示，则漏洞问题已经修复。是，则在搜索到的参数内容删除掉“ -

## 产品介绍

- [什么是MapReduce服务](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0001.md): 大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利
- [产品优势](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0002.md): MapReduce服务（MRS）提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、ClickHouse等大数据组件，用户无需关注硬件的购买和维护。MRS服务拥有强大的Hadoop内核团队，基于华为大数据企业级平台构筑，历经行业数万节点部署量的考验，提供多级用户SLA保障。与自建Hadoop
- [应用场景](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0004.md): 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源，接入后需要对数据进行ETL（Extract-Transform-Load）处理形成模型化数据，以便提供给各个业务模块进行分析梳理，这类业务通常
- [MRS组件版本一览表](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0005.md): MRS各集群版本配套的组件及版本号信息如表1所示。Hadoop组件包含HDFS、Yarn、Mapreduce服务，DBService、KrbServer及LdapServer等集群内部使用的组件，在创建集群时的组件列表中不呈现。MRS组件的版本号通常与组件开源版本号保持一致。MRS集群内各组件不支持单独升级，请根据实际需要选择对应版本的集
- [HDFS基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_000701.md): HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件之后的添加操作。HDFS保证一个文件在一个时刻只被一个调用者执行写操作，而可以
- [HDFS HA方案介绍](https://support.huaweicloud.com/productdesc-mrs/mrs_08_000702.md): 在Hadoop 2.0.0之前，HDFS集群中存在单点故障问题。由于每个集群只有一个NameNode，如果NameNode所在机器发生故障，将导致HDFS集群无法使用，除非NameNode重启或者在另一台机器上启动。这在两个方面影响了HDFS的整体可用性：当异常情况发生时，如机器崩溃，集群将不可用，除非重新启动NameNode。计划性的维
- [HDFS与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_000703.md): HDFS是Apache的Hadoop项目的子项目，HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日志文件，HBase中的所有数据文件都可以存储在Hadoop HDFS文件系统上。HDFS是Hadoop分布式文件系统
- [HDFS开源增强特性](https://support.huaweicloud.com/productdesc-mrs/mrs_08_000704.md): 离线数据汇总统计场景中，Join是一个经常用到的计算功能，在MapReduce中的实现方式大体如下：Map任务分别将两个表文件的记录处理成（Join Key，Value），然后按照Join Key做Hash分区后，送到不同的Reduce任务里去处理。Reduce任务一般使用Nested Loop方式递归左表的数据，并遍历右表的每一行，对于
- [Spark基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_000801.md): Spark是一个开源的，并行数据处理框架，能够帮助用户简单、快速地开发大数据应用，对数据进行离线处理、流式处理、交互式分析等。Spark提供了一个快速的计算、写入及交互式查询的框架。相比于Hadoop，Spark拥有明显的性能优势。Spark使用in-memory的计算方式，通过这种方式来避免一个MapReduce工作流中的多个任务对同一
- [Spark HA方案介绍](https://support.huaweicloud.com/productdesc-mrs/mrs_08_000802.md): 基于社区已有的JDBCServer基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的JDBCServer服务。多主实例模式相比主备模式的HA方
- [Spark与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_000803.md): 通常，Spark中计算的数据可以来自多个数据源，如Local File、HDFS等。最常用的是HDFS，用户可以一次读取大规模的数据进行并行计算。在计算完成后，也可以将数据存储到HDFS。分解来看，Spark分成控制端(Driver)和执行端（Executor）。控制端负责任务调度，执行端负责任务执行。读取文件的过程如图 读取文件过程所示
- [Spark开源增强特性](https://support.huaweicloud.com/productdesc-mrs/mrs_08_000804.md): 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。当前开源Spark在跨源查询时，只能对简单的filter进行下推，因此造成大量不必要的数据传输，影响SQL引擎性能。针对下推能力进行增
- [HBase基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001001.md): 在大数据场景中，传统关系型数据库在处理海量数据时面临扩展性和性能瓶颈。当用户需要存储数十亿行、数百万列的非结构化或半结构化数据，并要求支持实时读写访问时，需要一种高可靠、高性能、可灵活扩展的分布式存储系统。HBase是一个开源的、面向列（Column-Oriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵
- [HBase HA方案介绍](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001002.md): HBase中的HMaster负责Region分配，当RegionServer服务停止后，HMaster会把相应Region迁移到其他RegionServer。为了解决HMaster单点故障导致HBase正常功能受到影响的问题，引入HMaster HA模式。HMaster高可用性架构是通过在ZooKeeper集群创建Ephemeral no
- [HBase与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001003.md): HDFS是Apache的Hadoop项目的子项目，HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日志文件，HBase中的所有数据文件都可以存储在Hadoop HDFS文件系统上。HBase和ZooKeeper的关系
- [HBase开源增强特性](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001004.md): HBase是一个Key-Value类型的分布式存储数据库。每张表的数据按照RowKey的字典顺序排序，因此，如果按照某个指定的RowKey去查询数据，或者指定某一个RowKey范围去扫描数据时，HBase可以快速定位到需要读取的数据位置，从而可以高效地获取到所需要的数据。在实际应用中，很多场景是查询某一个列值为“XXX”的数据。HBase
- [Hive基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001101.md): 在大数据场景中，直接编写MapReduce程序处理海量结构化数据的门槛高、开发效率低。当用户需要以类SQL方式对存储在HDFS中的大规模数据进行ETL（提取、转换、加载）和分析时，Hive是一种高效的数据仓库解决方案。Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可
- [Hive CBO原理介绍](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001102.md): CBO，全称是Cost Based Optimization，即基于代价的优化器。其优化目标是：在编译阶段，根据查询语句中涉及到的表和查询条件，计算出产生中间结果少的高效join顺序，从而减少查询时间和资源消耗。Hive中实现CBO的总体过程如下：Hive使用开源组件Apache Calcite实现CBO。首先SQL语句转化成Hive的A
- [Hive与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001103.md): Hive是Apache的Hadoop项目的子项目，Hive利用HDFS作为其文件存储系统。Hive通过解析和计算处理结构化的数据，Hadoop HDFS则为Hive提供了高可靠性的底层存储支持。Hive数据库中的所有数据文件都可以存储在Hadoop HDFS文件系统上，Hive所有的数据操作也都是通过Hadoop HDFS接口进行的。Hi
- [Hive开源增强特性](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001104.md): HDFS Colocation（同分布）是HDFS提供的数据分布控制功能，利用HDFS Colocation接口，可以将存在关联关系或者可能进行关联操作的数据存放在相同的存储节点上。Hive支持HDFS的Colocation功能，即在创建Hive表时，通过设置表文件分布的locator信息，可以将相关表的数据文件存放在相同的存储节点上，从
- [Hue基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001201.md): Hue是一组WEB应用，用于和MRS大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。Hue主要包括了文件浏览器和查询编辑器的功能：文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录；查询编辑器能够编写简单的SQL，查询存储在Hadoop之
- [Hue与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001202.md): Hue与Hadoop集群的交互关系如图1所示。
- [Hue开源增强特性](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001203.md): 存储策略定义。HDFS文件存储在多种等级的存储介质中，有不同的副本数。本特性可以手工设置HDFS目录的存储策略，或者根据HDFS文件最近访问时间和最近修改时间，自动调整文件存储策略、修改文件副本数、移动文件所在目录、自动删除文件，以便充分利用存储的性能和容量。MR引擎。用户执行Hive SQL可以选择使用MR引擎执行。可靠性增强。Hue自
- [Kafka基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001301.md): Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。更多关于Kafka组件操作指导
- [Kafka与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001302.md): Kafka作为一个消息发布-订阅系统，为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。Kafka可以实时接收来自外部的消息，并提供给在线以及离线业务进行处理。Kafka与其他组件的具体的关系如下图所示：
- [Kafka开源增强特性](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001303.md): 支持监控如下Topic级别的指标：Topic输入的字节流量Topic输出的字节流量Topic拒绝的字节流量Topic每秒失败的fetch请求数Topic每秒失败的Produce请求数Topic每秒输入的消息条数Topic每秒的fetch请求数Topic每秒的produce请求数Topic输入的字节流量Topic输出的字节流量Topic拒绝
- [Storm基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001401.md): Apache Storm是一个分布式、可靠、容错的实时流式数据处理的系统。在Storm中，先要设计一个用于实时计算的图状结构，称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个拓扑中包括spout和bolt两种角色，其中s
- [Storm与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001402.md): Storm，提供实时的分布式计算框架，它可以从数据源（如Kafka、TCP连接等）中获得实时消息数据，在实时平台上完成高吞吐、低延迟的实时计算，并将结果输出到消息队列或者进行持久化。Storm与其他组件的关系如图1所示：Storm和Streaming都使用的开源Apache Storm内核，不同的是，Storm使用的内核版本是1.2.1，
- [Storm开源增强特性](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001403.md): CQLCQL（Continuous Query Language），持续查询语言，是一种用于实时数据流上的查询语言，它是一种SQL-like的语言，相对于SQL，CQL中增加了（时序）窗口的概念，将待处理的数据保存在内存中，进行快速的内存计算，CQL的输出结果为数据流在某一时刻的计算结果。使用CQL，可以快速进行业务开发，并方便地将业务提
- [Flume基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001601.md): Flume是一个高可用、高可靠，分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。其中Flume-NG是Flume的一个分支，其特点是明显简单，体积更小，更容易部署，其最基本的架构如下图所示：Flume-NG由一
- [Flume与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001602.md): 当用户配置HDFS作为Flume的Sink时，HDFS就作为Flume的最终数据存储系统，Flume将传输的数据全部按照配置写入HDFS中。具体操作场景请参见使用Flume服务端从本地采集静态日志保存到HDFS和使用Flume服务端从本地采集动态日志保存到HDFS。当用户配置HBase作为Flume的Sink时，HBase就作为Flume
- [Flume开源增强特性](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001603.md): 提升传输速度。可以配置将指定的行数作为一个Event，而不仅是一行，提高了代码的执行效率以及减少写入磁盘的次数。传输超大二进制文件。Flume根据当前内存情况，自动调整传输超大二进制文件的内存占用情况，不会导致Out of Memory（OOM）的出现。支持定制传输前后准备工作。Flume支持定制脚本，指定在传输前或者传输后执行指定的脚本
- [Loader基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001701.md): Loader是在开源Sqoop组件的基础上进行了一些扩展，实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。Loader模型主要由Loader Client和Loader Server组
- [Loader与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001702.md): 与Loader有交互关系的组件有HDFS、HBase、Hive、Yarn、Mapreduce和ZooKeeper等。Loader作为客户端使用这些组件的某些功能，如存储数据到HDFS和HBase，从HDFS和HBase表读数据，同时Loader本身也是一个Mapreduce客户端程序，完成一些数据导入导出任务。Loader通过MapRed
- [Loader开源增强特性](https://support.huaweicloud.com/productdesc-mrs/mrs_08_001703.md): Loader是在开源Sqoop组件的基础上进行了一些扩展，除了包含Sqoop开源组件本身已有的功能外，还开发了如下的增强特性：提供数据转化功能支持图形化配置转换步骤支持从SFTP/FTP服务器导入数据到HDFS/OBS支持从SFTP/FTP服务器导入数据到HBase表支持从SFTP/FTP服务器导入数据到Phoenix表支持从SFTP/F
- [自动弹性伸缩](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0022.md): 随着企业的数据越来越多，越来越多的企业选择使用Spark/Hive等技术来进行分析，由于数据量大，任务处理繁重，资源消耗较高，因此使用成本也越来越高。当前并不是每个企业在每时每刻在进行分析，而一般是在一天的一个时间段内进行分析汇总，因此MRS提供了弹性伸缩能力，可以自动在业务在繁忙时申请额外资源，业务不繁忙时释放闲置资源，让用户按需使用，
- [创建Task节点](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0023.md): MRS集群支持创建Task节点，只作为计算节点，不存放持久化的数据，是实现弹性伸缩的基础。在MRS服务只作为计算资源的场景下，使用Task节点可以节省成本，并可以更加方便快捷地对集群节点进行扩缩容，满足用户对集群计算能力随时增减的需求。当集群数据量变化不大而集群业务处理能力需求变化比较大，临时需要增大业务量时，可选择添加Task节点。临时
- [集群状态消息通知](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0024.md): 大数据集群运行过程中经常会进行如下操作：大数据集群变更，比如扩容、缩容集群。业务数据量突然变化，集群触发弹性伸缩。相关业务结束，需要终止大数据集群等。用户想要及时得知这些操作是否执行成功，以及当集群出现大数据服务不可用，或节点故障时，用户希望不用频繁登录集群查看，就可以及时地收到告警通知。MRS联合消息通知服务(SMN)，可以将以上信息主
- [节点自定义引导操作](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0025.md): MRS提供标准的云上弹性大数据集群，目前可安装部署包括Hadoop、Spark等大数据组件。当前标准的云上大数据集群不能满足所有用户需求，例如如下几种场景：通用的操作系统配置不能满足实际数据处理需求，例如需调大系统最大连接数。需要安装自身业务所需的软件工具或运行环境，例如需安装Gradle、业务需要依赖R语言包。根据自身业务对大数据组件包
- [与其他云服务的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0026.md): MRS服务与周边其他云服务的关系如图1所示。MRS与其他云服务的关系图在您开启了云审计服务后，系统开始记录云服务资源的操作。云审计服务管理控制台保存最近7天的操作记录。相关操作步骤请参考云审计服务（CTS） > 用户指南。
- [约束与限制](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0027.md): 使用MRS前，您需要认真阅读并了解以下使用限制。MRS集群操作与组件使用过程中，应注意以下的禁用操作，防止集群不稳定导致业务运行异常。表4为MRS集群内各组件在操作与维护阶段应注意的高危操作。
- [配额说明](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0029.md): 配额是用户账号在对应环境配置的可用资源额度，限定配额仅是为了防止资源滥用。MapReduce服务通常使用的基础资源如下，配额由各个基础服务管理，如需扩大配额，请联系对应服务的技术支持进行扩容：弹性云服务器裸金属服务器虚拟私有云云硬盘镜像服务对象存储服务弹性公网IP消息通知服务统一身份认证服务其配额查看及修改请参见关于配额。
- [Tez](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0030.md): Tez是Apache最新的支持DAG（有向无环图）作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。MRS将Tez作为Hive的默认执行引擎，执行效率远远超过原先的MapReduce的计算引擎。有关Tez的详细说明，请参见：https://tez.apache.org/。更多关于Tez组件操作指导，请
- [Presto](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0031.md): Presto是一个开源的用户交互式分析查询的SQL查询引擎，用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、Ad-Hoc查询等场景。Presto允许查询的数据源包括Hadoop分布式文件系统（HDFS），Hive，HBase，Cassandra，关系数据库甚至专有数
- [KafkaManager](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0032.md): KafkaManager是Apache Kafka的管理工具，提供Kafka集群界面化的Metric监控和集群管理。通过KafkaManager进行以下操作：支持管理多个Kafka集群支持界面检查集群状态（主题，消费者，偏移量，分区，副本，节点）支持界面执行副本的leader选举使用选择生成分区分配以选择要使用的分区方案支持界面执行分区重
- [权限管理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0033.md): 如果您需要对华为云上购买的MRS资源，为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全地控制华为云资源的访问。如果华为账号已经能满足您的要
- [Flink基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_003401.md): Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。Flink技术栈如图1所示。Flink
- [Flink HA方案介绍](https://support.huaweicloud.com/productdesc-mrs/mrs_08_003402.md): 每个Flink集群只有单个JobManager，存在单点失败的情况。Flink有Yarn、Standalone和Local三种模式，其中Yarn和Standalone是集群模式，Local是指单机模式。但Flink对于Yarn模式和Standalone模式提供HA机制，使集群能够从失败中恢复。这里主要介绍Yarn模式下的HA方案。Flin
- [Flink与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_003403.md): Flink支持基于Yarn管理的集群模式，在该模式下，Flink作为Yarn上的一个应用，提交到Yarn上执行。Flink基于Yarn的集群部署如图1所示。Flink Yarn Client首先会检验是否有足够的资源来启动Yarn集群，如果资源足够，会将Jar包、配置文件等上传到HDFS。Flink Yarn Client首先与Yarn 
- [OpenTSDB](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0035.md): OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息，并可实现数据的秒级查询，解决海量监控类数据在普通数据库中查询存储的局限性。OpenTSDB由时间序列守护进程（TSD）和一组命令行实用程序组成。与OpenTSDB的交互主要通过运行一个或多个TSD来实现。每个
- [Impala](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0038.md): Impala直接对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用于Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue中的Impala查询UI）。这为实时或面向批处理的查询提供了一个熟悉且
- [Kudu](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0039.md): Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。Kudu的设计具有以下优点：能够快速处理OLAP工作负载支持与MapReduce，Spark和其他Hadoop生态系统组件集成与Apache Impala的紧密集成，使其成为将
- [Alluxio](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0040.md): Alluxio是一个面向基于云的数据分析和人工智能的数据编排技术。在MRS的大数据生态系统中，Alluxio位于计算和存储之间，为包括Apache Spark、Presto、Mapreduce和Apache Hive的计算框架提供了数据抽象层，使上层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储
- [Ranger基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_004101.md): 在大数据集群中，HDFS、Hive、HBase、Kafka等多个组件各自维护独立的权限管理机制，管理员需要分别在各个组件中配置访问控制策略，不仅管理分散、配置繁琐，且难以实现统一的审计追踪。当集群规模扩大、用户和组件数量增多时，分散的权限管理方式效率低下，且容易出现策略不一致导致的安全风险。那么，如何对整个Hadoop生态进行集中式的细粒
- [Ranger与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_004102.md): Ranger为组件提供基于PBAC的鉴权插件，供组件服务端运行，目前支持Ranger鉴权的组件有HDFS、Yarn、Hive、HBase、Kafka、Storm和Spark等，后续会支持更多组件。Ranger为各组件提供了基于PBAC（Policy-Based Access Control）的权限管理插件，用于替换组件自身原来的鉴权插件。
- [多租户资源管理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0042.md): 现代企业的数据集群在向集中化和云化方向发展，企业级大数据集群需要满足：不同用户在集群上运行不同类型的应用和作业（分析、查询、流处理等），同时存放不同类型和格式的数据。部分用户（例如银行、政府单位等）对数据安全非常关注，不接受将自己的数据与其他用户放在一起。这给大数据集群带来了以下挑战：合理地分配和调度资源，以支持多种应用和作业在集群上平稳
- [MRS安全增强](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0043.md): MRS作为一个海量数据管理和分析的平台，具备高安全性。MRS主要从以下几个方面保障用户的数据和业务运行安全。网络隔离整个系统部署在公有云上的虚拟私有云中，提供隔离的网络环境，保证集群的业务、管理的安全性。结合虚拟私有云的子网划分、路由控制、安全组等功能，为用户提供高安全、高可靠的网络隔离环境。整个系统部署在公有云上的虚拟私有云中，提供隔离
- [组件WebUI便捷访问](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0044.md): 大数据组件都有自己的WebUI页面管理自身系统，但是由于网络隔离的原因，用户并不能很简便地访问到该页面。例如访问HDFS的WebUI页面，传统的操作方法是需要用户创建ECS，使用ECS远程登录组件的UI，这使得组件的页面UI访问很是繁琐，对于很多初次接触大数据的用户很不友好。MRS提供了基于弹性公网IP来便捷访问组件WebUI的安全通道，
- [MRS可靠性增强](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0045.md): MRS在基于Apache Hadoop开源软件的基础上，在主要业务部件的可靠性、性能调优等方面进行了优化和提升。管理节点均实现HAHadoop开源版本的数据、计算节点已经是按照分布式系统进行设计的，单节点故障不影响系统整体运行；而以集中模式运作的管理节点可能出现的单点故障，就成为整个系统可靠性的短板。MRS对所有业务组件的管理节点都提供了
- [作业管理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0046.md): MRS作业管理为用户提供向集群提交作业的入口，支持包括MapReduce、Spark、HQL和SparkSQL等类型的作业。结合华为云数据治理中心DataArts Studio，提供一站式的大数据协同开发环境、全托管的大数据调度能力，帮助用户快速构建大数据处理中心。通过数据治理中心DataArts Studio，用户可以先在线开发调试MR
- [企业项目管理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0047.md): 企业项目是一种云资源管理方式。企业管理提供面向企业客户的云上资源管理、人员管理、权限管理、财务管理等综合管理服务。区别于管理控制台独立操控、配置云产品的方式，企业管理控制台以面向企业资源管理为出发点，帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。MRS支持已开通企业项目服务的用户在创建集群时为集群配置
- [集群运维](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0049.md): MRS提供的集群的资源是完全属于用户的，MRS提供多种方式帮助用户维护集群的正常运行。MRS为用户提供海量数据的管理及分析功能，快速从结构化和非结构化的海量数据中挖掘您所需要的价值数据。开源组件结构复杂，安装、配置、管理过程费时费力，Manager提供了企业级的大数据集群的统一管理平台：提供集群状态的监控功能，您能快速掌握服务及主机的健康
- [MapReduce基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_005001.md): MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”及其主要思想，均取自于函数式编程语言及矢量编程语言。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（化简）函数，用来保
- [MapReduce与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_005002.md): HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。MapReduce是一种编程模型，用于大数据集（大于1TB）的并行运算。在MapReduce程序中计算的数据可以来自多个数据源，如Local FileSystem、HDFS、数据库等。最常用的是HD
- [MapReduce开源增强特性](https://support.huaweicloud.com/productdesc-mrs/mrs_08_005003.md): JobHistoryServer（JHS）是用于查看MapReduce历史任务信息的服务器，当前开源JHS只支持单实例服务。JobHistoryServer HA能够解决JHS单点故障时，应用访问MapReduce接口无效，导致整体应用执行失败的场景，从而大大提升MapReduce服务的高可用性。JobHistoryServer高可用性采
- [YARN基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_005101.md): 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。YARN是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建一个全局的ResourceManager（RM）和若干个针对应用程序的Appli
- [YARN HA方案介绍](https://support.huaweicloud.com/productdesc-mrs/mrs_08_005102.md): YARN中的ResourceManager负责整个集群的资源管理和任务调度，在Hadoop2.4版本之前，ResourceManager在YARN集群中存在单点故障的问题。YARN高可用性方案通过引入冗余的ResourceManager节点的方式，解决了这个基础服务的可靠性和容错性问题。ResourceManager的高可用性方案是通过设
- [Yarn与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_005103.md): Spark的计算调度方式，可以通过Yarn的模式实现。Spark共享Yarn集群提供丰富的计算资源，将任务分布式的运行起来。Spark on Yarn分两种模式：Yarn Cluster和Yarn Client。Yarn Cluster模式运行框架如图1所示。Spark on yarn-cluster运行框架Spark on yarn-c
- [YARN开源增强特性](https://support.huaweicloud.com/productdesc-mrs/mrs_08_005104.md): 在原生的YARN资源调度机制中，如果先提交的MapReduce Job长时间地占据整个Hadoop集群的资源，会使得后提交的Job一直处于等待状态，直到Running中的Job执行完并释放资源。MRS集群提供了任务优先级调度机制。此机制允许用户定义不同优先级的Job，后启动的高优先级Job能够获取运行中的低优先级Job释放的资源；低优先级
- [集群生命周期管理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0053.md): MRS支持集群的生命周期管理包括创建集群和删除集群。创建集群：支持用户定制集群的类型、组件范围、各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息，MRS将为用户自动创建一个符合配置的集群，全程无需用户参与；同时支持用户在集群中运行自定义内容；支持快速创建多应用场景集群，比如创建Hadoop分析集群、HBase集群、Kafka集群。
- [集群在线扩缩容](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0054.md): 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展，当集群规模不符合业务要求时，用户可以通过该功能进行集群节点规模的调整，进行扩容或者缩容；在缩容节点时，MRS会智能地选择负载最少或者迁移数据量最小节点，并且在缩容过程中，缩容节点不再接收新的任务，正在执行的任务继续执行，同时将该节点数据拷贝至其他节点，该节点进入退服状态，当该节点
- [升级Master节点规格](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0055.md): MRS大数据集群采用Manager实现集群的管理，而管理集群的相关服务，如HDFS存储系统的NameNode，Yarn资源管理的ResourceManager，以及MRS的Manager管理服务都部署在集群的Master节点上。随着新业务的上线，集群规模不断扩大，Master节点承担的管理负荷也越来越高，企业用户面临CPU负载过高，内存使
- [节点隔离](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0056.md): 当用户发现某个主机出现异常或故障，无法提供服务或影响集群整体性能时，可以临时将主机从集群可用节点排除，使客户端访问其他可用的正常节点。在为MRS集群安装补丁的场景中，也支持排除指定节点不安装补丁。隔离主机仅支持隔离MRS集群内的非管理节点。主机隔离后该主机上的所有角色实例将被停止，且不能对主机及主机上的所有实例进行启动、停止和配置等操作。
- [节点标签管理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0057.md): 标签是集群/节点的标识，为集群/节点添加标签，可以方便用户识别和管理拥有的集群/节点资源。MRS服务通过与标签管理服务（TMS）关联，可以让拥有大量云资源的用户，通过给云资源打标签，快速查找具有同一标签属性的云资源，进行统一检视、修改、删除等管理操作，方便用户对大数据集群及其他相关云资源的统一管理。您可以在创建集群时添加标签，也可以在集群
- [DBService](https://support.huaweicloud.com/productdesc-mrs/mrs_08_00601.md): DBService是一个高可用性的关系型数据库存储系统，适用于存储小量数据（10GB左右），比如：组件元数据。DBService仅提供给集群内部的组件使用，提供数据存储、查询、删除等功能。DBService是集群的基础组件，Hive、Hue、Oozie、Loader、CDL、Flink、HetuEngine、Kafka、Metadata、
- [KrbServer及LdapServer基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_00641.md): 为了管理集群中数据与资源的访问控制权限，推荐安装安全模式集群。在安全模式下，客户端应用程序在访问集群中的任意资源之前均需要通过身份认证，建立安全会话链接。MRS通过KrbServer为所有组件提供Kerberos认证功能，实现了可靠的认证机制。LdapServer支持轻量目录访问协议（Lightweight Directory Acces
- [KrbServer及LdapServer开源增强特性](https://support.huaweicloud.com/productdesc-mrs/mrs_08_00642.md): 在使用安全模式的MRS集群中，任意服务间的相互访问基于Kerberos安全架构方案。集群内某个服务（例如HDFS）在启动准备阶段的时候，会首先在Kerberos中获取该服务对应的服务名称sessionkey（即keytab，用于应用程序进行身份认证）。其他任意服务（例如YARN）需要访问HDFS并在HDFS中执行增、删、改、查数据的操作时
- [Manager基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_00661.md): Manager是MRS的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。Manager的整体逻辑架构如图1所示。Manager由OMS和OMA组成：OMS：操作维护系统的管理节点，OMS一般有两个，互为主备。OMA：操作维
- [Manager关键特性](https://support.huaweicloud.com/productdesc-mrs/mrs_08_00662.md): Manager提供可视化、便捷的监控告警功能。用户可以快速获取集群关键性能指标，并评测集群健康状态，同时提供性能指标的定制化显示功能及指标转换告警方法。Manager可监控所有组件的运行情况，并在故障时实时上报告警。通过界面的联机帮助，用户可以查看性能指标和告警恢复的详细方法，进行快速排障。Manager提供系统中各组件的权限集中管理功能
- [Oozie](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0067.md): Oozie是一个基于工作流引擎的开源框架，它能够提供对Hadoop作业的任务调度与协调。更多关于Oozie组件操作指导，请参考使用Oozie。Oozie引擎是一个Web App应用，默认集成到Tomcat中，采用pg数据库。基于Ext提供WEB Console，该Console仅提供对Oozie工作流的查看和监控功能。通过Oozie对外提
- [HetuEngine基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_00681.md): HetuEngine是自研企业级高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。HetuEngine在兼容开源Trino SQL语法的基础之上，在安全、高可用、易用性等维度提供企业级增强特性，内核能力跟随开源社区持续演进。更多关于
- [HetuEngine与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_00682.md): HetuEngine安装依赖MRS集群，其中直接依赖的组件如表1所示。
- [ZooKeeper基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_007001.md): ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能：帮助系统避免单点故障，建立可靠的应用程序。提供分布式协作服务和维护配置信息。更多关于ZooKeeper组件操作指导，请参考使用ZooKeeper。ZooKeeper集群中的节点分为三种角色：Leader、Follower和Observer，其结构和相互关系
- [ZooKeeper与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_007002.md): ZooKeeper与HDFS的关系如图1所示。ZKFC（ZKFailoverController）作为一个ZooKeeper集群的客户端，用来监控NameNode的状态信息。ZKFC进程仅在部署了NameNode的节点中存在。HDFS NameNode的Active和Standby节点均部署有ZKFC进程。HDFS NameNode的ZK
- [ZooKeeper开源增强特性](https://support.huaweicloud.com/productdesc-mrs/mrs_08_007003.md): 安全模式下，Ephemeral node（临时节点）在session过期之后就会被系统删除，在审计日志中添加Ephemeral node被删除的审计日志，以便了解当时Ephemeral node的状态信息。所有ZooKeeper客户端的操作都要在审计日志中添加Username。从ZooKeeper客户端创建znode，其kerberos 
- [Spark2x基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_007101.md): Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去。Spark提供一站式数据分析能力，包括小批量流式处理、离线批处理、SQL查询、数据挖
- [Spark2x多主实例](https://support.huaweicloud.com/productdesc-mrs/mrs_08_007103.md): 基于社区已有的JDBCServer基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的JDBCServer服务。多主实例模式相比主备模式的HA方
- [Spark2x多租户](https://support.huaweicloud.com/productdesc-mrs/mrs_08_007104.md): JDBCServer多主实例方案中，JDBCServer的实现使用YARN-Client模式，但YARN资源队列只有一个，为了解决这种资源局限的问题，引入了多租户模式。多租户模式是将JDBCServer和租户绑定，每一个租户对应一个或多个JDBCServer，而一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的YARN
- [Spark2x与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_007105.md): 通常，Spark中计算的数据可以来自多个数据源，如Local File、HDFS等。最常用的是HDFS，用户可以一次读取大规模的数据进行并行计算。在计算完成后，也可以将数据存储到HDFS。分解来看，Spark分成控制端(Driver)和执行端（Executor）。控制端负责任务调度，执行端负责任务执行。读取文件的过程如图1所示。读取文件步
- [Spark2x开源新特性说明](https://support.huaweicloud.com/productdesc-mrs/mrs_08_007106.md): Spark2x版本相对于Spark 1.5版本新增了一些开源特性。具体特性或相关概念如下：DataSet，详见SparkSQL和DataSet原理。Spark SQL Native DDL/DML，详见SparkSQL和DataSet原理。SparkSession，详见SparkSession原理。Structured Streaming
- [Spark跨源复杂数据的SQL查询优化](https://support.huaweicloud.com/productdesc-mrs/mrs_08_007109.md): 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。当前开源Spark在跨源查询时，只能对简单的filter进行下推，因此造成大量不必要的数据传输，影响SQL引擎性能。针对下推能力进行增
- [元数据管理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0075.md): 当创建MRS集群选择部署Hive和Ranger组件时，MRS提供多种元数据存储方式，您可以根据自身需要进行选择：本地元数据：元数据存储于集群内的本地GaussDB中，当集群删除时元数据同时被删除，如需保存元数据，需提前前往数据库手动保存元数据。外置数据连接：MRS集群创建完成后，可选择关联与当前集群同一虚拟私有云和子网的RDS服务中的Po
- [ClickHouse基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0076.md): ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。更多关于ClickHouse组件操作指导，请参考使用ClickHouse。
- [Hudi](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0083.md): 在大数据场景中，传统HDFS文件系统以只读方式存储数据，难以直接支持数据的更新和删除操作。当用户需要对数据湖中的数据进行频繁的增删改查时，传统方案需要重写整个文件，效率较低。Hudi（Hadoop Upserts Deletes and Incrementals）是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的
- [IoTDB基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0094.md): IoTDB（物联网数据库）是一体化收集、存储、管理与分析物联网时序数据的软件系统。 Apache IoTDB采用轻量式架构，具有高性能和丰富的功能。IoTDB从存储上对时间序列进行排序，索引和chunk块存储，大大地提升时序数据的查询性能。通过Raft协议，来确保数据的一致性。针对时序场景，对存储数据进行预计算和存储，提升分析场景的性能。
- [IoTDB开源增强特性](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0096.md): 可视化运维，包含安装、卸载、一键启动和停止、配置、客户端、监控、告警、健康检查、日志。可视化权限管理，无需后台命令行操作，支持库表级别读写权限控制。日志级别的可视化配置动态生效、可视化下载、可视化检索、审计日志等功能。用户认证支持Kerberos、通道SSL加密，兼容社区方式。在原生的能力上，增强集群版MQTT对接。
- [CDL](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0098.md): CDL（全称Change Data Loader）是一个基于Kafka Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件，并推送到kafka，再由sink connector推送到大数据生态系统中。CDL目前支持的数据源有MySQL、PostgreSQL、Hudi、Kafk
- [图解MapReduce服务](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0105.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [常见概念](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0109.md): HBase的表是三个维度排序的映射。从行主键、列主键和时间戳映射为单元格的值。所有的数据存储在HBase的表单元格中。HBase表的一个维度。列名称的格式为“<family>:<label>”，<family>和<label>为任意字符组合。表由<family>的集合组成（<family>又称为列族）。HBase表中的每个列都归属于某个列
- [技术支持](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0110.md): MRS服务是租户完全可控的半托管云服务，为用户提供一站式企业级大数据平台，用户可以在MRS集群上轻松运行Hadoop、Hive、Spark、HBase、Kafka、Flink等大数据组件，帮助企业快速构建海量数据信息处理系统，并通过对海量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。MRS集群资源归属于用户，MRS提供基于该资
- [MRS集群版本说明](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0111.md): MRS集群版本类型分为普通版与LTS版本，不同版本集群所包含的组件内容及特性略有不同，用户可根据自身业务需求进行选择。普通版功能说明普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。组件介绍除共有组件外，普通版集群还支持Presto、Impala、Kudu、Sqoop等组件，可以根据不同集群版本选择不同的组件，具体各版本集
- [MemArtsCC基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0117.md): MemArtsCC是一款面向存算分离架构的分布式计算侧缓存系统，采用极轻量化的架构设计，部署在计算侧的集群中，通过智能预取远端对象存储上的数据提供高速缓存能力，从而来加速计算任务执行。MemArtsCC在存储层面将远端对象存储(OBS)上的对象进行切片，并建立索引，大幅提升缓存数据的读取性能。通过ZooKeeper实现轻量化的服务发现，提
- [MemArtsCC与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0118.md): OBS提供一种新的InputStream：OBSMemArtsCCInputStream，该InputStream从部署在计算侧上的MemArtsCC集群读取数据，从而减少OBS服务端压力，提升数据读取性能的目标。MemArtsCC会将数据持久化存储到计算侧的存储中（SSD），OBS对接MemArtsCC有如下使用场景：提升存算分离架构访
- [资产识别与管理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0122.md): MRS服务通过管理控制台为用户发放、管理和使用大数据组件，大数据组件部署在用户的VPC内部，MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则，而开通相应的安全组规则需要获取用户授权，此授权过程称为通信安全授权。通信安全授权需要在创建集群时完成，如图1所示。建议用户在使用大数据组件时，仅给可信的IP地址放
- [身份认证与访问控制](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0123.md): MRS支持安全协议Kerberos，使用LDAP作为账户管理系统，并通过Kerberos服务对账户信息进行安全认证。Kerberos安全认证原理和认证机制具体介绍请参见安全认证原理和认证机制。MRS提供两种访问控制权限模型：基于角色的权限控制和基于策略的权限控制，详情请参见权限模型。基于角色的权限控制MRS基于用户和角色的认证统一体系，遵
- [数据保护技术](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0124.md): 通过数据校验，保证数据在存储、传输过程中的数据完整性。MRS的用户数据保存在HDFS中，HDFS默认采用CRC32C算法校验数据的正确性，同时也支持CRC32校验算法，CRC32C校验速度快于CRC32。HDFS的DataNode节点负责存储校验数据，如果发现客户端传递过来的数据有异常（不完整）就上报给客户端，让客户端重新写入数据。客户端
- [审计与日志](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0125.md): MRS服务在管理控制台上的操作日志，例如创建或删除MRS集群的日志记录，通过云审计服务（Cloud Trace Service，CTS）实现。CTS是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。用户开通云审计服务并创建和配置追踪器后
- [监控安全风险](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0127.md): MRS的Manager界面提供集群级别的监控能力，帮助用户监控集群中大数据组件和节点的健康状态，同时提供告警通知能力，用户可以实时掌握MRS集群的各项指标、健康度。MRS支持将集群中所有部署角色的节点，按管理节点、控制节点和数据节点进行分类，分别计算关键主机监控指标在每类节点上的变化趋势，并在报表中按用户自定义的周期显示分布曲线图。MRS
- [更新管理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0128.md): MRS支持集群内用户密码的更新，建议管理员定期修改密码，提高系统安全性。密码更新指导如下所示：修改系统用户密码：请参见修改admin密码和修改操作系统用户密码。修改系统内部用户密码修改默认数据库用户密码MRS集群的CA证书与HA证书均支持更换，如果用户需要将集群默认的证书更换成新的证书，可参考如下指导：CA证书用于组件客户端与服务端在通信
- [安全加固](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0129.md): 在FusionInsight Manager使用过程中，针对Tomcat基于开源做了如下功能增强：升级Tomcat版本为官方稳定版本。设置应用程序之下的目录权限为500，对部分目录支持写权限。系统软件安装完成后自动清除Tomcat安装包。应用程序目录下针对工程禁用自动部署功能，只部署了web、cas和client三个工程。禁用部分未使用的
- [JobGateway](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0149.md): JobGateway组件提供REST API作业提交能力。JobGateway作为大数据作业提交功能的网关组件，提供完全可控的企业级大数据作业提交服务，可轻松完成Spark、Flink、Hive等大数据作业任务提交功能。更多关于JobGateway组件操作指导，请参考使用JobGateway。JobGateway组件由JobServer实
- [Guardian](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0159.md): Guardian是一个在存算分离场景下为HDFS、Hive、Spark、Loader、HetuEngine等服务提供访问OBS的临时认证凭据的服务，只有对接OBS的场景下才需要安装Guardian组件。Guardian的典型特性包括：提供获取访问OBS的临时认证凭据的能力。提供访问OBS的细粒度权限控制的能力。提供访问OBS的临时认证凭据
- [Doris基本原理](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0162.md): 在海量数据分析场景中，传统数据库难以在亚秒级时间内完成对数十亿行数据的查询。当用户需要同时支持高并发的点查询和高吞吐的复杂分析，并要求极低的查询延迟时，Doris是一个很好的选择。Doris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点
- [Doris与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0163.md): Doris支持导入和导出HDFS数据，并且支持直接查询HDFS数据源。Doris支持直接查询Hudi数据源。使用Spark Doris Connector可以通过Spark读取Doris中存储的数据，也支持通过Spark写入数据到Doris。使用Flink Doris Connector可以通过Flink操作（读取、插入、修改、删除）Do
- [ClickHouse与其他组件的关系](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0183.md): ClickHouse安装部署依赖ZooKeeper服务。ClickHouse通过Flink流计算应用加工生成通用的报表数据（明细宽表），准实时写入到ClickHouse，通过Hive/Spark作业加工生成通用的报表数据（明细宽表），批量导入到ClickHouse。ClickHouse暂不支持对接Kafka普通模式和HDFS安全模式。
- [ClickHouse开源增强特性](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0184.md): MRS ClickHouse具备“手动挡”集群模式升级、平滑弹性扩容、高可用HA部署架构等优势能力，具体详情如下：手动挡集群模式升级如图1所示，多个ClickHouse节点组成的集群，没有中心节点，更多的是一个静态资源池的概念，业务要使用ClickHouse集群模式，需要预先在各个节点的配置文件中定义cluster信息，等所有参与的节点达
- [Iceberg](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0186.md): Iceberg是一种开放的数据湖表格式，可以基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。Iceberg具有如下特性：构建于存储格式之上的数据组织方式提供ACID能力，支持事务特性和并发能力提供行级别的数据修改能力支持Schema演进功能支撑分区演进功能支持隐式分区功能支持历史版本回溯功能关键技术强事务性支持，保障
- [MRS集群保留JDK说明](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0187.md): MRS集群是租户完全可控的大数据应用开发平台，用户基于平台开发业务后，将业务程序部署到大数据平台运行。由于需要具备开发调测能力，因此要在MRS集群中保留JDK。此外，MRS集群功能中如下关键特性也强依赖JDK。HBase BulkLoadHBase BulkLoad支持用户自定义proto文件将数据文件中的字段导入HBase，该特性需要使
- [MemArtsStore](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0190.md): MemArtsStore是一款自研的高可用写缓存服务，关键应用场景是作为大数据应用的Remote Shuffle Service。大数据应用执行过程中会产生大量的中间临时数据即Shuffle Data，如果把Shuffle Data直接写入远端的存储服务层如OBS或EVS，再从存储服务层读取，大数据应用性能会大幅下降。现在的解决方法是将大
- [LDMS](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0191.md): LDMS（LakeHouse Data Management Service）是LakeHouse生态系统中的一个关键管理服务组件，旨在简化和增强Hudi LakeHouse表格式的管理和使用。LDMS通过提供异步表服务、监控和告警功能，帮助用户更高效地管理和维护LakeHouse数据湖组件。LDMS功能特性介绍如下：扩展性：LDMS基于
- [Paimon](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0194.md): Apache Paimon是一种流批统一的数据湖存储格式，旨在构建实时湖仓一体架构，支持使用Flink和Spark进行流批处理操作。Apache Paimon创新性地将湖存储格式与LSM（Log-Structured Merge-Tree）技术结合起来，使得湖架构支持实时流式更新能力；其优势在于低延迟、强一致性和易扩展性。读/写：Paim
- [常见规格](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0195.md): MRS集群Hive的常见系统规格如表1所示。

## 开发指南（普通版_3.x）

- [MRS应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_010000.md): MRS是企业级大数据存储、查询、分析的统一平台，能够帮助企业快速构建海量数据信息处理系统，通过对海量信息数据的分析挖掘，发现全新价值点和企业商机。MRS提供了各组件的常见业务场景样例程序，开发者用户可基于样例工程进行相关数据应用的开发与编译，样例工程依赖的jar包直接通过华为云开源镜像站下载，其他社区开源jar包可从各Maven公共仓库下
- [HBase访问多ZooKeeper场景安全认证](https://support.huaweicloud.com/devg3-mrs/mrs_07_010001.md): 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper时，为了避免访问连接ZooKeeper认证冲突，提供了样例代码使HBase客户端访问FusionInsight ZooKeeper和客户应用访问第三方ZooKeeper。已获取样例工程运行所需的配置文件及认证文件，详细操作请参见准备连接H
- [获取MRS应用开发样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_010002.md): MRS样例工程构建流程包括三个主要步骤：下载样例工程的Maven工程源码和配置文件，请参见样例工程获取地址。配置华为镜像站中SDK的Maven镜像仓库，请参见配置华为开源镜像仓。根据用户自身需求，构建完整的Maven工程并进行编译开发。MRS服务1.8.x版本的样例工程下载地址为：https://github.com/huaweiclou
- [HBase](https://support.huaweicloud.com/devg3-mrs/mrs_07_010005.md): 使用MRS集群的ZooKeeper包“zookeeper*.jar”。使用exclusions排除掉hbase-client里面的zookeeper。
- [HDFS](https://support.huaweicloud.com/devg3-mrs/mrs_07_010006.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [Kafka](https://support.huaweicloud.com/devg3-mrs/mrs_07_010007.md): Kafka不建议使用开源版本的包。
- [Spark2x](https://support.huaweicloud.com/devg3-mrs/mrs_07_010008.md): Spark jar包冲突也可以参考常见jar包冲突处理方式。
- [MRS组件jar包版本与集群对应关系说明](https://support.huaweicloud.com/devg3-mrs/mrs_07_010009.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [MRS各组件样例工程汇总](https://support.huaweicloud.com/devg3-mrs/mrs_07_010010.md): 样例工程获取地址参见获取MRS应用开发样例工程，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。MRS样例代码库提供了各组件的基本功能样例工程供用户使用，当前版本各组件提供的样例工程汇总参见表1。
- [MRS安全认证原理和认证机制](https://support.huaweicloud.com/devg3-mrs/mrs_07_020001.md): 开启了Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。Kerberos
- [准备MRS应用开发用户](https://support.huaweicloud.com/devg3-mrs/mrs_07_020002.md): 开发用户用于运行样例工程。进行不同服务的组件开发时，需要赋予不同的用户权限。填写角色的名称，例如developrole，单击“确定”保存角色。参考如何判断某个服务是否使用了Ranger鉴权，确认服务是否启用了Ranger鉴权？是，执行3。否，编辑角色，根据服务的权限控制类别添加业务开发时需要的权限，参见表1。权限列表服务所需添加权限HDF
- [MRS应用开发认证失败常见问题](https://support.huaweicloud.com/devg3-mrs/mrs_07_020003.md): MRS样例工程调试运行过程发现认证失败。出现认证失败的原因很多，在不同场景中建议参考以下步骤来排查：解决认证出现如下关键字：clock skew too great的问题解决认证出现如下关键字：(Receivetime out) can not connect to kdc server的问题解决客户端应用提交任务到hadoop集群报错，
- [Flink应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_050002.md): Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。Flink技术栈如图1所示。Flink
- [Flink应用开发流程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_050004.md): Flink开发流程参考如下步骤：
- [准备本地应用开发环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_050006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。
- [导入并配置Flink样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_050008.md): Flink针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Flink工程。针对Java和Scala不同语言的工程，其导入方式相同。以下操作步骤以导入Java样例代码为例。操作流程如图1所示。在安全模式下，获取“src\flink-examples”下的样例工程flink-examples-securi
- [准备Flink安全认证](https://support.huaweicloud.com/devg3-mrs/mrs_07_050010.md): 在安全集群环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。用户在提交Flink应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交Flink的应用程序中需要设置安全认证，确保Flink程序能够正常运行。当前Flink系统支持认证和加密传输，要使用认证和加密传输，用户需要做如下准备：
- [Flink DataStream样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_050013.md): 假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能：DataStream应用程序可以在Windows环境和Linux环境中运行。实时统计总计网购时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符
- [Flink DataStream样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_050014.md): 统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印。下面代码片段仅为演示，完整代码参见FlinkStreamJavaExample样例工程下的com.huawei.bigdata.flink.examples.FlinkStreamJavaExample：执行之后打印结果如下所示：执行如图1所示。
- [Flink DataStream样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_050015.md): 实时统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印出来。下面代码片段仅为演示，完整代码参见FlinkStreamScalaExample样例工程下的com.huawei.bigdata.flink.examples.FlinkStreamScalaExample：执行之后打印结果如下所示：执行如图1所示。
- [Flink Kafka样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_050017.md): 假定某个Flink业务每秒就会收到1个消息记录。基于某些业务要求，开发的Flink应用程序实现功能：实时输出带有前缀的消息内容。Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。确保集群安装完成，包括HDFS、Yarn、Flink和Kafka。创建Topic。
- [Flink Kafka样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_050018.md): 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar，该jar包可在Kafka的客户端目录下获取。下面代码片段仅为演示，完整代码参见FlinkKafkaJavaExample样
- [Flink Kafka样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_050019.md): 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar，该jar包可在kafka客户端目录下获取。下面代码片段仅为演示，完整代码参见FlinkKafkaScalaExample样
- [Flink开启Checkpoint样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_050021.md): 假定用户需要每隔1秒钟需要统计4秒窗口中数据的量，并做到状态严格一致性，即：当应用出现异常并恢复后，各个算子的状态能够处于统一的状态。使用自定义算子每秒钟产生大约10000条数据。产生的数据为一个四元组（Long，String，String，Integer）。数据经统计后，统计结果打印到终端输出。打印输出的结果为Long类型的数据。sou
- [Flink开启Checkpoint样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_050022.md): 假定用户需要每隔1秒钟需要统计4秒窗口中数据的量，并做到状态严格一致性。快照数据该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。下面代码片段仅为演示，完整代码参见FlinkCheckpointJavaExample样例工程下的com.huawei.bigdata.flink.examples.UDFState：import j
- [Flink开启Checkpoint样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_050023.md): 假定用户需要每隔1秒钟需要统计4秒窗口中数据的量，并做到状态严格一致性。发送数据形式。下面代码片段仅为演示，完整代码参见FlinkCheckpointScalaExample样例工程下的com.huawei.bigdata.flink.examples.SEvent：case class SEvent(id: Long, name: St
- [Flink Job Pipeline样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_050026.md): 发布Job自定义Source算子产生数据下面代码片段仅为演示，完整代码参见FlinkPipelineJavaExample样例工程下的com.huawei.bigdata.flink.examples.UserSource：package com.huawei.bigdata.flink.examples;
 
import org.ap
- [Flink Job Pipeline样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_050027.md): 发送消息下面代码片段仅为演示，完整代码参见FlinkPipelineScalaExample样例工程下的com.huawei.bigdata.flink.examples.Information：package com.huawei.bigdata.flink.examples
 
case class Information(index
- [Flink Join样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_050033.md): 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。基于某些业务要求，开发的Flink应用程序实现功能：实时地以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询。业务1的数据存储在Kafka
- [Flink Join样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_050034.md): 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar，该jar包可在Kafka客户端目录下获取。下面列出producer和consumer，以及Flink Stream SQL
- [编译并调测Flink应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_050036.md): 在程序代码完成开发后，编译jar包并上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是相同的。基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。在IDEA主页面，选择File > Project Structures...进入Pr
- [查看Flink应用调测结果](https://support.huaweicloud.com/devg3-mrs/mrs_07_050037.md): Flink应用程序运行完成后，您可以查看运行结果数据，也可以通过Flink WebUI查看应用程序运行情况。查看Flink应用运行结果数据。当用户查看执行结果时，需要在Flink的web页面上查看Task Manager的Stdout日志。当执行结果输出到文件或者其他，由Flink应用程序指定，您可以通过指定文件或其他获取到运行结果数据。
- [Flink Java API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_050040.md): 由于Flink开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Flink主要使用到如下这几个类：StreamExecutionEnvironment：是Flink流处理的基础，提供了程序的执行环境。DataStream：Flink用类DataStream来表示程序中的流式数据。用户可以认为它们是含有重复数据
- [Flink Scala API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_050041.md): 由于Flink开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Flink主要使用到如下这几个类：StreamExecutionEnvironment：是Flink流处理的基础，提供了程序的执行环境。DataStream：Flink用特别的类DataStream来表示程序中的流式数据。用户可以认为它们是含有重
- [Flink REST API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_050042.md): Flink具有可用于查询正在运行的作业的状态和统计信息以及最近完成作业的监视API。该监视API由Flink自己的WEB UI使用。监视API是REST API，可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问Web服务器的一套API。当前在Flink中，Web服务器是JobManager的一个模块，和JobM
- [FlinkSavepoints CLI介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_050043.md): Savepoints在持久化存储中保存某个checkpoint，以便用户可以暂停自己的应用进行升级，并将状态设置为savepoint的状态，并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照，并将快照的元数据（meta-data）写入到一个额外的持久化文件系统中。如果需要使用savepoints的功能，强烈推荐用
- [Flink Client CLI介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_050044.md): Flink常用的CLI如下所示：yarn-session.sh可以使用yarn-session.sh启动一个常驻的Flink集群，接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下：bin/yarn-session.shyarn-session.sh的其他参数可以通过以下命令获取：bin/yarn-
- [如何处理用户在使用chrome浏览器时无法显示任务状态的title](https://support.huaweicloud.com/devg3-mrs/mrs_07_050047.md): 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析，用户将鼠标置于Tasks的彩色小方框上，无法显示彩色小框的title说明，如图1所示。正常的显示界面如图2所示。如果用户遇到chrome浏览器无法显示title，步骤如下：请检查本机是否同时运行会影响chrome浏览器冒泡提示的
- [如何处理IE10/11页面算子的文字部分显示异常](https://support.huaweicloud.com/devg3-mrs/mrs_07_050048.md): 如何处理IE10/11页面显示异常，每个算子的文字部分没有显示出来的问题？如图1所示，Overview显示为空白。Flink中用了foreignObject元素来代理绘制svg矢量图，但是IE 10/11不支持foreignObject导致算子显示异常。推荐使用chrome浏览器。
- [如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢](https://support.huaweicloud.com/devg3-mrs/mrs_07_050049.md): 如何处理checkpoint设置RocksDBStateBackend方式，且当数据量大时，执行checkpoint会很慢的问题？由于窗口使用自定义窗口，这时窗口的状态使用ListState，且同一个key值下，value的值非常多，每次新的value值到来都要使用RocksDB的merge()操作；触发计算时需要将该key值下所有的va
- [如何处理blob.storage.directory配置/home目录时启动yarn-session失败](https://support.huaweicloud.com/devg3-mrs/mrs_07_050050.md): 当用户设置blob.storage.directory为“/home”时，用户没有权限在“/home”下创建blobStore-UUID的文件，导致yarn-session启动失败。修改Flink客户端配置文件conf/flink-conf.yaml，配置blob.storage.directory: /home/testdir/test
- [如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错](https://support.huaweicloud.com/devg3-mrs/mrs_07_050051.md): Flink内核升级到1.3.0之后，当Kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProducer010去构造函数时，运行时会报错。报错内容如下：Flink的1.3.0版本，为了兼容原有那些使用KafkaPartitioner的API接口，如FlinkKafkaProducer010
- [如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足](https://support.huaweicloud.com/devg3-mrs/mrs_07_050052.md): 创建一个新的Flink用户，提交任务，ZooKeeper目录无权限导致提交Flink任务失败，日志中报如下错误：首先查看ZooKeeper中/flink_base的目录权限是否为：'world,'anyone: cdrwa；如果不是，请修改/flink_base的目录权限为：'world,'anyone: cdrwa，然后继续根据步骤二排
- [如何处理无法直接通过URL访问Flink Web](https://support.huaweicloud.com/devg3-mrs/mrs_07_050053.md): 无法通过http://JobManager IP:JobManager的端口访问Web页面。由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过修改客户端的配置文件“conf/flink-conf.yaml”来解决问题。确认配置项“jobmanager.web.ssl.enabled”的值是否是“false”，若不是，请
- [如何查看System.out.println打印的调试信息或将调试信息输出至指定文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_050054.md): Flink业务代码中添加了System.out.println调试信息打印，该如何查看此调试日志？避免与运行日志混在一起打印，如何将业务日志单独输出至指定文件？Flink所有的运行日志打印都会打印至Yarn的本地目录下，默认所有Log都会输出至Yarn container本地目录下taskmanager.log，所有调用System.ou
- [如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题](https://support.huaweicloud.com/devg3-mrs/mrs_07_050055.md): Flink任务配置State Backend为RocksDB时，运行报如下错误：运行的系统和编译环境所在的系统版本不同，造成GLIBC的版本不兼容。使用strings /lib64/libpthread.so.0 | grep GLIBC命令查看GLIBC是否版本低于2.12。如果GLIBC版本太低，则需要使用含有较高版本的（此处为2.1
- [准备连接集群配置文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_050063.md): 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。以下Flink权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。填写角色的名称，例如developrole。在“配置资源权限”的表格中选择“待操作集群的名称 >HDFS > 文件系统 > hdfs://hacluster/ > flink
- [HBase应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_080002.md): HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是解决关系型数据库在处理海量数据时的局限性。HBase使用场景有如下几个特点：处理海量数据（TB或PB级别以上）。具有高吞吐量。在海量数据中实现高效的随机读取。具有很好的伸缩能力。能够同时处理结构化和非结构化的数据。不需要完全拥有传统关系型数据库所具备的A
- [HBase应用开发常用概念](https://support.huaweicloud.com/devg3-mrs/mrs_07_080003.md): 过滤器过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。协处理器允许用户执行region级的操作，并且
- [HBase应用开发流程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_080004.md): 本文档主要基于Java API对HBase进行应用开发。开发流程中各阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_080006.md): 在进行二次开发时，要准备的开发和运行环境如表1所示。
- [导入并配置HBase样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_080007.md): 获取HBase开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。确保本地PC的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。已准备开发环境及MRS集群相关配置文件，详情请参考准备连接HBase集群配置文件。打开Intell
- [HBase数据读写示例安全认证（单集群场景）](https://support.huaweicloud.com/devg3-mrs/mrs_07_080009.md): 在安全集群环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。HBase应用开发需要进行ZooKeeper和Kerberos安全认证。用于ZooKeeper认证的文件为jaas.conf，用于Kerberos安全认证文件为keytab文件和krb5.conf文件。具体使用方法在样例代码的“RE
- [HBase样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_080011.md): 通过典型场景，您可以快速学习和掌握HBase的开发过程，并且对关键的接口函数有所了解。假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，如表1所示，A业务操作流程如下：创建用户信息表。在用户信息中新增用户的学历、职称等信息。根据用户编号查询用户姓名和地址。根据用户姓名进行查询。查询年龄段在[20-29]之间的用户信息。数据统
- [配置HBase应用输出运行日志](https://support.huaweicloud.com/devg3-mrs/mrs_07_080014.md): 将HBase客户端的日志单独输出到指定日志文件，与业务日志分开，方便分析定位HBase的问题。如果进程中已经有log4j的配置，需要将hbase-example\src\main\resources\log4j.properties中RFA与RFAS相关的配置复制到已有的log4j配置中。以下为代码片段：
- [初始化HBase配置](https://support.huaweicloud.com/devg3-mrs/mrs_07_080015.md): HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。
- [创建HBase客户端连接](https://support.huaweicloud.com/devg3-mrs/mrs_07_080016.md): HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类
- [创建HBase表](https://support.huaweicloud.com/devg3-mrs/mrs_07_080017.md): HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表，并指定表名、列族名。创建表有两种方式（强烈建议采用预分Region建表方式）：快速建表，即创建表后整张表只有一个Region，随着数据量的增加会自动分裂成多个Region。预分Region建表，即创建表时预先分配
- [删除HBase表](https://support.huaweicloud.com/devg3-mrs/mrs_07_080018.md): HBase通过org.apache.hadoop.hbase.client.Admin的deleteTable方法来删除表。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的dropTable方法中。注[1] 只有表被disable时，才能被删除掉，所以deleteTable
- [修改HBase表](https://support.huaweicloud.com/devg3-mrs/mrs_07_080019.md): HBase通过org.apache.hadoop.hbase.client.Admin的modifyTable方法修改表信息。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testModifyTable方法中。注[1] modifyTable只有表被disable时，才能
- [向HBase表中插入数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_080020.md): HBase是一个面向列的数据库，一行数据，可能对应多个列族，而一个列族又可以对应多个列。通常，写入数据的时候，需要指定要写入的列（含列族名称和列名称）。HBase通过HTable的put方法来Put数据，可以是一行数据也可以是数据集。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSampl
- [删除HBase表数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_080021.md): HBase通过Table实例的delete方法来Delete数据，可以是一行数据也可以是数据集。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中。如果被删除的cell所在的列族上设置了二级索引，也会同步删除索引数据。
- [使用Get API读取HBase表数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_080022.md): 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testG
- [使用Scan API读取HBase表数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_080023.md): 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，建议指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中，每行数据以Result对象形式存储，Result中存储了多个Cell。以下代码片段在com.hua
- [使用Filter过滤器读取HBase表数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_080024.md): HBase Filter主要在Scan和Get过程中进行数据过滤，通过设置一些过滤条件来实现，如设置RowKey、列名或者列值的过滤条件。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testSingleColumnValueFilter方法中。当前二级索引不支持使用Su
- [创建HBase表二级索引](https://support.huaweicloud.com/devg3-mrs/mrs_07_080025.md): 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理，该类中提供了创建索引的方法。二级索引不支持修改，如果需要修改，请先删除旧的然后重新创建。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSamp
- [删除HBase二级索引](https://support.huaweicloud.com/devg3-mrs/mrs_07_080026.md): 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理，该类中提供了索引的查询和删除等方法。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的dropIndex方法中。
- [基于二级索引查询HBase表数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_080027.md): 针对添加了二级索引的用户表，您可以通过Filter来查询数据。其数据查询性能高于针对无二级索引用户表的数据查询。HIndex支持的Filter类型为“SingleColumnValueFilter”，“SingleColumnValueExcludeFilter”以及“SingleColumnValuePartitionFilter”。H
- [创建HBase表Region](https://support.huaweicloud.com/devg3-mrs/mrs_07_080030.md): 一般通过org.apache.hadoop.hbase.client.HBaseAdmin进行多点分割。注意：分割操作只对空Region起作用。本例使用multiSplit进行多点分割将HBase表按照“-∞~A”、“A~D”、“D~F”、“F~H”、“H~+∞”分为五个Region。以下代码片段在com.huawei.bigdata.h
- [创建Phoenix表](https://support.huaweicloud.com/devg3-mrs/mrs_07_080036.md): Phoenix依赖HBase作为其后备存储，支持标准SQL和JDBC API的强大功能，使得SQL用户可以访问HBase集群。以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testCreateTable方法中。
- [向Phoenix表中插入数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_080037.md): 使用Phoenix实现写数据。以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。
- [读取Phoenix表数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_080038.md): 使用Phoenix实现读数据。以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。
- [HBase访问多个ZooKeeper样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_080039.md): 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper，其中HBase客户端访问FusionInsight ZooKeeper，客户应用访问第三方ZooKeeper。以下代码片段在“hbase-zk-example\src\main\java\com\huawei\hadoop\hbase\
- [在本地Windows环境中调测HBase应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_080042.md): 在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。需要在运行样例代码的本机hosts文件中设置访问节点的主机名和公网IP地址映射，主机名和公网IP地址请保持一一对应。放置好配置
- [在Linux环境中调测HBase应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_080045.md): HBase应用程序支持在已安装或未安装HBase客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。已安装客户端时：已安装HBase客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。已安装HBas
- [Phoenix SQL查询样例介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_080049.md): Phoenix是构建在HBase之上的一个SQL中间层，提供一个客户端可嵌入的JDBC驱动，Phoenix查询引擎将SQL输入转换为一个或多个HBase scan，编译并执行扫描任务以产生一个标准的JDBC结果集。客户端hbase-example/conf/hbase-site.xml中配置存放查询中间结果的临时目录，如果客户端程序在Li
- [HBase Shell接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_080054.md): 您可以使用Shell在服务端直接对HBase进行操作。HBase的Shell接口同开源社区版本保持一致，请参见https://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/Shell命令执行方法：进入HBase客户端任意目录，执行以下命令。hbase shell进入HBa
- [HBase Java API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_080055.md): 建议使用org.apache.hadoop.hbase.Cell作为KV数据对象，而不是org.apache.hadoop.hbase.KeyValue。建议使用Connection connection = ConnectionFactory.createConnection(conf)来创建连接，废弃HTablePool。建议使用or
- [Sqlline接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_080056.md): 可以直接使用sqlline.py在服务端对HBase进行SQL操作。Phoenix的sqlline接口与开源社区保持一致，请参见https://phoenix.apache.org/。Sqlline常用语法见表1，常用函数见表2，命令行使用可以参考Phoenix命令行操作介绍章节。
- [HBase JDBC API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_080057.md): Phoenix实现了大部分的java.sql接口，SQL语法紧跟ANSI SQL标准。其支持处理函数可参见：https://phoenix.apache.org/docs/functions其支持语法可参见：https://phoenix.apache.org/docs/features/secondary-indexes
- [HBase Web UI接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_080058.md): Web UI展示了HBase集群的状态，其中包括整个集群概况信息、RegionServer和Master的信息、快照、运行进程等信息。通过Web UI提供的信息可以对整个HBase集群的状况有一定的了解。请联系管理员获取具有访问Web UI权限的业务账号及其密码。登录FusionInsight Manager页面。选择“集群 > 待操作集
- [运行HBase应用开发程序产生ServerRpcControllerFactory异常](https://support.huaweicloud.com/devg3-mrs/mrs_07_080060.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [BulkLoad和Put应用场景有哪些](https://support.huaweicloud.com/devg3-mrs/mrs_07_080061.md): HBase支持使用bulkload和put方式加载数据，在大部分场景下bulkload提供了更快的数据加载速度，但bulkload并不是没有缺点的，在使用时需要关注bulkload和put适合在哪些场景使用。bulkload是通过启动MapReduce任务直接生成HFile文件，再将HFile文件注册到HBase，因此错误地使用bulkl
- [HBase服务数据读写示例安全认证（多集群互信场景）](https://support.huaweicloud.com/devg3-mrs/mrs_07_080062.md): 当不同的多个Manager系统下安全模式的集群需要互相访问对方的资源时，管理员可以设置互信的系统，使外部系统的用户可以在本系统中使用。每个系统用户安全使用的范围定义为“域”，不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。集群配置互信具体操作步骤请参考集群互信管理章节。多集群互信场景下，以符合跨域访
- [调用REST接口访问HBase应用安全认证](https://support.huaweicloud.com/devg3-mrs/mrs_07_080063.md): HBase服务安装时可选部署RESTServer实例，可通过访问HBase REST服务的形式调用HBase相关操作，包括对Namespace、table的操作等。访问HBase REST服务同样需要进行Kerberos认证。已获取样例工程运行所需的配置文件及认证文件，详细操作请参见准备连接HBase集群配置文件。该场景下不需要进行初始化
- [访问HBase ThriftServer安全认证](https://support.huaweicloud.com/devg3-mrs/mrs_07_080064.md): HBase把Thrift结合起来可以向外部应用提供HBase服务。在HBase服务安装时可选部署ThriftServer实例，ThriftServer系统可访问HBase的用户，拥有HBase所有NameSpace和表的读、写、执行、创建和管理的权限。访问ThriftServer服务同样需要进行Kerberos认证。HBase实现了两套T
- [使用REST接口查询HBase集群信息](https://support.huaweicloud.com/devg3-mrs/mrs_07_080065.md): 使用REST服务，传入对应host与port组成的url，通过HTTPS协议，获取集群版本与状态信息。获取集群版本信息以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“HBaseRestTest”类的getClusterVersion方
- [使用REST接口获取所有HBase表](https://support.huaweicloud.com/devg3-mrs/mrs_07_080066.md): 使用REST服务，传入对应host与port组成的URL，通过HTTPS协议，获取得到所有table。以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“HBaseRestTest”类的getAllUserTables方法中。privat
- [使用REST接口操作Namespace](https://support.huaweicloud.com/devg3-mrs/mrs_07_080067.md): 使用REST服务，传入对应host与port组成的url以及指定的Namespace，通过HTTPS协议，对Namespace进行创建、查询、删除，获取指定Namespace中表的操作。HBase表以“命名空间:表名”格式进行存储，若在创建表时不指定命名空间，则默认存储在“default”中。其中，“hbase”命名空间为系统表命名空间，
- [使用REST接口操作HBase表](https://support.huaweicloud.com/devg3-mrs/mrs_07_080068.md): 使用REST服务，传入对应host与port组成的url以及指定的tableName和jsonHTD，通过HTTPS协议，进行查询表信息，修改表，创建表以及删除表的操作。方法调用// Add a table with specified info.
createTable(url, "testRest",
     "{\"name\":
- [通过ThriftServer实例操作HBase表](https://support.huaweicloud.com/devg3-mrs/mrs_07_080069.md): 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，进行根据指定namespace获取tablename以及创建表、删除表的操作。方法调用// Get table of specified namespace. 
getTableNamesByNam
- [通过ThriftServer实例向HBase表中写入数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_080070.md): 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，分别使用put和putMultiple进行写数据操作。方法调用// Write data with put.
putData(client, TABLE_NAME);

// Write data 
- [通过ThriftServer实例读HBase表数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_080071.md): 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，分别使用get和scan进行读数据操作。方法调用// Get data with single get.
getData(client, TABLE_NAME);

// Get data with
- [如何配置HBase双读功能](https://support.huaweicloud.com/devg3-mrs/mrs_07_080072.md): HBase客户端应用通过自定义加载主备集群配置项，实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性，适用于四个查询场景：使用Get读取数据、使用批量Get读取数据、使用Scan读取数据，以及基于二级索引查询。它能够同时读取主备集群数据，减少查询毛刺，具体表现为：高成功率：双并发读机制，保证每一次读请求的成功率
- [Phoenix命令行操作介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_080073.md): Phoenix支持SQL的方式来操作HBase，以下简单介绍使用SQL语句建表/插入数据/查询数据/删表等操作。已安装HBase客户端，例如安装目录为“/opt/client”。以下操作的客户端目录只是举例，请根据实际安装目录修改。在使用客户端前，需要先下载并更新客户端配置文件，确认Manager的主管理节点后才能使用客户端。进入HBas
- [install编译构建HBase Jar包失败报错Could not transfer artifact如何处理](https://support.huaweicloud.com/devg3-mrs/mrs_07_080074.md): 样例代码在进行maven编译构建jar包时，Build Failed，提示错误信息：hbase-common模块依赖commons-crypto，在hbase-common的pom.xml文件中，对于commons-crypto的引入，<version>使用了${commons-crypto.version}变量。该变量的解析逻辑为，os
- [配置Windows通过EIP访问安全模式集群HBase](https://support.huaweicloud.com/devg3-mrs/mrs_07_080076.md): 该章节通过指导用户配置集群绑定EIP，并配置HBase文件的方法，方便用户可以在本地对样例文件进行编译。本章节以运行hbase-example中的样例为例进行说明。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云 >
- [准备连接HBase集群配置文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_080085.md): 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。以下HBase权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。是，创建用户并在Ranger中赋予该用户相关操作权限：选择“系统 > 权限 > 用户 > 添加用户”，在新增用户界面创建一个机机用户，例如developuser。“用户组”需
- [HBase应用开发样例工程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_080086.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下HBase相关样例工程：HBase相关样例工程样例工程位置描述hbase-exampl
- [HDFS应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_090002.md): HDFS（Hadoop Distributed File System）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用。HDFS适用于如下场景：处理海量数据（TB或PB级别以上）需要很高的吞吐量需要高可靠性需要很好的可扩展能力HDFS支持使用Java语言进行程序开发，具体的A
- [HDFS应用开发流程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_090004.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备HDFS应用开发和运行环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_090006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调测程序所需的集群配置文件及配置网络连通后，然后直接在Windows中进行程序调测。登录FusionInsight Manag
- [导入并配置HDFS样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_090007.md): HDFS针对多个场景提供样例工程，帮助客户快速学习HDFS工程。以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。打开IntelliJ IDEA，选择“Configure”。Quick Start在下拉框中选择“Project Defaults > Project Structure”。Configure在弹出的“Project
- [配置HDFS应用安全认证](https://support.huaweicloud.com/devg3-mrs/mrs_07_090008.md): 访问安全集群环境中的服务，需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码，确保HDFS程序能够正常运行。安全认证有两种方式：命令行认证：提交HDFS应用程序运行前，在HDFS客户端执行如下命令进行认证。kinit 组件业务用户该方式仅适用于Linux操作系统，且安装了HDFS的客户端。提交HDFS应用程序运
- [HDFS样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_090011.md): HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。本代码样例讲解顺序为：HDFS初始化创建目录写文件追加文件内容读文件删除文件删除目录多线程设置存储策略Colocation
- [初始化HDFS](https://support.huaweicloud.com/devg3-mrs/mrs_07_090013.md): 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为：加载HDFS服务配置文件，并进行kerberos安全认证。认证通过后，实例化Filesystem。此处kerberos安全认证需要使用到的keytab文件，请提前准备。登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到hdfs-example-securit
- [创建HDFS目录](https://support.huaweicloud.com/devg3-mrs/mrs_07_090014.md): 创建目录过程为：调用FileSystem实例的exists方法查看该目录是否存在。如果存在，则直接返回。如果不存在，则调用FileSystem实例的mkdirs方法创建该目录。如下是写文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [创建HDFS文件并写入内容](https://support.huaweicloud.com/devg3-mrs/mrs_07_090015.md): 写文件过程为：使用FileSystem实例的create方法获取写文件的输出流。使用该输出流将内容写入到HDFS的指定文件中。在写完文件后，需关闭所申请资源。如下是写文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [追加信息到HDFS指定文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_090016.md): 追加文件内容，是指在HDFS的某个指定文件后面，追加指定的内容。过程为：使用FileSystem实例的append方法获取追加写入的输出流。使用该输出流将待追加内容添加到HDFS的指定文件后面。在完成后，需关闭所申请资源。如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExampl
- [读取HDFS指定文件内容](https://support.huaweicloud.com/devg3-mrs/mrs_07_090017.md): 获取HDFS上某个指定文件的内容。过程为：使用FileSystem实例的open方法获取读取文件的输入流。使用该输入流读取HDFS的指定文件的内容。在完成后，需关闭所申请资源。如下是读文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [删除HDFS指定文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_090018.md): 删除HDFS上某个指定文件。被删除的文件会被直接删除，且无法恢复。所以，执行删除操作需谨慎。如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [删除HDFS指定目录](https://support.huaweicloud.com/devg3-mrs/mrs_07_090019.md): 删除HDFS上某个指定目录。被删除的目录会被直接删除，且无法恢复。所以，执行删除操作需谨慎。如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [创建HDFS多线程任务](https://support.huaweicloud.com/devg3-mrs/mrs_07_090020.md): 建立多线程任务，同时启动多个实例执行文件操作。如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。example.test()方法即为对文件的操作，代码如下：
- [配置HDFS存储策略](https://support.huaweicloud.com/devg3-mrs/mrs_07_090021.md): 为HDFS上某个文件或文件夹指定存储策略。登录FusionInsight Manager页面，选择“集群 >待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。搜索并查看dfs.storage.policy.enabled的参数值是否为true，如果不是，修改为true，并单击保存，重启HDFS。查看代码。如下是代码片段，
- [配置HDFS同分布策略（Colocation）](https://support.huaweicloud.com/devg3-mrs/mrs_07_090023.md): 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。在使用Colocation功能之前，建议用户对Colocation的内部机制有一定了
- [在本地Windows环境中调测HDFS程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_090026.md): 在代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。选中HdfsExample.java，右键工程，选择Run 'HdfsExample.main()'运行应用工程。选
- [在Linux环境中调测HDFS应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_090029.md): HDFS应用程序支持在Linux环境中运行。在程序代码完成开发后，可以上传Jar包至准备好的Linux环境中运行。HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。已安装客户端时：已安装HDFS客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主
- [HDFS Java API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_090034.md): HDFS完整和详细的接口可以直接参考官方网站描述：https://hadoop.apache.org/docs/r3.1.1/api/index.htmlHDFS常用的Java类有以下几个：FileSystem：是客户端应用的核心类。常用接口参见表1。FileStatus：记录文件和目录的状态信息。常用接口参见表2。DFSColocati
- [HDFS C API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_090035.md): C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/LibHdfs.html。下面代码片段仅为演示，具体代码
- [HDFS HTTP REST API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_090036.md): REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html执行下列命令进行用户认证，这里以hdf
- [HDFS Shell命令介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_090037.md): 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。执行HDFS Shell的方法：进入HDFS客户端如下目录，直接输入命令即可。例如：cd /opt/client/HDFS/hadoop/bin./hdfs dfs -mkdir /tmp/input执行如下命令查询HDFS命令的帮助。./hdfs -
- [配置Windows通过EIP访问安全模式集群HDFS](https://support.huaweicloud.com/devg3-mrs/mrs_07_090038.md): 该章节通过指导用户配置集群绑定EIP，并配置HDFS文件的方法，方便用户可以在本地对样例文件进行编译。本章节以运行HdfsExample样例为例进行说明。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云 > 用户指南
- [HDFS样例工程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_090039.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下HDFS相关样例工程：HDFS相关样例工程样例工程位置描述hdfs-example-s
- [Hive应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_110002.md): Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。Hive主要特点如下：通过HQL语言非常容易地完成数据提取、转换和加载（ETL）。通过HQL完成海量结构化数
- [Hive应用开发常用概念](https://support.huaweicloud.com/devg3-mrs/mrs_07_110003.md): keytab文件存放用户信息的密钥文件。应用程序采用此密钥文件在MRS产品中进行API方式认证。存放用户信息的密钥文件。应用程序采用此密钥文件在MRS产品中进行API方式认证。客户端客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。客户端直接面向用户，可通过Java API、Thrift A
- [Hive应用开发流程](https://support.huaweicloud.com/devg3-mrs/mrs_07_110005.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_110007.md): Hive组件可以使用Java（JDBC和HCatalog）、Python、Python3接口进行应用开发。Python开发工具的详细安装配置可参见配置Hive Python样例工程。Python3开发工具的详细安装配置可参见配置Hive Python3样例工程。
- [导入并配置Hive JDBC/HCatalog样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_110008.md): 为了运行MRS产品Hive组件的JDBC/HCatalog接口样例代码，需要完成下面的操作。以在Windows环境下开发JDBC/HCatalog方式连接Hive服务的应用程序为例。HCatalog样例仅支持在Linux节点上运行。准备集群认证用户信息获取的认证文件“user.keytab”和krb5.conf。准备运行环境配置文件获取的
- [配置Hive Python样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_110010.md): 为了运行MRS产品Hive组件的Python接口样例代码，需要完成下面的操作。MRS 3.1.2及之后版本默认仅支持Python3。该样例仅支持在Linux节点上运行。在客户端机器的命令行终端输入python可查看Python版本号。如下显示Python版本为2.6.6。Python 2.6.6 (r266:84292, Oct 12 2
- [配置Hive Python3样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_110011.md): 为了运行MRS产品Hive组件的Python3接口样例代码，需要完成下面的操作。该样例仅支持在Linux节点上运行。在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。Python 3.8.2 (default, Jun 23 2020, 10:26:03)
[GCC 4.8.5 20
- [Hive JDBC样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_110017.md): 假定用户开发一个Hive数据分析应用，用于管理企业雇员信息，如表1、表2所示。创建三张表，雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended”。雇员信息表“employees_info”的字段为雇员编号、姓名、支付薪水币种、薪水金
- [创建Hive表](https://support.huaweicloud.com/devg3-mrs/mrs_07_110019.md): 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式：自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。内部表，如果对数据的处理都由Hive完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。外部表，如果数据要被多种工具共同处理，则应该使用外部表，可避免对该数据的误操作。删除外部表时，只
- [加载数据到Hive表中](https://support.huaweicloud.com/devg3-mrs/mrs_07_110020.md): 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。在启用了安全服务的集群中执行如下操作，需要在数据库中具有UPDATE权限及对加载数据文件具有owner权限和读写权限，详情请参见Hive应用开发概述。如果加载数据语
- [查询Hive表数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_110021.md): 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法：SELECT查询的常用特性，如JOIN等。加载数据进指定分区。如何使用Hive自带函数。如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见创建Hive用户自定义函数。在启用了安全服务的集群中执行如下操作，需要对涉及的表具有与操作对应的权限。详情请参见
- [实现Hive进程访问多ZooKeeper](https://support.huaweicloud.com/devg3-mrs/mrs_07_110024.md): FusionInsight支持在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper，分别通过“testConnectHive”和“testConnectApacheZK”方法实现。在“hive-jdbc-example-multizk”包中的“JDBCExample”类中，main方法的代
- [调测Hive HCatalog样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_110027.md): Hive HCatalog应用程序支持在安装Hive和Yarn客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。已安装Hive和Yarn客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。当输出“
- [调测Hive Python样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_110028.md): chmod +x python-examples -R。使用准备集群认证用户信息中创建的开发用户执行以下命令运行客户端程序：kinit -ktkeytab的存储路径 usernamecd python-examplespython pyCLI_sec.py如果出现如下异常：请按照以下方式处理：首先执行如下命令，查询所装操作系统中LibSA
- [调测Hive Python3样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_110029.md): chmod +x python3-examples -R。HiveServer业务平面IP地址可登录FusionInsight Manager，选择“集群 > 服务 > Hive > 实例”查看。port可在FusionInsight Manager界面，选择“集群 > 服务 > Hive > 配置”，在搜索框中搜索“hive.serve
- [Hive JDBC接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_110035.md): Hive JDBC接口遵循标准的JAVA JDBC驱动标准。Hive作为数据仓库类型数据库，其并不能支持所有的JDBC标准API。例如事务类型的操作：rollback、setAutoCommit等，执行该类操作会获得Method not supported的SQLException异常。
- [Hive WebHCat接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_110037.md): 以下示例的IP为WebHCat的业务IP，端口为安装时设置的WebHCat HTTP端口。需要在安装客户端的机器上进行kinit认证操作后才可执行示例操作。以下示例均为https协议的示例，若要使用http协议，需要执行以下操作：将REST接口切换成HTTP协议方式，请参见配置基于HTTPS/HTTP协议的REST接口。将示例中的“--i
- [使用二次开发程序产生Unable to read HiveServer2异常如何处理](https://support.huaweicloud.com/devg3-mrs/mrs_07_110040.md): 使用二次开发程序产生异常，提示“Unable to read HiveServer2 configs from ZooKeeper”信息。问题原因使用的krb5.conf、user.keytab文件不是最新的，或者文件与示例代码里填写登录用户不匹配。使用客户端环境的时间与连接的集群时间差大于5分钟。使用的krb5.conf、user.ke
- [使用IBM JDK产生异常“Problem performing GSS wrap”如何处理](https://support.huaweicloud.com/devg3-mrs/mrs_07_110041.md): 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息。问题原因：在IBM JDK下建立的Hive connection时间超过登录用户的认证超时时间（默认一天），导致认证失败。IBM JDK的机制跟Oracle JDK的机制不同，IBM JDK在认证登录后的使用过程中做了时间检查却没有检测外部的时
- [Hive SQL与SQL2003标准有哪些兼容性问题](https://support.huaweicloud.com/devg3-mrs/mrs_07_110042.md): 本文列举目前已发现的Hive SQL与SQL2003标准兼容性问题。不支持在having中写视图。举例如下：select c_last_name
      ,c_first_name
      ,s_store_name
      ,sum(netpaid) paid
from ssales
where i_color = 'chi
- [配置Windows通过EIP访问安全模式集群Hive](https://support.huaweicloud.com/devg3-mrs/mrs_07_110043.md): 该章节通过指导用户配置集群绑定EIP，并配置Hive文件的方法，方便用户可以在本地对样例文件进行编译。本章节以运行hive-jdbc-example样例为例进行说明。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云 
- [Hive应用开发样例工程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_110047.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下Hive相关样例工程：Hive相关样例工程样例工程位置描述hive-examples/
- [准备连接Hive集群配置文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_110048.md): 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。以下Hive权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。是，创建用户并在Ranger中赋予该用户相关操作权限：选择“系统 > 权限 > 用户 > 添加用户”，在新增用户界面创建一个机机用户，例如developuser。“用户组”需加
- [配置Hive JDBC接口访问Hive安全认证](https://support.huaweicloud.com/devg3-mrs/mrs_07_110050.md): 在开启了Kerberos认证的集群中，客户端连接组件之前需要进行安全认证，以确保通信的安全性，Hive应用开发需要进行ZooKeeper和Kerberos安全认证。JDBC样例工程包含安全认证代码，支持在Windows与Linux环境运行，不依赖集群客户端。HCatalog、Python、Python3样例工程仅提供Linux环境运行示例
- [使用JDBC接口提交数据分析任务](https://support.huaweicloud.com/devg3-mrs/mrs_07_110052.md): 本章节介绍如何使用JDBC样例程序完成数据分析任务。使用Hive JDBC接口提交数据分析任务，该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中，实现该功能的模块如下：读取HiveServer客户端property文件，其中hiveclient.properties文件
- [HCatalog访问Hive样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_110053.md): 本章节介绍如何在MapReduce任务中使用HCatalog分析Hive表数据，读取输入表第一列int类型数据执行count(distinct XX)操作，将结果写入输出表。该样例程序在“hive-examples/hcatalog-example”的“HCatalogExample.java”中，实现该功能的模块如下：实现Mapper类
- [基于Python的Hive样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_110054.md): 本章节介绍如何使用Python连接Hive执行数据分析任务。使用Python方式提交数据分析任务，参考样例程序中的“hive-examples/python-examples/pyCLI_sec.py”。该样例程序连接的集群的认证模式是安全模式，运行样例程序之前需要使用kinit命令认证相应权限的Kerberos用户。导入HAConnec
- [基于Python3的Hive样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_110055.md): 本章节介绍如何使用Python3连接Hive执行数据分析任务。安全模式连接Hive前需要使用集群客户端进行认证，使用kinit命令认证相应权限的Kerberos用户，认证后执行分析任务示例在“hive-examples/python3-examples/pyCLI_sec.py”文件中。导入hive类from pyhive import 
- [在本地Windows环境中调测Hive JDBC样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_110056.md): 在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。需要在运行样例代码的本机hosts文件中设置访问节点的主机名和公网IP地址映射，主机名和公网IP地址请保持一一对应。仅JDBC
- [在Linux环境中调测Hive JDBC样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_110057.md): Hive JDBC应用程序支持在Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。已安装Java。当运行Hive JDBC应用程序所在主机不是集群中的节点时，需要在该主机的hosts文件中设置MRS集群节点的主机名和IP地址的映射关系，确保主机名和IP地址一一对应。在IDEA界面左下方单击“
- [Impala应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_120002.md): Impala直接对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据、SQL语法（Hive SQL）、ODBC驱动程序和用户界面（Hue中的Impala查询UI）。这为实时或面向批处理的查询提供了一个熟悉且
- [Impala应用开发常用概念](https://support.huaweicloud.com/devg3-mrs/mrs_07_120003.md): 客户端客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Impala的相关操作。本文中的Impala客户端特指Impala client的安装目录，里面包含通过Java API访问Impala的样例代码。客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Impala的相关操作。本文中
- [Impala应用开发流程](https://support.huaweicloud.com/devg3-mrs/mrs_07_120004.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备Impala开发和运行环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_120006.md): 在进行应用开发时，需要准备的本地开发环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，然后直接在Windows中进行程序调测。如果使用Linux环境调测程序，需准备Linux节点。
- [Impala样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_120009.md): 假定用户开发一个Impala数据分析应用，用于管理企业雇员信息，如表1、表2所示。创建三张表，雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended”。雇员信息表“employees_info”的字段为雇员编号、姓名、支付薪水币种、薪
- [创建Impala表](https://support.huaweicloud.com/devg3-mrs/mrs_07_120010.md): 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。内部表，如果对数据的处理都由Impala完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。外部表，如果数据要被多种工具共同处理，则应该使用外部表，可避免对该数据的误操作。
- [加载Impala数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_120011.md): 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。加载数据的实质是将数据复制到HDFS上指定表的目录下。LOAD DATA LOCAL INPATH命令可以完成从本地文件系统加载文件到Impala的需求，但是当指定LOCAL时，这里的路径指的是当前连接的Impa
- [查询Impala数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_120012.md): 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。SELECT查询的常用特性，如JOIN等。加载数据进指定分区。如何使用Impala自带函数。如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见开发Impala用户自定义函数。自定义函数，具体内容请参见开发Impala用户自定义函数。
- [开发Impala用户自定义函数](https://support.huaweicloud.com/devg3-mrs/mrs_07_120013.md): 当Impala的内置函数不能满足需要时，可以通过编写用户自定义函数UDF（User-Defined Functions）插入自己的处理代码并在查询中使用它们。按实现方式，UDF有如下分类：普通的UDF，用于操作单个数据行，且产生一个数据行作为输出。用户定义聚集函数UDAF（User-Defined Aggregating Function
- [Impala样例程序指导](https://support.huaweicloud.com/devg3-mrs/mrs_07_120014.md): 本小节介绍了如何使用样例程序完成分析任务。本章节以使用JDBC接口提交数据分析任务为例。使用Impala JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。修改以下变量为false，标识连接集群的认证模式为普通模式。// 所连接集群的认证模式是否在安全模式 
   boolean isSecureVer = 
- [在Windows中调测Impala JDBC应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_120016.md): 导入和修改样例后，即可在开发环境中，右击“JDBCExample.java”，选择“Run 'JDBCExample.main()'”运行对应的应用程序工程。使用Windows访问MRS集群来操作Impala，有如下两种方式。方法一：申请一台Windows的ECS访问MRS集群操作Impala，在安装开发环境后可直接运行样例代码。在“现有
- [在Linux中调测Impala JDBC应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_120017.md): chmod +x /opt/impala_examples -Rcd /opt/impala_examplesjava -cp impala-examples-mrs-2.1-jar-with-dependencies.jar com.huawei.bigdata.impala.example.ExampleMainLinux环境运行成功
- [Impala JDBC接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_120019.md): Impala使用Hive的JDBC接口，Hive JDBC接口遵循标准的JAVA JDBC驱动标准。Impala并不能支持所有的Hive JDBC标准API。执行某些操作会产生Method not supported的SQLException异常。
- [Impala SQL接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_120020.md): Impala SQL提供对HiveQL的高度兼容性，详情请参见https://impala.apache.org/docs/build/html/topics/impala_langref.html。
- [Impala开发规则](https://support.huaweicloud.com/devg3-mrs/mrs_07_120022.md): 客户端程序以JDBC的形式连接Impalad时，需要首先加载Hive的JDBC驱动类org.apache.hive.jdbc.HiveDriver。所以在客户端程序开始前，必须先使用当前类加载器加载该驱动类。如果classpath下没有相应的jar包，则客户端程序抛出Class Not Found异常并退出。如下：使用JDK的驱动管理类j
- [Impala开发建议](https://support.huaweicloud.com/devg3-mrs/mrs_07_120023.md): 查询语句使用字段的值做过滤时，不支持使用Hive类似的隐式类型转换来编写Impala SQL：Impala示例：Hive示例(支持隐式类型转换)：表tbl_src的id字段为Int类型，name字段为String类型。Impala使用Hive提供的JDBC，Hive提供的JDBC实现有超时限制，默认是5分钟，用户可以通过java.sql.
- [Impala开发示例](https://support.huaweicloud.com/devg3-mrs/mrs_07_120024.md): 以下示例代码主要功能如下。普通(非Kerberos)模式下，使用用户名和密码进行登录，如不指定用户，则匿名登录；在JDBC URL地址中提供登录Kerberos用户的principal，程序自动完成安全登录、建立Impala连接。执行创建表、查询和删除三类Impala SQL语句。
- [Kafka应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_130002.md): Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。Kafka有如下几个特点：高吞吐量消息持久化到磁盘分布式系统易扩展容错性好支持online和offline场景Kafka主要
- [Kafka应用开发流程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_130004.md): Kafka客户端角色包括Producer和Consumer两个角色，其应用开发流程是相同的。开发流程中各个阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_130006.md): Kafka开发应用时，需要准备的开发和运行环境如表1所示：开发环境准备项说明操作系统开发环境：Windows系统，支持Windows 7以上版本。运行环境：Windows系统或Linux系统。如需在本地调测程序，运行环境需要和集群业务平面网络互通。安装和配置IntelliJ IDEA开发环境的基本配置。版本要求：JDK使用1.8版本，In
- [导入并配置Kafka样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_130007.md): 获取Kafka开发样例工程，将工程导入到IntelliJ IDEA开始样例学习及应用程序开发。确保本地环境的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。已准备开发环境及MRS集群相关配置文件，详情请参考准备连接Kafka集群配置文件。参
- [Kafka样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_130010.md): Kafka是一个分布式消息系统，在此系统上您可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。使用Linux客户端创建一个Topic。可参考Kafka Shell命令介绍。开发一个Producer向该
- [使用Producer API向安全Topic生产消息](https://support.huaweicloud.com/devg3-mrs/mrs_07_130012.md): 用于实现Producer API向安全Topic生产消息。以下为用于实现Producer API向安全Topic生产消息的代码片段。详细内容在com.huawei.bigdata.kafka.example.Producer类的run方法中。
- [使用Consumer API订阅安全Topic并消费](https://support.huaweicloud.com/devg3-mrs/mrs_07_130013.md): 用于实现使用Consumer API订阅安全Topic，并进行消息消费。以下为用于实现使用Consumer API订阅安全Topic，并进行消息消费的代码片段。详细内容在com.huawei.bigdata.kafka.example.Consumer类中。
- [使用多线程Producer发送消息](https://support.huaweicloud.com/devg3-mrs/mrs_07_130014.md): 在使用Producer API向安全Topic生产消息基础上，实现了多线程Producer，可启动多个Producer线程，并通过指定相同key值的方式，使每个线程对应向特定Partition发送消息。下面代码片段在com.huawei.bigdata.kafka.example.ProducerMultThread类的run方法中，用于
- [使用多线程Consumer消费消息](https://support.huaweicloud.com/devg3-mrs/mrs_07_130015.md): 在使用Consumer API订阅安全Topic并消费基础上，实现了多线程并发消费，可根据Topic的Partition数目启动相应个数的Consumer线程来对应消费每个Partition上的消息。下面代码片段在com.huawei.bigdata.kafka.example.ConsumerMultThread类的run方法中，用于实
- [使用KafkaStreams统计数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_130016.md): 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例，通过Kafka Streams读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topic消费数据，将统计结果以Key-Value的形式输出，完成单词统计功能。下面代码片段在com.huawei.
- [使用Kafka Token认证](https://support.huaweicloud.com/devg3-mrs/mrs_07_130020.md): Token认证机制是一种轻量级身份认证机制，无需访问Kerberos认证，可在API中使用。Token认证机制支持API，用户可在二次开发样例的Producer()和Consumer()中对其进行配置。Producer()配置的样例代码如下：public static Properties initProperties() {
	Prop
- [调测Kafka Producer样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_130023.md): 如需在Windows调测程序，需要配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问安全模式集群Kafka。如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装JDK并已设置java相关环境变量。打开I
- [调测Kafka Consumer样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_130024.md): 如需在Windows调测程序，需要配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问安全模式集群Kafka。如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装JDK并已设置java相关环境变量。jav
- [Kafka Shell命令介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_130031.md): 查看当前集群Topic列表。shkafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka>shkafka-topics.sh --list --bootstrap-server<Kafka集群IP:21007> --command-config config/client.p
- [Kafka Java API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_130032.md): Kafka相关接口同开源社区保持一致，详情请参见https://kafka.apache.org/24/documentation.html。
- [使用Kafka客户端SSL加密](https://support.huaweicloud.com/devg3-mrs/mrs_07_130034.md): 客户端使用SSL功能前，必须要保证服务端SSL对应服务功能已经开启（服务端参数“ssl.mode.enable”设置为“true”）。SSL功能需要配合API进行使用，可参考Kafka安全使用说明章节。Linux客户端使用SSL功能修改客户端安装目录/Kafka/kafka/config/producer.properties和客户端安装
- [运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED”](https://support.huaweicloud.com/devg3-mrs/mrs_07_130036.md): 运行样例时提示Topic鉴权失败“example-metric1=TOPIC_AUTHORIZATION_FAILED”。
- [运行Producer.java样例报错“ERROR fetching topic metadata...”](https://support.huaweicloud.com/devg3-mrs/mrs_07_130037.md): 已经拥有Topic访问权限，但是运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata for topics...”。如果IP与Kafka集群部署的业务IP不一致，那么需要修改为当前集群正确的IP地址。如果配置中的端口为21007（Kafka安全模式端口），那么修改该端口为9092
- [配置Windows通过EIP访问安全模式集群Kafka](https://support.huaweicloud.com/devg3-mrs/mrs_07_130038.md): 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹
- [使用Sasl Kerberos认证](https://support.huaweicloud.com/devg3-mrs/mrs_07_130040.md): 在安全集群环境下，各个组件之间不能够简单地相互通信，而需要在通信之前进行相互认证，以确保通信的安全性。Kafka应用开发需要进行Kafka、ZooKeeper、Kerberos的安全认证，这些安全认证只需要生成一个jaas文件并设置相关环境变量即可。LoginUtil相关接口可以完成这些配置。此代码片段在com.huawei.bigdat
- [Kafka样例工程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_130041.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下Kafka相关样例工程：Kafka相关样例工程样例工程位置描述kafka-exampl
- [准备连接Kafka集群配置文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_130042.md): 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。以下Kafka权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。是，创建用户并在Ranger中赋予该用户相关操作权限：选择“系统 > 权限 > 用户 > 添加用户”，在新增用户界面创建一个机机用户，例如developuser。“用户组”需
- [调测Kafka Low level Streams样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_130043.md): 在Windows环境调测程序步骤请参考在Windows中调测程序。cd /opt/clientsource bigdata_envkinit 组件操作用户（例如developuser）kafka-topics.sh --create --zookeeperquorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka--r
- [调测Kafka High level Streams样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_130044.md): 在Windows环境调测程序步骤请参考在Windows中调测程序。cd /opt/clientsource bigdata_envkinit 组件操作用户（例如developuser）kafka-topics.sh --create --zookeeperquorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka--r
- [调测Kafka Token认证机制样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_130045.md): 登录FusionInsight Manager管理界面，选择“集群 > 服务 > Kafka > 配置”，打开Kafka服务配置页面。开启Token认证机制。查找配置项delegation.token.master.key，该配置指定用于生成和验证Token的主密钥。先查看是否已经配置，如果已配置且不为null，则表示Token认证机制是
- [Kudu应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_140002.md): Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。Kudu的设计具有以下优点：能够快速处理OLAP工作负载。支持与MapReduce，Spark和其他Hadoop生态系统组件集成。与Apache Impala的紧密集成，使其成
- [Kudu应用开发常用概念](https://support.huaweicloud.com/devg3-mrs/mrs_07_140003.md): Kudu Table可以创建为内部表或外部表，其中内部表由Impala管理，而外部表不由Impala管理，但可以通过Impala进行查询。Table有schema和primary key属性，且可以划分为多个tablet。Tablet是指数据分片，可以指定副本数，存放在多个tablet server上，多个副本中有一个是leader ta
- [Kudu应用开发流程](https://support.huaweicloud.com/devg3-mrs/mrs_07_140004.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_140006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的Linux环境，用于验证应用程序运行正常。在节点中安装客户端，例如客户端安装目录为“/opt/client”。客户端机器的时间与集群的时间要保持一致，时间差小于5分钟。集群的Master节点或者Core节点已默认安装好客户端，可直接使用，MRS
- [准备Kudu应用安全认证](https://support.huaweicloud.com/devg3-mrs/mrs_07_140008.md): 访问安全集群环境中的服务，需要先通过Kerberos安全认证。所以Kudu应用程序中需要有安全认证代码，确保Kudu程序能够正常运行。安全认证有两种方式：命令行认证：提交Kudu应用程序运行前，在Kudu客户端执行如下命令进行认证。kinit组件业务用户提交Kudu应用程序运行前，在Kudu客户端执行如下命令进行认证。kinit组件业务用
- [Kudu应用程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_140011.md): 通过典型场景，可以快速学习和掌握Kudu的开发过程，并对关键的接口函数有所了解。作为存储引擎，通常情况下Kudu会和计算引擎一起协同工作：首先在计算引擎上（比如Impala）用SQL语句创建表对象；然后通过Kudu的驱动往这个表里写数据；在计算引擎上直接查询这个表里的数据。在本开发程序示例中，为了不引入额外的计算引擎，将以Kudu为主，全
- [建立Kudu连接](https://support.huaweicloud.com/devg3-mrs/mrs_07_140013.md): 通过KuduClient.KuduClientBuilder(KUDU_MASTERS).build()方法创建KuduClient对象。传入的参数KUDU_MASTERS为Kudu集群的Master地址列表，如果有多个Master节点，则中间用半角逗号隔开。如下是建立连接代码片段：示例代码中，KUDU_MASTERS为Kudu集群的Ma
- [创建Kudu表](https://support.huaweicloud.com/devg3-mrs/mrs_07_140014.md): 通过KuduClient.createTable(String name, Schema schema, CreateTableOptions builder)方法创建表对象，其中需要指定表的schema和分区信息。如下是创建表的代码片段：示例代码中，定义了一张表，包含key和value两列。其中key是int32类型的主键字段，valu
- [打开Kudu表](https://support.huaweicloud.com/devg3-mrs/mrs_07_140015.md): 通过KuduClient.openTable(final String name)方法打开表对象。如下是打开表的代码片段：示例代码中，tableName需要打开的表名。
- [修改Kudu表](https://support.huaweicloud.com/devg3-mrs/mrs_07_140016.md): 通过KuduClient.alterTable(String name, AlterTableOptions ato)方法修改表对象。如下是写数据的代码片段：示例代码中，AlterTableOptions是要修改表属性的集合，这里需要在表格中新增一列。
- [写Kudu数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_140017.md): 通过KuduClient.newSession()方法生成一个KuduSession对象，然后再把插入记录动作执行到Kudu表里。如下是写数据的代码片段：示例代码中，numRows是要写入的记录条数；需要特别注意写入请求的响应结果。
- [读Kudu数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_140018.md): 通过KuduClient.newScannerBuilder(KuduTable table)方法生成一个KuduScanner对象，然后再通过设置谓词条件从Kudu表里过滤读取数据。如下是读取数据的代码片段：示例代码中：projectColumns表示要返回的列信息。lowerPred和upperBound表示作用在主键key上的谓词。
- [删除Kudu表](https://support.huaweicloud.com/devg3-mrs/mrs_07_140019.md): 通过KuduClient.deleteTable(String name)方法删除表对象。如下是删除表的代码片段：
- [调测Kudu应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_140020.md): 得到输出包：
- [Kudu应用开发常见问题](https://support.huaweicloud.com/devg3-mrs/mrs_07_140023.md): Kudu Java API接口可参考官网描述。其他Kudu完整和详细的接口可以直接参考官方网站上的描述。地址：https://kudu.apache.org/apidocs。
- [MapReduce应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_150002.md): Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。一个MapReduce作业（application/job）通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对
- [MapReduce应用开发流程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_150004.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备MapReduce开发环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_150006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。
- [导入并配置MapReduce样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_150007.md): MapReduce针对多个场景提供样例工程，帮助客户快速学习MapReduce工程。以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。确保本地环境的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。已准备开发环境及MRS集
- [（可选）创建MapReduce样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_150008.md): 除了导入MapReduce样例工程，您还可以使用IntelliJ IDEA新建一个MapReduce工程。
- [配置MapReduce应用安全认证](https://support.huaweicloud.com/devg3-mrs/mrs_07_150009.md): 在安全集群环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写入安全认证代码，确保MapReduce程序能够正常运行。安全认证有两种方式：命令行认证：提交MapReduc
- [MapReduce统计样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_150012.md): 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发MapReduce应用程序实现如下功能：统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“,”。log1.txt：周六网民停留日志log2.txt：周日网民停留日志首
- [MapReduce统计样例代码](https://support.huaweicloud.com/devg3-mrs/mrs_07_150013.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。主要分为三个部分：从原文件中筛选女性网民上网时间数据信息，通过类CollectionMapper继承Mapper抽象类实现。汇总每个女性上网时间，并输出时间大于两个小时的女性网民信息，通过类CollectionReducer继承Reducer抽象类实现。main方法提供建立一个
- [MapReduce访问多组件样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_150015.md): 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。该样例逻辑过程如下：以HDFS文本文件为输入数据：log1.txt：数据输入文件Map阶段：获取输入数据的一行并提取姓名信息。查询HBase一条数据。查询Hive一条数据。将HBa
- [MapReduce访问多组件样例代码](https://support.huaweicloud.com/devg3-mrs/mrs_07_150016.md): 主要分为三个部分：从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。获取拼接后的数据取最后一条输出到HBase、HDFS，通过类MultiComponentReducer继承Reducer抽象类实现。main方法提供建立一个Map
- [在本地Windows环境中调测MapReduce应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_150019.md): 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。MapReduce应用程序运行完成后，可通过如下方式查看应用程序的运行情况。在IntelliJ IDEA中查看应用程序运行情况。通过MapReduce日志获取应用程序运行情况。登录MapReduce WebUI查看应用程序运
- [在Linux环境中调测MapReduce应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_150022.md): 在程序代码完成开发后，您可以在Linux环境中运行应用。MapReduce应用程序运行完成后，可通过如下方式查看应用程序的运行情况。通过运行结果查看程序运行情况。登录MapReduce WebUI查看应用程序运行情况。登录Yarn WebUI查看应用程序运行情况。通过MapReduce日志获取应用程序运行情况。已将准备连接MapReduc
- [MapReduce Java API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_150027.md): 关于MapReduce的详细API可以参考官方网站。https://hadoop.apache.org/docs/r3.1.1/api/index.html常用接口MapReduce中常见的类如下：org.apache.hadoop.mapreduce.Job：用户提交MR作业的接口，用于设置作业参数、提交作业、控制作业执行以及查询作业状
- [MapReduce REST API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_150028.md): 功能简介通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapreduce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用：https://hadoop.apache.org/docs/r3.1.1/hadoop-mapreduce-client/hadoop-map
- [提交MapReduce任务时客户端长时间无响应](https://support.huaweicloud.com/devg3-mrs/mrs_07_150030.md): 向YARN服务器提交MapReduce任务后，客户端提示如下信息后长时间无响应。对于上述出现的问题，ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息，对于一个已经提交到YARN上的MapReduce任务，用户可以通过该诊断信息获取当前作业的状态以及处于该状态的原因。具体操作：登录FusionIn
- [网络问题导致运行应用程序时出现异常](https://support.huaweicloud.com/devg3-mrs/mrs_07_150031.md): 应用程序在Windows环境下运行时，发现连接不上MRS集群，而在Linux环境下（和安装了MRS集群的机器是同一个网络）却运行正常。由于Kerberos认证需要使用UDP协议，而防火墙做了特殊处理关掉了需要使用的UDP端口，导致应用程序在Windows环境下运行的机器与MRS集群的网络不是完全通畅的，需要重新设置防火墙，把需要使用的UD
- [MapReduce二次开发远程调试](https://support.huaweicloud.com/devg3-mrs/mrs_07_150032.md): MapReduce二次开发过程中如何远程调试业务代码？MapReduce开发调试采用的原理是Java的远程调试机制，在Map/Reduce任务启动时，添加Java远程调试命令。修改客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中mapreduce.map.java.opts和mapreduce.r
- [MapReduce样例工程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_150033.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下MapReduce相关样例工程：MapReduce相关样例工程样例工程位置描述mapr
- [准备连接MapReduce集群配置文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_150034.md): 如果需要使用访问多组件样例程序，请确保集群已安装Hive、HBase服务。对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户，并下载认证凭据文件用于程序认证。以下MapReduce权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。选择“待操作集群的名称 > HDFS > 文件系统 > hdfs://h
- [准备MapReduce样例初始数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_150035.md): 在调测程序之前，需要提前准备将待处理的数据。运行MapReduce统计样例程序，请参考规划MapReduce统计样例程序数据。运行MapReduce访问多组件样例程序，请参考规划MapReduce访问多组件样例程序数据。将待处理的日志文件放置在HDFS系统中。执行以下命令进入HDFS客户端目录并认证用户。cdHDFS客户端安装目录sour
- [Oozie应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_160002.md): Oozie是一个用来管理Hadoop任务的工作流引擎，Oozie流程基于有向无环图（Directed Acyclical Graph）来定义和描述，支持多种工作流模式及流程定时触发机制。易扩展、易维护、可靠性高，与Hadoop生态系统各组件紧密结合。Oozie流程的三种类型：Workflow描述一个完整业务的基本流程。描述一个完整业务的基
- [Oozie应用开发常用概念](https://support.huaweicloud.com/devg3-mrs/mrs_07_160003.md): 流程定义文件描述业务逻辑的XML文件，包括workflow.xml、coordinator.xml、bundle.xml三类，最终由Oozie引擎解析并执行。描述业务逻辑的XML文件，包括workflow.xml、coordinator.xml、bundle.xml三类，最终由Oozie引擎解析并执行。流程属性文件流程运行期间的参数配置文
- [Oozie应用开发流程](https://support.huaweicloud.com/devg3-mrs/mrs_07_160004.md): 本文档主要基于java API对Oozie进行应用开发。开发流程中各阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_160006.md): 在进行二次开发时，要准备的开发和运行环境如表1所示。
- [导入并配置Oozie样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_160007.md): 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。已按照准备本地应用开发环境章节准备好开发用户，例如developuser，并下载用户的认证凭据文件到本地。用户需要具备Oozie的普通用户权限，HDFS访问权限，Hive表读写权限，HBase读写权限以及Yarn的队列提交权限。用户需要具备Oozie的普通用户权限，H
- [配置Oozie应用安全认证](https://support.huaweicloud.com/devg3-mrs/mrs_07_160008.md): 在安全集群环境下，各个组件需要在通信之前进行相互认证，以确保通信的安全性。用户在开发Oozie应用程序时，某些场景下需要Oozie与Hadoop、Hive等之间进行通信。那么Oozie应用程序中需要写入安全认证代码，确保Oozie程序能够正常运行。安全认证有两种方式：命令行认证：提交Oozie应用程序运行前，在Oozie客户端执行如下命令
- [Oozie样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_160011.md): 工作流配置文件workflow.xml（coordinator.xml是对工作流进行调度，bundle.xml是对一组Coordinator进行管理）与job.properties。如果有实现代码，需要开发对应的jar包，例如Java Action；如果是Hive，则需要开发SQL文件。上传配置文件与jar包（包括依赖的jar包）到HDF
- [Oozie应用开发步骤](https://support.huaweicloud.com/devg3-mrs/mrs_07_160012.md): 可以使用客户端样例目录中MapReduce程序对日志目录的数据进行分析、处理。将MapReduce程序的分析结果移动到数据分析结果目录，并将数据文件的权限设置成660。为了满足每天分析一次的需求，需要每天重复执行一次1.a～1.b。登录Oozie客户端所在节点，新建dataLoad目录，作为程序运行目录，后面编写的文件均保存在该目录下。例
- [配置Oozie作业运行参数](https://support.huaweicloud.com/devg3-mrs/mrs_07_160015.md): 流程的属性定义文件，定义了流程运行期间使用的外部参数值对。job.properties文件中包含的各参数及其含义，请参见表1。可以根据业务需要，以“key＝values”的格式自定义参数及值。
- [配置Oozie业务运行流程](https://support.huaweicloud.com/devg3-mrs/mrs_07_160016.md): 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。workflow.xml文件中包含的各参数及其含义，请参见表1。
- [配置Oozie作业执行入口](https://support.huaweicloud.com/devg3-mrs/mrs_07_160017.md): 流程任务的执行入口，每个流程任务有且仅有一个该节点。Start Action节点中包含的各参数及其含义，请参见表1。
- [配置Oozie作业执行终点](https://support.huaweicloud.com/devg3-mrs/mrs_07_160018.md): 流程任务执行的终点，每个流程任务有且仅有一个该节点。End Action节点中包含的各参数及其含义，请参见表1。
- [配置Oozie作业异常结束打印信息](https://support.huaweicloud.com/devg3-mrs/mrs_07_160019.md): 流程任务运行期间发生异常后，流程的异常结束节点。Kill Action节点中包含的各参数及其含义，请参见表1。
- [配置Oozie作业操作HDFS文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_160020.md): HDFS文件操作节点，支持对HDFS文件及目录的创建、删除、授权功能。FS Action节点中包含的各参数及其含义，请参见表1。“${变量名}”表示：该值来自job.properties所定义。例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见配置Oozie作业运行参数）
- [配置Oozie MapReduce作业](https://support.huaweicloud.com/devg3-mrs/mrs_07_160021.md): MapReduce任务节点，负责执行一个map-reduce任务。MapReduce Action节点中包含的各参数及其含义，请参见表1。“${变量名}”表示：该值来自job.properties所定义。例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见配置Oozie作业运行参数）
- [配置Coordinator定时调度作业](https://support.huaweicloud.com/devg3-mrs/mrs_07_160022.md): 周期性执行Workflow类型任务的流程定义文件。coordinator.xml中包含的各参数及其含义，请参见表1。“${变量名}”表示：该值来自job.properties所定义。例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见配置Oozie作业运行参数）
- [通过Java API提交Oozie作业开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_160024.md): 通过典型场景，用户可以快速学习和掌握Oozie的开发过程，并且对关键的接口函数有所了解。本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，代码示例只涉及了MapReduce作业，其他作业的API调用代码是一样的，仅job配置job.properties与工作流配置文件workflow.xml需根据实际情况设置。
- [通过Java API提交Oozie作业](https://support.huaweicloud.com/devg3-mrs/mrs_07_160025.md): Oozie通过org.apache.oozie.client.OozieClient的run方法提交作业，通过getJobInfo获取作业信息。代码示例中请根据实际情况，修改“OOZIE_URL_DEFAULT”为实际的任意Oozie节点的主机名，例如“https://10-1-131-131:21003/oozie/”。通过Java A
- [在本地Windows环境中调测Oozie应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_160029.md): 在使用Java接口完成开发程序代码后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在Windows本地运行程序，需要配置https ssl证书。登录集群任意节点，进入如下目录下载ca.crt文件。cd ${BIGDATA_HOME}/om-agent_8.1.0.1/nodeagent
- [查看Oozie应用调测结果](https://support.huaweicloud.com/devg3-mrs/mrs_07_160030.md): Oozie样例工程运行完成后可以通过控制台查看输出结果。控制台显示运行结果会有如下成功信息：同时在HDFS上生成目录/user/developuser/examples/output-data/map-reduce，包括如下两个文件：_SUCCESSpart-00000可以通过Hue的文件浏览器或者通过HDFS如下命令行查看：hdfs d
- [Oozie Shell接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_160036.md): Oozie其他的命令和参数可参见以下地址：https://oozie.apache.org/docs/5.1.0/DG_CommandLineTool.html。
- [Oozie Java接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_160037.md): Java API主要由org.apache.oozie.client.OozieClient提供。
- [Oozie REST接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_160038.md): 常用接口与JAVA一样。Java API主要由org.apache.oozie.client.OozieClient提供。详情请参见https://oozie.apache.org/docs/5.1.0/WebServicesAPI.html。
- [使用Oozie调度Spark2x访问HBase以及Hive](https://support.huaweicloud.com/devg3-mrs/mrs_07_160039.md): 已经配置完成导入并配置Oozie样例工程的前提条件。进入项目根目录，比如“D:\sample_project\src\oozie-examples\ooziesecurity-examples\OozieSparkHBaseExample” 然后执行mvn clean package -DskipTests，打包成功之后样例工程在targ
- [Oozie应用开发样例工程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_160040.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下Oozie相关样例工程：Oozie相关样例工程样例工程位置描述oozie-exampl
- [Spark应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_200003.md): Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 适用以下场景：数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。迭代计算（Iterative Computation）：支持迭代计算，有效应对多步的数据处理逻辑。数据挖掘（D
- [Spark应用开发流程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_200004.md): Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程都是相同的。开发流程中各阶段的说明如图1和表1所示。
- [准备Spark本地应用开发环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_200006.md): Spark2x可以使用Java/Scala/Python语言进行应用开发，要准备的开发和运行环境如表1所示。开发环境准备项说明操作系统开发环境：Windows系统，支持Windows 7以上版本。运行环境：Windows系统或Linux系统。如需在本地调测程序，运行环境需要和集群业务平面网络互通。安装JDKJava/Scala开发和运行环
- [导入并配置Spark样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_200007.md): Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*.py）即可。以下操作步骤以导入Java样例代码为例。操作流程如图1所示。确保本地环境的时间与MRS集
- [新建Spark样例工程（可选）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200008.md): 除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。如果您需要新建Java语言的工程，选择对应参数即可。选择开发环境
- [配置Spark应用安全认证](https://support.huaweicloud.com/devg3-mrs/mrs_07_200012.md): 在安全集群环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。用户在开发Spark应用程序时，某些场景下，需要Spark与Hadoop、HBase等之间进行通信。那么Spark应用程序中需要写入安全认证代码，确保Spark程序能够正常运行。安全认证有三种方式：命令认证：提交Spark应用程序运
- [Spark Core样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_200015.md): 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能：统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为,。log1.txt：周六网民停留日志LiuYang,female,20
YuanJi
- [Spark Core样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200016.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类：
- [Spark Core样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200017.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection：样例：类CollectMapper
- [Spark Core样例程序（Python）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200018.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见collectFemaleInfo.py：
- [Spark SQL样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_200020.md): 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能：统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为,。log1.txt：周六网民停留日志LiuYang,female,20
YuanJi
- [Spark SQL样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200021.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection：
- [Spark SQL样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200022.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection：上面是简单示例，其它sparkSQL特性请参见如下链接：https://archive.apache.org/dist/spark/d
- [Spark SQL样例程序（Python）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200023.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见SparkSQLPythonExample：
- [通过JDBC访问Spark SQL样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_200030.md): 用户自定义JDBCServer的客户端，使用JDBC连接来进行表的创建、数据加载、查询和删除。将数据文件上传至HDFS中。登录HDFS客户端节点，执行如下命令：cd{客户端安装目录}sourcebigdata_envkinit<用于认证的业务用户>cd{客户端安装目录}sourcebigdata_envkinit<用于认证的业务用户>执行
- [通过JDBC访问Spark SQL样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200031.md): 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。由于KERBEROS认证成功后，默认有效期为1天，超过有效期后，如果客户端需要和JDBCServer新建连接则需要重新认证，否则就会执行失败。因此，若长期执行应用过程中需要新建连接，用户需要在url中添加user.principal和user.keytab认证信息，以保证每次建立
- [通过JDBC访问Spark SQL样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200032.md): 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。由于KERBEROS认证成功后，默认有效期为1天，超过有效期后，如果客户端需要和JDBCServer新建连接则需要重新认证，否则就会执行失败。因此，若长期执行应用过程中需要新建连接，用户需要在url中添加user.principal和user.keytab认证信息，以保证每次建立
- [操作Avro格式数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_200034.md): 用户可以在Spark应用程序中以数据源的方式去使用HBase，本例中将数据以Avro格式存储在HBase中，并从中读取数据以及对读取的数据进行过滤等操作。在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：create'ExampleAvrotable','rowkey','cf1'
- [操作HBase数据源](https://support.huaweicloud.com/devg3-mrs/mrs_07_200039.md): 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：create'HBaseSourceExampleTable','rowkey
- [BulkPut接口使用](https://support.huaweicloud.com/devg3-mrs/mrs_07_200044.md): 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将构建的RDD写入HBase中。在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：create 'bulktable','cf1'创建RDD。以HBaseContext的方式操作HBase，将上面生成
- [BulkGet接口使用](https://support.huaweicloud.com/devg3-mrs/mrs_07_200049.md): 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要获取的数据的rowKey构造成rdd，然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。基于BulkPut接口使用章节中创建的HBase表及其中的数据进行操作。创建包含了要获取的rowkey信息的RDD。
- [BulkDelete接口使用](https://support.huaweicloud.com/devg3-mrs/mrs_07_200054.md): 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要删除的数据的rowKey构造成rdd，然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。基于BulkPut接口使用章节创建的HBase表及其中的数据进行操作。创建包含了要删除的rowkey信息的
- [BulkLoad接口使用](https://support.huaweicloud.com/devg3-mrs/mrs_07_200059.md): 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要插入的数据的rowKey构造成rdd，然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile文件导入HBase表的操作采用如下格式的命令，不属于本接口范围，不在此进行详细说明：hbase org.apache.
- [foreachPartition接口使用](https://support.huaweicloud.com/devg3-mrs/mrs_07_200064.md): 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，将要插入的数据的rowKey构造成rdd，然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。在客户端执行：hbase shell命令进入HBase命令行。使用下面的命令创建HBase表：create 'table2
- [分布式Scan HBase表](https://support.huaweicloud.com/devg3-mrs/mrs_07_200069.md): 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用hbaseRDD方法以特定的规则扫描HBase表。使用操作Avro格式数据章节中创建的hbase数据表。设置scan的规则，例如：setCaching。使用特定的规则扫描Hbase表。安全模式下Spark Core样例代码需要读取两个文件（user.ke
- [mapPartitions接口使用](https://support.huaweicloud.com/devg3-mrs/mrs_07_200074.md): 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用mapPartition接口并行遍历HBase表。使用foreachPartition接口使用章节创建的HBase数据表。构造需要遍历的HBase表中rowkey的RDD。使用mapPartition接口遍历上述rowkey对应的数据信息，并进行简单的操
- [SparkStreaming批量写入HBase表](https://support.huaweicloud.com/devg3-mrs/mrs_07_200079.md): 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入HBase表中。在客户端执行hbase shell进入HBase命令行。在hbase命令执行下面的命令创建HBase表：create'streamingTable','cf1'create'streamingTa
- [Spark从HBase读取数据再写入HBase样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_200085.md): 假定HBase的table1表存储用户当天消费的金额信息，table2表存储用户历史消费的金额信息。现table1表有记录key=1,cf:cid=100，表示用户1在当天消费金额为100。table2表有记录key=1,cf:cid=1000，表示用户1的历史消息记录金额为1000。基于某些业务要求，要求开发Spark应用程序实现如下功
- [Spark从HBase读取数据再写入HBase样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200086.md): 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHbasetoHbase。
- [Spark从HBase读取数据再写入HBase样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200087.md): 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHbasetoHbase。
- [Spark从HBase读取数据再写入HBase样例程序（Python）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200088.md): 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。下面代码片段仅为演示，具体代码参见SparkHbasetoHbasePythonExample：
- [Spark从Hive读取数据再写入HBase样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_200090.md): 假定Hive的person表存储用户当天消费的金额信息，HBase的table2表存储用户历史消费的金额信息。现person表有记录name=1,account=100，表示用户1在当天消费金额为100。table2表有记录key=1,cf:cid=1000，表示用户1的历史消息记录金额为1000。基于某些业务要求，要求开发Spark应用
- [Spark从Hive读取数据再写入HBase样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200091.md): 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase
- [Spark从Hive读取数据再写入HBase样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200092.md): 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase
- [Spark从Hive读取数据再写入HBase样例程序（Python）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200093.md): 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。下面代码片段仅为演示，具体代码参见SparkHivetoHbasePythonExample:
- [Spark Streaming对接Kafka0-10样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_200100.md): 假定某个业务Kafka每1秒就会收到1个单词记录。基于某些业务要求，开发的Spark应用程序实现如下功能：实时累加计算每个单词的记录总数。log1.txt示例文件：Spark Streaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户）。确保集群安装完成，包括HDFS、Yarn、Spark和
- [Spark Streaming对接Kafka0-10样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200101.md): 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SecurityKafkaWordCount。下面代码片段仅为演示，具体代码参见
- [Spark Streaming对接Kafka0-10样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200102.md): 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SecurityKafkaWordCount。下面代码片段仅为演示，具体代码参见
- [Spark Structured Streaming样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_200104.md): 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。StructuredStreaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户）。确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。
- [Spark Structured Streaming样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200105.md): 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SecurityKafkaWordCount。当Streaming DataFrame/Da
- [Spark Structured Streaming样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200106.md): 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SecurityKafkaWordCount。当Streaming DataFrame/Da
- [Spark Structured Streaming样例程序（Python）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200107.md): 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。下面代码片段仅为演示，具体代码参见：SecurityKafkaWordCount。当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Str
- [Spark Structured Streaming对接Kafka样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_200111.md): 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。已知：终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的adRequest topic中。请求一个广告后，可能用于多次展示，每次展示，会生成广告展示事件，保存到kafka的adShow topic中。每个广告展示
- [Spark Structured Streaming对接Kafka样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200112.md): 使用Structured Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaADCount。
- [Spark Structured Streaming状态操作样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_200124.md): 假设需要跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。在kafka中生成模拟数据（需要有Kafka权限用户）。确保集群安装完成，包括安装HDFS、Yarn、Spark2x和Kafka服务。将Kafka的Broker配置参数allow.ev
- [Spark Structured Streaming状态操作样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200125.md): 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.kafkaSessionization。当Streaming 
- [Spark同时访问两个HBase样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_200127.md): spark支持同时访问两个集群中的HBase，前提是两个集群配置了互信。将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的/etc/hosts文件中。分别将cluster1和cluster2集群Spark2x客户端conf下的hbase-site.xml文件放到“/op
- [Spark同时访问两个HBase样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200128.md): 以下为Spark同时访问两个HBase样例程序的Scala示例。下面代码片段仅为演示。具体代码参见：com.huawei.spark.examples.SparkOnMultiHbase
- [在Linux环境中编包并运行Spark程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_200130.md): 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。用户需保证worker和driver的Python版本一致，否则将报错："Python in wor
- [在Linux环境中查看Spark程序调测结果](https://support.huaweicloud.com/devg3-mrs/mrs_07_200131.md): Spark应用程序运行完成后，可通过如下方式查看应用程序的运行情况。通过运行结果数据查看应用程序运行情况。登录Spark WebUI查看应用程序运行情况。通过Spark日志获取应用程序运行情况。查看Spark应用运行结果数据。结果数据存储路径和格式已经由Spark应用程序指定，可通过指定文件获取。结果数据存储路径和格式已经由Spark应用
- [Spark Java API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_200137.md): 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Spark主要使用到如下这几个类：JavaSparkContext：是Spark的对外接口，负责向调用该类的Java应用提供Spark的各种功能，如连接Spark集群，创建RDD，累积量和广播量等。它的作用相当于一个容器。SparkConf：Sp
- [Spark Scala API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_200138.md): 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Spark主要使用到如下这几个类：SparkContext：是Spark的对外接口，负责向调用该类的scala应用提供Spark的各种功能，如连接Spark集群，创建RDD等。SparkConf：Spark应用配置类，如设置应用名称，执行模式，e
- [Spark Python API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_200139.md): 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Spark主要使用到如下这几个类：pyspark.SparkContext：是Spark的对外接口。负责向调用该类的python应用提供Spark的各种功能，如连接Spark集群、创建RDD、广播变量等。pyspark.SparkConf：Spa
- [Spark REST API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_200140.md): Spark的REST API以JSON格式展现Web UI的一些指标，提供用户一种更简单的方法去创建新的展示和监控的工具，并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Stages、Storage、Environment和Executors的信息进行查询，FusionInsight
- [Spark client CLI介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_200141.md): Spark CLI详细的使用方法参考官方网站的描述：https://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。Spark常用的CLI如下所示：spark-shell提供了一个简单学习API的方法，类似于交互式数据分析的工具。同时支持Scala和Python两种语言。
- [Spark JDBCServer接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_200142.md): JDBCServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。JDBCServer是一个JDBC接口，用户可以通过JDBC连接JDBCServer来访问SparkSQL的数据。JDBCServer在启动的时候，会启动一个sparkSQL的应用程序，而通
- [structured streaming功能与可靠性介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_200144.md): 支持对流式数据的ETL操作。支持流式DataFrames或Datasets的schema推断和分区。流式DataFrames或Datasets上的操作：包括无类型，类似SQL的操作（比如select、where、groupBy），以及有类型的RDD操作（比如map、filter、flatMap）。支持基于Event Time的聚合计算，支
- [如何添加自定义代码的依赖包](https://support.huaweicloud.com/devg3-mrs/mrs_07_200146.md): 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？在Project Structure页面，选择Artifacts页签。在右侧窗口中单击+，选择Library Files添加依赖包。添加Library Files选择需要添加的依赖包，然后单击OK。Choose Librari
- [如何处理自动加载的依赖包](https://support.huaweicloud.com/devg3-mrs/mrs_07_200147.md): 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？建议在导入工程后，手动删除自动加载的依赖。步骤如下：在IDEA工具中，选择FileProject Structures...,。选择Li
- [运行SparkStreamingKafka样例工程时报“类不存在”问题](https://support.huaweicloud.com/devg3-mrs/mrs_07_200148.md): 通过spark-submit脚本提交KafkaWordCount（org.apache.spark.examples.streaming.KafkaWordCount）任务时，日志中报Kafka相关的类不存在的错误。KafkaWordCount样例为Spark开源社区提供的。Spark部署时，如下jar包存放在客户端的${SPARK_HO
- [SparkSQL UDF功能的权限控制机制](https://support.huaweicloud.com/devg3-mrs/mrs_07_200149.md): SparkSQL中UDF功能的权限控制机制是怎样的？目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备admin权限的用户注册，由admin用户保证自定义的函数的安全性。
- [由于Kafka配置的限制，导致Spark Streaming应用运行失败](https://support.huaweicloud.com/devg3-mrs/mrs_07_200150.md): 使用运行的Spark Streaming任务回写Kafka时，Kafka上接收不到回写的数据，且Kafka日志报错信息如下：如下图所示，Spark Streaming应用中定义的逻辑为，从Kafka中读取数据，执行对应处理之后，然后将结果数据回写至Kafka中。例如：Spark Streaming中定义了批次时间，如果数据传入Kafka的
- [执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出](https://support.huaweicloud.com/devg3-mrs/mrs_07_200151.md): 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出，日志内容如下。用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。
- [Spark应用名在使用yarn-cluster模式提交时不生效](https://support.huaweicloud.com/devg3-mrs/mrs_07_200152.md): Spark应用名在使用yarn-cluster模式提交时不生效，在使用yarn-client模式提交时生效，如图1所示，第一个应用是使用yarn-client模式提交的，正确显示代码里设置的应用名Spark Pi，第二个应用是使用yarn-cluster模式提交的，设置的应用名没有生效。导致这个问题的主要原因是，yarn-client和y
- [如何使用IDEA远程调试](https://support.huaweicloud.com/devg3-mrs/mrs_07_200153.md): 在Spark二次开发中如何使用IDEA远程调试？以调试SparkPi程序为例，演示如何进行IDEA的远程调试：打开工程，在菜单栏中选择Run > Edit Configurations。在弹出的配置窗口中用鼠标左键单击左上角的号，在下拉菜单中选择Remote，如图1所示。选择Remote选择对应要调试的源码模块路径，并配置远端调试参数Ho
- [如何采用Java命令提交Spark应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_200154.md): 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：如果您使用Java语言开发程序，您可以参考如下示例，编写SparkLauncher类。public static
- [使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息](https://support.huaweicloud.com/devg3-mrs/mrs_07_200155.md): 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息问题原因：在IBM JDK下建立的JDBC connection时间超过登录用户的认证超时时间（默认一天），导致认证失败。IBM JDK的机制跟Oracle JDK的机制不同，IBM JDK在认证登录后的使用过程中做了时间检查却没有检测外部的时间
- [Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败](https://support.huaweicloud.com/devg3-mrs/mrs_07_200156.md): Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。原因分析：显示该异常是因为recoverFromCheckpointLocation的值判定为false，但却配置了checkpoint目录。参数recoverFromCheckpointLoca
- [从checkpoint恢复spark应用的限制](https://support.huaweicloud.com/devg3-mrs/mrs_07_200158.md): Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。由于checkpoint中包含了spark应用的对象序列化信息、task执行状态信息、配置信息等，因此，当存在以下问题时，从checkpoint恢复spark应用将会失败。业务代码变更
- [第三方jar包跨平台（x86、TaiShan）支持](https://support.huaweicloud.com/devg3-mrs/mrs_07_200159.md): 用户自己写的jar包（例如自定义udf包）区分x86和TaiShan版本，如何让Spark2x支持其正常运行。第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案：cd /opt/Bigdata/FusionInsight_Spark_*/install/FusionInsight-Spark-*/spark步
- [在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录](https://support.huaweicloud.com/devg3-mrs/mrs_07_200160.md): 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。Spark任务在运行过程中，driver会创建一个spark-开头的本地临时目录，用于存放业务jar包，配置文件等，同时在本地创建一个blockmgr-开头的本地临时目录，用于存放block data。此两个目录会在Spark
- [ARM环境python pipeline运行报139错误码](https://support.huaweicloud.com/devg3-mrs/mrs_07_200162.md): 在TaiShan服务器上，使用python插件的pipeline报错显示139错误。具体报错如下：该python程序既使用了libcrypto.so，也使用了libssl.so。而一旦LD_LIBRARY_PATH添加了hadoop的native库目录，则使用的就是hadoop native库中的libcrypto.so，而使用系统自带的
- [Structured Streaming 任务提交方式变更](https://support.huaweicloud.com/devg3-mrs/mrs_07_200163.md): 用户提交结构流任务时，通常需要通过--jars命令指定kafka相关jar包的路径，例如--jars /kafkadir/kafka-clients-x.x.x.jar,/kafkadir/kafka_2.11-x.x.x.jar。当前版本用户除了这一步外还需要额外的配置项，否则会报class not found异常。当前版本的Spark
- [使用Spark执行Hudi样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_200168.md): 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。详细代码请参考样例代码。将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。编译打
- [使用Spark执行Hudi样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200169.md): 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。插入数据：查询数据：更新数据：增量查询：特定时间点查询：
- [使用Spark执行Hudi样例程序（Python）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200170.md): 下面代码片段仅为演示，具体代码参见：HudiPythonExample.py。插入数据：#insert
inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList(dataGen.generateInserts(10))
df = spark.read.jso
- [使用Spark执行Hudi样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_200171.md): 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieWriteClientExample创建客户端对象来操作Hudi：插入数据：更新数据：删除数据：压缩数据：if (HoodieTableType.valueOf(tableType) == HoodieTableType.ME
- [HoodieDeltaStreamer](https://support.huaweicloud.com/devg3-mrs/mrs_07_200172.md): 编写自定义的转化类实现Transformer。编写自定义的Schema实现SchemaProvider。在执行HoodieDeltaStreamer时加入参数：Transformer和SchemaProvider样例：
- [自定义排序器](https://support.huaweicloud.com/devg3-mrs/mrs_07_200173.md): 编写自定义排序类继承BulkInsertPartitioner，在写入Hudi时加入配置：自定义分区排序器样例：
- [配置Windows通过EIP访问集群Spark](https://support.huaweicloud.com/devg3-mrs/mrs_07_200175.md): 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。本章节以运行SparkScalaExample样例为例进行说明。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云
- [常见jar包冲突处理方式](https://support.huaweicloud.com/devg3-mrs/mrs_07_200176.md): Spark能对接很多的第三方工具，因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带，这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致，在使用过程中就有可能出现jar包冲突的情况。常见的jar包冲突报错有：1、报错类找不到：java.lang.NoClassDefFoundError2、报错方法找不到：j
- [在本地Windows环境中查看Spark程序调试结果](https://support.huaweicloud.com/devg3-mrs/mrs_07_200179.md): Spark应用程序运行完成后，可通过IntelliJ IDEA运行结果查看应用程序运行情况。运行结果会有如下成功信息：
- [在本地Windows环境中编包并运行Spark程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_200181.md): 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。下
- [配置Spark Python3样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_200182.md): 为了运行MRS产品Spark2x组件的Python3接口样例代码，需要完成下面的操作。在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。Python 3.8.2 (default, Jun 23 2020, 10:26:03)
[GCC 4.8.5 20150623 (Red Hat
- [Spark2x样例工程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_200189.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下Spark2x相关样例工程：Spark2x相关样例工程样例工程位置描述sparksec
- [准备Spark连接集群配置文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_200190.md): 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。以下Spark2x权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。是，创建用户并在Ranger中赋予该用户相关操作权限：选择“系统 > 权限 > 用户 > 添加用户”，在新增用户界面创建一个机机用户，例如developuser。“用户组
- [Storm应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_210002.md): Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。Storm有很多适用的场景：实时分析、在线机器学习、持续计算和分布式ETL等，易扩展、支持容错，可确保数据得到处理，易于构建和操控。Stor
- [Storm应用开发常用概念](https://support.huaweicloud.com/devg3-mrs/mrs_07_210003.md): Topology拓扑是一个计算流图。其中每个节点包含处理逻辑，而节点间的连线则表明了节点间的数据是如何流动的。Spout在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据，然后转换为Topology内部的源数据。Bolt在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作
- [Storm应用开发流程](https://support.huaweicloud.com/devg3-mrs/mrs_07_210004.md): 本文档主要基于Java API进行Storm拓扑的开发。开发流程中各阶段的说明如图1和表1所示：
- [准备Storm应用开发和运行环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_210007.md): 开发环境准备分为应用开发客户端和应用提交客户端；应用开发一般在Windows环境下进行；应用提交一般在Linux环境下进行。在进行二次开发时，要准备的开发和运行环境如表1所示：进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调
- [导入并配置Storm样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_210008.md): Storm客户端安装程序目录中包含了Storm开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。若要在Windows或Linux中未安装客户端时提交拓扑，则需要将“strea
- [Storm样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_210011.md): 通过典型场景，可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。一个动态单词统计系统，数据源为持续生产随机文本的逻辑单元，业务处理流程如下：数据源持续不断地发送随机文本给文本拆分逻辑，如“apple orange apple”。单词拆分逻辑将数据源发送的每条文本按空格进行拆分，如“apple”，“orange”，“ap
- [创建Storm Spout](https://support.huaweicloud.com/devg3-mrs/mrs_07_210013.md): Spout是Storm的消息源，它是Topology的消息生产者，一般来说消息源会从一个外部源读取数据并向Topology中发送消息（Tuple）。一个消息源可以发送多条消息流Stream，可以使用OutputFieldsDeclarer.declarerStream来定义多个Stream，然后使用SpoutOutputCollector
- [创建Storm Bolt](https://support.huaweicloud.com/devg3-mrs/mrs_07_210014.md): 所有的消息处理逻辑都被封装在各个Bolt中。Bolt包含多种功能：过滤、聚合等等。如果Bolt之后还有其他拓扑算子，可以使用OutputFieldsDeclarer.declareStream定义Stream，使用OutputCollector.emit来选择要发射的Stream。下面代码片段在com.huawei.storm.examp
- [创建Storm Topology](https://support.huaweicloud.com/devg3-mrs/mrs_07_210015.md): 一个Topology是Spouts和Bolts组成的有向无环图。应用程序是通过storm jar的方式提交，则需要在main函数中调用创建Topology的函数，并在storm jar参数中指定main函数所在类。下面代码片段在com.huawei.storm.example.wordcount包的“WordCountTopology”类
- [打包Storm样例工程应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_210017.md): 通过IntelliJ IDEA导出Jar包并指定导出jar包名称，比如storm-examples.jar。在IDEA界面右键单击“jdbc.properties”文件，选择“Copy Path/Reference > Absolute Path”，复制“jdbc.properties”文件路径。复制“jdbc.properties”文件
- [Linux下打包Storm业务](https://support.huaweicloud.com/devg3-mrs/mrs_07_210020.md): Storm支持在Linux环境下打包。用户可以将从IntelliJ IDEA中导出的Jar包和需要的其他相关Jar包上传到Linux环境中执行打包。打包业务的目的，是将IntelliJ IDEA代码生成的jar包与工程依赖的jar包，合并导出可提交的source.jar。打包需使用storm-jartool工具，可在Windows或Lin
- [Windows下打包Storm业务](https://support.huaweicloud.com/devg3-mrs/mrs_07_210021.md): 打包业务的目的，是将IntelliJ IDEA代码生成的jar包与工程依赖的jar包，合并导出可提交的source.jar。打包需使用storm-jartool工具，可在Windows或Linux上进行。已执行打包Storm样例工程应用。
- [Linux中安装客户端时提交Storm拓扑](https://support.huaweicloud.com/devg3-mrs/mrs_07_210023.md): 在Linux环境下可以使用storm命令行完成拓扑的提交。已安装Storm客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。已执行打包Storm业务步骤，打出source.jar。初始化客户端环境变量。进入客户端安装目录“/opt/Storm_cli
- [Linux中未安装客户端时提交Storm拓扑](https://support.huaweicloud.com/devg3-mrs/mrs_07_210024.md): Storm支持拓扑在未安装Storm客户端的Linux环境中运行。客户端机器的时间与MRS集群的时间要保持一致，时间差要小于5分钟。当Linux环境所在主机不是集群中的节点时，需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。在Linux环境新建目录，例如“/opt/test”，并创建子目录“lib”和
- [在IDEA中提交Storm拓扑](https://support.huaweicloud.com/devg3-mrs/mrs_07_210025.md): Storm支持IntelliJ IDEA远程提交拓扑，目前样例代码中仅WordCountTopology支持远程提交，其他拓扑想实现远程提交，请参考WordCountTopology实现远程提交函数。已执行打包Storm样例工程应用。调整IntelliJ IDEA客户端机器时间，和Storm集群时间差不超过5分钟。确保本地的hosts文件
- [查看Storm应用调测结果](https://support.huaweicloud.com/devg3-mrs/mrs_07_210026.md): Storm应用程序运行完成后，可通过登录Storm WebUI查看应用程序的运行情况。在浏览器地址栏中输入访问地址，地址格式为“https://FusionInsight Manager系统的WebService浮动IP地址:28443/web”。例如，在IE浏览器地址栏中，输入“https://10.0.0.1:28443/web”。T
- [Storm-Kafka开发指引](https://support.huaweicloud.com/devg3-mrs/mrs_07_210028.md): 本文档主要说明如何使用Storm-Kafka工具包，完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能；KafkaBolt主要完成Storm向Kafka中写入数据的功能。本章节代码样例基于Kafka新API，对应IntelliJ ID
- [Storm-JDBC开发指引](https://support.huaweicloud.com/devg3-mrs/mrs_07_210030.md): 本文档主要说明如何使用开源Storm-JDBC工具包，完成Storm和JDBC之间的交互。Storm-JDBC中包含两类Bolt：JdbcInsertBolt和JdbcLookupBolt。其中，JdbcLookupBolt主要负责从数据库中查数据，JdbcInsertBolt主要向数据库中存数据。当然，JdbcLookupBolt和Jd
- [Storm-HDFS开发指引](https://support.huaweicloud.com/devg3-mrs/mrs_07_210031.md): 本章节只适用于MRS产品中Storm和HDFS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。安全模式下登录方式分为两种，票据登录和keytab文件登录，两种方式操作步骤基本一致，票据登录方式为开源提供的能力，后期需要人工上传票据，存在可靠性和易用性问题，因此推荐使用keytab方式。keytab方式：需要从管理员处获取一
- [Storm-HBase开发指引](https://support.huaweicloud.com/devg3-mrs/mrs_07_210032.md): 本章节只适用于MRS产品中Storm和HBase交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。安全模式下登录方式分为两种，票据登录和keytab文件登录，两种方式操作步骤基本一致。票据登录方式为开源提供的能力，存在票据过期问题，后期需要人工上传票据，并且可靠性和易用性较差，因此推荐使用keytab方式。keytab方式：
- [Storm Flux开发指引](https://support.huaweicloud.com/devg3-mrs/mrs_07_210034.md): 本章节只适用于MRS产品中Storm组件使用Flux框架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。Flux框架是Storm提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm jar命令来提交拓扑的一种方式，极大地方便了拓扑的部署和提交，缩短了业
- [Storm对外接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_210035.md): Storm-HDFS采用的接口同开源社区版本保持一致，详情参见：https://github.com/apache/storm/tree/v1.2.1/external/storm-hdfs。Storm-HBase采用的接口同开源社区版本保持一致，详情参见：https://github.com/apache/storm/tree/v1.2
- [如何使用IDEA远程调试业务](https://support.huaweicloud.com/devg3-mrs/mrs_07_210037.md): 使用Storm客户端提交了业务之后，如何使用IDEA远程调试业务？以调试WordCount程序为例，演示如何进行IDEA的远程调试：调试Storm程序需要先修改指定的服务端参数，并在重启服务后生效，建议在测试环境上进行调测。其中Host为获取的Worker运行的主机IP地址，Port为调试的端口号（确保该端口在运行机器上没被占用）。当改变
- [IntelliJ IDEA中远程提交拓扑执行Main时报错：Command line is too long](https://support.huaweicloud.com/devg3-mrs/mrs_07_210038.md): IntelliJ IDEA中远程提交拓扑，执行Main方法时IntelliJ IDEA报如下错 ：Command line is too long. Shorten command line for ServiceStarter or also for Application default configuration.
- [YARN应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_220001.md): Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、I/O、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce框架设计的不足，在原MapReduce框架上进行
- [YARN Command介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_220003.md): 管理员可以使用yarn命令对YARN集群进行一些操作，例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。YARN Commands可同时供普通用户和管理员用户使用，它包含了少量普通用户可以执行的命令，比如jar、logs，而大部分只有管理员有权限使用。用法：进入Yarn客户端目
- [YARN Java API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_220004.md): YARN常用的Java类如下所示，更多关于YARN的详细API可以参考官方网站描述：https://hadoop.apache.org/docs/r3.3.1/api/index.html。ApplicationClientProtocol用于Client与ResourceManager之间，Client通过该协议可实现将应用程序提交到R
- [YARN REST API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_220005.md): 通过HTTP REST API来查看更多Yarn任务的信息，目前Yarn的REST接口只能进行一些资源或者任务的查询。更多完整和详细的接口描述请参考官网https://hadoop.apache.org/docs/r3.3.1/hadoop-yarn/hadoop-yarn-site/WebServicesIntro.html。在集群节点
- [Superior Scheduler REST API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_220006.md): REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分，通常以“Resource Manager实例IP地址:端口”的形式连接YARN。在开启了Kerberos认证的安全模式MRS集群中，使用HTTPS作为URL的一部分，并且只有HTTPS将得到支持。查询Scheduler 
- [Flink应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_260002.md): Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。Flink技术栈如图1所示。Flink
- [Flink应用开发流程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_260004.md): Flink开发流程参考如下步骤：
- [准备本地应用开发环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_260006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果使用Linux环境调测程序，需在准备安装集群客户端的Linux节点并获取相关配置文件。在节点中安装客户端，例如客户端安装目录为“/opt/client”。客户端机器的时间与集群的时间要保持一致，时间差小于5分
- [导入并配置Flink样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_260008.md): Flink针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Flink工程。针对Java和Scala不同语言的工程，其导入方式相同。以下操作步骤以导入Java样例代码为例。操作流程如图1所示。在安全模式下，获取“src\flink-examples”下的样例工程flink-examples-securi
- [Flink DataStream样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_260012.md): 假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能：DataStream应用程序可以在Windows环境和Linux环境中运行。实时统计总计网购时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符
- [Flink DataStream样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_260013.md): 统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.flink.examples.FlinkStreamJavaExample：执行之后打印结果如下所示：执行如图1所示。
- [Flink DataStream样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_260014.md): 实时统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印出来。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.flink.examples.FlinkStreamScalaExample：执行之后打印结果如下所示：执行如图1所示。
- [Flink Kafka样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_260016.md): 假定某个Flink业务每秒就会收到1个消息记录。基于某些业务要求，开发的Flink应用程序实现功能：实时输出带有前缀的消息内容。Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。确保集群安装完成，包括HDFS、Yarn、Flink和Kafka。创建Topic。
- [Flink Kafka样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_260017.md): 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。下面列出producer和consumer主要逻辑代码作为演示。完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink.examples.Re
- [Flink Kafka样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_260018.md): 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。下面列出producer和consumer主要逻辑代码作为演示。完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink.examples.Re
- [Flink开启Checkpoint样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_260020.md): 假定用户需要每隔1秒钟需要统计4秒窗口中数据的量，并做到状态严格一致性，即：当应用出现异常并恢复后，各个算子的状态能够处于统一的状态。使用自定义算子每秒钟产生大约10000条数据。产生的数据为一个四元组（Long，String，String，Integer）。数据经统计后，统计结果打印到终端输出。打印输出的结果为Long类型的数据。sou
- [Flink开启Checkpoint样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_260021.md): 假定用户需要每隔1秒钟需要统计4秒窗口中数据的量，并做到状态严格一致性。快照数据该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。import java.io.Serializable;

// 该类作为快照的一部分，保存用户自定义状态
public class UDFState implements Serializable 
- [Flink开启Checkpoint样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_260022.md): 假定用户需要每隔1秒钟需要统计4秒窗口中数据的量，并做到状态严格一致性。发送数据形式case class SEvent(id: Long, name: String, info: String, count: Int)快照数据该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。// 用户自定义状态
class UDFState e
- [Flink Job Pipeline样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_260025.md): 下面列出的主要逻辑代码作为演示。完整代码请参阅：com.huawei.bigdata.flink.examples.UserSource。com.huawei.bigdata.flink.examples.TestPipelineNettySink。com.huawei.bigdata.flink.examples.TestPipelin
- [Flink Job Pipeline样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_260026.md): 下面列出的主要逻辑代码作为演示。完整代码请参阅：com.huawei.bigdata.flink.examples.UserSource。com.huawei.bigdata.flink.examples.TestPipeline_NettySink。com.huawei.bigdata.flink.examples.TestPipeli
- [Flink Join样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_260032.md): 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。基于某些业务要求，开发的Flink应用程序实现功能：实时地以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询。业务1的数据存储在Kafka
- [Flink Join样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_260033.md): 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。用户在开发前需要使用对接安全模式的Kafka，则需要引入kafka-clients-*.jar，该jar包可在client目录下获取。下面列出producer和consumer，以及Flink Stream SQL Join使用主要逻辑代码作为演
- [编译并调测Flink应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_260035.md): 在程序代码完成开发后，建议您上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。在IDEA主页面，选择File > Project Structures...进入Projec
- [查看Flink应用调测结果](https://support.huaweicloud.com/devg3-mrs/mrs_07_260036.md): Flink应用程序运行完成后，您可以查看运行结果数据，也可以通过Flink WebUI查看应用程序运行情况。查看Flink应用运行结果数据。当用户查看执行结果时，需要在Flink的web页面上查看Task Manager的Stdout日志。当执行结果输出到文件或者其他，由Flink应用程序指定，您可以通过指定文件或其他获取到运行结果数据。
- [Flink Java API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_260039.md): 由于Flink开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Flink主要使用到如下这几个类：StreamExecutionEnvironment：是Flink流处理的基础，提供了程序的执行环境。DataStream：Flink用类DataStream来表示程序中的流式数据。用户可以认为它们是含有重复数据
- [Flink Scala API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_260040.md): 由于Flink开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Flink主要使用到如下这几个类：StreamExecutionEnvironment：是Flink流处理的基础，提供了程序的执行环境。DataStream：Flink用特别的类DataStream来表示程序中的流式数据。用户可以认为它们是含有重
- [Flink REST API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_260041.md): Flink具有可用于查询正在运行的作业的状态和统计信息以及最近完成作业的监视API。该监视API由Flink自己的WEB UI使用。监视API是REST API，可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问Web服务器的一套API。当前在Flink中，Web服务器是JobManager的一个模块，和JobM
- [Flink Savepoints CLI介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_260042.md): Savepoints在持久化存储中保存某个checkpoint，以便用户可以暂停自己的应用进行升级，并将状态设置为savepoint的状态，并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照，并将快照的元数据（meta-data）写入到一个额外的持久化文件系统中。如果需要使用savepoints的功能，强烈推荐用
- [Flink Client CLI介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_260043.md): Flink常用的CLI如下所示：yarn-session.sh可以使用yarn-session.sh启动一个常驻的Flink集群，接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下：bin/yarn-session.shyarn-session.sh的其他参数可以通过以下命令获取：bin/yarn-
- [如何处理用户在使用chrome浏览器时无法显示任务状态的title](https://support.huaweicloud.com/devg3-mrs/mrs_07_260046.md): 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析，用户将鼠标置于Tasks的彩色小方框上，无法显示彩色小框的title说明，如图1所示。正常的显示界面如图2所示。如果用户遇到chrome浏览器无法显示title，步骤如下：请检查本机是否同时运行会影响chrome浏览器冒泡提示的
- [如何处理IE10/11页面算子的文字部分显示异常](https://support.huaweicloud.com/devg3-mrs/mrs_07_260047.md): 如何处理IE10/11页面显示异常，每个算子的文字部分没有显示出来的问题？如图1所示，Overview显示为空白。Flink中用了foreignObject元素来代理绘制svg矢量图，但是IE 10/11不支持foreignObject导致算子显示异常。支持使用chrome浏览器。
- [如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢](https://support.huaweicloud.com/devg3-mrs/mrs_07_260048.md): 如何处理checkpoint设置RocksDBStateBackend方式，且当数据量大时，执行checkpoint会很慢的问题？由于窗口使用自定义窗口，这时窗口的状态使用ListState，且同一个key值下，value的值非常多，每次新的value值到来都要使用RocksDB的merge()操作；触发计算时需要将该key值下所有的va
- [如何处理blob.storage.directory配置/home目录时启动yarn-session失败](https://support.huaweicloud.com/devg3-mrs/mrs_07_260049.md): 当用户设置blob.storage.directory为“/home”时，用户没有权限在“/home”下创建blobStore-UUID的文件，导致yarn-session启动失败。修改Flink客户端配置文件conf/flink-conf.yaml，配置blob.storage.directory: /home/testdir/test
- [如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错](https://support.huaweicloud.com/devg3-mrs/mrs_07_260050.md): Flink内核升级到1.3.0之后，当Kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProducer010去构造函数时，运行时会报错。报错内容如下：Flink的1.3.0版本，为了兼容原有那些使用KafkaPartitioner的API接口，如FlinkKafkaProducer010
- [如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足](https://support.huaweicloud.com/devg3-mrs/mrs_07_260051.md): 创建一个新的Flink用户，提交任务，ZooKeeper目录无权限导致提交Flink任务失败，日志中报如下错误：首先查看ZooKeeper中/flink_base的目录权限是否为：'world,'anyone: cdrwa；如果不是，请修改/flink_base的目录权限为：'world,'anyone: cdrwa，然后继续根据步骤二排
- [如何处理无法直接通过URL访问Flink Web](https://support.huaweicloud.com/devg3-mrs/mrs_07_260052.md): 无法通过http://JobManager IP:JobManager的端口访问Web页面。由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过修改客户端的配置文件“conf/flink-conf.yaml”来解决问题。确认配置项“jobmanager.web.ssl.enabled”的值是否是“false”，若不是，请
- [如何查看System.out.println打印的调试信息或将调试信息输出至指定文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_260053.md): Flink业务代码中添加了System.out.println调试信息打印，该如何查看此调试日志？避免与运行日志混在一起打印，如何将业务日志单独输出至指定文件？Flink所有的运行日志打印都会打印至Yarn的本地目录下，默认所有Log都会输出至Yarn container本地目录下taskmanager.log，所有调用System.ou
- [如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题](https://support.huaweicloud.com/devg3-mrs/mrs_07_260054.md): Flink任务配置State Backend为RocksDB时，运行报如下错误：运行的系统和编译环境所在的系统版本不同，造成GLIBC的版本不兼容。使用strings /lib64/libpthread.so.0 | grep GLIBC命令查看GLIBC是否版本低于2.12。如果GLIBC版本太低，则需要使用含有较高版本的（此处为2.1
- [Flink对接云搜索服务（CSS）样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_260063.md): 本样例实现了Flink消费一个自定义数据源，并将消费的数据写入Elasticsearch或云搜索服务CSS的功能。主要提供了Elasticsearch Sink的构建及参数设置方法，实现通过Flink将数据写入Elasticsearch的功能。Flink支持1.12.0及以后版本，Elasticsearch支持7.x及以后版本但不支持HT
- [Flink对接云搜索服务（CSS）样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_260064.md): 当前基于随机数生成器实现了一个持续产生长度为4字符串的数据源用于写入数据。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.flink.examples。
- [HBase应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_290002.md): HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是解决关系型数据库在处理海量数据时的局限性。HBase使用场景有如下几个特点：处理海量数据（TB或PB级别以上）。具有高吞吐量。在海量数据中实现高效的随机读取。具有很好的伸缩能力。能够同时处理结构化和非结构化的数据。不需要完全拥有传统关系型数据库所具备的A
- [HBase应用开发常用概念](https://support.huaweicloud.com/devg3-mrs/mrs_07_290003.md): 过滤器过滤器用于帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。过滤器用于帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。协处理器允许用户执行region级的操作，并且可以使用与RDBMS中触发器类似的功
- [HBase应用开发流程](https://support.huaweicloud.com/devg3-mrs/mrs_07_290004.md): 本文档主要基于Java API对HBase进行应用开发。开发流程中各阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_290006.md): 在进行二次开发时，要准备的开发和运行环境如表1所示。
- [导入并配置HBase样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_290007.md): 获取HBase开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。已准备开发环境及MRS集群相关配置文件，详情请参考准备连接HBase集群配置文件。可根据实际业务场景选择对应的
- [HBase样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_290009.md): 通过典型场景，您可以快速学习和掌握HBase的开发过程，并且对关键的接口函数有所了解。假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，如表1所示，A业务操作流程如下：创建用户信息表。在用户信息中新增用户的学历、职称等信息。根据用户编号查询用户姓名和地址。根据用户姓名进行查询。查询年龄段在[20-29]之间的用户信息。数据统
- [配置HBase应用输出运行日志](https://support.huaweicloud.com/devg3-mrs/mrs_07_290012.md): 将hbase client的日志单独输出到指定日志文件，与业务日志分开，方便分析定位hbase的问题。如果进程中已经有log4j的配置，需要将hbase-example\src\main\resources\log4j.properties中RFA与RFAS相关的配置复制到已有的log4j配置中。以下为代码片段：
- [初始化HBase配置](https://support.huaweicloud.com/devg3-mrs/mrs_07_290013.md): HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。[1]userdir获取的是编译后资源路径下conf目录的路径。初始化配置用到的core-site.xml、hdfs-site.xml
- [创建HBase客户端连接](https://support.huaweicloud.com/devg3-mrs/mrs_07_290014.md): HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类
- [创建HBase表](https://support.huaweicloud.com/devg3-mrs/mrs_07_290015.md): HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表，并指定表名、列族名。创建表有两种方式（强烈建议采用预分Region建表方式）：快速建表，即创建表后整张表只有一个Region，随着数据量的增加会自动分裂成多个Region。预分Region建表，即创建表时预先分配
- [删除HBase表](https://support.huaweicloud.com/devg3-mrs/mrs_07_290016.md): HBase通过org.apache.hadoop.hbase.client.Admin的deleteTable方法来删除表。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的dropTable方法中注[1] 只有表被disable时，才能被删除掉，所以deleteTable常
- [修改HBase表](https://support.huaweicloud.com/devg3-mrs/mrs_07_290017.md): HBase通过org.apache.hadoop.hbase.client.Admin的modifyTable方法修改表信息。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testModifyTable方法中注[1] modifyTable只有表被disable时，才能生
- [向HBase表中插入数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_290018.md): HBase是一个面向列的数据库，一行数据，可能对应多个列族，而一个列族又可以对应多个列。通常，写入数据的时候，需要指定要写入的列（含列族名称和列名称）。HBase通过HTable的put方法来Put数据，可以是一行数据也可以是数据集。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSampl
- [删除HBase表数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_290019.md): HBase通过Table实例的delete方法来Delete数据，可以是一行数据也可以是数据集。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中如果被删除的cell所在的列族上设置了二级索引，也会同步删除索引数据。
- [使用Get API读取HBase表数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_290020.md): 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testG
- [使用Scan API读取HBase表数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_290021.md): 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，建议指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中，每行数据以Result对象形式存储，Result中存储了多个Cell。以下代码片段在com.hua
- [使用Filter过滤器读取HBase表数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_290022.md): HBase Filter主要在Scan和Get过程中进行数据过滤，通过设置一些过滤条件来实现，如设置RowKey、列名或者列值的过滤条件。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testSingleColumnValueFilter方法中。当前二级索引不支持使用Su
- [创建HBase表二级索引](https://support.huaweicloud.com/devg3-mrs/mrs_07_290023.md): 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理，该类中提供了创建索引的方法。二级索引不支持修改，如果需要修改，请先删除旧的然后重新创建。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSamp
- [删除HBase二级索引](https://support.huaweicloud.com/devg3-mrs/mrs_07_290024.md): 一般都通过调用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中方法进行HBase二级索引的管理，该类中提供了索引的查询和删除等方法。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的dropIndex方法中。
- [基于二级索引查询HBase表数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_290025.md): 针对添加了二级索引的用户表，您可以通过Filter来查询数据。其数据查询性能高于针对无二级索引用户表的数据查询。HIndex支持的Filter类型为“SingleColumnValueFilter”，“SingleColumnValueExcludeFilter”以及“SingleColumnValuePartitionFilter”。H
- [创建HBase表Region](https://support.huaweicloud.com/devg3-mrs/mrs_07_290028.md): 一般通过org.apache.hadoop.hbase.client.HBaseAdmin进行多点分割。注意：分割操作只对空Region起作用。本例使用multiSplit进行多点分割将HBase表按照“-∞~A”“A~D”、“D~F”、“F~H”、“H~+∞”分为五个Region。以下代码片段在com.huawei.bigdata.hb
- [创建Phoenix表](https://support.huaweicloud.com/devg3-mrs/mrs_07_290034.md): Phoenix依赖HBase作为其后备存储，支持标准SQL和JDBC API的强大功能，使得SQL用户可以访问HBase集群。以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testCreateTable方法中。
- [向Phoenix表中写入数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_290035.md): 使用Phoenix实现写数据。以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。
- [读取Phoenix表数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_290036.md): 使用Phoenix实现读数据。以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。
- [HBase访问多个ZooKeeper样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_290037.md): 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper，其中HBase客户端访问FusionInsight ZooKeeper，客户应用访问第三方ZooKeeper。以下代码片段在“hbase-zk-example\src\main\java\com\huawei\hadoop\hbase\
- [在本地Windows环境中调测HBase应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_290040.md): 在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。需要在运行样例代码的本机hosts文件中设置访问节点的主机名和公网IP地址映射，主机名和公网IP地址请保持一一对应。放置好配置
- [在Linux环境中调测HBase应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_290043.md): HBase应用程序支持在已安装或未安装HBase客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。已安装客户端时：已安装HBase客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。已安装HBase客户端
- [Phoenix SQL查询样例介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_290047.md): Phoenix是构建在HBase之上的一个SQL中间层，提供一个客户端可嵌入的JDBC驱动，Phoenix查询引擎将SQL输入转换为一个或多个HBase scan，编译并执行扫描任务以产生一个标准的JDBC结果集。客户端hbase-example/conf/hbase-site.xml中配置存放查询中间结果的临时目录，如果客户端程序在Li
- [HBase Shell接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_290052.md): 您可以使用Shell在服务端直接对HBase进行操作。HBase的Shell接口同开源社区版本保持一致，请参见https://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/Shell命令执行方法：进入HBase客户端任意目录，执行以下命令。hbase shell进入HBa
- [HBase Java API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_290053.md): 建议使用org.apache.hadoop.hbase.Cell作为KV数据对象，而不是org.apache.hadoop.hbase.KeyValue。建议使用Connection connection = ConnectionFactory.createConnection(conf)来创建连接，废弃HTablePool。建议使用or
- [Sqlline接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_290054.md): 可以直接使用sqlline.py在服务端对HBase进行SQL操作。Phoenix的sqlline接口与开源社区保持一致，请参见https://phoenix.apache.org/。Sqlline常用语法见表1，常用函数见表2，命令行使用可以参考Phoenix命令行操作介绍章节。
- [HBase JDBC API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_290055.md): Phoenix实现了大部分的java.sql接口，SQL语法紧跟ANSI SQL标准。其支持处理函数可参见：https://phoenix.apache.org/docs/functions其支持语法可参见：https://phoenix.apache.org/docs/features/secondary-indexes
- [HBase Web UI接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_290056.md): Web UI展示了HBase集群的状态，其中包括整个集群概况信息、RegionServer和Master的信息、快照、运行进程等信息。通过Web UI提供的信息可以对整个HBase集群的状况有一定的了解。请联系管理员获取具有访问Web UI权限的业务账号及其密码。登录FusionInsight Manager页面。选择“集群 > 待操作集
- [运行HBase应用开发程序产生ServerRpcControllerFactory异常如何处理](https://support.huaweicloud.com/devg3-mrs/mrs_07_290058.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [BulkLoad和Put应用场景有哪些](https://support.huaweicloud.com/devg3-mrs/mrs_07_290059.md): HBase支持使用bulkload和put方式加载数据，在大部分场景下bulkload提供了更快的数据加载速度，但bulkload并不是没有缺点的，在使用时需要关注bulkload和put适合在哪些场景使用。bulkload是通过启动MapReduce任务直接生成HFile文件，再将HFile文件注册到HBase，因此错误地使用bulkl
- [使用REST接口查询HBase集群信息](https://support.huaweicloud.com/devg3-mrs/mrs_07_290060.md): 使用REST服务，传入对应host与port组成的url，通过HTTP协议，获取集群版本与状态信息。连接RestServer服务普通模式下，用户不需要登录即可连接RestServer服务。所以请将“hbase-rest-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“HB
- [使用REST接口获取所有HBase表](https://support.huaweicloud.com/devg3-mrs/mrs_07_290061.md): 使用REST服务，传入对应host与port组成的url，通过HTTP协议，获取得到所有table。以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\hbase\examples”包的“HBaseRestTest”类的getAllUserTables方法中。private
- [使用REST接口操作Namespace](https://support.huaweicloud.com/devg3-mrs/mrs_07_290062.md): 使用REST服务，传入对应host与port组成的url以及指定的Namespace，通过HTTP协议，对Namespace进行创建、查询、删除，获取指定Namespace中表的操作。HBase表以“命名空间:表名”格式进行存储，若在创建表时不指定命名空间，则默认存储在“default”中。其中，“hbase”命名空间为系统表命名空间，请
- [使用REST接口操作HBase表](https://support.huaweicloud.com/devg3-mrs/mrs_07_290063.md): 使用REST服务，传入对应host与port组成的url以及指定的tableName和jsonHTD，通过HTTP协议，进行查询表信息，修改表，创建表以及删除表的操作。方法调用// Add a table with specified info.
createTable(url, "testRest",
     "{\"name\":\
- [通过ThriftServer实例操作HBase表](https://support.huaweicloud.com/devg3-mrs/mrs_07_290064.md): 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，进行根据指定namespace获取tablename以及创建表、删除表的操作。“hbase.rpc.protection”与“hbase.thrift.security.qop”参数值的对应关系为：
- [通过ThriftServer实例向HBase表中写入数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_290065.md): 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，分别使用put和putMultiple进行写数据操作。方法调用// Write data with put.
putData(client, TABLE_NAME);

// Write data 
- [通过ThriftServer实例读HBase表数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_290066.md): 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，分别使用get和scan进行读数据操作。方法调用// Get data with single get.
getData(client, TABLE_NAME);

// Get data with
- [如何配置HBase双读能力](https://support.huaweicloud.com/devg3-mrs/mrs_07_290067.md): HBase客户端应用通过自定义加载主备集群配置项，实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性，适用于四个查询场景：使用Get读取数据、使用批量Get读取数据、使用Scan读取数据，以及基于二级索引查询。它能够同时读取主备集群数据，减少查询毛刺，具体表现为：高成功率：双并发读机制，保证每一次读请求的成功率
- [Phoenix命令行操作介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_290069.md): Phoenix支持SQL的方式来操作HBase，以下简单介绍使用SQL语句建表/插入数据/查询数据/删表等操作。已安装HBase客户端，例如安装目录为“/opt/client”。以下操作的客户端目录只是举例，请根据实际安装目录修改。在使用客户端前，需要先下载并更新客户端配置文件，确认Manager的主管理节点后才能使用客户端。进入HBas
- [install编译构建HBase Jar包报错Could not transfer artifact如何处理](https://support.huaweicloud.com/devg3-mrs/mrs_07_290070.md): 样例代码在进行maven编译构建jar包时，Build Failed，提示错误信息：Could not transfer artifact org.apache.commons:commons-crypto:pom:${commons-crypto.version}hbase-common模块依赖commons-crypto，在hbase
- [配置Windows通过EIP访问普通模式集群HBase](https://support.huaweicloud.com/devg3-mrs/mrs_07_290071.md): 该章节通过指导用户配置集群绑定EIP，并配置HBase文件的方法，方便用户可以在本地对样例文件进行编译。本章节以运行hbase-example中的样例为例进行说明。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云 >
- [HBase应用开发样例工程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_290078.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下HBase相关样例工程：HBase相关样例工程样例工程位置描述hbase-exampl
- [准备连接HBase集群配置文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_290079.md): 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件，可从已创建好的MRS集群中获取相关内容。用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。场景一：准备本地Windows开发环境调测程序所需配置文件。登录FusionInsight Manager，选择
- [HDFS应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_300002.md): HDFS（Hadoop Distributed File System）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用。HDFS适用于如下场景：处理海量数据（TB或PB级别以上）需要很高的吞吐量需要高可靠性需要很好的可扩展能力HDFS支持使用Java语言进行程序开发，具体的A
- [HDFS应用开发流程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_300004.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备HDFS应用开发和运行环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_300006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调测程序所需的集群配置文件及配置网络连通后，然后直接在Windows中进行程序调测。登录FusionInsight Manag
- [导入并配置HDFS样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_300007.md): HDFS针对多个场景提供样例工程，帮助客户快速学习HDFS工程。以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。打开IntelliJ IDEA，依次选择File > Open。在弹出的Open File or Project对话框中选择样例工程文件夹hdfs-example-normal，单击OK。打开IntelliJ IDE
- [HDFS样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_300010.md): HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。本代码样例讲解顺序为：HDFS初始化创建目录写文件追加文件内容读文件删除文件删除目录多线程设置存储策略Colocation
- [初始化HDFS](https://support.huaweicloud.com/devg3-mrs/mrs_07_300012.md): 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为：加载HDFS服务配置文件。实例化Filesystem。登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到hadoop-examples工程的conf目录。配置文件文件名称作用core-site.xml配置HDFS详细参数。hdfs-site.xml配置HDF
- [创建HDFS目录](https://support.huaweicloud.com/devg3-mrs/mrs_07_300013.md): 创建目录过程为：调用FileSystem实例的exists方法查看该目录是否存在。如果存在，则直接返回。如果不存在，则调用FileSystem实例的mkdirs方法创建该目录。如下是写文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [创建HDFS文件并写入内容](https://support.huaweicloud.com/devg3-mrs/mrs_07_300014.md): 写文件过程为：使用FileSystem实例的create方法获取写文件的输出流。使用该数据流将内容写入到HDFS的指定文件中。在写完文件后，需关闭所申请资源。如下是写文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [追加信息到HDFS指定文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_300015.md): 追加文件内容，是指在HDFS的某个指定文件后面，追加指定的内容。过程为：使用FileSystem实例的append方法获取追加写入的输出流。使用该输出流将待追加内容添加到HDFS的指定文件后面。在完成后，需关闭所申请资源。如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExampl
- [读取HDFS指定文件内容](https://support.huaweicloud.com/devg3-mrs/mrs_07_300016.md): 获取HDFS上某个指定文件的内容。过程为：使用FileSystem实例的open方法获取读取文件的输入流。使用该输入流读取HDFS的指定文件的内容。在完成后，需关闭所申请资源。如下是读文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [删除HDFS指定文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_300017.md): 删除HDFS上某个指定文件。被删除的文件会被直接删除，且无法恢复。所以，执行删除操作需谨慎。如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [删除HDFS指定目录](https://support.huaweicloud.com/devg3-mrs/mrs_07_300018.md): 删除HDFS上某个指定目录。被删除的目录会被直接删除，且无法恢复。所以，执行删除操作需谨慎。如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
- [创建HDFS多线程任务](https://support.huaweicloud.com/devg3-mrs/mrs_07_300019.md): 建立多线程任务，同时启动多个实例执行文件操作。如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。example.test()方法即为对文件的操作，代码如下：
- [配置HDFS存储策略](https://support.huaweicloud.com/devg3-mrs/mrs_07_300020.md): 为HDFS上某个文件或文件夹指定存储策略。登录FusionInsight Manager页面，选择“集群 >待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。搜索并查看dfs.storage.policy.enabled的参数值是否为true，如果不是，修改为true，并单击保存，重启HDFS。查看代码。如下是代码片段，
- [配置HDFS同分布策略（Colocation）](https://support.huaweicloud.com/devg3-mrs/mrs_07_300022.md): 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。在使用Colocation功能之前，建议用户对Colocation的内部机制有一定了
- [在本地Windows中调测HDFS程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_300025.md): 在代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。选中需要运行的样例程序HdfsExample.java或者ColocationExample.java，右键工程，选
- [在Linux环境中调测HDFS应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_300028.md): HDFS应用程序支持在Linux环境中运行。在程序代码完成开发后，可以上传Jar包至准备好的Linux环境中运行。HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。已安装客户端时：已安装HDFS客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主
- [HDFS Java API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_300033.md): HDFS完整和详细的接口可以直接参考官方网站上的描述：https://hadoop.apache.org/docs/r3.1.1/api/index.htmlHDFS常用的Java类有以下几个：FileSystem：是客户端应用的核心类。常用接口参见表1。FileStatus：记录文件和目录的状态信息。常用接口参见表2。DFSColoca
- [HDFS C API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_300034.md): C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/LibHdfs.html下面代码片段仅为演示，具体代码请
- [HDFS HTTP REST API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_300035.md): REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html在客户端目录准备文件testFile和
- [HDFS Shell命令介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_300036.md): 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。执行HDFS Shell的方法：进入HDFS客户端如下目录，直接输入命令即可。例如：cd /opt/client/HDFS/hadoop/bin./hdfs dfs -mkdir /tmp/input执行如下命令查询HDFS命令的帮助。./hdfs -
- [配置Windows通过EIP访问普通模式集群HDFS](https://support.huaweicloud.com/devg3-mrs/mrs_07_300037.md): 该章节通过指导用户配置集群绑定EIP，并配置HDFS文件的方法，方便用户可以在本地对样例文件进行编译。本章节以运行HdfsExample样例为例进行说明。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云 > 用户指南
- [HDFS样例工程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_300038.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下HDFS相关样例工程：HDFS相关样例工程样例工程位置描述hdfs-example-n
- [Hive应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_320002.md): Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。Hive主要特点如下：通过HQL语言非常容易地完成数据提取、转换和加载（ETL）。通过HQL完成海量结构化数
- [Hive应用开发常用概念](https://support.huaweicloud.com/devg3-mrs/mrs_07_320003.md): 客户端客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。HQL语言Hive Query Language，类SQL语句。Hive Query Language，类SQL语句。HCatalogHC
- [Hive应用开发流程](https://support.huaweicloud.com/devg3-mrs/mrs_07_320004.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_320006.md): Hive组件可以使用Java（JDBC和HCatalog）、Python、Python3接口进行应用开发。Python开发工具的详细安装配置可参见配置Hive Python样例工程。Python3开发工具的详细安装配置可参见配置Hive Python3样例工程。
- [导入并配置Hive JDBC/HCatalog样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_320007.md): 为了运行MRS产品Hive组件的JDBC接口样例代码，需要完成下面的操作。本章节以在Windows环境下开发JDBC/HCatalog方式连接Hive服务的应用程序为例。HCatalog样例仅支持在Linux节点上运行。在IntelliJ IDEA的菜单栏中，选择“File > Open...”，显示“Open File or Proje
- [配置Hive Python样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_320009.md): 为了运行MRS产品Hive组件的Python接口样例代码，需要完成下面的操作。MRS 3.1.2及之后版本默认仅支持Python3。该样例仅支持在Linux节点上运行。在客户端机器的命令行终端输入python可查看Python版本号。如下显示Python版本为2.6.6。Python 2.6.6 (r266:84292, Oct 12 2
- [配置Hive Python3样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_320010.md): 为了运行MRS产品Hive组件的Python3接口样例代码，需要完成下面的操作。该样例仅支持在Linux节点上运行。在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。Python 3.8.2 (default, Jun 23 2020, 10:26:03)
[GCC 4.8.5 20
- [Hive JDBC样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_320012.md): 假定用户开发一个Hive数据分析应用，用于管理企业雇员信息，如表1、表2所示。创建三张表，雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended”。雇员信息表“employees_info”的字段为雇员编号、姓名、支付薪水币种、薪水金
- [创建Hive表](https://support.huaweicloud.com/devg3-mrs/mrs_07_320014.md): 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式：自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。内部表，如果对数据的处理都由Hive完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。外部表，如果数据要被多种工具共同处理，则应该使用外部表，可避免对该数据的误操作。删除外部表时，只
- [加载数据到Hive表中](https://support.huaweicloud.com/devg3-mrs/mrs_07_320015.md): 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。加载数据的实质是将数据复制到HDFS上指定表的目录下。表employees_info的数据如下：表employees_contact的数据如下：表employees
- [查询Hive表数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_320016.md): 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法：SELECT查询的常用特性，如JOIN等。加载数据进指定分区。如何使用Hive自带函数。如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见创建Hive用户自定义函数。配置Hive中间过程的数据加密指定表的格式为RCFile(推荐使用)或Sequenc
- [调测Hive HCatalog样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_320021.md): Hive HCatalog应用程序支持在安装Hive和Yarn客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。已安装Hive和Yarn客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。当输出“
- [调测Hive Python样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_320022.md): chmod +x python-examples -Rcd python-examplespython pyCLI_nosec.py例如：[['default', '']] 
 [{'comment': 'from deserializer', 'columnName': 'tab_name', 'type': 'STRING_TYPE'
- [调测Hive Python3样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_320023.md): chmod +x python3-examples -R。HiveServer业务平面IP地址可登录FusionInsight Manager，选择“集群 > 服务 > Hive > 实例”查看。port可在FusionInsight Manager界面，选择“集群 > 服务 > Hive > 配置”，在搜索框中搜索“hive.serve
- [Hive JDBC接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_320026.md): Hive JDBC接口遵循标准的JAVA JDBC驱动标准。Hive作为数据仓库类型数据库，其并不能支持所有的JDBC标准API。例如事务类型的操作：rollback、setAutoCommit等，执行该类操作会获得Method not supported的SQLException异常。
- [Hive WebHCat接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_320028.md): 以下示例的IP为WebHCat的业务IP，端口为安装时设置的WebHCat HTTP端口。除:version、status、version、version/hive、version/hadoop以外，其他API都需要添加user.name参数。:version(GET)描述查询WebHCat支持的返回类型列表。URLhttp://www.
- [使用IBM JDK产生异常“Problem performing GSS wrap”如何处理](https://support.huaweicloud.com/devg3-mrs/mrs_07_320030.md): 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息。问题原因：在IBM JDK下建立的Hive connection时间超过登录用户的认证超时时间（默认一天），导致认证失败。IBM JDK的机制跟Oracle JDK的机制不同，IBM JDK在认证登录后的使用过程中做了时间检查却没有检测外部的时
- [配置Windows通过EIP访问普通模式集群Hive](https://support.huaweicloud.com/devg3-mrs/mrs_07_320031.md): 该章节通过指导用户配置集群绑定EIP，并配置Hive文件的方法，方便用户可以在本地对样例文件进行编译。本章节以运行hive-jdbc-example样例为例进行说明。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云 
- [实现Hive进程访问多ZooKeeper](https://support.huaweicloud.com/devg3-mrs/mrs_07_320032.md): FusionInsight支持在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper，分别通过“testConnectHive”和“testConnectApacheZK”方法实现。在“hive-jdbc-example-multizk”包中的“JDBCExample”类中，main方法的代
- [Hive应用开发样例工程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_320034.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下Hive相关样例工程：Hive相关样例工程样例工程位置描述hive-examples/
- [准备连接Hive集群配置文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_320035.md): 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件，可从已创建好的MRS集群中获取相关内容。用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。场景一：准备本地Windows开发环境调测程序所需配置文件。登录FusionInsight Manager，选择
- [使用JDBC接口提交数据分析任务](https://support.huaweicloud.com/devg3-mrs/mrs_07_320038.md): 本章节介绍如何使用JDBC样例程序完成数据分析任务。使用Hive JDBC接口提交数据分析任务，该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中，实现该功能的模块如下：读取HiveServer客户端property文件，其中hiveclient.properties文件
- [HCatalog访问Hive样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_320039.md): 本章节介绍如何在MapReduce任务中使用HCatalog分析Hive表数据，读取输入表第一列int类型数据执行count(distinct XX)操作，将结果写入输出表。该样例程序在“hive-examples/hcatalog-example”的“HCatalogExample.java”中，实现该功能的模块如下：实现Mapper类
- [基于Python的Hive样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_320040.md): 本章节介绍如何使用Python连接Hive执行数据分析任务。使用Python方式提交数据分析任务，参考样例程序中的“hive-examples/python-examples/pyCLI_sec.py”。导入HAConnection类。from pyhs2.haconnection import HAConnection声明HiveSer
- [基于Python3的Hive样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_320041.md): 本章节介绍如何使用Python3连接Hive执行数据分析任务。以下分析任务示例在“hive-examples/python3-examples/pyCLI_nosec.py”文件中。导入hive类from pyhive import hive创建JDBC连接：connection = hive.Connection(host='hives
- [在Windows环境中调测Hive JDBC样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_320042.md): 在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。需要在运行样例代码的本机hosts文件中设置访问节点的主机名和公网IP地址映射，主机名和公网IP地址请保持一一对应。仅JDBC
- [在Linux环境中调测Hive JDBC样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_320043.md): Hive JDBC应用程序支持在Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。已安装Java。当运行Hive JDBC应用程序所在主机不是集群中的节点时，需要在该主机的hosts文件中设置MRS集群节点的主机名和IP地址的映射关系，确保主机名和IP地址一一对应。在IDEA界面左下方单击“
- [Impala应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_330002.md): Impala直接对存储在HDFS，HBase 或对象存储服务（OBS）中的Hadoop数据提供快速，交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue中的Impala查询UI）。这为实时或面向批处理的查询提供了一个熟悉
- [Impala应用开发常用概念](https://support.huaweicloud.com/devg3-mrs/mrs_07_330003.md): 客户端客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Impala的相关操作。本文中的Impala客户端特指Impala client的安装目录，里面包含通过Java API访问Impala的样例代码。客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Impala的相关操作。本文中
- [Impala应用开发流程](https://support.huaweicloud.com/devg3-mrs/mrs_07_330004.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备Impala开发和运行环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_330006.md): 在进行应用开发时，需要准备的本地开发环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，然后直接在Windows中进行程序调测。如果使用Linux环境调测程序，需准备安装集群客户端的Linux节点并获取相关配置文件。集群的Master节点或者Co
- [导入并配置Impala样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_330007.md): 为了运行Impala组件的JDBC接口样例代码，需要完成下面的配置并导入样例工程操作。以在Windows环境下开发JDBC方式连接Impala服务的应用程序为例。打开IntelliJ IDEA，依次选择File > Open。在弹出的Open File or Project对话框中选择Impala样例工程文件夹，单击OK。导入成功后，co
- [Impala样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_330009.md): 假定用户开发一个Impala数据分析应用，用于管理企业雇员信息，如表1、表2所示。创建三张表，雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended”。雇员信息表“employees_info”的字段为雇员编号、姓名、支付薪水币种、薪
- [创建Impala表](https://support.huaweicloud.com/devg3-mrs/mrs_07_330010.md): 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。内部表，如果对数据的处理都由Impala完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。外部表，如果数据要被多种工具共同处理，则应该使用外部表，可避免对该数据的误操作。
- [加载Impala数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_330011.md): 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。加载数据的实质是将数据复制到HDFS上指定表的目录下。LOAD DATA LOCAL INPATH命令可以完成从本地文件系统加载文件到Impala的需求，但是当指定LOCAL时，这里的路径指的是当前连接的Impa
- [查询Impala数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_330012.md): 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。SELECT查询的常用特性，如JOIN等。加载数据进指定分区。如何使用Impala自带函数。如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见Impala样例程序指导。自定义函数，具体内容请参见开发Impala用户自定义函数。
- [开发Impala用户自定义函数](https://support.huaweicloud.com/devg3-mrs/mrs_07_330013.md): 当Impala的内置函数不能满足需要时，可以通过编写用户自定义函数UDF（User-Defined Functions）插入自己的处理代码并在查询中使用它们。按实现方式，UDF有如下分类：普通的UDF，用于操作单个数据行，且产生一个数据行作为输出。用户定义聚集函数UDAF（User-Defined Aggregating Function
- [Impala样例程序指导](https://support.huaweicloud.com/devg3-mrs/mrs_07_330014.md): 本小节介绍了如何使用样例程序完成分析任务。本章节以使用JDBC接口提交数据分析任务为例。使用Impala JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。修改以下变量为false，标识连接集群的认证模式为普通模式。// 所连接集群的认证模式是否在安全模式 
   boolean isSecureVer = 
- [在Windows中调测Impala JDBC应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_330016.md): 导入和修改样例后，即可在开发环境中，右击“ExampleMain.java”，选择“ExampleMain.main()”运行对应的应用程序工程。使用Windows访问MRS集群来操作Impala，有如下两种方式。方法一：申请一台Windows的ECS访问MRS集群操作Impala，在安装开发环境后可直接运行样例代码。在“现有集群”列表中
- [在Linux中调测Impala JDBC应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_330017.md): 已安装MRS客户端，具体请参见：集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端。MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。Linux环境运行成功结果会有如下信息。Create table success!
_c0
0
Delete table success!如果出现如下报错提示，请客
- [Impala JDBC接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_330019.md): Impala使用Hive的JDBC接口，Hive JDBC接口遵循标准的JAVA JDBC驱动标准，详情请参见JDK1.7 API。Impala并不能支持所有的Hive JDBC标准API。执行某些操作会产生Method not supported的SQLException异常。
- [Impala SQL接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_330020.md): Impala SQL提供对HiveQL的高度兼容性，详情请参见https://impala.apache.org/docs/build/html/topics/impala_langref.html。
- [Impala开发规则](https://support.huaweicloud.com/devg3-mrs/mrs_07_330022.md): 客户端程序以JDBC的形式连接Impalad时，需要首先加载Hive的JDBC驱动类org.apache.hive.jdbc.HiveDriver。所以在客户端程序开始前，必须先使用当前类加载器加载该驱动类。如果classpath下没有相应的jar包，则客户端程序抛出Class Not Found异常并退出。如下：使用JDK的驱动管理类j
- [Impala开发建议](https://support.huaweicloud.com/devg3-mrs/mrs_07_330023.md): 查询语句使用字段的值做过滤时，不支持使用Hive类似的隐式类型转换来编写Impala SQL：Impala示例：Hive示例(支持隐式类型转换)：表tbl_src的id字段为Int类型，name字段为String类型。Impala使用Hive提供的JDBC，Hive提供的JDBC实现有超时限制，默认是5分钟，用户可以通过java.sql.
- [Impala开发示例](https://support.huaweicloud.com/devg3-mrs/mrs_07_330024.md): 以下示例代码主要功能如下。普通(非Kerberos)模式下，使用用户名和密码进行登录，如不指定用户，则匿名登录；在JDBC URL地址中提供登录Kerberos用户的principal，程序自动完成安全登录、建立Impala连接。执行创建表、查询和删除三类Impala SQL语句。
- [Kafka应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_340002.md): Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。Kafka有如下几个特点：高吞吐量消息持久化到磁盘分布式系统易扩展容错性好支持online和offline场景Kafka主要
- [Kafka应用开发流程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_340004.md): Kafka客户端角色包括Producer和Consumer两个角色，其应用开发流程是相同的。开发流程中各个阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_340006.md): Kafka开发应用时，需要准备的开发和运行环境如表1所示：
- [导入并配置Kafka样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_340007.md): 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。若需要在本地Windows调测Kafka样例代码，将准备连接Kafka集群配置文件时获取的所有配置文件放置在样例工程的“kafka-examples\src\main\resources”目录下。不同的IDEA版本的操作
- [Kafka样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_340009.md): Kafka是一个分布式消息系统，在此系统上用户可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。使用Linux客户端创建一个Topic。开发一个Producer向该Topic生产数据。开发一个Cons
- [使用Producer API向安全Topic生产消息](https://support.huaweicloud.com/devg3-mrs/mrs_07_340011.md): 用于实现Producer API向安全Topic生产消息。以下为用于实现Producer API向安全Topic生产消息的代码片段。详细内容在com.huawei.bigdata.kafka.example.Producer类的run方法中。
- [使用Consumer API订阅安全Topic并消费](https://support.huaweicloud.com/devg3-mrs/mrs_07_340012.md): 用于实现使用Consumer API订阅安全Topic，并进行消息消费。以下为用于实现使用Consumer API订阅安全Topic，并进行消息消费的代码片段。详细内容在com.huawei.bigdata.kafka.example.Consumer类中。
- [使用多线程Producer发送消息](https://support.huaweicloud.com/devg3-mrs/mrs_07_340013.md): 在使用Producer API向安全Topic生产消息基础上，实现了多线程Producer，可启动多个Producer线程，并通过指定相同key值的方式，使每个线程对应向特定Partition发送消息。下面代码片段在com.huawei.bigdata.kafka.example.ProducerMultThread类的run方法中，用于
- [使用多线程Consumer消费消息](https://support.huaweicloud.com/devg3-mrs/mrs_07_340014.md): 在使用Consumer API订阅安全Topic并消费基础上，实现了多线程并发消费，可根据Topic的Partition数目启动相应个数的Consumer线程来对应消费每个Partition上的消息。下面代码片段在com.huawei.bigdata.kafka.example.ConsumerMultThread类的run方法中，用于实
- [使用KafkaStreams统计数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_340016.md): 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例，通过Kafka Streams读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topic消费数据，将统计结果以Key-Value的形式输出，完成单词统计功能。下面代码片段在com.huawei.
- [准备连接Kafka集群配置文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_340017.md): 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，用于验证应用程序运行。场景一：准备本地Windows开发环境调测程序所需配置文件。登录FusionInsight Manager，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“仅配置文件”，单击“确定”，等待客户端文件包生成后根据浏览器提示下
- [调测Kafka Producer样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_340020.md): 如需在Windows调测程序，需要配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问普通模式集群Kafka。如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装JDK并已设置java相关环境变量。构建j
- [调测Kafka Consumer样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_340021.md): 如需在Windows调测程序，需要配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问普通模式集群Kafka。如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装Jdk并已设置java相关环境变量。jav
- [调测Kafka High Level KafkaStreams API样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_340023.md): 在Windows环境调测程序步骤请参考在Windows中调测程序。cd /opt/clientsource bigdata_envkafka-topics.sh --create --zookeeperquorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka--replication-factor 1 --parti
- [调测Kafka Low Level KafkaStreams API样例程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_340024.md): 在Windows环境调测程序步骤请参考在Windows中调测程序。cd /opt/clientsource bigdata_envkafka-topics.sh --create --zookeeperquorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka--replication-factor 1 --parti
- [Kafka Shell命令介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_340027.md): 查看当前集群Topic列表。shkafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka>shkafka-topics.sh --list --bootstrap-server<Kafka集群IP:21007> --command-config config/client.p
- [Kafka Java API介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_340028.md): Kafka相关接口同开源社区保持一致，详情请参见https://kafka.apache.org/24/documentation.html。
- [运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...”](https://support.huaweicloud.com/devg3-mrs/mrs_07_340030.md): 已经拥有Topic访问权限，但是运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata for topics...”。如果IP与Kafka集群部署的业务IP不一致，那么需要修改为当前集群正确的IP地址。如果配置中的端口为21007（Kafka安全模式端口），那么修改该端口为9092
- [配置Windows通过EIP访问普通模式集群Kafka](https://support.huaweicloud.com/devg3-mrs/mrs_07_340031.md): 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹
- [Kafka样例工程简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_340034.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下Kafka相关样例工程：Kafka相关样例工程样例工程位置描述kafka-exampl
- [Kudu应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_350002.md): Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。Kudu的设计具有以下优点：能够快速处理OLAP工作负载。支持与MapReduce，Spark和其他Hadoop生态系统组件集成。与Apache Impala的紧密集成，使其成
- [Kudu应用开发常用概念](https://support.huaweicloud.com/devg3-mrs/mrs_07_350003.md): Table有schema和primary key属性，且可以划分为多个tablet。Tablet是指数据分片，可以指定副本数，存放在多个tablet server上，多个副本中有一个是leader tablet；所有的副本都可以读，但是写操作只有leader可以，写操作利用一致性算法（Raft）。Tablet server是数据存储节点，
- [Kudu应用开发流程](https://support.huaweicloud.com/devg3-mrs/mrs_07_350004.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_350006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的Linux环境，用于验证应用程序运行正常。在节点中安装客户端，例如客户端安装目录为“/opt/client”。客户端机器的时间与集群的时间要保持一致，时间差小于5分钟。集群的Master节点或者Core节点已默认安装好客户端，可直接使用，MRS
- [Kudu应用程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_350010.md): 通过典型场景，可以快速学习和掌握Kudu的开发过程，并对关键的接口函数有所了解。作为存储引擎，通常情况下会和计算引擎一起协同工作：首先在计算引擎上（比如Impala）用SQL语句创建表对象；然后通过Kudu的驱动往这个表里写数据；于此同时可以在计算引擎上直接查询这个表里的数据。在本开发程序示例中，为了不引入额外的计算引擎，将以Kudu为主
- [建立Kudu连接](https://support.huaweicloud.com/devg3-mrs/mrs_07_350012.md): 通过KuduClient.KuduClientBuilder(KUDU_MASTERS).build()方法创建KuduClient对象。传入的参数KUDU_MASTERS为kudu集群的masters地址列表，如果有多个master节点，则中间用半角逗号隔开。如下是建立连接代码片段：示例代码中，KUDU_MASTERS为kudu集群的m
- [创建Kudu表](https://support.huaweicloud.com/devg3-mrs/mrs_07_350013.md): 通过KuduClient.createTable(String name, Schema schema, CreateTableOptions builder)方法创建表对象，其中需要指定表的schema和分区信息。如下是创建表的代码片段：示例代码中，定义了一张表，包含key和value两列。其中key是int32类型的主键字段，valu
- [打开Kudu表](https://support.huaweicloud.com/devg3-mrs/mrs_07_350014.md): 通过KuduClient.openTable(final String name)方法打开表对象。如下是打开表的代码片段：示例代码中，tableName是要打开的表名。
- [修改Kudu表](https://support.huaweicloud.com/devg3-mrs/mrs_07_350015.md): 通过KuduClient.alterTable(String name, AlterTableOptions ato)方法修改表对象。如下是写数据的代码片段：示例代码中，AlterTableOptions是要修改表属性的集合，这里往表里新增加了一列。
- [写Kudu数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_350016.md): 通过KuduClient.newSession()方法生成一个KuduSession对象，然后再把插入记录动作执行到Kudu表里。如下是写数据的代码片段：示例代码中，numRows是要写入的记录条数；需要特别注意写入请求的响应结果。
- [读Kudu数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_350017.md): 通过KuduClient.newScannerBuilder(KuduTable table)方法生成一个KuduScanner对象，然后再通过设置谓词条件从Kudu表里过滤读取数据。如下是读取数据的代码片段：示例代码中：projectColumns表示要返回的列信息。lowerPred和upperBound表示作用在主键key上的谓词。
- [删除Kudu表](https://support.huaweicloud.com/devg3-mrs/mrs_07_350018.md): 通过KuduClient.deleteTable(String name)方法删除表对象。如下是删除表的代码片段：
- [调测Kudu应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_350019.md): 得到输出包：
- [Kudu应用开发常见问题](https://support.huaweicloud.com/devg3-mrs/mrs_07_350022.md): Kudu Java API接口可参考官网描述。其他Kudu完整和详细的接口可以直接参考官方网站上的描述。地址：https://kudu.apache.org/apidocs。
- [MapReduce应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_360002.md): Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个MapReduce作业（application/job）通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对m
- [MapReduce应用开发流程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_360004.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备MapReduce开发和运行环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_360006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调测程序所需的集群配置文件及配置网络连通后，然后直接在Windows中进行程序调测。登录FusionInsight Manag
- [导入并配置MapReduce样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_360007.md): MapReduce针对多个场景提供样例工程，帮助客户快速学习MapReduce工程。以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。打开IntelliJ IDEA，依次选择File > Open。在弹出的Open File or Project会话框中选择样例工程文件夹mapreduce-example-normal
- [（可选）创建MapReduce样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_360008.md): 除了导入MapReduce样例工程，您还可以使用IntelliJ IDEA新建一个MapReduce工程。
- [MapReduce统计样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_360011.md): 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发MapReduce应用程序实现如下功能：统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“,”。log1.txt：周六网民停留日志log2.txt：周日网民停留日志首
- [MapReduce统计样例代码](https://support.huaweicloud.com/devg3-mrs/mrs_07_360012.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。主要分为三个部分：从原文件中筛选女性网民上网时间数据信息，通过类CollectionMapper继承Mapper抽象类实现。汇总每个女性上网时间，并输出时间大于两个小时的女性网民信息，通过类CollectionReducer继承Reducer抽象类实现。main方法提供建立一个
- [MapReduce访问多组件样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_360014.md): 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。该样例逻辑过程如下：以HDFS文本文件为输入数据：log1.txt：数据输入文件Map阶段：获取输入数据的一行并提取姓名信息。查询HBase一条数据。查询Hive一条数据。将HBa
- [MapReduce访问多组件样例代码](https://support.huaweicloud.com/devg3-mrs/mrs_07_360015.md): 主要分为三个部分：从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。获取拼接后的数据取最后一条输出到HBase、HDFS，通过类MultiComponentReducer继承Reducer抽象类实现。main方法提供建立一个Map
- [在本地Windows环境中调测MapReduce应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_360018.md): 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。MapReduce应用程序运行完成后，可通过如下方式查看应用程序的运行情况。在IntelliJ IDEA中查看应用程序运行情况。通过MapReduce日志获取应用程序运行情况。登录MapReduce WebUI查看应用程序运
- [在Linux环境中调测MapReduce应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_360021.md): 在程序代码完成开发后，可以在Linux环境中运行应用。MapReduce应用程序运行完成后，可通过如下方式查看应用程序的运行情况。通过运行结果查看程序运行情况。登录MapReduce WebUI查看应用程序运行情况。登录Yarn WebUI查看应用程序运行情况通过MapReduce日志获取应用程序运行情况。mvn -s "{maven_s
- [MapReduce Java API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_360026.md): 关于MapReduce的详细API可以参考官方网站。https://hadoop.apache.org/docs/r3.1.1/api/index.html常用接口MapReduce中常见的类如下：org.apache.hadoop.mapreduce.Job：用户提交MR作业的接口，用于设置作业参数、提交作业、控制作业执行以及查询作业状
- [MapReduce REST API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_360027.md): 功能简介通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapreduce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用：https://hadoop.apache.org/docs/r3.1.1/hadoop-mapreduce-client/hadoop-map
- [提交MapReduce任务时客户端长时间无响应](https://support.huaweicloud.com/devg3-mrs/mrs_07_360029.md): 向YARN服务器提交MapReduce任务后，客户端长时间无响应。对于上述出现的问题，ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息，对于一个已经提交到YARN上的MapReduce任务，用户可以通过该诊断信息获取当前作业的状态以及处于该状态的原因。具体操作：登录FusionInsight M
- [MapReduce二次开发远程调试](https://support.huaweicloud.com/devg3-mrs/mrs_07_360030.md): MapReduce二次开发过程中如何远程调试业务代码？MapReduce开发调试采用的原理是Java的远程调试机制，在Map/Reduce任务启动时，添加Java远程调试命令。修改客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中mapreduce.map.java.opts和mapreduce.r
- [MapReduce样例工程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_360031.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下MapReduce相关样例工程：MapReduce相关样例工程样例工程位置描述mapr
- [Oozie应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_370002.md): Oozie是一个用来管理Hadoop任务的工作流引擎，Oozie流程基于有向无环图（Directed Acyclical Graph）来定义和描述，支持多种工作流模式及流程定时触发机制。易扩展、易维护、可靠性高，与Hadoop生态系统各组件紧密结合。Oozie流程的三种类型：Workflow描述一个完整业务的基本流程。描述一个完整业务的基
- [Oozie应用开发常用概念](https://support.huaweicloud.com/devg3-mrs/mrs_07_370003.md): 流程定义文件描述业务逻辑的XML文件，包括workflow.xml、coordinator.xml、bundle.xml三类，最终由Oozie引擎解析并执行。描述业务逻辑的XML文件，包括workflow.xml、coordinator.xml、bundle.xml三类，最终由Oozie引擎解析并执行。流程属性文件流程运行期间的参数配置文
- [Oozie应用开发流程](https://support.huaweicloud.com/devg3-mrs/mrs_07_370004.md): 本文档主要基于java API对Oozie进行应用开发。开发流程中各阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_370006.md): 在进行二次开发时，要准备的开发和运行环境如表1所示。
- [导入并配置Oozie样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_370007.md): 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。已在Linux环境中安装了完整客户端。获取Oozie服务器URL（任意节点），这个URL将是客户端提交流程任务的目标地址。URL格式为：https://oozie实例业务IP:21003/oozie。可登录FusionInsight Manager，选择“集群 > 服
- [Oozie样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_370010.md): 工作流配置文件workflow.xml（coordinator.xml是对工作流进行调度，bundle.xml是对一组Coordinator进行管理）与job.properties。如果有实现代码，需要开发对应的jar包，例如Java Action；如果是Hive，则需要开发SQL文件。上传配置文件与jar包（包括依赖的jar包）到HDF
- [Oozie应用开发步骤](https://support.huaweicloud.com/devg3-mrs/mrs_07_370011.md): 可以使用客户端样例目录中MapReduce程序对日志目录的数据进行分析、处理。将MapReduce程序的分析结果移动到数据分析结果目录，并将数据文件的权限设置成660。为了满足每天分析一次的需求，需要每天重复执行一次1.a～1.b。登录客户端所在节点，新建dataLoad目录，作为程序运行目录，后面编写的文件均保存在该目录下。例如“/op
- [配置Oozie作业运行参数](https://support.huaweicloud.com/devg3-mrs/mrs_07_370014.md): 流程的属性定义文件，定义了流程运行期间使用的外部参数值对。job.properties文件中包含的各参数及其含义，请参见表1。可以根据业务需要，以“key＝values”的格式自定义参数及值。
- [配置Oozie业务运行流程](https://support.huaweicloud.com/devg3-mrs/mrs_07_370015.md): 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。workflow.xml文件中包含的各参数及其含义，请参见表1。
- [配置Oozie作业执行入口](https://support.huaweicloud.com/devg3-mrs/mrs_07_370016.md): 流程任务的执行入口，每个流程任务有且仅有一个该节点。Start Action节点中包含的各参数及其含义，请参见表1。
- [配置Oozie作业执行终点](https://support.huaweicloud.com/devg3-mrs/mrs_07_370017.md): 流程任务执行的终点，每个流程任务有且仅有一个该节点。End Action节点中包含的各参数及其含义，请参见表1。
- [配置Oozie作业异常结束打印信息](https://support.huaweicloud.com/devg3-mrs/mrs_07_370018.md): 流程任务运行期间发生异常后，流程的异常结束节点。Kill Action节点中包含的各参数及其含义，请参见表1。
- [配置Oozie作业操作HDFS文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_370019.md): HDFS文件操作节点，支持对HDFS文件及目录的创建、删除、授权功能。FS Action节点中包含的各参数及其含义，请参见表1。“${变量名}”表示：该值来自job.properties所定义。例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见配置Oozie作业运行参数）
- [配置Oozie MapReduce作业](https://support.huaweicloud.com/devg3-mrs/mrs_07_370020.md): MapReduce任务节点，负责执行一个map-reduce任务。MapReduce Action节点中包含的各参数及其含义，请参见表1。“${变量名}”表示：该值来自job.properties所定义。例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见配置Oozie作业运行参数）
- [配置Coordinator定时调度作业](https://support.huaweicloud.com/devg3-mrs/mrs_07_370021.md): 周期性执行Workflow类型任务的流程定义文件。coordinator.xml中包含的各参数及其含义，请参见表1。“${变量名}”表示：该值来自job.properties所定义。例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见配置Oozie作业运行参数）
- [通过Java API提交Oozie作业开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_370023.md): 通过典型场景，用户可以快速学习和掌握Oozie的开发过程，并且对关键的接口函数有所了解。本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，代码示例只涉及了MapReduce作业，其他作业的API调用代码是一样的，仅job配置job.properties与工作流配置workflow.xml需根据实际情况设置。完成
- [通过Java API提交Oozie作业](https://support.huaweicloud.com/devg3-mrs/mrs_07_370024.md): Oozie通过org.apache.oozie.client.OozieClient的run方法提交作业，通过getJobInfo获取作业信息。代码示例中请根据实际情况，修改“OOZIE_URL_DEFAULT”为实际的任意Oozie的主机名，例如“https://10-1-131-131:21003/oozie/”。
- [在本地Windows环境中调测Oozie应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_370028.md): 在使用Java接口完成开发程序代码后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在Windows本地运行程序，需要配置HTTPS SSL证书。登录集群任意节点，进入如下目录下载ca.crt文件。cd ${BIGDATA_HOME}/om-agent_8.1.0.1/nodeagent
- [查看Oozie应用调测结果](https://support.huaweicloud.com/devg3-mrs/mrs_07_370029.md): Oozie样例工程运行完成后可以通过控制台查看输出结果。控制台显示运行结果会有如下成功信息：同时在HDFS上生成目录/user/developuser/examples/output-data/map-reduce，包括如下两个文件：_SUCCESSpart-00000可以通过Hue的文件浏览器或者通过HDFS如下命令行查看：hdfs d
- [Oozie Shell接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_370035.md): Oozie其他的命令和参数可参见以下地址：https://oozie.apache.org/docs/5.1.0/DG_CommandLineTool.html。
- [Oozie Java接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_370036.md): Java API主要由org.apache.oozie.client.OozieClient提供。
- [OozieRest接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_370037.md): 常用接口与JAVA一样。Java API主要由org.apache.oozie.client.OozieClient提供。详情请参见https://oozie.apache.org/docs/5.1.0/WebServicesAPI.html。
- [使用Oozie调度Spark2x访问HBase以及Hive](https://support.huaweicloud.com/devg3-mrs/mrs_07_370038.md): 已经配置完成导入并配置Oozie样例工程的前提条件。进入项目根目录，比如“D:\sample_project\src\oozie-examples\oozienormal-examples\OozieSparkHBaseExample” 然后执行mvn clean package -DskipTests，打包成功之后样例工程在target
- [Oozie应用开发样例工程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_370039.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下Oozie相关样例工程：Oozie相关样例工程样例工程位置描述oozie-exampl
- [Spark应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_410003.md): Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 适用以下场景：数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。迭代计算（Iterative Computation）：支持迭代计算，有效应对多步的数据处理逻辑。数据挖掘（D
- [Spark应用开发流程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_410004.md): Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程都是相同的。开发流程中各阶段的说明如图1和表1所示。
- [准备Spark本地应用开发环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_410006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。
- [导入并配置Spark样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_410007.md): Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*.py）即可。以下操作步骤以导入Java样例代码为例。操作流程如图1所示。确保本地环境的时间与MRS集
- [新建Spark样例工程（可选）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410008.md): 除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。如果您需要新建Java语言的工程，选择对应参数即可。选择开发环境
- [Spark Core样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_410013.md): 假定用户有某个周末网民网购停留时间的日志，基于某些业务要求，要求开发Spark应用程序实现如下功能：统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为,。log1.txt：周六网民停留日志LiuYang,female,20
YuanJing
- [Spark Core样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410014.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类：
- [Spark Core样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410015.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection：样例：类CollectMapper
- [Spark Core样例程序（Python）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410016.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见collectFemaleInfo.py：
- [Spark SQL样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_410018.md): 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能：统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为,。log1.txt：周六网民停留日志LiuYang,female,20
YuanJi
- [Spark SQL样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410019.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection：
- [Spark SQL样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410020.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection：上面是简单示例，其它sparkSQL特性请参见如下链接：https://archive.apache.org/dist/spark/d
- [Spark SQL样例程序（Python）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410021.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见SparkSQLPythonExample：
- [通过JDBC访问Spark SQL样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_410028.md): 用户自定义JDBCServer的客户端，使用JDBC连接来进行表的创建、数据加载、查询和删除。将数据文件上传至HDFS中。登录HDFS客户端节点，执行如下命令：cd {客户端安装目录}source bigdata_envcd {客户端安装目录}source bigdata_env执行如下命令创建目录“/home”：hdfs dfs -mk
- [通过JDBC访问Spark SQL样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410029.md): 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。连接字符串中的zk.quorum也可以使用配置文件中的配置项spark.deploy.zookeeper.url来代替。在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下：在执行“DriverMa
- [过JDBC访问Spark SQL样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410030.md): 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。连接字符串中的zk.quorum也可以使用配置文件中的配置项spark.deploy.zookeeper.url来代替。在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下：在执行“DriverMa
- [操作Avro格式数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_410032.md): 用户可以在Spark应用程序中以数据源的方式去使用HBase，本例中将数据以Avro格式存储在HBase中，并从中读取数据以及对读取的数据进行过滤等操作。在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：create'ExampleAvrotable','rowkey','cf1'
- [操作HBase数据源](https://support.huaweicloud.com/devg3-mrs/mrs_07_410037.md): 用户可以在Spark应用程序中以数据源的方式去使用HBase，将dataFrame写入HBase中，并从HBase读取数据以及对读取的数据进行过滤等操作。在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的HBase表：create'HBaseSourceExampleTable','rowkey
- [BulkPut接口使用](https://support.huaweicloud.com/devg3-mrs/mrs_07_410042.md): 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将构建的RDD写入HBase中。在客户端执行hbase shell，进入HBase命令行，使用下面的命令创建样例代码中要使用的Hase表：create'bulktable','cf1'创建RDD。以HBaseContext的方式操作HBase，将上面生成的R
- [BulkGet接口使用](https://support.huaweicloud.com/devg3-mrs/mrs_07_410047.md): 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要获取的数据的rowKey构造成rdd，然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。基于BulkPut接口使用章节创建的HBase表及其中的数据进行操作。创建包含了要获取的rowkey信息的RDD。以
- [BulkDelete接口使用](https://support.huaweicloud.com/devg3-mrs/mrs_07_410052.md): 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要删除的数据的rowKey构造成rdd，然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。基于BulkPut接口使用章节创建的HBase表及其中的数据进行操作。创建包含了要删除的rowkey信息的
- [BulkLoad接口使用](https://support.huaweicloud.com/devg3-mrs/mrs_07_410057.md): 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要插入的数据的rowKey构造成rdd，然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile导入HBase表的操作采用如下格式的命令，不属于本接口范围，不在此进行详细说明：hbase org.apache.ha
- [foreachPartition接口使用](https://support.huaweicloud.com/devg3-mrs/mrs_07_410062.md): 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，将要插入的数据的rowKey构造成rdd，然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。在客户端执行：hbase shell命令进入HBase命令行。使用下面的命令创建HBase表：create'table2'
- [分布式Scan HBase表](https://support.huaweicloud.com/devg3-mrs/mrs_07_410067.md): 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用hbaseRDD方法以特定的规则扫描HBase表。使用操作Avro格式数据章节中创建的HBase数据表。设置scan的规则，例如：setCaching。使用特定的规则扫描Hbase表。通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参
- [mapPartition接口使用](https://support.huaweicloud.com/devg3-mrs/mrs_07_410072.md): 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用mapPartition接口并行遍历HBase表。使用foreachPartition接口使用章节创建的HBase数据表。构造需要遍历的HBase表中rowkey的RDD。使用mapPartition接口遍历上述rowkey对应的数据信息，并进行简单的操
- [SparkStreaming批量写入HBase表](https://support.huaweicloud.com/devg3-mrs/mrs_07_410077.md): 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入Hbase表中。在客户端执行hbase shell进入HBase命令行。在HBase命令执行下面的命令创建HBase表：create'streamingTable','cf1'create'streamingTa
- [Spark从HBase读取数据再写入HBase样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410083.md): 假定HBase的table1表存储用户当天消费的金额信息，table2表存储用户历史消费的金额信息。现table1表有记录key=1,cf:cid=100，表示用户1在当天消费金额为100。table2表有记录key=1,cf:cid=1000，表示用户1的历史消息记录金额为1000。基于某些业务要求，要求开发Spark应用程序实现如下功
- [Spark从HBase读取数据再写入HBase样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410084.md): 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHbasetoHbase。
- [Spark从HBase读取数据再写入HBase样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410085.md): 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHbasetoHbase。
- [Spark从HBase读取数据再写入HBase样例程序（Python）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410086.md): 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。下面代码片段仅为演示，具体代码参见SparkHbasetoHbasePythonExample：
- [Spark从Hive读取数据再写入HBase样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_410088.md): 假定Hive的person表存储用户当天消费的金额信息，HBase的table2表存储用户历史消费的金额信息。现person表有记录name=1,account=100，表示用户1在当天消费金额为100。table2表有记录key=1,cf:cid=1000，表示用户1的历史消息记录金额为1000。基于某些业务要求，要求开发Spark应用
- [Spark从Hive读取数据再写入HBase样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410089.md): 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase
- [Spark从Hive读取数据再写入HBase样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410090.md): 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase
- [Spark从Hive读取数据再写入HBase样例程序（Python）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410091.md): 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。下面代码片段仅为演示，具体代码参见SparkHivetoHbasePythonExample：
- [Spark Streaming对接Kafka0-10样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_410098.md): 假定某个业务Kafka每1秒就会收到1个单词记录。基于某些业务要求，开发的Spark应用程序实现如下功能：实时累加计算每个单词的记录总数。log1.txt示例文件：Spark Streaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户）。确保集群安装完成，包括HDFS、Yarn、Spark和
- [Spark Streaming对接Kafka0-10样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410099.md): 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaWordCount。下面代码片段仅为演示，具体代码参见：com.hua
- [Spark Streaming对接Kafka0-10样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410100.md): 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaWordCount。下面代码片段仅为演示，具体代码参见com.huaw
- [Spark Structured Streaming样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_410102.md): 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。StructuredStreaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户）。确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。
- [Spark Structured Streaming样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410103.md): 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaWordCount。当Streaming DataFrame/Dataset中有新
- [Spark Structured Streaming样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410104.md): 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaWordCount。当Streaming DataFrame/Dataset中有新
- [Spark Structured Streaming样例程序（Python）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410105.md): 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。下面代码片段仅为演示，具体代码参见：SecurityKafkaWordCount。当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Str
- [Spark Structured Streaming对接Kafka样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_410107.md): 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。已知：终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的adRequest topic中。请求一个广告后，可能用于多次展示，每次展示，会生成广告展示事件，保存到kafka的adShow topic中。每个广告展示
- [Spark Structured Streaming对接Kafka样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410108.md): 使用Structured Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaADCount。
- [Spark Structured Streaming状态操作样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_410120.md): 假设需要跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。在kafka中生成模拟数据（需要有Kafka权限用户）确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。创建Topic。{zkQuorum}表示ZooKeeper集
- [Spark Structured Streaming状态操作样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410121.md): 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.kafkaSessionization。当Streaming 
- [在Linux环境中编包并运行Spark程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_410123.md): 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。用户需保证worker和driver的Python版本一致，否则将报错："Python in wor
- [在Linux环境中查看Spark程序调测结果](https://support.huaweicloud.com/devg3-mrs/mrs_07_410124.md): Spark应用程序运行完成后，可通过如下方式查看应用程序的运行情况。通过运行结果数据查看应用程序运行情况。登录Spark WebUI查看应用程序运行情况。通过Spark日志获取应用程序运行情况。查看Spark应用运行结果数据。结果数据存储路径和格式已经由Spark应用程序指定，可通过指定文件获取。结果数据存储路径和格式已经由Spark应用
- [Spark Java API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_410127.md): 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Spark主要使用到如下这几个类：JavaSparkContext：是Spark的对外接口，负责向调用该类的Java应用提供Spark的各种功能，如连接Spark集群，创建RDD，累积量和广播量等。它的作用相当于一个容器。SparkConf：Sp
- [Spark Scala API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_410128.md): 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Spark主要使用到如下这几个类：SparkContext：是Spark的对外接口，负责向调用该类的scala应用提供Spark的各种功能，如连接Spark集群，创建RDD等。SparkConf：Spark应用配置类，如设置应用名称，执行模式，e
- [Spark Python API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_410129.md): 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。Spark主要使用到如下这几个类：pyspark.SparkContext：是Spark的对外接口。负责向调用该类的python应用提供Spark的各种功能，如连接Spark集群、创建RDD、广播变量等。pyspark.SparkConf：Spa
- [Spark client CLI介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_410131.md): Spark CLI详细的使用方法参考官方网站的描述：https://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。Spark常用的CLI如下所示：spark-shell提供了一个简单学习API的方法，类似于交互式数据分析的工具。同时支持Scala和Python两种语言。
- [Spark JDBCServer接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_410132.md): JDBCServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。JDBCServer是一个JDBC接口，用户可以通过JDBC连接JDBCServer来访问SparkSQL的数据。JDBCServer在启动的时候，会启动一个sparkSQL的应用程序，而通
- [structured streaming功能与可靠性介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_410133.md): 支持对流式数据的ETL操作。支持流式DataFrames或Datasets的schema推断和分区。流式DataFrames或Datasets上的操作：包括无类型，类似SQL的操作（比如select、where、groupBy），以及有类型的RDD操作（比如map、filter、flatMap）。支持基于Event Time的聚合计算，支
- [如何添加自定义代码的依赖包](https://support.huaweicloud.com/devg3-mrs/mrs_07_410135.md): 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？在Project Structure页面，选择Artifacts页签。在右侧窗口中单击+，选择Library Files添加依赖包。添加Library Files选择需要添加的依赖包，然后单击OK。Choose Librari
- [如何处理自动加载的依赖包](https://support.huaweicloud.com/devg3-mrs/mrs_07_410136.md): 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？建议在导入工程后，手动删除自动加载的依赖。步骤如下：在IDEA工具中，选择FileProject Structures...,。选择Li
- [运行SparkStreamingKafka样例工程时报“类不存在”问题](https://support.huaweicloud.com/devg3-mrs/mrs_07_410137.md): 通过spark-submit脚本提交KafkaWordCount（org.apache.spark.examples.streaming.KafkaWordCount）任务时，日志中报Kafka相关的类不存在的错误。KafkaWordCount样例为Spark开源社区提供的。Spark部署时，如下jar包存放在客户端的${SPARK_HO
- [由于Kafka配置的限制，导致Spark Streaming应用运行失败](https://support.huaweicloud.com/devg3-mrs/mrs_07_410138.md): 使用运行的Spark Streaming任务回写Kafka时，Kafka上接收不到回写的数据，且Kafka日志报错信息如下：如下图所示，Spark Streaming应用中定义的逻辑为，从Kafka中读取数据，执行对应处理之后，然后将结果数据回写至Kafka中。例如：Spark Streaming中定义了批次时间，如果数据传入Kafka的
- [执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出](https://support.huaweicloud.com/devg3-mrs/mrs_07_410139.md): 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出，日志内容如下。用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。
- [Spark应用名在使用yarn-cluster模式提交时不生效](https://support.huaweicloud.com/devg3-mrs/mrs_07_410140.md): Spark应用名在使用yarn-cluster模式提交时不生效，在使用yarn-client模式提交时生效，如图1所示，第一个应用是使用yarn-client模式提交的，正确显示代码里设置的应用名Spark Pi，第二个应用是使用yarn-cluster模式提交的，设置的应用名没有生效。导致这个问题的主要原因是，yarn-client和y
- [如何使用IDEA远程调试](https://support.huaweicloud.com/devg3-mrs/mrs_07_410141.md): 在Spark二次开发中如何使用IDEA远程调试？以调试SparkPi程序为例，演示如何进行IDEA的远程调试：打开工程，在菜单栏中选择Run > Edit Configurations。在弹出的配置窗口中用鼠标左键单击左上角的号，在下拉菜单中选择Remote，如图1所示。选择Remote选择对应要调试的源码模块路径，并配置远端调试参数Ho
- [如何采用Java命令提交Spark应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_410142.md): 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：如果您使用Java语言开发程序，您可以参考如下示例，编写SparkLauncher类。public static
- [使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息](https://support.huaweicloud.com/devg3-mrs/mrs_07_410143.md): 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息问题原因：在IBM JDK下建立的JDBC connection时间超过登录用户的认证超时时间（默认一天），导致认证失败。IBM JDK的机制跟Oracle JDK的机制不同，IBM JDK在认证登录后的使用过程中做了时间检查却没有检测外部的时间
- [Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败](https://support.huaweicloud.com/devg3-mrs/mrs_07_410144.md): Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。原因分析：显示该异常是因为recoverFromCheckpointLocation的值判定为false，但却配置了checkpoint目录。参数recoverFromCheckpointLoca
- [从checkpoint恢复spark应用的限制](https://support.huaweicloud.com/devg3-mrs/mrs_07_410146.md): Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。由于checkpoint中包含了spark应用的对象序列化信息、task执行状态信息、配置信息等，因此，当存在以下问题时，从checkpoint恢复spark应用将会失败。业务代码变更
- [第三方jar包跨平台（x86、TaiShan）支持](https://support.huaweicloud.com/devg3-mrs/mrs_07_410147.md): 用户自己写的jar包（例如自定义udf包）区分x86和TaiShan版本，如何让Spark2x支持其正常运行。第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案：cd /opt/Bigdata/FusionInsight_Spark_*/install/FusionInsight-Spark-*/spark步
- [在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录](https://support.huaweicloud.com/devg3-mrs/mrs_07_410148.md): 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。Spark任务在运行过程中，driver会创建一个spark-开头的本地临时目录，用于存放业务jar包，配置文件等，同时在本地创建一个blockmgr-开头的本地临时目录，用于存放block data。此两个目录会在Spark
- [ARM环境python pipeline运行报139错误码规避方案](https://support.huaweicloud.com/devg3-mrs/mrs_07_410150.md): 在TaiShan服务器上，使用python插件的pipeline报错显示139错误。具体报错如下：该python程序既使用了libcrypto.so，也使用了libssl.so。而一旦LD_LIBRARY_PATH添加了hadoop的native库目录，则使用的就是hadoop native库中的libcrypto.so，而使用系统自带的
- [Structured Streaming 任务提交方式变更](https://support.huaweicloud.com/devg3-mrs/mrs_07_410151.md): 用户提交结构流任务时，通常需要通过--jars命令指定kafka相关jar包的路径，例如--jars /kafkadir/kafka-clients-x.x.x.jar,/kafkadir/kafka_2.11-x.x.x.jar。当前版本用户除了这一步外还需要额外的配置项，否则会报class not found异常。当前版本的Spark
- [使用Spark执行Hudi样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_410156.md): 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。详细代码请参考样例代码。通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。运行Python样例代码无需通过Maven打包。运行Python样例代码无需通过Ma
- [使用Spark执行Hudi样例程序（Scala）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410157.md): 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。插入数据：查询数据：更新数据：增量查询：特定时间点查询：
- [使用Spark执行Hudi样例程序（Python）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410158.md): 下面代码片段仅为演示，具体代码参见：sparknormal-examples.SparkOnHudiPythonExample.hudi_python_write_example。插入数据：#insert
inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringLi
- [使用Spark执行Hudi样例程序（Java）](https://support.huaweicloud.com/devg3-mrs/mrs_07_410159.md): 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieWriteClientExample。创建客户端对象来操作Hudi：插入数据：更新数据：删除数据：压缩数据：if (HoodieTableType.valueOf(tableType) == HoodieTableType.M
- [HoodieDeltaStreamer](https://support.huaweicloud.com/devg3-mrs/mrs_07_410160.md): 编写自定义的转化类实现Transformer。编写自定义的Schema实现SchemaProvider。在执行HoodieDeltaStreamer时加入参数：Transformer和SchemaProvider样例：
- [自定义排序器](https://support.huaweicloud.com/devg3-mrs/mrs_07_410161.md): 编写自定义排序类继承BulkInsertPartitioner，在写入Hudi时加入配置：自定义分区排序器样例：
- [配置Windows通过EIP访问集群Spark](https://support.huaweicloud.com/devg3-mrs/mrs_07_410163.md): 该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。本章节以运行SparkScalaExample样例为例进行说明。在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。具体操作请参见“虚拟私有云
- [常见jar包冲突处理方式](https://support.huaweicloud.com/devg3-mrs/mrs_07_410164.md): Spark能对接很多的第三方工具，因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带，这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致，在使用过程中就有可能出现jar包冲突的情况。常见的jar包冲突报错有：1、报错类找不到：java.lang.NoClassDefFoundError2、报错方法找不到：j
- [配置Spark Python3样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_410165.md): 为了运行MRS产品Spark2x组件的Python3接口样例代码，需要完成下面的操作。在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。Python 3.8.2 (default, Jun 23 2020, 10:26:03)
[GCC 4.8.5 20150623 (Red Hat
- [在本地Windows环境中编包并运行Spark程序](https://support.huaweicloud.com/devg3-mrs/mrs_07_410167.md): 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。下
- [在本地Windows环境中查看Spark程序调试结果](https://support.huaweicloud.com/devg3-mrs/mrs_07_410168.md): Spark应用程序运行完成后，可通过IntelliJ IDEA运行结果查看应用程序运行情况。运行结果会有如下成功信息：
- [Spark2x样例工程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_410177.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下Spark2x相关样例工程：Spark2x相关样例工程样例工程位置描述sparknor
- [准备Spark连接集群配置文件](https://support.huaweicloud.com/devg3-mrs/mrs_07_410178.md): 进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。场景一：准备本地Windows开发环境调测程序所需配置文件。登录FusionInsight Manager页面，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“仅配置文件”，根据待安装客户端节点的节点类型选择正确的平台类型后（x86选择
- [Storm应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_420002.md): Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。Storm有很多适用的场景：实时分析、在线机器学习、持续计算和分布式ETL等，易扩展、支持容错，可确保数据得到处理，易于构建和操控。Stor
- [Storm应用开发常用概念](https://support.huaweicloud.com/devg3-mrs/mrs_07_420003.md): Topology拓扑是一个计算流图。其中每个节点包含处理逻辑，而节点间的连线则表明了节点间的数据是如何流动的。Spout在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据，然后转换为Topology内部的源数据。Bolt在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作
- [Storm应用开发流程](https://support.huaweicloud.com/devg3-mrs/mrs_07_420004.md): 本文档主要基于Java API进行Storm拓扑的开发。开发流程中各阶段的说明如图1和表1所示：
- [准备Storm应用开发和运行环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_420007.md): 开发环境准备分为应用开发客户端和应用提交客户端；应用开发一般是在Windows环境下进行；应用提交一般是在Linux环境下进行。在进行二次开发时，要准备的开发和运行环境如表1所示：进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相
- [导入并配置Storm样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_420008.md): Storm客户端安装程序目录中包含了Storm开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。若要在Windows或Linux中未安装客户端时提交拓扑，则需要将“strea
- [Storm样例程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_420011.md): 通过典型场景，用户可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。一个动态单词统计系统，数据源为持续生产随机文本的逻辑单元，业务处理流程如下：数据源持续不断地发送随机文本给文本拆分逻辑，如“apple orange apple”。单词拆分逻辑将数据源发送的每条文本按空格进行拆分，如“apple”，“orange”，“
- [创建Storm Spout](https://support.huaweicloud.com/devg3-mrs/mrs_07_420013.md): Spout是Storm的消息源，它是Topology的消息生产者，一般来说消息源会从一个外部源读取数据并向Topology中发送消息（Tuple）。一个消息源可以发送多条消息流Stream，可以使用OutputFieldsDeclarer.declarerStream来定义多个Stream，然后使用SpoutOutputCollector
- [创建Storm Bolt](https://support.huaweicloud.com/devg3-mrs/mrs_07_420014.md): 所有的消息处理逻辑都被封装在各个Bolt中。Bolt包含多种功能：过滤、聚合等等。如果Bolt之后还有其他拓扑算子，可以使用OutputFieldsDeclarer.declareStream定义Stream，使用OutputCollector.emit来选择要发射的Stream。下面代码片段在com.huawei.storm.examp
- [创建Storm Topology](https://support.huaweicloud.com/devg3-mrs/mrs_07_420015.md): 一个Topology是Spouts和Bolts组成的有向无环图。应用程序是通过storm jar的方式提交，则需要在main函数中调用创建Topology的函数，并在storm jar参数中指定main函数所在类。下面代码片段在com.huawei.storm.example.wordcount包的“WordCountTopology”类
- [打包Storm样例工程应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_420017.md): 通过IntelliJ IDEA导出Jar包并指定导出jar包名称，比如storm-examples.jar。在IDEA界面右键单击“jdbc.properties”文件，选择“Copy Path/Reference > Absolute Path”，复制“jdbc.properties”文件路径。复制“jdbc.properties”文件
- [Linux下打包Storm业务](https://support.huaweicloud.com/devg3-mrs/mrs_07_420020.md): Storm支持在Linux环境下打包。用户可以将从IntelliJ IDEA中导出的Jar包和需要的其他相关Jar包上传到Linux环境中执行打包。已安装Storm客户端。已执行打包Storm样例工程应用。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
- [Windows下打包Storm业务](https://support.huaweicloud.com/devg3-mrs/mrs_07_420021.md): Storm支持在Windows环境下打包。打包业务的目的，是将IntelliJ IDEA代码生成的jar包与工程依赖的jar包，合并导出可提交的source.jar。打包需使用storm-jartool工具，可在Windows或Linux上进行。已执行打包Storm样例工程应用。
- [Linux中安装客户端时提交Storm拓扑](https://support.huaweicloud.com/devg3-mrs/mrs_07_420023.md): 在Linux环境下可以使用storm命令行完成拓扑的提交。已安装Storm客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。已执行打包Storm应用业务步骤，打出source.jar。如果业务设置为本地模式，且使用命令行方式提交时，请确保提交环境为普
- [Linux中未安装客户端时提交Storm拓扑](https://support.huaweicloud.com/devg3-mrs/mrs_07_420024.md): Storm支持拓扑在未安装Storm客户端的Linux环境中运行。客户端机器的时间与MRS集群的时间要保持一致，时间差要小于5分钟。当Linux环境所在主机不是集群中的节点时，需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。在Linux环境新建目录，例如“/opt/test”，并创建子目录“lib”和
- [在IDEA中提交Storm拓扑](https://support.huaweicloud.com/devg3-mrs/mrs_07_420025.md): Storm支持IntelliJ IDEA远程提交拓扑，目前样例代码中仅WordCountTopology支持远程提交，其他拓扑想实现远程提交，请参考WordCountTopology实现远程提交函数。已执行打包Storm样例工程应用。调整IntelliJ IDEA客户端机器时间，和Storm集群时间差不超过5分钟。确保本地的hosts文件
- [查看Storm应用调测结果](https://support.huaweicloud.com/devg3-mrs/mrs_07_420026.md): Storm应用程序运行完成后，可通过登录Storm WebUI查看应用程序的运行情况。在浏览器地址栏中输入访问地址，地址格式为“https://FusionInsight Manager系统的WebService浮动IP地址:28443/web”。例如，在IE浏览器地址栏中，输入“https://10.0.0.1:28443/web”。T
- [Storm-Kafka开发指引](https://support.huaweicloud.com/devg3-mrs/mrs_07_420028.md): 本文档主要说明如何使用Storm-Kafka工具包，完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能；KafkaBolt主要完成Storm向Kafka中写入数据的功能。本章节代码样例基于Kafka新API，对应IntelliJ ID
- [Storm-JDBC开发指引](https://support.huaweicloud.com/devg3-mrs/mrs_07_420030.md): 本文档主要说明如何使用开源Storm-JDBC工具包，完成Storm和JDBC之间的交互。Storm-JDBC中包含两类Bolt：JdbcInsertBolt和JdbcLookupBolt。其中，JdbcLookupBolt主要负责从数据库中查数据，JdbcInsertBolt主要向数据库中存数据。当然，JdbcLookupBolt和Jd
- [Storm-HDFS开发指引](https://support.huaweicloud.com/devg3-mrs/mrs_07_420031.md): 本章节只适用于Storm和HDFS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。在安装好的HDFS客户端目录下找到目录“/opt/clientHDFS/HDFS/hadoop/etc/hadoop”，在该目录下获取到配置文件“core-site.xml”和“hdfs-site.xml”。在安装好的HDFS客户端目录下找到
- [Storm-HBase开发指引](https://support.huaweicloud.com/devg3-mrs/mrs_07_420032.md): 本章节只适用于Storm和HBase交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。在安装好的HBase客户端目录下找到目录“/opt/clientHbase/HBase/hbase/conf”，在该目录下获取到core-site.xml、hdfs-site.xml、hbase-site.xml配置文件。在安装好的HBas
- [Storm Flux开发指引](https://support.huaweicloud.com/devg3-mrs/mrs_07_420034.md): 本章节只适用于Storm组件使用Flux框架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。Flux框架是Storm提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm jar命令来提交拓扑的一种方式，极大地方便了拓扑的部署和提交，缩短了业务开发周期。
- [Storm对外接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_420035.md): Storm-HDFS采用的接口同开源社区版本保持一致，详情参见：https://github.com/apache/storm/tree/v1.2.1/external/storm-hdfs。Storm-HBase采用的接口同开源社区版本保持一致，详情参见：https://github.com/apache/storm/tree/v1.2
- [如何使用IDEA远程调试业务](https://support.huaweicloud.com/devg3-mrs/mrs_07_420037.md): 使用Storm客户端提交了业务之后，如何使用IDEA远程调试业务？以调试WordCount程序为例，演示如何进行IDEA的远程调试：调试Storm程序需要先修改指定的服务端参数，并在重启服务后生效，建议在测试环境上进行调测。其中Host为获取的Worker运行的主机IP地址，Port为调试的端口号（确保该端口在运行机器上没被占用）。当改变
- [使用旧插件storm-kafka时如何正确设置offset](https://support.huaweicloud.com/devg3-mrs/mrs_07_420038.md): 当前虽然默认推荐使用storm-kafka-client插件进行安全kafka对接，但仍然存在使用旧插件storm-kafka的用户和场景，在这种场景下如何正确指定消费的offset，避免每次重启拓扑后都从头开始消费？旧插件storm-kafka中的KafkaSpout使用的是Kafka的SimpleConsumer接口，需要自主管理of
- [IntelliJ IDEA中远程提交拓扑执行Main时报错：Command line is too long](https://support.huaweicloud.com/devg3-mrs/mrs_07_420039.md): IntelliJ IDEA中远程提交拓扑，执行Main方法时IntelliJ IDEA报如下错 ：Command line is too long. Shorten command line for ServiceStarter or also for Application default configuration.
- [YARN应用开发简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_430001.md): Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce框架设计的不足，在原MapReduce框架上进行修
- [YARN Command介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_430003.md): 您可以使用YARN Commands对YARN集群进行一些操作，例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。完整和详细的Command描述可以参考官网文档：https://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-y
- [YARN Java API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_430004.md): 关于YARN的详细API可以直接参考官方网站上的描述：https://hadoop.apache.org/docs/r3.1.1/api/index.htmlYARN常用的Java类有如下几个。ApplicationClientProtocol用于Client与ResourceManager之间。Client通过该协议可实现将应用程序提交
- [YARN REST API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_430005.md): 通过HTTP REST API来查看更多Yarn任务的信息。目前Yarn的REST接口只能进行一些资源或者任务的查询。完整和详细的接口请直接参考官网上的描述以了解其使用：https://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/WebServicesIntro.h
- [Superior Scheduler REST API接口介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_430006.md): REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:portasSS_REST_SERVER.的形式指示YARN。下面使用HTTP作为URL的一部分，并且只有HTTP将得到支持。查询Application查询scheduler engine中的所有 
- [ClickHouse简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_460002.md): ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。ClickHouse的设计优点：数据压缩比高多核并行计算向量化计算引擎支持嵌套数据结构支持稀疏索引支持数据Insert和UpdateClickHouse的应用场景：实时数仓场景使
- [ClickHouse应用开发常用概念](https://support.huaweicloud.com/devg3-mrs/mrs_07_460003.md): clustercluster（集群）在ClickHouse里是一种逻辑的概念，它可以由用户根据需要自由地定义，与通常理解的集群有一定的差异。多个ClickHouse节点之间是一种松耦合的关系，各自独立存在。cluster（集群）在ClickHouse里是一种逻辑的概念，它可以由用户根据需要自由地定义，与通常理解的集群有一定的差异。多个Cl
- [ClickHouse应用开发流程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_460004.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备ClickHouse应用开发环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_460006.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。
- [导入并配置ClickHouse样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_460007.md): 获取ClickHouse开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。确保本地环境的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。已准备开发环境及MRS集群相关配置文件，详情请参考准备ClickHouse应用运行环境。Cli
- [配置ClickHouse连接属性](https://support.huaweicloud.com/devg3-mrs/mrs_07_460012.md): 在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置连接属性，如下样例代码设置socket超时时间为60s。如果导入并配置ClickHouse样例工程中的“clickhouse-example.properties”配置文件中“sslUsed”参数配置为“
- [建立ClickHouse连接](https://support.huaweicloud.com/devg3-mrs/mrs_07_460013.md): 本章节介绍建立ClickHouse连接样例代码。以下代码片段在“ClickhouseJDBCHaDemo”类的initConnection方法中。在创建连接时传入表1中配置的user和password作为认证凭据，ClickHouse会带着用户名和密码在服务端进行安全认证。
- [创建ClickHouse库](https://support.huaweicloud.com/devg3-mrs/mrs_07_460014.md): 本章节介绍创建ClickHouse库样例代码。以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的createDatabase方法中。通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。private void createDatabase(Strin
- [创建ClickHouse表](https://support.huaweicloud.com/devg3-mrs/mrs_07_460015.md): 本章节介绍创建ClickHouse表样例代码。以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的createTable方法中。通过on cluster语句在集群中创建表1中tableName参数值为表名的ReplicatedMerge表和Distributed表。
- [插入ClickHouse数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_460016.md): 本章节介绍插入ClickHouse数据样例代码。以下代码片段在com.huawei.clickhouse.examples包的“Demo”类中。创建ClickHouse表创建的表具有三个字段，分别是String、UInt8和Date类型。
- [查询ClickHouse数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_460017.md): 本章节介绍查询ClickHouse数据样例代码。查询语句1：querySql1查询创建ClickHouse表创建的tableName表中任意10条数据；查询语句2：querySql2通过内置函数对创建ClickHouse表创建的tableName表中的日期字段取年月后进行聚合。以下代码片段在com.huawei.clickhouse.ex
- [删除ClickHouse表](https://support.huaweicloud.com/devg3-mrs/mrs_07_460018.md): 本章节介绍删除ClickHouse表样例代码。以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的dropTable方法中。用于删除在创建ClickHouse表中创建的副本表和分布式表。
- [在本地Windows环境中调测ClickHouse应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_460021.md): 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run 'Demo'”运行应用程序工程。ClickHouse应用程序运行完成后，可通过以下方式查看程序运行情况：通过运行结果查看程序运
- [在Linux环境中调测ClickHouse应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_460022.md): ClickHouse应用程序支持在Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。Linux环境已安装JDK，版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致，并设置好Java环境变量。进入IntelliJ IDEA，选择“File > Project Structu
- [ClickHouse样例工程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_460023.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地解压，即可获取各组件对应的样例代码工程。当前MRS提供以下ClickHouse相关样例工程：
- [准备ClickHouse应用运行环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_460024.md): 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件，可从已创建好的MRS集群中获取相关内容。用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。场景一：准备本地Windows开发环境调测程序所需配置文件。登录FusionInsight Manager页面，
- [ClickHouse简介](https://support.huaweicloud.com/devg3-mrs/mrs_07_480003.md): ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。ClickHouse的设计优点：数据压缩比高多核并行计算向量化计算引擎支持嵌套数据结构支持稀疏索引支持数据Insert和UpdateClickHouse的应用场景：实时数仓场景使
- [ClickHouse应用开发常用概念](https://support.huaweicloud.com/devg3-mrs/mrs_07_480004.md): clustercluster（集群）在ClickHouse里是一种逻辑的概念，它可以由用户根据需要自由地定义，与通常理解的集群有一定的差异。多个ClickHouse节点之间是一种松耦合的关系，各自独立存在。cluster（集群）在ClickHouse里是一种逻辑的概念，它可以由用户根据需要自由地定义，与通常理解的集群有一定的差异。多个Cl
- [ClickHouse应用开发流程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_480005.md): 开发流程中各阶段的说明如ClickHouse应用程序开发流程和表1所示。
- [准备ClickHouse应用开发环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_480007.md): 在进行应用开发时，要准备的开发和运行环境如表1所示。
- [导入并配置ClickHouse样例工程](https://support.huaweicloud.com/devg3-mrs/mrs_07_480008.md): 获取ClickHouse开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。确保本地环境的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。已准备开发环境及MRS集群相关配置文件，详情请参考准备ClickHouse应用运行环境。Cli
- [ClickHouse应用程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_480010.md): 通过典型场景，用户可以快速学习和掌握ClickHouse的开发过程，并且对关键的接口函数有所了解。ClickHouse可以使用SQL进行常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。本代码样例讲解顺序为：设置属性建立连接创建库创建表插入数据查询数据删除表ClickHouse作
- [配置ClickHouse连接属性](https://support.huaweicloud.com/devg3-mrs/mrs_07_480012.md): 在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置连接属性，如下样例代码设置socket超时时间为60s。如果导入并配置ClickHouse样例工程中的“clickhouse-example.properties”配置文件中“sslUsed”参数配置为“
- [ClickHouse应用程序开发思路](https://support.huaweicloud.com/devg3-mrs/mrs_07_480012_0.md): 通过典型场景，用户可以快速学习和掌握ClickHouse的开发过程，并且对关键的接口函数有所了解。ClickHouse可以使用SQL进行常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。本代码样例讲解顺序为：设置属性建立连接创建库创建表插入数据查询数据删除表ClickHouse作
- [建立ClickHouse连接](https://support.huaweicloud.com/devg3-mrs/mrs_07_480014.md): 本章节介绍建立ClickHouse连接样例代码。以下代码片段在“ClickhouseJDBCHaDemo”类的initConnection方法中。在创建连接时传入表1中配置的user和password作为认证凭据，ClickHouse会带着用户名和密码在服务端进行安全认证。clickHouseProperties.setPassword(
- [创建ClickHouse数据库](https://support.huaweicloud.com/devg3-mrs/mrs_07_480015.md): 本章节介绍创建ClickHouse数据库样例代码。以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的createDatabase方法中。通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。private void createDatabase(Str
- [创建ClickHouse表](https://support.huaweicloud.com/devg3-mrs/mrs_07_480016.md): 本章节介绍创建ClickHouse表样例代码。以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的createTable方法中。通过on cluster语句在集群中创建表1中tableName参数值为表名的ReplicatedMerge表和Distributed表。
- [插入ClickHouse数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_480017.md): 本章节介绍插入ClickHouse数据样例代码。以下代码片段在com.huawei.clickhouse.examples包的“Demo”类中。创建ClickHouse表创建的表具有三个字段，分别是String、UInt8和Date类型。
- [查询ClickHouse数据](https://support.huaweicloud.com/devg3-mrs/mrs_07_480018.md): 本章节介绍查询ClickHouse数据样例代码。查询语句1：querySql1查询创建ClickHouse表创建的tableName表中任意10条数据；查询语句2：querySql2通过内置函数对创建ClickHouse表创建的tableName表中的日期字段取年月后进行聚合。以下代码片段在com.huawei.clickhouse.ex
- [删除ClickHouse表](https://support.huaweicloud.com/devg3-mrs/mrs_07_480019.md): 本章节介绍删除ClickHouse表样例代码。以下代码片段在com.huawei.clickhouse.examples包的“Demo”类的dropTable方法中。用于删除在创建ClickHouse表中创建的副本表和分布式表。
- [在本地Windows环境中调测ClickHouse应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_480021.md): 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run 'Demo'”运行应用程序工程。ClickHouse应用程序运行完成后，可通过以下方式查看程序运行情况：通过运行结果查看程序运
- [在Linux环境中调测ClickHouse应用](https://support.huaweicloud.com/devg3-mrs/mrs_07_480022.md): ClickHouse应用程序也支持在Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。Linux环境已安装JDK，版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致，并设置好Java环境变量。进入IntelliJ IDEA，选择“File > Project Struct
- [ClickHouse样例工程介绍](https://support.huaweicloud.com/devg3-mrs/mrs_07_480024.md): MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地解压，即可获取各组件对应的样例代码工程。当前MRS提供以下ClickHouse相关样例工程：
- [准备ClickHouse应用运行环境](https://support.huaweicloud.com/devg3-mrs/mrs_07_480025.md): 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。以下ClickHouse权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。填写角色的名称，例如developrole，单击“确定”保存角色。在“配置资源权限”的表格中选择“待操作集群的名称 > ClickHouse > Clickhous

## 计费说明

- [计费概述](https://support.huaweicloud.com/price-mrs/mrs_12_000001.md): 通过阅读本文，您可以快速了解MRS（MapReduce服务）的计费模式、计费项、续费、欠费等主要计费信息。计费模式MRS当前支持包年/包月和按需计费模式。包年/包月是一种预付费模式，即先付费再使用，按照订单的购买周期进行结算，因此在购买之前，用户必须确保账户余额充足。按需计费是一种后付费模式，即先使用再付费，按照MRS集群实际使用时长计费
- [计费模式概述](https://support.huaweicloud.com/price-mrs/mrs_12_000003.md): MRS当前支持包年/包月和按需计费模式，以满足不同场景下的用户需求。包年/包月：根据集群购买时长，一次性支付集群费用。最短时长为1个月，最长时长为1年。按需计费：节点按实际使用时长计费，计费周期为一小时。表1列出了两种计费模式的区别。
- [包年/包月](https://support.huaweicloud.com/price-mrs/mrs_12_000004.md): 包年/包月是一种先付费再使用的计费模式，适用于对资源需求稳定且希望降低成本的用户。本文将介绍包年/包月MRS集群资源的计费规则。包年/包月计费模式需要用户预先支付一定时长的费用，适用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景：用户基于业务需求可预估资源使用周期。具有较稳定的业务场景。需要长期使用资源。包年/包月M
- [按需计费](https://support.huaweicloud.com/price-mrs/mrs_12_000005.md): 按需计费是一种先使用再付费的计费模式，适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费MRS集群的计费规则。集群用于前期程序研发或功能测试。资源使用有临时性和突发性。按需计费MRS集群按秒计费，每一个小时整点结算一次费用（以UTC+8时间为准），结算完毕后进入新的计费周期。MRS服务管理费用计费的起点以购买的MRS集群启动成功的时
- [计费项](https://support.huaweicloud.com/price-mrs/mrs_12_000006.md): MRS集群的计费项由MRS集群服务管理费用和IaaS基础设施资源费用（弹性云服务器 ECS、云硬盘 EVS）组成。具体内容如表1所示。IaaS基础设施资源费用由弹性云服务器、云硬盘对应的资源产生，如需使用代金券支付MRS相关费用，涉及代金券和商务折扣申请需要同时覆盖MRS、ECS、EVS服务。
- [计费样例](https://support.huaweicloud.com/price-mrs/mrs_12_000007.md): 某用户于2023/03/18 15:30:00购买了一个按需计费的MRS普通版分析集群，规格配置如下：master_node_default_group节点组（简称Master节点组）：节点个数：3节点规格：c6.2xlarge.2（8vCPUs，16GB）系统盘：超高IO，480GB数据盘：超高IO，600GB节点个数：3节点规格：c6
- [变更计费模式概述](https://support.huaweicloud.com/price-mrs/mrs_12_000009.md): 在购买MRS集群后，如果发现当前计费模式无法满足业务需求，您可以变更集群的计费模式，对应的IaaS基础设施资源费用同步变更。MRS仅支持将按需计费集群转为包年/包月集群，支持该变更计费模式的MRS计费项如表1所示。将MRS集群的计费模式从按需计费转为包年/包月，可以让您享受一定程度的价格优惠。
- [按需转包年/包月](https://support.huaweicloud.com/price-mrs/mrs_12_000010.md): 如果您需要长期使用当前按需购买的MRS集群，可以将该MRS集群转为包年/包月计费模式，以节省开支。按需计费变更为包年/包月会生成新的订单，用户支付订单后，包年/包月资源将立即生效。假设用户于2023/06/18 15:29:16购买了一个按需计费的MRS集群，由于业务需要，于2023/06/18 16:30:30执行按需转包年/包月操作，
- [续费概述](https://support.huaweicloud.com/price-mrs/mrs_12_000012.md): 包年/包月MRS集群到期后会影响云服务器正常运行。如果您想继续使用，需要在指定的时间内为MRS集群续费，否则集群将终止服务，系统中的数据也将被永久删除。续费操作仅适用于包年/包月MRS集群，按需计费MRS集群不需要续费，只需要保证账户余额充足即可。MRS集群在到期前续费成功，所有资源得以保留，且MRS集群的运行不受影响。MRS集群到期后的
- [手动续费](https://support.huaweicloud.com/price-mrs/mrs_12_000013.md): 包年/包月MRS从购买到被自动删除之前，您可以随时在MRS控制台为集群续费，以延长集群的使用时间。如果您持有多个到期日不同的MRS集群，或者您的MRS集群和其上挂载的云硬盘到期日不同，可以将到期日统一设置到一个日期，便于日常管理和续费。图2展示了用户将两个不同时间到期的资源，同时续费一个月，并设置“统一到期日”后的效果对比。更多关于统一到
- [自动续费](https://support.huaweicloud.com/price-mrs/mrs_12_000014.md): 自动续费可以减少手动续费的管理成本，避免因忘记手动续费而导致MRS集群被自动删除。自动续费的规则如下所述：以MRS集群的到期日计算第一次自动续费日期和计费周期。MRS集群自动续费周期根据您开通自动续费的途径不同，遵循不同的规则。在MRS集群到期前均可开通自动续费，到期前7日凌晨3:00首次尝试自动续费，如果扣款失败，每天凌晨3:00尝试一
- [费用账单](https://support.huaweicloud.com/price-mrs/mrs_12_000015.md): 您可以在管理控制台选择页面上方的“费用 > 费用账单”，进入费用中心，在“账单管理”查看资源的费用账单，以了解该资源在某个时间段的使用量和计费信息。包年/包月计费模式的资源完成支付后，会实时上报一条账单到计费系统进行结算。按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据使用量类型的不同，分为按小时、按天、按
- [欠费说明](https://support.huaweicloud.com/price-mrs/mrs_12_000016.md): 用户在使用MRS时，账户的可用额度小于待结算的账单，即被判定为账户欠费。欠费后，可能会影响MRS集群的正常运行，请及时充值。已购买按需计费的MRS集群，因持续性周期扣款而导致账户的余额不足。删除按需计费的MRS集群后，因存在未删除的关联资源（如EIP）持续扣费而导致账户的余额不足。包年/包月对于包年/包月MRS集群资源，用户已经预先支付了
- [停止计费](https://support.huaweicloud.com/price-mrs/mrs_12_000017.md): 对于包年/包月计费模式的资源，例如包年/包月的MRS集群，用户在购买时会一次性付费，服务将在到期后自动停止使用。如果在计费周期内不再使用包年/包月资源，您可以执行退订操作，系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订。如果您已开启“自动续费”功能，为避免继续产生费
- [成本管理](https://support.huaweicloud.com/price-mrs/mrs_12_000018.md): 随着上云企业越来越多，企业对用云成本问题也越发重视。使用MRS时，如何进行成本管理，减轻业务负担呢？本文将从成本构成、成本分配、成本分析和成本优化四个维度介绍成本管理，帮助您通过成本管理节约成本，在保障业务快速发展的同时获得最大成本收益。使用MRS集群时，成本主要包括两个方面：资源成本：各类资源和资源包的成本，这取决于MRS的计费项，详细
- [创建MRS集群时计价器为什么未显示价格？](https://support.huaweicloud.com/price-mrs/mrs_12_000020.md): 创建MRS集群时计价器为什么未显示价格？只选择磁盘个数，没有选择集群虚拟机实例个数时，产品报价是不会产生收费的；需要客户选择实例个数，产品报价会在浏览器下方即时显示出来。
- [MapReduce服务集群的Task节点如何收费？](https://support.huaweicloud.com/price-mrs/mrs_12_000021.md): MapReduce服务集群的Task节点如何收费？包年/包月集群和按需计费集群的Task节点的计费模式都是按需计费，即按实际使用时长计费，计费周期为一小时。
- [退订MRS服务后，在ECS中退订弹性云服务器时报异常如何处理？](https://support.huaweicloud.com/price-mrs/mrs_12_000022.md): 退订MRS服务后，在ECS中退订弹性云服务器时报异常如何处理？在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。在ECS控制台上找到需要退订的服务器单击MRS使用中将机器进行解锁。再次单击退订。若依然显示退订异常，请收集弹性云服务器的ID并联系华为云支持人员。

## 快速入门

- [快速创建和使用Hadoop离线数据分析集群](https://support.huaweicloud.com/qs-mrs/mrs_09_0001.md): 本入门提供从零开始创建Hadoop离线数据分析集群并通过集群客户端提交一个wordcount作业的操作指导。wordcount是最经典的Hadoop作业，用于统计海量文本的单词数量。Hadoop集群完全使用开源Hadoop生态，采用Yarn管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算及进行海量数据分析与查询的能力。
- [快速创建和使用Kafka流式数据处理集群](https://support.huaweicloud.com/qs-mrs/mrs_09_0002.md): 本入门提供从零开始创建流式分析集群并在Kafka主题中产生和消费消息的操作指导。Kafka集群提供一个高吞吐量、可扩展性的消息系统，广泛用于日志收集、监控数据聚合等场景。Kafka可实现高效的流式数据采集、实时数据处理存储等。开始使用如下样例前，请务必按准备工作指导完成必要操作。创建MRS集群：创建一个MRS 3.2.0-LTS.1版本的
- [快速创建和使用启用安全认证的MRS集群](https://support.huaweicloud.com/qs-mrs/mrs_09_0003.md): 本入门提供从零开始创建开启Kerberos认证的Hadoop分析集群并通过集群客户端提交一个wordcount作业的操作指导。wordcount是最经典的Hadoop作业，用于统计海量文本的单词数量。Hadoop集群完全使用开源Hadoop生态，采用Yarn管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算及进行海量数据
- [快速创建和使用HBase离线数据查询集群](https://support.huaweicloud.com/qs-mrs/mrs_09_0006.md): 本入门提供从零开始创建未开启Kerberos认证的HBase查询集群并通过集群客户端进行HBase表的创建与查询操作指导。HBase集群使用Hadoop和HBase组件提供一个稳定可靠、性能优异、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松
- [快速创建和使用ClickHouse列式数据库集群](https://support.huaweicloud.com/qs-mrs/mrs_09_0009.md): 本入门提供从零开始创建ClickHouse集群并通过集群客户端进行ClickHouse表的创建与查询操作指导。ClickHouse是一款开源的面向联机分析处理的列式数据库，独立于Hadoop大数据体系，具有压缩率和极速查询性能。开始使用如下样例前，请务必按准备工作指导完成必要操作。创建MRS集群：自定义创建一个MRS 3.2.0-LTS.
- [入门实践](https://support.huaweicloud.com/qs-mrs/mrs_09_0014.md): 当完成MRS集群部署后，可以根据自身的业务需求使用MRS提供的一系列常用实践。

## 用户指南

- [ALM-12001 审计日志转储失败](https://support.huaweicloud.com/usermanual-mrs/ALM-12001.md): 根据本地历史数据备份策略，集群的审计日志需要转储到第三方服务器上。系统每天凌晨3点开始周期性检测转储服务器，如果转储服务器满足配置条件，审计日志可以成功转储。审计日志转储失败，系统产生此告警。如果第三方服务器的转储目录磁盘空间不足，或者用户修改了转储服务器的用户名、密码或转储目录，将会导致审计日志转储失败。系统本地最多只能保存50个转储文
- [ALM-12004 OLdap资源异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12004.md): 系统按60秒周期检测Ldap资源，当连续6次监控到Manager中的Ldap资源异常时，系统产生此告警。当Manager中的Ldap资源恢复，且告警处理完成时，告警恢复。MRS 3.3.1及之后版本，告警名称从“Oldap资源异常”变成“Manager Oldap资源异常”。可能引起Manager主备倒换。Manager和组件WebUI认
- [ALM-12005 OKerberos资源异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12005.md): 告警模块对Manager中的Kerberos资源的状态按80秒周期进行监控，当连续6次监控到Kerberos资源异常时，系统产生此告警。当Kerberos资源恢复时，且告警处理完成时，告警恢复。MRS 3.3.1及之后版本，告警名称从“OKerberos资源异常”变成“Manager OKerberos资源异常”。Manager中的Ker
- [ALM-12006 节点故障](https://support.huaweicloud.com/usermanual-mrs/ALM-12006.md): Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳，则尝试重启该NodeAgent进程，如果连续三次重启失败，产生该告警。当Controller可以正常接收时，告警恢复。MRS 3.3.0及之后版本，该告警名称变更为“NodeAgent进程异常”。NodeAgent代理
- [ALM-12007 进程故障](https://support.huaweicloud.com/usermanual-mrs/ALM-12007.md): 进程健康检查模块按5秒周期检测进程状态。当进程健康检查模块连续三次检测到进程连接状态为故障时，产生该告警。当进程连接正常时，告警恢复。根据告警的定位信息查看是哪个实例进程故障，不同的实例故障会产生不同的影响。例如HDFS下的实例故障时会分别产生如下影响：DataNode：如果一个DataNode实例故障，客户端的读写操作将无法访问该Dat
- [ALM-12010 Manager主备节点间心跳中断](https://support.huaweicloud.com/usermanual-mrs/ALM-12010.md): 当主Manager节点在7秒内没有收到备Manager节点的心跳信号时，产生该告警。当主Manager节点收到备Manager节点的心跳信号后，告警恢复。如果主Manager进程资源异常，主备倒换无法进行，影响运维基本功能使用。主备Manager节点间链路异常。节点名配置错误。防火墙禁用端口。检查主备Manager服务器间的网络是否正常。
- [ALM-12011 Manager主备节点同步数据异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12011.md): 系统按60秒周期检测Manager主备节点同步数据情况，当备Manager无法与主Manager同步文件时，产生该告警。当备Manager与主Manager正常同步文件时，告警恢复。备Manager的配置文件没有更新。当发生主备倒换时，同步异常的配置文件可能会丢失。Manager及部分组件可能无法正常运行。主备Manager节点间链路中断
- [ALM-12012 NTP服务异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12012.md): 系统每60s检查一次节点NTP服务与主OMS节点NTP服务是否正常同步时间，连续两次检测NTP服务未同步上时产生该告警。若正常同步，当节点NTP服务与主OMS节点NTP服务时间偏差连续两次大于等于20s时产生该告警；当节点NTP服务与主OMS节点NTP服务时间偏差小于20s时恢复该告警。该节点的时间与集群其他节点的时间不同步，可能会导致该
- [ALM-12014 设备分区丢失](https://support.huaweicloud.com/usermanual-mrs/ALM-12014.md): 系统按60秒周期进行扫描，如果检测到挂载服务目录的设备分区丢失（如由于设备拔出、设备离线、删除分区等原因）时，产生此告警。数据丢失：设备分区丢失，可能导致客户保存在这个分区上的数据丢失。系统崩溃：如果丢失的是系统盘可能导致客户此节点系统运行异常，严重时导致系统崩溃无法正常开机运行。业务失败：如果丢失的设备分区上会进行组件的业务读写操作，可
- [ALM-12015 设备分区文件系统只读](https://support.huaweicloud.com/usermanual-mrs/ALM-12015.md): 系统按60秒周期进行扫描，如果检测到挂载服务目录的设备分区变为只读模式（如设备有坏扇区、文件系统存在故障等原因），则触发此告警。系统如果检测到挂载服务目录的设备分区的只读模式消失（比如文件系统修复为读写模式、设备拔出、设备被重新格式化等原因），则告警恢复。业务失败：如果运行的作业需要修改这个只读的设备分区上的数据，可能会导致作业运行失败。
- [ALM-12016 CPU使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12016.md): 系统每30秒周期性检测CPU使用率，并把实际CPU使用率和阈值相比较。CPU使用率默认提供一个阈值范围。当检测到CPU使用率连续多次（可配置，默认值为10）超出阈值范围时产生该告警。平滑次数为1，CPU使用率小于或等于阈值时，告警恢复；平滑次数大于1，CPU使用率小于或等于阈值的90%时，告警恢复。业务延迟：主机CPU使用率过高时，可能会
- [ALM-12017 磁盘容量不足](https://support.huaweicloud.com/usermanual-mrs/ALM-12017.md): 系统每30秒周期性检测磁盘使用率，并把磁盘使用率和阈值相比较。磁盘使用率有一个默认阈值，当检测到磁盘使用率超过阈值时产生该告警。平滑次数为1，主机磁盘某一分区使用率小于或等于阈值时，告警恢复；平滑次数大于1，主机磁盘某一分区使用率小于或等于阈值的90%时，告警恢复。磁盘容量不足时，如果需要修改或使用该磁盘上的数据，可能会导致作业运行失败。
- [ALM-12018 内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12018.md): 系统每30秒周期性检测内存使用率，并把实际内存使用率和阈值相比较。内存使用率默认提供一个阈值范围。当检测到内存使用率超出阈值范围时产生该告警。平滑次数为1，主机内存使用率小于或等于阈值时，告警恢复；平滑次数大于1，主机内存使用率小于或等于阈值的90%时，告警恢复。业务延迟： 主机内存使用率过高时，可能会导致业务进程运行处理缓慢、业务延迟。
- [ALM-12027 主机PID使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12027.md): 系统每30秒周期性检测PID使用率，并把实际PID使用率和阈值进行比较，PID使用率默认提供一个阈值。当检测到PID使用率超出阈值时产生该告警。平滑次数为1，主机PID使用率小于或等于阈值时，告警恢复；平滑次数大于1，主机PID使用率小于或等于阈值的90%时，告警恢复。业务失败：主机PID使用率过高时，无法分配PID给新的业务进程，可能会
- [ALM-12028 主机D状态和Z状态进程数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12028.md): 系统每30秒周期性检测主机中omm用户D状态和Z状态进程数，并把实际进程数和阈值相比较。主机D状态和Z状态进程数默认提供一个阈值范围。当检测到进程数超出阈值范围时产生该告警。平滑次数为1，主机中omm用户D状态和Z状态进程总数小于或等于阈值时，告警恢复；平滑次数大于1，主机中omm用户D状态和Z状态进程总数小于或等于阈值的90%时，告警恢
- [ALM-12033 慢盘故障](https://support.huaweicloud.com/usermanual-mrs/ALM-12033.md): MRS 3.3.0及之后版本、MRS 3.1.0.0.10/3.1.5.0.3及之后补丁版本：对于HDD盘，满足以下任意条件时触发告警：系统默认每3秒采集一次数据，在30秒内至少7个采集周期的svctm时延达到1000ms。系统默认每3秒采集一次数据，在300秒内至少50%次采集到的svctm时延达到150ms。系统默认每3秒采集一次数据
- [ALM-12034 周期备份任务失败](https://support.huaweicloud.com/usermanual-mrs/ALM-12034.md): 系统每60分钟执行周期备份任务，如果周期备份任务执行失败，则上报该告警，如果下次备份执行成功，则恢复告警。周期备份任务失败，会导致在备份失败的时间段内没有可用的备份包。在系统出现异常需要使用备份包恢复数据时，没有失败时间段的备份包，导致失败时间段数据无法恢复。该告警产生原因依赖于该任务的详细情况，直接获取日志和任务详情来处理该告警。查看磁
- [ALM-12035 恢复任务失败后数据状态未知](https://support.huaweicloud.com/usermanual-mrs/ALM-12035.md): 执行恢复任务失败后，系统按60分钟周期自动回滚，如果回滚失败，可能会导致数据丢失等问题，如果该情况出现，则上报告警，如果下一次该任务恢复成功，则恢复告警。执行恢复任务失败后，系统会自动回滚，如果回滚失败，可能会导致数据丢失，数据状态未知等问题，有可能会影响业务功能。该告警产生原因可能是执行恢复任务前组件状态不满足要求或执行恢复任务中某个步
- [ALM-12037 NTP服务器异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12037.md): 系统每60秒周期性检测NTP服务器的状态，当连续10次监控到NTP服务器异常时产生该告警。当NTP服务器异常消除时，该告警恢复。主OMS节点配置的NTP服务器异常，可能会导致主OMS节点与外部服务器不能同步时间，集群时间可能会产生误差。时差超过5分钟以上时会导致集群外客户端到集群内认证异常，可能会导致作业运行失败。NTP服务器网络异常。与
- [ALM-12038 监控指标转储失败](https://support.huaweicloud.com/usermanual-mrs/ALM-12038.md): 用户在FusionInsight Manager界面配置监控指标转储后，系统按转储时间间隔（默认60秒）周期性检测监控指标转储结果，转储失败时产生该告警。转储成功后，告警恢复。监控指标转储失败会影响上层管理系统无法获取到FusionInsight Manager系统的监控指标。无法连接服务器。无法访问服务器上保存路径。上传监控指标文件失败
- [ALM-12039 OMS数据库主备不同步](https://support.huaweicloud.com/usermanual-mrs/ALM-12039.md): OMS数据库主备不同步，系统每10秒检查一次主备数据同步状态，如果连续30次查不到同步状态，或者同步状态异常，产生告警。当主备数据同步状态正常，告警恢复。OMS数据库主备不同步会导致主数据库上的数据无法正常同步至备数据库，在告警上报时间段若主实例异常可能会导致用户业务数据丢失或者Manager页面数据显示异常。主备节点网络不稳定。备OMS
- [ALM-12040 系统熵值不足](https://support.huaweicloud.com/usermanual-mrs/ALM-12040.md): MRS 3.2.0及之后版本：系统每五分钟执行一次告警检查，首先检查是否启用并正确配置了rng-tools或者haveged工具，如果没有配置，则发送故障告警。否则继续检查熵值，如果连续五次检测结果均小于100，则上报故障告警。当检测到节点已经安装并启用了rng-tools或者haveged工具，且五次熵值检查中，至少有一次熵值大于等于1
- [ALM-12041 关键文件权限异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12041.md): 系统每隔5分钟检查一次系统中关键目录或者文件权限、用户、用户组是否正常，如果不正常，则上报故障告警。当检查到权限等均正常，则告警恢复。导致系统功能不可用。okerberos、oldap关键文件权限异常，会导致认证失败，可能会导致作业运行失败。controller、pms关键文件权限异常，会导致进程故障，可能会影响弹性扩缩容性能。tomca
- [ALM-12042 关键文件配置异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12042.md): 系统每隔5分钟检查一次系统中关键的配置是否正确，如果不正常，则上报故障告警。当检查到配置正确时，则告警恢复。导致文件所属服务功能不正常。okerberos、oldap关键文件配置异常，会导致认证失败，可能会导致作业运行失败。controller、pms关键文件配置异常，会导致进程故障，可能会影响弹性扩缩容性能。tomcat关键文件配置异常
- [ALM-12043 DNS解析时长超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12043.md): 系统每30秒周期性检测DNS解析时长，并把DNS解析时长和阈值（系统默认阈值1000ms）进行比较，当检测到DNS解析时长连续多次（默认值为6）超过阈值时产生该告警。平滑次数为1，DNS解析时长小于或等于阈值时，告警恢复；平滑次数大于1，DNS解析时长小于等于阈值的90%时，告警恢复。本章节仅适用于MRS 3.6.0-LTS.1及之后版本
- [ALM-12045 网络读包丢包率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12045.md): 系统每30秒周期性检测网络读包丢包率，并把实际丢包率和阈值进行比较，当检测到网络读包丢包率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读包丢包率”修改阈值。平滑次数为1，网络读包丢包率小于或等于阈值时，告警恢复；平滑次数大于1，网络读包丢包率小于
- [ALM-12046 网络写包丢包率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12046.md): 系统每30秒周期性检测网络写包丢包率，并把实际丢包率和阈值进行比较，当检测到网络写包丢包率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络写信息 > 写包丢包率”修改阈值。平滑次数为1，网络写包丢包率小于或等于阈值时，告警恢复；平滑次数大于1，网络写包丢包率小于
- [ALM-12047 网络读包错误率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12047.md): 系统每30秒周期性检测网络读包错误率，并把实际错误率和阈值进行比较，当检测到网络读包错误率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读包错误率”修改阈值。平滑次数为1，网络读包错误率小于或等于阈值时，告警恢复；平滑次数大于1，网络读包错误率小于
- [ALM-12048 网络写包错误率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12048.md): 系统每30秒周期性检测网络写包错误率，并把实际错误率和阈值进行比较，当检测到网络写包错误率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络写信息 > 写包错误率”修改阈值。平滑次数为1，网络写包错误率小于或等于阈值时，告警恢复；平滑次数大于1，网络写包错误率小于
- [ALM-12049 网络读吞吐率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12049.md): 系统每30秒周期性检测网络读吞吐率，并把实际吞吐率和阈值（系统默认阈值80%）进行比较，当检测到网络读吞吐率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读吞吐率”修改阈值。平滑次数为1，网络读吞吐率小于或等于阈值时，告警恢复；平滑次数大于1，网络
- [ALM-12050 网络写吞吐率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12050.md): 系统每30秒周期性检测网络写吞吐率，并把实际吞吐率和阈值（系统默认阈值80%）进行比较，当检测到网络写吞吐率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络写信息 > 写吞吐率”修改阈值。平滑次数为1，网络写吞吐率小于或等于阈值时，告警恢复；平滑次数大于1，网络
- [ALM-12051 磁盘Inode使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12051.md): 系统每30秒周期性检测磁盘Inode使用率，并把实际Inode使用率和阈值进行比较，当检测到Inode使用率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 主机 > 磁盘 > 磁盘inode使用率”修改阈值。平滑次数为1，磁盘Inode使用率小于或等于阈值时，告警恢复；平滑次数大于1，磁盘Inod
- [ALM-12052 TCP临时端口使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12052.md): 系统每30秒周期性检测TCP临时端口使用率，并把实际使用率和阈值进行比较，当检测到TCP临时端口使用率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 主机 > 网络状态 > TCP临时端口使用率”修改阈值。平滑次数为1，TCP临时端口使用率小于或等于阈值时，告警恢复；平滑次数大于1，TCP临时端口
- [ALM-12053 主机文件句柄使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12053.md): 系统每30秒周期性检测主机文件句柄使用率，并把实际使用率和阈值进行比较，当检测到主机文件句柄使用率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 主机状态 > 主机文件句柄使用率”修改阈值。平滑次数为1，主机文件句柄使用率小于或等于阈值时，告警恢复；平滑次数大于1，
- [ALM-12054 证书文件失效](https://support.huaweicloud.com/usermanual-mrs/ALM-12054.md): 系统周期性检查当前系统中的证书文件是否失效（即当前集群中的证书文件是否过期，或者尚未生效），如果证书文件失效，产生该告警。当重新导入一个正常证书，并且状态不为失效状态，在下一个整点触发告警检测机制后，该告警恢复。MRS 3.2.0及之后版本告警检测周期为：每小时整点。MRS 3.2.0之前版本告警检测周期为：每天23点。证书文件已经失效，
- [ALM-12055 证书文件即将过期](https://support.huaweicloud.com/usermanual-mrs/ALM-12055.md): 系统每天23点检查一次当前系统中的证书文件，如果当前时间距离证书过期时间小于30天，则证书文件即将过期，产生该告警。当重新导入一个正常证书，并且状态不为即将过期，在下一个整点触发告警检测机制后，该告警恢复。MRS 3.2.0及之后版本告警检测周期为：每小时整点。MRS 3.2.0之前版本告警检测周期为：每天23点。证书文件即将过期，如果证
- [ALM-12057 元数据未配置周期备份到第三方服务器的任务](https://support.huaweicloud.com/usermanual-mrs/ALM-12057.md): 系统安装完成后会检查元数据是否有周期备份到第三方服务器的任务，然后每1小时会检查一次。如果元数据未配置周期备份到第三方服务器的任务，将发送重要告警。在用户创建元数据周期备份到第三方服务器的任务后，告警消除。如果没有将元数据备份到第三方服务器，当集群主备管理节点同时故障且本地备份数据丢失时，若想要通过备份包恢复集群元数据则没有可用的备份包数
- [ALM-12061 进程使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12061.md): 系统每30秒周期性检测omm进程使用情况，执行ps -o nlwp,pid,args, -u omm | awk '{sum+=$1} END {print "", sum}'命令，获取当前omm用户并发的所有进程数，在omm用户下，执行ulimit -u，获取omm用户可以同时打开的进程最大数。结果相除，获取到对应的omm用户进程使用率
- [ALM-12062 OMS参数配置同集群规模不匹配](https://support.huaweicloud.com/usermanual-mrs/ALM-12062.md): 系统每一个小时，整点检查一次OMS参数配置和集群规模是否匹配，如果检查OMS配置的参数不足以支撑当前的集群规模，系统将发送此告警。待用户修改OMS参数配置，该告警会自动清除。如果当前集群配置的参数小于集群规模要求的配置标准时，可能会导致用户作业运行延迟，服务页面响应缓慢等问题。严重时会导致集群节点Agent或者OMS进程运行异常，导致组件
- [ALM-12063 磁盘不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-12063.md): MRS 3.6.0.1之前版本：系统每五分钟（MRS 3.1.5之前版本周期为：每一个小时的整点）检查一次当前主机的磁盘是否可用，只检查数据盘，在磁盘对应的挂载目录下执行创建文件，写文件和删文件等操作，如果能够成功则认为磁盘可用，发送恢复告警，如果不能成功，则发送故障告警。MRS 3.6.0.1及之后版本：系统每分钟检查一次当前主机的数据
- [ALM-12064 主机随机端口范围配置与集群使用端口冲突](https://support.huaweicloud.com/usermanual-mrs/ALM-12064.md): 系统每一个小时检查一次主机随机端口配置范围是否与集群使用端口范围冲突，如果有冲突，则发送此告警。待客户重新修改该主机的随机端口范围配置到正常范围，该告警会自动清除。okerberos、oldap等端口被占用时，会导致认证失败，可能会导致作业运行失败。controller、pms等端口被占用时，会导致进程故障，可能会影响弹性扩缩容性能。to
- [ALM-12066 节点间互信失效](https://support.huaweicloud.com/usermanual-mrs/ALM-12066.md): 系统每一个小时检查一次主OMS节点和其他Agent节点间的互信是否正常，如果存在互信失效的节点，则发送告警。待问题修复，该告警会自动清除。可能会导致部分需要连接此节点的操作（如重启、同步配置、实例状态查询等）失败，如果有多个节点互信失效可能会影响业务。集群节点的“/etc/ssh/sshd_config”配置文件被损坏。节点上的omm用户
- [ALM-12067 tomcat资源异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12067.md): HA每85秒周期性检测Manager的Tomcat资源。当HA连续2次都检测到Tomcat资源异常时，产生该告警。当HA检测到Tomcat资源正常后，告警恢复。Tomcat资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的Tomcat资源，告警恢复。该告警用于提示用户，Manager主备倒换的
- [ALM-12068 acs资源异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12068.md): HA每80秒周期性检测Manager的ACS资源。当HA连续2次都检测到ACS资源异常时，产生该告警。当HA检测到ACS资源正常后，告警恢复。ACS资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的ACS资源，告警恢复。该告警用于提示用户，Manager主备倒换的原因。MRS 3.3.1及之后
- [ALM-12069 aos资源异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12069.md): HA每81秒周期性检测Manager的AOS资源。当HA连续2次检测到AOS资源异常时，产生该告警。当HA检测到AOS资源正常后，告警恢复。AOS资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的AOS资源，告警恢复。该告警用于提示用户，Manager主备倒换的原因。MRS 3.3.1及之后版
- [ALM-12070 controller资源异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12070.md): HA每80秒周期性检测Manager的controller资源。当HA连续2次检测到controller资源异常时，产生该告警。当HA检测到controller资源正常后，告警恢复。controller资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的controller资源，告警恢复。该告警
- [ALM-12071 httpd资源异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12071.md): HA每120秒周期性检测Manager的httpd资源。当HA连续10次检测到httpd资源异常时，产生该告警。当HA检测到httpd资源正常后，告警恢复。httpd资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的httpd资源，告警恢复。该告警用于提示用户，Manager主备倒换的原因。告
- [ALM-12072 floatip资源异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12072.md): HA每9秒周期性检测Manager的floatip资源。当HA连续3次检测到floatip资源异常时，产生该告警。当HA检测到floatip资源正常后，告警恢复。floatip资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的floatip资源，告警恢复。该告警用于提示用户，Manager主备
- [ALM-12073 cep资源异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12073.md): HA每60秒周期性检测Manager的cep资源。当HA连续2次检测到cep资源异常时，产生该告警。当HA检测到cep资源正常后，告警恢复。cep资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的cep资源，告警恢复。该告警用于提示用户，Manager主备倒换的原因。告警长期存在时，会导致Ma
- [ALM-12074 fms资源异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12074.md): HA每60秒周期性检测Manager的fms资源。当HA连续2次检测到fms资源异常时，产生该告警。当HA检测到fms资源正常后，告警恢复。fms资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的fms资源，告警恢复。该告警用于提示用户，Manager主备倒换的原因。告警长期存在时，会导致Ma
- [ALM-12075 pms资源异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12075.md): HA每55秒周期性检测Manager的pms资源。当HA连续3次检测到pms资源异常时，产生该告警。当HA检测到pms资源正常后，告警恢复。pms资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的pms资源，告警恢复。该告警用于提示用户，Manager主备倒换的原因。告警长期存在时，会导致Ma
- [ALM-12076 gaussDB资源异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12076.md): HA软件每10秒周期性检测Manager的数据库。当HA软件连续3次检测到数据库异常时，产生该告警。当HA检测到数据库正常后，告警恢复。如果数据库异常，所有Manager的核心业务和相关业务进程（例如告警和监控入库、查询的功能）都会受影响。数据库异常。检查主备管理节点的数据库状态。主管理节点的回显：备管理节点的回显：是，执行3。否，执行2
- [ALM-12077 omm用户过期](https://support.huaweicloud.com/usermanual-mrs/ALM-12077.md): 系统每天零点开始，每8小时检测当前系统中omm用户是否过期，如果用户过期，则发送告警。当系统中omm用户过期的期限重置，当前状态为正常，告警恢复。omm用户过期，Manager各节点互信不可用，无法对服务提供管理功能。omm用户过期。检查系统中omm用户是否过期。执行chage -l omm命令来查看当前omm用户密码设置信息。如果参数值
- [ALM-12078 omm密码过期](https://support.huaweicloud.com/usermanual-mrs/ALM-12078.md): 系统每天零点开始，每8小时检测当前系统中omm密码是否过期，如果密码过期，则发送告警。当系统中omm密码过期的期限修改，当前状态为正常，告警恢复。omm密码过期，Manager各节点互信不可用，无法对服务提供管理功能，crontab计划任务无法执行，影响ClickHouse业务。omm密码过期。检查系统中omm密码是否过期。执行chage
- [ALM-12079 omm用户即将过期](https://support.huaweicloud.com/usermanual-mrs/ALM-12079.md): 系统每天零点开始，每8小时检测当前系统中omm用户是否即将过期，如果当前时间与用户过期时间剩余不足15天，则发送告警。当系统中omm用户过期的期限重置，当前状态为正常，告警恢复。omm用户过期，Manager各节点互信不可用，无法对服务提供管理功能。该主机omm用户即将过期。检查系统中omm用户是否即将过期。执行chage -l omm命
- [ALM-12080 omm密码即将过期](https://support.huaweicloud.com/usermanual-mrs/ALM-12080.md): 系统每天零点开始，每8小时检测当前系统中omm密码是否即将过期，如果当前时间与密码过期时间剩余不足15天，则发送告警。当系统中omm密码过期的期限重置，当前状态为正常，告警恢复。omm密码过期，Manager各节点互信不可用，无法对服务提供管理功能，crontab计划任务无法执行，影响ClickHouse业务。该主机omm密码即将过期。检
- [ALM-12081 ommdba用户过期](https://support.huaweicloud.com/usermanual-mrs/ALM-12081.md): 系统每天零点开始，每8小时检测当前系统中ommdba用户是否过期，如果用户过期，则发送告警。当系统中ommdba用户过期的期限重置，当前状态为正常，告警恢复。ommdba用户过期，OMS数据库无法管理，数据不能访问。该主机ommdba用户过期。检查系统中ommdba用户是否过期。执行chage -l ommdba命令查看当前ommdba用
- [ALM-12082 ommdba用户即将过期](https://support.huaweicloud.com/usermanual-mrs/ALM-12082.md): 系统每天零点开始，每8小时检测当前系统中ommdba用户是否即将过期，如果用户即将在15天内过期，则发送告警。当系统中ommdba用户过期的期限重置，当前状态为正常，告警恢复。ommdba用户过期，OMS数据库无法管理，数据不能被访问。该主机ommdba用户即将过期。检查系统中ommdba用户是否即将过期。执行chage -l ommdb
- [ALM-12083 ommdba密码即将过期](https://support.huaweicloud.com/usermanual-mrs/ALM-12083.md): 系统每天零点开始，每8小时检测当前系统中ommdba密码是否即将过期，如果当前时间与ommdba密码过期时间剩余不足15天，则发送告警。当系统中ommdba用户密码过期的期限重置，当前状态为正常，告警恢复。ommdba密码过期，OMS数据库无法管理，数据不能访问。该主机ommdba密码即将过期。检查系统中ommdba密码是否即将过期。执行
- [ALM-12084 ommdba密码过期](https://support.huaweicloud.com/usermanual-mrs/ALM-12084.md): 系统每天零点开始，每8小时检测当前系统中ommdba密码是否过期，如果过期，则发送告警。当系统中ommdba密码过期的期限重置，当前状态为正常，告警恢复。ommdba密码过期，Manager各节点互信不可用，无法对服务提供管理功能。该主机ommdba密码过期。检查系统中ommdba密码是否过期。执行chage -l ommdba命令来查看
- [ALM-12085 服务审计日志转储失败](https://support.huaweicloud.com/usermanual-mrs/ALM-12085.md): 系统每天凌晨三点启动服务审计日志转储，将服务审计日志备份到OMS节点，如果转储失败，则发送告警。当下一次转储成功，告警恢复。组件审计日志转储失败时，如果组件本地老化这部分审计日志，审计日志将无法找回，影响分析排查组件的业务行为。服务审计日志过大。OMS备份路径存储空间不足。服务所在某一个主机的存储空间不足。检查是否服务审计日志过大。是，执
- [ALM-12087 系统处于升级观察期](https://support.huaweicloud.com/usermanual-mrs/ALM-12087.md): 系统定时在每天零点查看当前系统是否处于升级观察期，同时检查进入升级观察时间是否超过了为客户预留的升级观察期时间（默认为10天）。当系统处于升级观察期，并且进入升级观察期时间超过了为客户预留的升级观察期时间（默认时间为10天）时，系统触发此告警。如果用户进行了回滚或者提交操作，使得系统退出升级观察期，该告警将会自动清除。升级观察期禁止对用户
- [ALM-12089 节点间网络互通异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12089.md): 告警模块按10秒周期检测集群间节点的网络健康状态。当检测到某两台节点之间网络不可达或者网络状态不稳定，产生该告警。当网络恢复正常，告警恢复。数据传输异常：如果网络互通异常，数据的传输会变得缓慢或者中断，导致数据丢失或者传输不完整。任务调度异常：如果网络互通异常，任务调度会受到影响，例如会导致Yarn任务无法正常执行或者执行超时失败。数据处
- [ALM-12091 disaster资源异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12091.md): HA每86秒周期性检测Manager的disaster资源。当HA连续10次检测到disaster资源异常时，产生该告警。当HA检测到disaster资源正常后，告警恢复。disaster资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的disaster资源，告警恢复。该告警用于提示用户，Ma
- [ALM-12099 发生core dump](https://support.huaweicloud.com/usermanual-mrs/ALM-12099.md): GaussDB A提供了core文件管理特性，对应用程序发生crash时产生的core文件进行统一的生命周期管理以及告警通知管理。当检测到有新的core文件产生时，会产生该告警。本章节仅适用于MRS 3.1.5及之后版本。MRS 3.3.1及之后版本，告警名称从“发生core dump”变成“集群业务进程发生core dump”。出现该告
- [ALM-12100 AD服务器连接异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12100.md): 第三方AD对接后，按照同步时间周期（默认60分钟）或手动同步第三方AD域用户，在同步数据时检查AD服务状态，当连续3次检测到AD服务不可用时产生告警。AD服务恢复时，告警清除。本章节仅适用于MRS 3.1.5及之后版本。AD服务不可用，AD域用户同步失败；AD域用户登录FusionInsight Manager失败，AD域用户执行业务失败
- [ALM-12101 AZ不健康](https://support.huaweicloud.com/usermanual-mrs/ALM-12101.md): AZ容灾开启后，系统每隔5分钟检查一次当前系统上AZ的健康状态，当检测到AZ健康状态为亚健康或者不健康时产生告警。AZ健康状态恢复健康时，告警清除。AZ的健康状态由AZ内的存储资源（HDFS）、计算资源（Yarn）和关键角色的健康度是否超过配置阈值决定。AZ亚健康有两种：计算资源（Yarn）不健康，存储资源（HDFS）健康，任务无法提交到
- [ALM-12102 AZ高可用组件未按容灾需求部署](https://support.huaweicloud.com/usermanual-mrs/ALM-12102.md): 告警模块按照5分钟周期检测AZ高可用组件部署状态。当开启AZ后，支持容灾的组件未按容灾需求部署时产生该告警。组件恢复按容灾需求部署时，告警清除。影响单集群跨AZ的高可用能力。支持容灾的组件角色未按容灾需求部署。获取告警的信息。重新部署角色实例。是，处理完毕。否，请联系运维人员。此告警修复后，系统会自动清除此告警，无需手工清除。无。
- [ALM-12103 executor资源异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12103.md): HA每30秒周期性检测Manager的executor资源。当HA连续2次检测到executor资源异常时，产生该告警。当HA检测到executor资源正常后，告警恢复。executor资源为单主资源，一般资源异常会导致主备倒换，看到告警时，基本已经主备倒换，并在新主环境上启动新的executor资源，告警恢复。该告警用于提示用户，Man
- [ALM-12104  knox资源异常](https://support.huaweicloud.com/usermanual-mrs/ALM-12104.md): HA每70秒周期性检测Manager的knox资源。当HA连续3次检测到knox资源异常时，产生该告警。当HA检测到knox资源正常后，告警恢复。上层服务通过knox下发的请求无法正常处理响应。knox进程异常。检查knox进程是否异常。是，执行7。否，执行5。是，操作结束。否，执行7。收集故障信息。
- [ALM-12110 获取ECS临时ak/sk失败](https://support.huaweicloud.com/usermanual-mrs/ALM-12110.md): meta组件每五分钟调用ECS接口获取AK/SK信息，并缓存在meta中，在AK/SK过期失效之前会再次调用ECS接口进行更新，如果连续三次调用接口失败，会产生该告警。当meta服务调用ECS接口成功时，告警清除。集群获取不到最新的临时AK/SK信息，在存算分离场景下，可能导致访问OBS文件失败，引起上层组件业务无法正常处理数据。MRS集
- [ALM-12172 指标上报CES失败](https://support.huaweicloud.com/usermanual-mrs/ALM-12172.md): MRS集群开启指标共享后，controller模块周期性地收集集群内指标信息并上报到CES服务。监控指标上报CES失败，在CES中无法看到MRS云服务的监控指标。权限问题请求CES接口失败。网络问题上报CES数据失败。服务内部问题导致上报CES数据失败。登录集群Manager具体操作，请参考访问MRS集群Manager。告警附加信息中显示
- [ALM-12180 磁盘卡IO](https://support.huaweicloud.com/usermanual-mrs/ALM-12180.md): MRS 3.3.0及之后版本、MRS 3.1.0.0.10/3.1.5.0.3及之后补丁版本：对于HDD盘，满足以下任意条件时触发告警：系统默认每3秒采集一次数据，在30秒内至少7个采集周期的svctm时延达到6秒。系统默认每3秒采集一次数据，在30秒内至少10个采集周期，磁盘队列深度（avgqu-sz）> 0，iops = 0或带宽 =
- [ALM-12186 用户CGroup任务数使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12186.md): 系统每5分钟周期性检测omm用户CGroup任务数使用情况，当CGroup任务使用率超过90%时产生该告警，当使用率小于或等于90%时，告警恢复。CGroup任务使用率 = CGroup任务使用数 / 最大CGroup任务数。可以在omm用户下，执行systemctl status user-$(id -u).slice | grep l
- [ALM-12187 磁盘分区扩容失败](https://support.huaweicloud.com/usermanual-mrs/ALM-12187.md): 系统按60秒周期进行扫描，当检测到磁盘空间扩容后，会进行磁盘分区空间扩容操作，如果磁盘分区扩容失败，则触发此告警。系统如果检测到磁盘空间扩容后，磁盘分区扩容成功，则告警恢复。磁盘分区扩容失败可能会对系统产生以下影响：数据丢失：如果在扩容过程中出现错误，可能会导致数据丢失。因此，建议在扩容前备份重要数据。系统不稳定：如果扩容过程中出现错误，
- [ALM-12188 diskmgt磁盘监控服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-12188.md): NodeAgent每隔5分钟检测diskmgt磁盘监控服务状态，当diskmgt磁盘监控服务不可用时产生此告警。diskmgt磁盘监控服务恢复时，告警清除。diskmgt磁盘监控服务不可用时，影响系统对磁盘信息和分区信息的监控，如设备分区文件系统只读检测、设备分区丢失检测、磁盘分区扩容检测等。diskmgt磁盘监控服务不存在。diskmg
- [ALM-12190 Knox连接数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12190.md): 系统周期性检测Knox所有拓扑的连接数情况，当存在拓扑的当前连接数超过最大连接数的阈值（默认为90%）时上报此告警，当连接数低于阈值后，告警自动清除。本章节仅适用于MRS 3.1.0及之后版本。Knox高出阈值的拓扑存在连接满的可能，连接满后无法正常提供请求转发功能，影响整个MRS使用。用户大量使用Hue或者Manager，默认设置的Kn
- [ALM-12191 磁盘IO利用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12191.md): 系统每30秒周期性检测磁盘IO利用率，并把实际磁盘IO利用率和阈值相比较。当检测到磁盘IO利用率连续多次（默认值为10）超出阈值范围时产生该告警。平滑次数为1，磁盘IO利用率小于或等于阈值时，告警恢复；平滑次数大于1，磁盘IO利用率小于或等于阈值的90%时，告警恢复。本章节仅适用于MRS 3.3.1-LTS及之后版本。业务延迟：主机磁盘I
- [ALM-12192 主机负载超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12192.md): 系统每30秒周期性检测平均负载，并把实际平均负载和阈值相比较。当检测到平均负载连续多次（默认值为10）超出阈值范围时产生该告警。平滑次数为1，平均负载小于或等于阈值时，告警恢复；平滑次数大于1，平均负载小于或等于阈值的90%时，告警恢复。本章节仅适用于MRS 3.3.1-LTS及之后版本。业务延迟：主机平均负载过高时，可能会导致业务进程运
- [ALM-12200 密码即将过期](https://support.huaweicloud.com/usermanual-mrs/ALM-12200.md): 系统每天凌晨1点开始检测当前系统中用户密码是否即将过期，如果用户密码即将过期（默认小于5天）则发送告警。当系统中用户密码距离过期的时间大于等于5天（默认），告警恢复。本章节仅适用于MRS 3.3.1-LTS及之后版本。用户密码过期，该用户将无法正常使用。用户密码即将过期。修改用户密码。登录集群Manager具体操作，请参考访问MRS集群M
- [ALM-12201 进程CPU使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12201.md): 系统每30秒周期性检测CPU使用率，并把实际CPU使用率和阈值相比较。当检测到CPU使用率连续多次（默认值为10）超出阈值范围时产生该告警。平滑次数为1，CPU使用率小于或等于阈值时，告警恢复；平滑次数大于1，CPU使用率小于或等于阈值的90%时，告警恢复。本章节仅适用于MRS 3.3.1-LTS及之后版本。业务延迟：主机CPU使用率过高
- [ALM-12202 进程内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12202.md): 系统每30秒周期性检测OMS主要进程内存使用状态，当检测到OMS主要进程内存使用率大于最大内存的90%（默认）时，产生当前告警。当OMS主要进程内存使用率小于等于最大内存的90%时，告警恢复。本章节仅适用于MRS 3.3.1-LTS及之后版本。OMS主要进程内存使用率过高，会影响OMS主要进程运行的性能，甚至造成内存溢出导致OMS主要进程
- [ALM-12203 进程Full GC时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12203.md): 系统每30秒周期性检测OMS主要进程的GC时间，当检测到OMS进程的GC时间超出阈值（默认连续3次检测超过12秒，可通过“运维 > 告警 > 阈值设置 > OMS > OMS服务”修改阈值）时产生该告警。当OMS进程的GC时间小于或等于阈值时，告警恢复。本章节仅适用于MRS 3.3.1-LTS及之后版本。GC时间超出阈值，会影响到OMS主
- [ALM-12204 磁盘IO读取等待时长超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12204.md): 系统每30秒周期性检测磁盘IO读取等待时长，并把实际磁盘IO读取等待时长和阈值相比较。当检测到磁盘IO读取等待时长连续多次超出阈值范围（默认值为10秒）时产生该告警。当磁盘IO读取等待时长小于或等于阈值时，告警恢复。本章节仅适用于MRS 3.3.1-LTS及之后版本。业务延迟：主机磁盘IO读取等待时长过高时，可能会导致业务进程运行处理缓慢
- [ALM-12205 磁盘IO写入等待时长超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12205.md): 系统每30秒周期性检测磁盘IO写入等待时长，并把实际磁盘IO写入等待时长和阈值相比较。当检测到磁盘IO写入等待时长连续多次超出阈值范围（默认值为10s）时产生该告警。当磁盘IO写入等待时长小于或等于阈值时，告警恢复。本章节仅适用于MRS 3.3.1-LTS及之后版本。业务延迟：主机磁盘IO写入等待时长过高时，可能会导致业务进程运行处理缓慢
- [ALM-12206 密码已经过期](https://support.huaweicloud.com/usermanual-mrs/ALM-12206.md): 系统每天凌晨1点开始检测当前系统中用户密码是否已经过期，如果用户密码已经过期则发送告警。当系统中用户密码在有效期内，告警恢复。本章节仅适用于MRS 3.3.1-LTS及之后版本。用户密码过期，该用户将无法正常使用。用户密码已经过期。修改用户密码。登录集群Manager具体操作，请参考访问MRS集群Manager。用户密码修改详细操作请参考
- [ALM-12207 慢盘处理超时](https://support.huaweicloud.com/usermanual-mrs/ALM-12207.md): 当慢盘检测开关打开时，系统默认每隔10分钟检测一次慢盘处理情况，当磁盘或者节点处于如下状态且超过10小时状态未发生变更，则认为磁盘或者节点处理超时，上报该告警。磁盘：自动隔离中止、已隔离、隔离失败、解除隔离失败。节点：已隔离、隔离失败、取消隔离失败、启动节点失败、已解除隔离。当处于处理超时的节点或者磁盘状态发生变更时，告警自动恢复。本章节
- [ALM-12208 NodeAgent进程Full GC次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12208.md): 系统每60秒周期性检测NodeAgent进程Full GC次数，当检测到NodeAgent进程Full GC次数超过阈值时产生该告警。检测次数统计方法为：Full GC次数 = 下一周期采集结果 - 上一周期采集结果。默认阈值配置为连续3次检测到Full GC次数超过1次上报告警，可通过“运维 > 告警 > 阈值设置 > 集群名> 主机 
- [ALM-12209 OMS进程Full GC次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12209.md): 系统每60秒周期性检测OMS主要进程的Full GC次数，当检测到OMS进程Full GC次数超过阈值时产生该告警。检测次数统计方法为：Full GC次数 = 下一周期采集结果 - 上一周期采集结果。默认阈值配置为连续3次检测到Full GC次数超过1次上报告警，可通过“运维 > 告警 > 阈值设置 > OMS > OMS服务 > GC”
- [ALM-12210 主机信号量集使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-12210.md): 系统每30秒周期性检测主机信号量集使用率，当检测到信号量集使用率超过阈值时产生该告警。主机信号量集使用率 = 当前系统信号量集使用量 / 系统允许创建最大信号量集。默认阈值配置为连续3次检测到主机信号量集使用率大于80%时上报告警，可通过“运维 > 告警 > 阈值设置 > 主机 > 主机状态 > 主机信号量集使用率”修改阈值。当主机信号量
- [ALM-12217 集群用户冲突](https://support.huaweicloud.com/usermanual-mrs/ALM-12217.md): 系统每2小时周期性检测MRS Manager用户和操作系统用户是否存在冲突情况，当集群中创建的Manager用户和节点上的系统用户产生冲突时，上报告警。当下一个检测周期检测不存在冲突用户时告警恢复。本章节仅适用于MRS 3.6.0-LTS及之后版本。可能导致组件业务鉴权失败，进而影响服务及进程状态。可能导致组件作业提交失败或者作业运行异常
- [ALM-13000 ZooKeeper服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-13000.md): 系统每60秒周期性检测ZooKeeper服务状态，当检测到ZooKeeper服务不可用时产生该告警。ZooKeeper服务恢复时，告警清除。ZooKeeper无法为上层组件提供协调服务，依赖ZooKeeper的组件（例如Yarn、Flink等）无法正常运行。ZooKeeper节点上安装了DNS。网络故障。KrbServer服务异常。Zoo
- [ALM-13001 ZooKeeper可用连接数不足](https://support.huaweicloud.com/usermanual-mrs/ALM-13001.md): 系统每60秒周期性检测ZooKeeper服务连接数状态，当检测到ZooKeeper实例连接数超出阈值时产生该告警。平滑次数为1，ZooKeeper可用连接数小于或等于阈值时，告警恢复；平滑次数大于1，ZooKeeper可用连接数小于或等于阈值的90%时，告警恢复。ZooKeeper可用连接数不足，当连接率超过100%时无法处理外部连接，导
- [ALM-13002 ZooKeeper直接内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-13002.md): 系统每30秒周期性检测ZooKeeper服务直接内存使用状态，当检测到ZooKeeper实例直接内存使用率超出阈值时产生该告警。平滑次数为1，ZooKeeper直接内存使用率小于阈值时，告警恢复；平滑次数大于1，ZooKeeper直接内存使用率小于阈值的80%时，告警恢复。ZooKeeper可用内存不足，可能会造成内存溢出导致服务崩溃，导
- [ALM-13003 ZooKeeper进程垃圾回收（GC）时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-13003.md): 系统每60秒周期性检测ZooKeeper进程的垃圾回收（GC）占用时间，当检测到ZooKeeper进程的垃圾回收（GC）时间超出阈值时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。ZooKeeper进程的垃圾回收时间过长，可能影响该ZooKeeper进程响应时间变长，可能导致上层组件（例如Yarn、Flink、Spark等）业务
- [ALM-13004 ZooKeeper堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-13004.md): 系统每60秒周期性检测ZooKeeper服务堆内存使用状态，当检测到ZooKeeper实例堆内存使用率超出阈值时产生该告警。堆内存使用率小于阈值时，告警恢复。ZooKeeper可用内存不足，可能会造成内存溢出导致服务崩溃，可能导致上游组件（例如Yarn、Flink、Spark等）业务运行失败。该节点ZooKeeper实例堆内存使用率过大，
- [ALM-13005 ZooKeeper中组件顶层目录的配额设置失败](https://support.huaweicloud.com/usermanual-mrs/ALM-13005.md): 系统每5小时周期性为组件和“customized.quota”配置项中的每个ZooKeeper顶层目录设置配额，当设置某个目录的配额失败时，会产生该告警。当设置失败的目录重新设置配额成功时，告警恢复。组件可以向对应的ZooKeeper顶层目录中写入大量数据，导致依赖顶层目录的上游组件（例如Yarn、Flink、Spark等）业务异常或服务
- [ALM-13006 Znode数量或容量超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-13006.md): 系统每4小时周期性检测ZooKeeper服务数据目录下二级znode状态，当检测到二级Znode数量或者容量超过阈值时产生该告警。向ZooKeeper数据目录空间写入大量数据，导致依赖本目录（详细参见告警定位信息）的上游组件（例如Yarn、Flink、Spark等）的业务异常。往ZooKeeper数据目录空间写入大量数据，或者自定义阈值设
- [ALM-13007 ZooKeeper客户端可用连接数不足](https://support.huaweicloud.com/usermanual-mrs/ALM-13007.md): 系统每60秒周期性检测ZooKeeper客户端连接到ZooKeeper服务器上的活动进程数，当检测到连接数目超过阈值时产生该告警。大量进程连接到ZooKeeper，导致ZooKeeper连接数被占满，无法对外正常提供服务，导致上游组件（例如Yarn、Flink、Spark等）服务异常。客户端大量进程连接到ZooKeeper，或者自定义阈值
- [ALM-13008 ZooKeeper Znode数量使用率超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-13008.md): 系统每小时（MRS 3.5.0及之后版本为“每10分钟”）周期性检测ZooKeeper服务数据目录下二级znode状态，当检测到二级znode的总数量超过阈值时产生该告警。向ZooKeeper数据目录空间写入大量数据，导致ZooKeeper无法对外正常提供服务，导致依赖告警目录的上游组件（例如Yarn、Flink、Spark等）的业务异常
- [ALM-13009 ZooKeeper Znode容量使用率超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-13009.md): 系统每小时（MRS 3.5.0及之后版本为“每10分钟”）周期性检测ZooKeeper服务数据目录下二级znode状态，当检测到二级znode的总容量超过阈值时产生该告警。向ZooKeeper数据目录空间写入大量数据，导致ZooKeeper无法对外正常提供服务，导致依赖告警目录的上游组件（例如Yarn、Flink、Spark等）的业务异常
- [ALM-13010 配置quota的目录Znode使用率超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-13010.md): 系统每小时周期性检测配置quota的所有服务目录的znode数量，当检测到某个二级znode的数量使用率超过阈值时产生该告警。向ZooKeeper数据目录空间写入大量数据，导致ZooKeeper无法对外正常提供服务，导致依赖告警目录的上层组件（例如Yarn、Flink、Spark等）的业务异常。往ZooKeeper数据目录空间写入大量数据
- [ALM-13011 ZooKeeper fsync门限超限次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-13011.md): 系统30秒周期性检测fsync门限超限次数，当检测fsync门限超限次数连续3次超过阈值，产生该告警。当fsync门限超限次数低于阈值时，告警清除。本章节仅适用于MRS 3.6.0-LTS及之后版本。可能导致ZooKeeper无法对外正常提供服务，导致依赖ZooKeeper的上游组件（例如Yarn、Flink、Spark等）的业务异常。Z
- [ALM-14000 HDFS服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-14000.md): 系统每60秒周期性检测NameService的服务状态，当检测到所有的NameService服务都异常时，就会认为HDFS服务不可用，此时产生该告警。至少一个NameService服务正常后，系统认为HDFS服务恢复，告警清除。无法为基于HDFS服务的HBase和Mapreduce等上层部件提供服务。用户无法读写文件。ZooKeeper服
- [ALM-14001 HDFS磁盘空间使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14001.md): 系统每30秒周期性检测HDFS磁盘空间使用率，并把实际的HDFS磁盘空间使用率和阈值相比较。HDFS磁盘使用率指标默认提供一个阈值范围。当HDFS磁盘空间使用率超出阈值范围时，产生该告警。用户可通过“运维 > 告警 > 阈值设置 > HDFS”修改阈值。平滑次数为1，HDFS磁盘使用率小于或等于阈值时，告警恢复；平滑次数大于1，HDFS磁
- [ALM-14002 DataNode磁盘空间使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14002.md): 系统每30秒周期性检测DataNode磁盘空间使用率，并把实际磁盘使用率和阈值相比较。DataNode磁盘空间使用率指标默认提供一个阈值范围。当检测到DataNode磁盘空间使用率指标超出阈值范围时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > HDFS”修改阈值。平滑次数为1，DataNode磁盘空间使用率指标的值小于或等于阈
- [ALM-14003 丢失的HDFS块数量超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14003.md): 系统每30秒周期性检测丢失的HDFS块数量，并把丢失的块数量和阈值相比较。丢失的块数量指标默认提供一个阈值范围，当检测到丢失的HDFS块数量超出阈值范围时产生该告警。用户可通过集群Manager界面中“运维 > 告警 > 阈值设置 > HDFS > HDFS缺失的块数量”修改阈值。平滑次数为1，丢失的HDFS块数量小于或等于阈值时，告警恢
- [ALM-14006 HDFS文件数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14006.md): 系统每30秒周期性检测HDFS文件数，并把实际文件数和阈值相比较。当检测到HDFS文件数指标超出阈值范围时产生该告警。平滑次数为1，HDFS文件数指标的值小于或等于阈值时，告警恢复；平滑次数大于1，HDFS文件数指标的值小于或等于阈值的90%时，告警恢复。HDFS文件数过多可能造成HDFS系统响应慢或磁盘被占满。HDFS文件数超过阈值。检
- [ALM-14007 NameNode堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14007.md): 系统每30秒周期性检测HDFS NameNode堆内存使用率，并把实际的HDFS NameNode堆内存使用率和阈值相比较。HDFS NameNode堆内存使用率指标默认提供一个阈值范围。当HDFS NameNode堆内存使用率超出阈值范围时，产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HDFS”修改阈
- [ALM-14008 DataNode堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14008.md): 系统每30秒周期性检测HDFS DataNode堆内存使用率，并把实际的HDFS DataNode堆内存使用率和阈值相比较。HDFS DataNode堆内存使用率指标默认提供一个阈值范围。当HDFS DataNode堆内存使用率超出阈值范围时，产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HDFS”修改阈
- [ALM-14009 Dead DataNode数量超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14009.md): 系统每30秒周期性检测HDFS集群处于故障状态的DataNode数量，并把实际的故障状态的DataNode数量和阈值相比较。故障状态的DataNode数量指标默认提供一个阈值范围。当HDFS集群故障状态的DataNode数量超出阈值范围时，产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HDFS”修改阈值。
- [ALM-14010 NameService服务异常](https://support.huaweicloud.com/usermanual-mrs/ALM-14010.md): 系统每180秒周期性检测NameService服务状态，当检测到NameService服务不可用时产生该告警。NameService服务恢复时，告警清除。无法为基于该NameService服务的HBase和MapReduce等上层部件提供服务，用户无法读写文件。KrbServer服务异常。JournalNode节点故障。DataNode节
- [ALM-14011 DataNode数据目录配置不合理](https://support.huaweicloud.com/usermanual-mrs/ALM-14011.md): DataNode的配置参数“dfs.datanode.data.dir”指定了DataNode的数据目录。当所配置的目录路径无法创建、与系统关键目录使用同一磁盘或多个目录使用同一磁盘时，系统即刻产生此告警。当修改DataNode的数据目录合理后，重启该DataNode，告警清除。如果将DataNode数据目录挂载在根目录等系统关键目录，长
- [ALM-14012 Journalnode数据不同步](https://support.huaweicloud.com/usermanual-mrs/ALM-14012.md): 在主NameNode节点上，系统每5分钟检测一次集群中所有JournalNode节点的数据同步性。如果有JournalNode节点的数据不同步，系统产生该告警。当Journalnode数据同步5分钟后，告警恢复。当一个JournalNode节点工作状态异常时，其数据就会与其他JournalNode节点的数据不同步。如果超过一半的Journ
- [ALM-14013 NameNode FsImage文件更新失败](https://support.huaweicloud.com/usermanual-mrs/ALM-14013.md): HDFS的元数据信息存储在NameNode数据目录（由配置项“dfs.namenode.name.dir”指定）中的FsImage文件中。备NameNode会周期将已有的FsImage和JournalNode中存储的Editlog合并生成新的FsImage，然后推送到主NameNode的数据目录。这个周期由HDFS的配置项“dfs.nam
- [ALM-14014 NameNode进程垃圾回收（GC）时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14014.md): 系统每60秒周期性检测NameNode进程的垃圾回收（GC）占用时间，当检测到NameNode进程的垃圾回收（GC）时间超出阈值时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。NameNode进程的垃圾回收时间过长，可能影响该NameNode进程正常提供服务，用户无法读写文件。该节点NameNode实例堆内存使用率过大，或配置的
- [ALM-14015 DataNode进程垃圾回收（GC）时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14015.md): 系统每60秒周期性检测DataNode进程的垃圾回收（GC）占用时间，当检测到DataNode进程的垃圾回收（GC）时间超出阈值时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。DataNode进程的垃圾回收时间过长，可能影响该DataNode进程正常提供服务，用户无法读写文件。该节点DataNode实例堆内存使用率过大，或配置的
- [ALM-14016 DataNode直接内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14016.md): 系统每30秒周期性检测HDFS服务直接内存使用状态，当检测到DataNode实例直接内存使用率超出阈值时，产生该告警。直接内存使用率小于阈值时，告警恢复。DataNode可用直接内存不足，可能会造成内存溢出导致服务崩溃。该节点DataNode实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。检查直接内存使用率。是，执行4
- [ALM-14017 NameNode直接内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14017.md): 系统每30秒周期性检测HDFS服务直接内存使用状态，当检测到NameNode实例直接内存使用率超出阈值时，产生该告警。直接内存使用率小于阈值时，告警恢复。NameNode可用直接内存不足，可能会造成内存溢出导致服务崩溃。该节点NameNode实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。检查直接内存使用率。是，执行4
- [ALM-14018 NameNode非堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14018.md): 系统每30秒周期性检测HDFS NameNode非堆内存使用率，并把实际的HDFS NameNode非堆内存使用率和阈值相比较。HDFS NameNode非堆内存使用率指标默认提供一个阈值范围。当HDFS NameNode非堆内存使用率超出阈值范围时，产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HDFS
- [ALM-14019 DataNode非堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14019.md): 系统每30秒周期性检测HDFS DataNode非堆内存使用率，并把实际的HDFS DataNode非堆内存使用率和阈值相比较。HDFS DataNode非堆内存使用率指标默认提供一个阈值范围。当HDFS DataNode非堆内存使用率超出阈值范围时，产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HDFS
- [ALM-14020 HDFS目录条目数量超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14020.md): 系统每一个小时获取指定目录下直接子文件/目录的数量，判断其是否达到HDFS目录最大子文件/目录个数的百分比阈值，如果超过该阈值，则触发告警。当发出告警的目录的子目录/文件数所占百分比低于阈值后，该告警将自动恢复。当监控开关关闭，所有目录对应的该告警都将自动恢复。当从监控列表中移除指定目录时，该目录对应的告警也会自动恢复。HDFS目录的子文
- [ALM-14021 NameNode RPC处理平均时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14021.md): 系统每30秒周期性检测NameNode的RPC处理平均时间，并把实际的NameNode的RPC处理平均时间和阈值相比较。当检测到NameNode的RPC处理平均时间连续多次（默认为10次）超出阈值范围时，产生该告警。用户可通过“运维 > 告警 > 阈值设置 > HDFS”修改阈值。如果平滑次数为1，NameNode的RPC处理平均时间小于
- [ALM-14022 NameNode RPC队列平均时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14022.md): 系统每30秒周期性检测NameNode的RPC队列平均时间，并把实际的NameNode的RPC队列平均时间和阈值相比较。当检测到NameNode的RPC队列平均时间连续多次（默认为10次）超出阈值范围时，产生该告警。用户可通过“运维 > 告警 > 阈值设置 > HDFS”修改阈值。如果平滑次数为1，NameNode的RPC队列平均时间小于
- [ALM-14023 总副本预留磁盘空间所占比率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14023.md): 系统每30秒周期性检测总副本预留磁盘空间所占比率（总副本预留磁盘空间/（总副本预留磁盘空间+总剩余的磁盘空间）），并把实际的总副本预留磁盘空间所占比率和阈值相比较。当检测到总副本预留磁盘空间所占比率连续多次（平滑次数）高于阈值时，产生该告警。如果平滑次数为1，总副本预留磁盘空间所占比率小于或等于阈值时，告警恢复；如果平滑次数大于1，总副本
- [ALM-14024 租户空间使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14024.md): 系统每小时周期性检测租户所关联的每个目录的空间使用率（每个目录已使用的空间大小/每个目录分配的空间大小），并把每个目录实际的空间使用率和该目录设置的阈值相比较。当检测到租户所关联的目录空间使用率高于该目录设置的阈值时，产生该告警。当上报告警的目录的空间使用率小于或等于该目录设置的阈值时，告警恢复。当监控的租户目录空间使用率超过用户自定义设
- [ALM-14025 租户文件对象使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14025.md): 系统每小时周期性检测租户所关联的每个目录的文件对象使用率（每个目录已使用的文件对象个数/每个目录分配的文件对象个数），并把每个目录实际的文件对象使用率和该目录设置的阈值相比较。当检测到租户所关联的目录文件对象使用率高于该目录的阈值时，产生该告警。当上报告警的目录的文件对象使用率小于或等于该目录设置的阈值时，告警恢复。当监控的租户目录下的文
- [ALM-14026 DataNode块数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14026.md): 系统每30秒周期性检测每个DataNode上的块数，当检测到当前的DataNode节点上块数超过阈值时产生该告警。如果平滑次数为1，DataNode节点上的块数小于或等于阈值时，告警恢复；如果平滑次数大于1，DataNode节点上的块数小于或等于阈值的90%时，告警恢复。上报DataNode块数超过阈值告警时，表示该DataNode节点上
- [ALM-14027 DataNode磁盘故障](https://support.huaweicloud.com/usermanual-mrs/ALM-14027.md): 系统每60秒周期性检测DataNode节点上的磁盘状况，当检测到有磁盘出现故障时产生该告警。当DataNode上故障磁盘都恢复正常后，手动清除该告警，并重启该DataNode。上报DataNode磁盘故障告警时，表示该DataNode节点上存在故障的磁盘分区，可能会导致已写入的文件丢失。硬盘故障。磁盘权限设置不正确。查看是否存在磁盘告警登
- [ALM-14028 待补齐的块数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14028.md): 系统每30秒周期性检测待补齐的块数量，并把待补齐的块数量和阈值相比较。需补齐的块数量指标默认提供一个阈值范围。当检测到丢失的块数量超出阈值范围时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > HDFS > 文件和块 > 需要复制副本的块总数（NameNode）”修改阈值。平滑次数为1，待补齐的块数量小于或等于阈值时，告警恢复；M
- [ALM-14029 单副本的块数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14029.md): 系统每4个小时周期性检测单副本块的数量，并把当前单副本的块数和阈值相比较。单副本的块数量指标默认提供一个阈值范围。当检测到单副本的块数量超出阈值范围时产生该告警。待补齐的块数量小于阈值时，告警恢复。单副本的数据在节点故障时容易丢失，单副本的文件过多会对HDFS文件系统的安全性造成影响。DataNode节点故障。磁盘故障。单副本写入文件。是
- [ALM-14030 HDFS已开启允许写入单副本数据](https://support.huaweicloud.com/usermanual-mrs/ALM-14030.md): 当HDFS开启允许写入单副本数据开关时（即“dfs.single.replication.enable”参数值为“true”），产生该告警。当HDFS关闭允许写入单副本数据开关时，告警恢复。如果服务端打开了HDFS允许写入单副本数据开关，当客户端HDFS配置的副本数为1，则会有单副本数据写入HDFS。单副本数据会存在数据丢失风险，故系统默
- [ALM-14031 DataNode进程状态异常](https://support.huaweicloud.com/usermanual-mrs/ALM-14031.md): DataNode每20秒周期性检查进程状态，当进程状态异常，且长时间未转换为正常状态时触发该告警。进程状态正常后告警清除。进程状态异常会导致该进程无法提供正常服务，进而可能导致服务整体异常。主机中正在等待的IO（磁盘IO、网络IO等）在较长时间内未得到响应，进程处于D状态和Z状态。或进程可能被挂起进入T状态。查看进程是否处于D、Z、T状态
- [ALM-14032 JournalNode进程状态异常](https://support.huaweicloud.com/usermanual-mrs/ALM-14032.md): JournalNode每20秒周期性检查进程状态，当进程状态异常，且长时间未转换为正常状态时触发该告警。进程状态正常后告警清除。进程状态异常会导致该进程无法提供正常服务，进而可能导致服务整体异常。主机中正在等待的IO（磁盘IO、网络IO等）在较长时间内未得到响应，进程处于D状态和Z状态。或进程可能被挂起进入T状态。查看进程是否处于D、Z、
- [ALM-14033  ZKFC进程状态异常](https://support.huaweicloud.com/usermanual-mrs/ALM-14033.md): ZKFC每20秒周期性检查进程状态，当进程状态异常，且长时间未转换为正常状态时触发该告警。进程状态正常后告警清除。进程状态异常会导致该进程无法提供正常服务，进而可能导致服务整体异常。主机中正在等待的IO（磁盘IO、网络IO等）在较长时间内未得到响应，进程处于D状态和Z状态。或进程可能被挂起进入T状态。查看进程是否处于D、Z、T状态是，处理
- [ALM-14034 Router进程状态异常](https://support.huaweicloud.com/usermanual-mrs/ALM-14034.md): Router每20秒周期性检查进程状态，当进程状态异常，且长时间未转换为正常状态时触发该告警。进程状态正常后告警清除。进程状态异常会导致该进程无法提供正常服务，进而可能导致服务整体异常。主机中正在等待的IO（磁盘IO、网络IO等）在较长时间内未得到响应，进程处于D状态和Z状态。或进程可能被挂起进入T状态。查看进程是否处于D、Z、T状态是，
- [ALM-14035 HttpFS进程状态异常](https://support.huaweicloud.com/usermanual-mrs/ALM-14035.md): HttpFs每20秒周期性检查进程状态，当进程状态异常，且长时间未转换为正常状态时触发该告警。进程状态正常后告警清除。进程状态异常会导致该进程无法提供正常服务，进而可能导致服务整体异常。主机中正在等待的IO（磁盘IO、网络IO等）在较长时间内未得到响应，进程处于D状态和Z状态。或进程可能被挂起进入T状态。查看进程是否处于D、Z、T状态是，
- [ALM-14036 NameNode进入安全模式](https://support.huaweicloud.com/usermanual-mrs/ALM-14036.md): NameNode每30秒周期性检查进程状态，NameNode进入安全模式时触发该告警。进程状态正常后告警清除。本章节仅适用于MRS 3.3.1-LTS及之后版本。NameNode进入安全模式后，该NameNode不可写入。用户手动进入安全模式或重启NameNode时存在丢块。检查NameNode节点是否进入安全模式。admin用户默认不具
- [ALM-14037 存在集群外的DataNode](https://support.huaweicloud.com/usermanual-mrs/ALM-14037.md): NameNode每8个小时周期性检查集群中是否存在脱离管控的DataNode。如果存在则触发该告警。如果无脱离管控的DataNode则告警清除。本章节仅适用于MRS 3.3.1-LTS及之后版本。当有脱离集群管控的DataNode时，可能造成数据丢失。强制删除主机后，该主机又上电恢复，进程被重新启动。如果附加信息中发生该告警的主机IP有多
- [ALM-14038 Router堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14038.md): 系统每30秒周期性检测HDFS Router堆内存使用大小和能够分配的最大堆内存大小，计算堆内存使用大小和能够分配的最大堆内存大小的比值得到堆内存使用率，并把实际的HDFS Router堆内存使用率和阈值相比较。HDFS Router堆内存使用率指标默认提供一个阈值范围。当HDFS Router堆内存使用率超出阈值范围时，产生该告警。用户
- [ALM-14039 集群内存在慢DataNode](https://support.huaweicloud.com/usermanual-mrs/ALM-14039.md): 系统每60秒周期性检测HDFS DataNode实例每秒出现的慢操作次数，并把次数与阈值相比较。当HDFS DataNode实例持续3分钟出现每秒的慢操作次数超出阈值，产生该告警。当HDFS DataNode实例每秒出现的慢操作次数小于或等于阈值时，告警恢复。本章节仅适用于MRS 3.5.0-LTS及之后版本。HDFS出现慢DataNod
- [ALM-14040 HDFS中DataNode每秒出现慢SyncWriterOsCache的次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14040.md): 系统每60秒周期性检测HDFS DataNode实例每秒出现慢SyncWriterOsCache的次数，并把次数与阈值相比较。当HDFS DataNode实例持续3分钟出现每秒慢SyncWriterOsCache的次数超出阈值，产生该告警。当HDFS DataNode实例每秒出现慢SyncWriterOsCache的次数小于或等于阈值时，
- [ALM-14041 HDFS中DataNode每秒出现慢WriteDataToDisk的次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14041.md): 系统每60秒周期性检测HDFS DataNode实例每秒出现慢WriteDataToDisk的次数，并把次数与阈值相比较。当HDFS DataNode实例持续3分钟出现每秒慢WriteDataToDisk的次数超出阈值，产生该告警。当HDFS DataNode实例每秒出现慢WriteDataToDisk的次数小于或等于阈值时，告警恢复。本
- [ALM-14042 Router RPC处理平均时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14042.md): 系统每30秒周期性检测Router的RPC处理平均时间，并把实际的Router的RPC处理平均时间和阈值相比较。当检测到Router的RPC处理平均时间连续多次（默认为10次）超出阈值范围时，产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HDFS”修改阈值。如果平滑次数为1，Router的RPC处理平均时
- [ALM-14043 Router RPC队列平均时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14043.md): 系统每30秒周期性检测Router的RPC队列平均时间，并把实际的Router的RPC队列平均时间和阈值相比较。当检测到Router的RPC处理平均时间连续多次（默认为10次）超出阈值范围时，产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HDFS”修改阈值。如果平滑次数为1，Router的RPC队列平均时
- [ALM-14044 XceiverCount数量超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14044.md): 系统每30秒周期性检测每个DataNode上的XceiverCount数量，当检测到当前的DataNode上XceiverCount超过“dfs.datanode.max.transfer.threads”参数值（表示与DataNode间传输数据的线程的最大数，默认值为8192）的95%时产生该告警。DataNode节点上的Xceiver
- [ALM-14045 执行ReadBlock操作的平均时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14045.md): 系统每30秒周期性检测DataNode的ReadBlock操作的平均时间，当检测到平均时间连续多次（默认20次）超出阈值范围时，产生该告警。当检测到DataNode的ReadBlock操作的平均时间低于阈值范围时，告警恢复。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。从DataNode上读Block变慢，导致依赖于HDFS的读
- [ALM-14046 执行WriteBlock操作的平均时间](https://support.huaweicloud.com/usermanual-mrs/ALM-14046.md): 系统每30秒周期性检测DataNode的WriteBlock操作的平均时间，当检测到平均时间连续多次（默认20次）超出阈值范围时，产生该告警。当检测到DataNode的WriteBlock操作的平均时间低于阈值范围时，告警恢复。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。从DataNode上面写Block变慢，导致依赖于HDF
- [ALM-16000 连接到HiveServer的session数占最大允许数的百分比超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-16000.md): 系统每30秒周期性检测连接到HiveServer的Session数占HiveServer允许的最大session数的百分比，该指标可通过“集群 > 待操作集群的名称 > 服务 > Hive > 实例 >具体的HiveServer实例”查看。连接到HiveServer的session数占最大允许数的百分比指标默认提供一个阈值范围（90%），
- [ALM-16001 Hive数据仓库空间使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-16001.md): 系统每30秒周期性检测Hive数据仓库空间使用率，该指标可在Hive服务监控界面查看，指标名称为“Hive已经使用的HDFS空间占可使用空间的百分比”。Hive数据仓库空间使用率指标默认提供一个阈值范围（85%），当检测到Hive数据仓库空间使用率超过阈值范围时产生该告警。用户可通过“运维 >告警 >阈值设置 > 待操作集群的名称 > H
- [ALM-16002 Hive SQL执行成功率低于阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-16002.md): 系统每30秒周期性检测执行的HQL成功百分比，HQL成功百分比由一个周期内Hive执行成功的HQL数/Hive执行HQL总数计算得到。该指标可通过“集群 > 待操作的集群名称 > 服务 >Hive > 实例 > 具体的HiveServer实例”查看。执行的HQL成功百分比指标默认提供一个阈值范围（90%），当检测到百分比指标低于阈值范围产
- [ALM-16003 Background线程使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-16003.md): 系统每30秒周期性检测Background线程使用率情况，默认阈值为90%。如果Hive使用的background线程池使用率超过阈值，则发出告警。后台Background线程数过多，导致新提交的任务无法及时运行。Hive后台的background线程池使用率过大。HiveServer后台的background线程池执行的任务过多。Hiv
- [ALM-16004 Hive服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-16004.md): 系统每60秒周期性检测Hive服务状态。当Hive服务不可用时产生该告警。当Hive服务恢复时，告警恢复。系统无法提供数据加载、查询、提取服务。Hive服务不可用可能与ZooKeeper、HDFS、Yarn和DBService等基础服务有关，也可能由Hive自身的进程故障引起。ZooKeeper服务异常。HDFS服务异常。Yarn服务异常
- [ALM-16005 Hive服务进程堆内存使用超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-16005.md): 系统每30秒周期性检测Hive堆内存使用率，并把实际的Hive堆内存使用率和阈值相比较。当Hive堆内存使用率超出阈值（默认为最大堆内存的95%）时产生该告警。用户可通过“运维 >告警 > 阈值设置 > Hive”修改阈值。当Hive堆内存使用率小于或等于阈值时，告警恢复。Hive堆内存使用率过高，会影响Hive任务运行的性能，甚至造成内
- [ALM-16006 Hive服务进程直接内存使用超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-16006.md): 系统每30秒周期性检测Hive直接内存使用率，并把实际的Hive直接内存使用率和阈值相比较。当Hive直接内存使用率超出阈值（默认为最大直接内存的95%）时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Hive”修改阈值。当Hive直接内存使用率小于或等于阈值时，告警恢复。Hive直接内存使用率过高，会影
- [ALM-16007 Hive GC 时间超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-16007.md): 系统每60秒周期性检测Hive服务的GC时间，当检测到Hive服务的GC时间超出阈值（连续3次检测超过12秒）时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > Hive”修改阈值。当Hive GC时间小于或等于阈值时，告警恢复。GC时间超出阈值，会影响到Hive数据的读写，可能导致任务执行变慢，甚至服务异常重启。该节点Hive实
- [ALM-16008 Hive服务进程非堆内存使用超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-16008.md): 系统每30秒周期性检测Hive非堆内存使用率，并把实际的Hive非堆内存使用率和阈值相比较。当Hive非堆内存使用率超出阈值（默认为最大非堆内存的95%）时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Hive”修改阈值。当Hive非堆内存使用率小于或等于阈值时，告警恢复。Hive非堆内存使用率过高，会影
- [ALM-16009 Map数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-16009.md): 系统每30秒周期性检测执行的HQL的Map数是否超过阈值，超过阈值发出告警。系统默认的平滑次数为3次，默认阈值为5000。Hive执行的HQL的Map数过高，将占用大量Yarn队列资源，可能导致任务耗时较长，并且影响其他使用此队列运行的任务。执行的HQL语句存在可以优化的可能。检查HQL的Map个数。是，操作结束。否，执行4。收集故障信息
- [ALM-16045 Hive数据仓库被删除](https://support.huaweicloud.com/usermanual-mrs/ALM-16045.md): 系统每60秒周期性检测Hive数据仓库情况，Hive数据仓库被删除告警。Hive默认数据仓库被删除，会导致在默认数据仓库中创建库、创建表失败，影响业务正常使用。Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库被删除。检查Hive默认数据仓库。hdfs dfs -lshdfs://hacluster/user/<用户名>/.Tr
- [ALM-16046 Hive数据仓库权限被修改](https://support.huaweicloud.com/usermanual-mrs/ALM-16046.md): 系统每60秒周期性检测Hive数据仓库的权限是否被修改，如果修改发出告警。Hive默认数据仓库的权限被修改，会影响当前用户，用户组，其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围；会扩大或缩小权限。Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库权限发生更改。检查Hive默认数据仓库权限情况。cd客户端安装目录so
- [ALM-16047 HiveServer已从Zookeeper注销](https://support.huaweicloud.com/usermanual-mrs/ALM-16047.md): 系统每60秒周期性检测Hive服务，若Hive在Zookeeper上的注册信息丢失，或者Hive无法连接上Zookeeper，将会发出告警。Hive客户端新建连接时，无法选取已从Zookeeper注销的HiveServer节点。若所有HiveServer均已从Zookeeper注销，将导致HiveServer服务不可用。ZooKeeper
- [ALM-16048 Tez或者Spark库路径不存在](https://support.huaweicloud.com/usermanual-mrs/ALM-16048.md): 系统每180秒周期性检测Tez和Spark库路径，不存在则产生该告警。Tez或者Spark库路径不存在，会影响Hive on Tez，Hive on Spark功能。Tez或者Spark在HDFS上库路径被删除。检查Tez和Spark库路径。hdfs dfs -lshdfs://hacluster/user/<用户名>/.Trash/Cu
- [ALM-16051 连接到MetaStore的session数占最大允许数的百分比超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-16051.md): 系统每30秒周期性检测连接到MetaStore的session数占MetaStore允许的最大session数的百分比，当检测到百分比指标超过阈值范围时产生该告警。当连接到MetaStore的session数占MetaStore允许的最大session数的百分比指标小于等于阈值时，告警恢复。本章节仅适用于MRS 3.3.1-LTS及之后版
- [ALM-16052 MetaStore创建表时访问元数据库时延超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-16052.md): 系统周期性检测MetaStore创建表时访问元数据库时延，当最近5分钟创建表的平均时延超过阈值时上报告警。当最近5分钟创建表的平均时延小于阈值时，告警恢复。本章节仅适用于MRS 3.5.0-LTS及之后版本。发生当前告警时，表示MetaStore创建表时插入相关表信息到元数据库时延高，会导致MetaStore接口访问慢或报错。MetaSt
- [ALM-16053 Hive的HQL最近5分钟平均提交时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-16053.md): 系统周期性检测HQL平均提交时间，该时间为调用MapReduce/Spark/Tez接口提交Yarn作业的时间，包含上传依赖的临时Jar包、切分文件等时间。当最近5分钟HQL的平均提交时间超过阈值时上报该告警。当最近5分钟HQL的平均提交时间小于阈值时，告警恢复。本章节仅适用于MRS 3.5.0-LTS及之后版本。发生当前告警时，表示最近
- [ALM-16054 HiveServer连接被限流](https://support.huaweicloud.com/usermanual-mrs/ALM-16054.md): HiveServer支持配置指定用户或IP的最大连接数限制，连接数达到限制值后新的连接将被拒绝并触发此告警。5分钟后如果没有新的连接被拒绝，将自动清除此告警。本章节仅适用于MRS 3.6.0-LTS及之后版本。上报告警的用户或IP无法新建HiveServer连接，影响相关业务。HiveServer的用户或IP最大连接数限制设置不合理，需要
- [ALM-16055 Hive访问数据仓库目录异常](https://support.huaweicloud.com/usermanual-mrs/ALM-16055.md): Hive服务在启动时以及启动后每60秒周期性地检测Hive数据仓库目录是否能正常访问，如果不能正常访问则上报告警。当Hive服务在启动时以及启动后每60秒周期性地检测都能正常访问Hive数据仓库目录时，告警恢复。本章节仅适用于MRS 3.6.0-LTS及之后版本。系统无法提供数据加载、查询和提取功能。HDFS服务异常。OBS服务异常。登录
- [ALM-17003 Oozie服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-17003.md): 系统每5秒周期性检测Oozie服务状态，当Oozie或者Oozie所依赖的组件无法正常提供服务时，系统产生此告警。当Oozie服务恢复可用状态时，告警自动消除。无法使用Oozie服务调度任务。DBService服务异常或者Oozie存储在DBService中的数据遭到破坏，导致Oozie服务不可用。HDFS服务异常或者Oozie存储在HD
- [ALM-17004 Oozie堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-17004.md): 系统每60秒周期性检测Oozie服务堆内存使用状态，当检测到Oozie实例堆内存使用率超出阈值（最大内存的95%）时产生该告警。堆内存使用率小于阈值时，告警恢复。堆内存溢出可能导致服务崩溃，服务崩溃后无法使用Oozie服务调度任务。该节点Oozie实例堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。检查堆内存使用率。是，执行4
- [ALM-17005 Oozie非堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-17005.md): 系统每30秒周期性检测Oozie服务非堆内存使用状态，当检测到Oozie实例非堆内存使用率超出阈值（最大内存的80%）时产生该告警。非堆内存使用率小于阈值时，告警恢复。非堆内存溢出可能导致服务崩溃，服务崩溃后无法使用Oozie服务调度任务。该节点Oozie实例非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。检查非堆内存使用
- [ALM-17006 Oozie直接内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-17006.md): 系统每30秒周期性检测Oozie服务直接内存使用状态，当检测到Oozie实例直接内存使用率超出阈值（最大内存的80%）时，产生该告警。当Oozie直接内存使用率小于或等于阈值时，告警恢复。直接内存溢出可能导致服务崩溃，服务崩溃后无法使用Oozie服务调度任务。该节点Oozie实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈
- [ALM-17007 Oozie进程垃圾回收（GC）时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-17007.md): 系统每60秒周期性检测Oozie进程的垃圾回收（GC）占用时间，当检测到Oozie进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。导致Oozie调度任务响应变慢直至服务不可用。该节点Oozie实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。检查GC时间。是，执行4。否
- [ALM-17008 Oozie连接ZooKeeper状态异常](https://support.huaweicloud.com/usermanual-mrs/ALM-17008.md): 在HA模式下，Oozie会依赖ZooKeeper，当检测到与ZooKeeper的连接状态连续3次异常时，产生该告警。当检测到Oozie连接ZooKeeper状态正常时，告警清除。本章节仅适用于MRS 3.3.0-LTS及之后版本。正在运行的调度任务会阻塞，无法提交新的调度任务。在HA模式下，Oozie服务会重启。ZooKeeper服务异常
- [ALM-17009 Oozie连接DBService状态异常](https://support.huaweicloud.com/usermanual-mrs/ALM-17009.md): Oozie会依赖DBService，提交任务后系统会检测DBService连接状态，当检测到与DBService的连接状态连续10次异常时，产生该告警。当检测到Oozie连接DBService状态正常时，告警清除。本章节仅适用于MRS 3.3.0-LTS及之后版本。正在运行的调度任务会阻塞，无法提交新的调度任务。DBService服务异常
- [ALM-17010 Oozie连接HDFS状态异常](https://support.huaweicloud.com/usermanual-mrs/ALM-17010.md): Oozie会依赖HDFS，提交任务后系统会检测HDFS连接状态，当检测到与HDFS的连接状态连续3次异常时，产生该告警。当检测到Oozie连接HDFS状态正常时，告警清除。本章节仅适用于MRS 3.3.0-LTS及之后版本。正在运行的调度任务会阻塞，无法提交新的调度任务。HDFS服务重启、故障或网络故障导致Oozie与HDFS连接状态异常
- [ALM-17011 Oozie连接Yarn状态异常](https://support.huaweicloud.com/usermanual-mrs/ALM-17011.md): Oozie会依赖Yarn，提交任务后系统会检测Yarn连接状态，当检测到与Yarn的连接状态连续5次异常时，产生该告警。当检测到Oozie连接Yarn状态正常时，告警清除。本章节仅适用于MRS 3.3.0-LTS及之后版本。正在运行的调度任务会阻塞，无法提交新的调度任务。Yarn服务异常。Oozie连接Yarn异常。检查Yarn服务状态。
- [ALM-18000 Yarn服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-18000.md): 告警模块按60秒周期检测Yarn服务状态。当检测到Yarn服务不可用时产生该告警。Yarn服务状态恢复正常时，告警恢复。集群无法提供Yarn服务。用户无法执行新的application。已提交的application无法执行。ZooKeeper服务异常。HDFS服务异常。Yarn集群中没有主ResourceManager实例。Yarn集群
- [ALM-18002 NodeManager心跳丢失](https://support.huaweicloud.com/usermanual-mrs/ALM-18002.md): 系统每30秒周期性检测丢失的NodeManager节点，并把丢失的节点数和阈值相比较。“丢失的节点数”指标默认提供一个阈值。当检测到“丢失的节点数”的值超出阈值时产生该告警。用户可通过选择“集群 > 服务 > Yarn > 配置 > 全部配置”，修改yarn.nodemanager.lost.alarm.threshold的值来配置阈值（
- [ALM-18003 NodeManager不健康](https://support.huaweicloud.com/usermanual-mrs/ALM-18003.md): 系统每30秒周期性检测不健康NodeManager节点，并把不健康节点数和阈值相比较。“不健康的节点数”指标默认提供一个阈值。当检测到“不健康的节点数”的值超出阈值时产生该告警。用户可通过选择“集群 > 服务 > Yarn > 配置 > 全部配置”，修改“yarn.nodemanager.unhealthy.alarm.threshold
- [ALM-18008 ResourceManager堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18008.md): 系统每30秒周期性检测Yarn ResourceManager堆内存使用率，并把实际的Yarn ResourceManager堆内存使用率和阈值相比较。当Yarn ResourceManager堆内存使用率超出阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > Yarn > 资源 > ResourceManager堆内存使用百
- [ALM-18009 JobHistoryServer堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18009.md): 系统每30秒周期性检测Mapreduce JobHistoryServer堆内存使用率，并把实际的Mapreduce JobHistoryServer堆内存使用率和阈值相比较。当Mapreduce JobHistoryServer堆内存使用率超出阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Mapr
- [ALM-18010 ResourceManager进程垃圾回收（GC）时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18010.md): 系统每60秒周期性检测ResourceManager进程的垃圾回收（GC）占用时间，当检测到ResourceManager进程的垃圾回收（GC）时间超出阈值时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。ResourceManager进程的垃圾回收时间过长，可能影响该ResourceManager进程正常提供服务。该节点Reso
- [ALM-18011 NodeManager进程垃圾回收（GC）时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18011.md): 系统每60秒周期性检测NodeManager进程的垃圾回收（GC）占用时间，当检测到NodeManager进程的垃圾回收（GC）时间超出阈值时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。NodeManager进程的垃圾回收时间过长，可能影响该NodeManager进程正常提供服务。该NodeManager节点实例堆内存使用率过
- [ALM-18012 JobHistoryServer进程垃圾回收（GC）时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18012.md): 系统每60秒周期性检测JobHistoryServer进程的垃圾回收（GC）占用时间，当检测到JobHistoryServer进程的垃圾回收（GC）时间超出阈值时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。JobHistoryServer进程的垃圾回收时间过长，可能影响该JobHistoryServer进程正常提供服务。该节点
- [ALM-18013 ResourceManager直接内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18013.md): 系统每30秒周期性检测ResourceManager服务直接内存使用状态，当检测到ResourceManager实例直接内存使用率超出阈值时，产生该告警。直接内存使用率小于阈值时，告警恢复。ResourceManager可用直接内存不足，可能会造成内存溢出导致服务崩溃。该节点ResourceManager实例直接内存使用率过大，或配置的直
- [ALM-18014 NodeManager直接内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18014.md): 系统每30秒周期性检测Yarn服务直接内存使用状态，当检测到NodeManager实例直接内存使用率超出阈值时，产生该告警。直接内存使用率小于阈值时，告警恢复。NodeManager可用直接内存不足，可能会造成内存溢出导致服务崩溃。该节点NodeManager实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。检查直接内存
- [ALM-18015 JobHistoryServer直接内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18015.md): 系统每30秒周期性检测MapReduce服务直接内存使用状态，当检测到JobHistoryServer实例直接内存使用率超出阈值时，产生该告警。直接内存使用率小于阈值时，告警恢复。MapReduce可用直接内存不足，可能会造成内存溢出导致服务崩溃。该节点JobHistoryServer实例直接内存使用率过大，或配置的直接内存不合理，导致使
- [ALM-18016 ResourceManager非堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18016.md): 系统每30秒周期性检测Yarn ResourceManager非堆内存使用率，并把实际的Yarn ResourceManager非堆内存使用率和阈值相比较。当Yarn ResourceManager非堆内存使用率超出阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn”修改阈值。当Yarn Res
- [ALM-18017 NodeManager非堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18017.md): 系统每30秒周期性检测Yarn NodeManager非堆内存使用率，并把实际的Yarn NodeManager非堆内存使用率和阈值相比较。当Yarn NodeManager非堆内存使用率超出阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn”修改阈值。当Yarn NodeManager非堆内存
- [ALM-18018 NodeManager堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18018.md): 系统每30秒周期性检测Yarn服务堆内存使用状态，当检测到NodeManager实例堆内存使用率超出阈值时产生该告警。堆内存使用率小于阈值时，告警恢复。NodeManager堆内存使用率过高，会影响Yarn任务提交和运行的性能，甚至可能会造成内存溢出导致Yarn服务崩溃。该节点NodeManager实例堆内存使用率过大，或配置的堆内存不合
- [ALM-18019 JobHistoryServer非堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18019.md): 系统每30秒周期性检测MapReduce JobHistoryServer非堆内存使用率，并把实际的MapReduce JobHistoryServer非堆内存使用率和阈值相比较。当MapReduce JobHistoryServer非堆内存使用率超出阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > M
- [ALM-18020 Yarn任务执行超时](https://support.huaweicloud.com/usermanual-mrs/ALM-18020.md): 系统每15分钟周期性检测提交到Yarn上的Mapreduce和Spark应用任务（JDBC常驻任务除外），当检测到任务执行时间超过用户指定的超时时间时，产生该告警，但任务仍继续正常执行。其中，Mapreduce的客户端超时参数为“mapreduce.application.timeout.alarm”（单位：毫秒）。当该任务结束或者任务被
- [ALM-18021 Mapreduce服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-18021.md): 告警模块按60秒周期检测Mapreduce服务状态。当检测到Mapreduce服务不可用时产生该告警。Mapreduce服务恢复时，告警恢复。集群无法提供Mapreduce服务，如无法通过Mapreduce查看任务日志，无法提供Mapreduce服务的日志归档功能等。JobHistoryServer实例异常。KrbServer服务异常。Z
- [ALM-18022 Yarn队列资源不足](https://support.huaweicloud.com/usermanual-mrs/ALM-18022.md): MRS 3.3.1之前版本：告警模块按60秒周期检测Yarn队列资源，当队列可用资源或队列AM（ApplicationMaster）可用资源不足时，产生该告警。当可用资源充足时，该告警自动消除。当可用资源充足时，该告警自动消除。MRS 3.3.1及之后版本：告警模块按周期（“alarm.resource.lack.check.times.
- [ALM-18023 Yarn任务挂起数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18023.md): 告警模块按60秒周期检测Yarn队列上pending的应用的数量，当root队列上处于pending状态的应用的数量超过60时，触发该告警。应用任务结束时间变长。新应用提交后长时间无法运行。NodeManager节点资源过小。队列最大资源容量设置过小，AM最大资源百分比设置过小。监控阈值设置过小。检查NodeManager节点资源登录集群
- [ALM-18024 Yarn任务挂起内存量超阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18024.md): 告警模块按60秒周期检测Yarn当前挂起的内存量大小，当Yarn上面挂起的内存量大小超过阈值时，触发该告警。挂起的内存量表示当前所有提交的Yarn应用还没有满足的内存量总和。应用任务结束时间变长。新应用提交后长时间无法运行。NodeManager节点资源过小。队列最大资源容量设置过小，AM最大资源百分比设置过小。监控阈值设置过小。检查No
- [ALM-18025 Yarn被终止的任务数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18025.md): 告警模块按60秒周期检测Yarn root队列上被终止的应用的数量，当root队列上该监控周期内新增的被终止的应用的数量超过50，且连续发生3次以上时，触发该告警。大量应用任务被强制终止。人为强制终止大量任务。系统出于某种错误终止任务。检查告警详情。登录集群Manager具体操作，请参考访问MRS集群Manager。是，执行3。否，执行4
- [ALM-18026 Yarn上运行失败的任务数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18026.md): 告警模块按60秒周期检测Yarn root队列上失败的应用的数量，当root队列上该监控周期内新增的运行失败的应用的数量超过50时，且连续发生3次以上，触发该告警。大量应用任务运行失败。运行失败的任务需要重新提交。任务出于某种错误运行失败。检查告警详情。登录集群Manager具体操作，请参考访问MRS集群Manager。是，执行3。否，执
- [ALM-18027 JobHistoryServer进程状态异常](https://support.huaweicloud.com/usermanual-mrs/ALM-18027.md): JobHistoryServer每20秒周期性检查进程状态，当进程状态异常，且长时间未转换为正常状态时触发该告警。进程状态正常后告警清除。本章节仅适用于MRS 3.3.1-LTS及之后版本。进程状态异常会导致该进程无法提供正常服务，进而可能导致服务整体异常。主机中正在等待的IO（磁盘IO、网络IO等）在较长时间内未得到响应，进程处于D状态
- [ALM-18028 TimeLineServer进程状态异常](https://support.huaweicloud.com/usermanual-mrs/ALM-18028.md): TimeLineServer每20秒周期性检查进程状态，当进程状态异常，且长时间未转换为正常状态时触发该告警。进程状态正常后告警清除。本章节仅适用于MRS 3.3.1-LTS及之后版本。进程状态异常会导致该进程无法提供正常服务，进而可能导致服务整体异常。主机中正在等待的IO（磁盘IO、网络IO等）在较长时间内未得到响应，进程处于D状态和Z
- [ALM-18029 NodeManager的yarn-nm-state目录中文件大小之和超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18029.md): NodeManager每30秒周期性检测实例所在节点的yarn-nm-state目录中文件大小之和是否超过100MB，当超过100MB，则触发该告警。NodeManager实例所在节点的yarn-nm-state目录中文件大小之和小于100MB后告警清除。本章节仅适用于MRS 3.6.0-LTS及之后版本。可能产生大量无用的Contain
- [ALM-18030 NodeManager上Container运行失败率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-18030.md): NodeManager每30秒周期性检测实例上Container运行情况，当运行Container的失败率超过阈值，且连续发生3次以上，则触发该告警。NodeManager实例上运行Container的失败率低于阈值后告警清除。本章节仅适用于MRS 3.6.0-LTS及之后版本。影响上层服务（HBase，Spark等）任务执行，可能导致上
- [ALM-18031 TimelineServer升主失败](https://support.huaweicloud.com/usermanual-mrs/ALM-18031.md): 在TimelineServer实例升主的过程中，TimelineHaDaemon进程启动TimelineServer失败时会上报当前告警。当节点的TimelineServer启动成功或者为备时，告警清除。本章节仅适用于MRS 3.6.0-LTS及之后版本。Tez页面无法查看历史记录。ZooKeeper服务异常。HDFS服务异常。浮动IP异
- [ALM-18032 JobHistoryServer升主失败](https://support.huaweicloud.com/usermanual-mrs/ALM-18032.md): 在JobHistoryServer实例升主的过程中，JhsHaDaemon进程启动JobHistoryServer失败时会上报当前告警。当节点的JobHistoryServer启动成功或者为备时，告警清除。本章节仅适用于MRS 3.6.0-LTS及之后版本。无法查看已完成作业的日志Hive on MR作业偶现状态异常。ZooKeeper服
- [ALM-19000 HBase服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-19000.md): 告警模块按120秒周期检测HBase服务状态。当HBase服务不可用时产生该告警。HBase服务恢复时，告警清除。无法进行数据读写和创建表等操作。ZooKeeper服务异常。HDFS服务异常。HBase服务异常。网络异常。服务配置值修改不正确。检查ZooKeeper服务状态。是，执行5。否，执行2。是，执行3。否，执行5。是，处理完毕。否
- [ALM-19006 HBase容灾同步失败](https://support.huaweicloud.com/usermanual-mrs/ALM-19006.md): 告警模块每30s检查一次HBase容灾数据的同步状态，当同步容灾数据到备集群失败时，发送该告警。当容灾数据同步成功后，告警清除。无法同步集群中HBase的数据到备集群，同步数据积压，导致大量主备数据不一致，使得容灾主备倒换或者双读从备集群读取不到最新的数据。如果持续不处理，还会导致主集群的存储空间以及ZooKeeper节点被大量积压，最终
- [ALM-19007 HBase GC时间超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19007.md): 系统每60秒周期性检测HBase服务的老年代GC时间，当检测到HBase服务的老年代GC时间超出阈值（默认连续3次检测超过5秒）时产生该告警。 在FusionInsight Manager首页，用户可通过选择“运维 > 告警 > 阈值设置 > HBase > GC > GC中回收old区所花时长”修改阈值。 当HBase服务的老年代GC时
- [ALM-19008 HBase服务进程堆内存使用率超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19008.md): 系统每30秒周期性检测HBase服务堆内存使用状态，当检测到HBase服务堆内存使用率超出阈值（最大内存的90%）时产生该告警。HBase可用内存不足，可能会造成节点重启。在节点重启过程中，该节点上的读写请求时延会变大或者失败。该节点HBase服务堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。检查堆内存使用率告警上报的角色是
- [ALM-19009 HBase服务进程直接内存使用率超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19009.md): 系统每30秒周期性检测HBase服务直接内存使用状态，当检测到HBase服务直接内存使用率超出阈值（最大内存的90%）时产生该告警。直接内存使用率小于阈值时，告警恢复。HBase可用的直接内存不足，可能会造成节点重启。在节点重启过程中，该节点上的读写请求时延会变大或者失败。该节点HBase服务直接内存使用率过大，或配置的直接内存不合理，导
- [ALM-19011 RegionServer的Region数量超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19011.md): 系统每30秒周期性检测每个HBase服务实例中每个RegionServer的Region数。该指标可以在HBase服务监控界面和RegionServer角色监控界面查看，当检测到某个RegionServer上的Region数超出阈值（默认连续20次超过默认阈值2000）时产生该告警。用户可通过“运维 > 告警 > 阈值设置> 服务 > H
- [ALM-19012 HBase系统表目录或文件丢失](https://support.huaweicloud.com/usermanual-mrs/ALM-19012.md): 系统按120秒周期性检测HBase在HDFS上的如下目录和文件是否存在，当检测到文件或者目录不存在时，上报该告警。当文件或目录都恢复后，告警恢复。检查内容：命名空间hbase在HDFS上的目录。hbase.version文件。hbase:meta表在HDFS上的目录、.tableinfo和.regioninfo文件。hbase:names
- [ALM-19013 region处在RIT状态的时长超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19013.md): 系统按300秒周期性检测HBase上的region处在RIT状态的数量。当检测到处在RIT状态的region时长超过阈值时长（连续两次超过阈值），上报该告警。当处在超时状态的region都恢复后，告警恢复。业务表的部分数据丢失或不可用。Compaction永久阻塞。HDFS文件异常。检查告警上报原因。登录集群Manager具体操作，请参考
- [ALM-19014 在ZooKeeper上的容量配额使用率严重超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19014.md): 系统每120秒周期性检测HBase服务的znode使用情况，当检测到HBase服务的znode容量使用率超出紧急告警的阈值（默认90%）时产生该告警。当znode的容量使用率小于严重告警的阈值（默认75%）时，告警恢复。产生该告警表示HBase服务的znode的容量使用率已经严重超过规定的阈值，会导致HBase服务的写入请求失败。HBas
- [ALM-19015 在ZooKeeper上的数量配额使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19015.md): 系统每120秒周期性检测HBase服务的znode使用情况，当检测到HBase服务的znode数量使用率超出告警的阈值（默认75%）时产生该告警。当znode的数量使用率小于告警的阈值时，告警恢复。产生该告警表示HBase服务的znode的数量使用率已经超过规定的阈值，如果不及时处理，可能会导致问题级别升级为紧急，最终导致数据写入失败。H
- [ALM-19016 在ZooKeeper上的数量配额使用率严重超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19016.md): 系统每120秒周期性检测HBase服务的znode使用情况，当检测到HBase服务的znode数量使用率超出紧急告警的阈值（默认90%）时产生该告警。当znode的数量使用率小于严重告警的阈值时，告警恢复。产生该告警表示HBase服务的znode的数量使用率已经严重超过规定的阈值，会导致HBase服务的写入请求失败。HBase配置了容灾并
- [ALM-19017 在ZooKeeper上的容量配额使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19017.md): 系统每120秒周期性检测HBase服务的znode使用情况，当检测到HBase服务的znode容量使用率超出告警的阈值（默认75%）时产生该告警。当znode的容量使用率小于告警的阈值时，告警恢复。产生该告警表示HBase服务的znode的容量使用率已经超过规定的阈值，如果不及时处理，可能会导致问题级别升级为紧急，影响数据写入。HBase
- [ALM-19018 HBase合并队列超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19018.md): 系统每30秒周期性检测HBase服务的compaction队列长度，默认当连续3次检测到HBase服务的compaction队列长度超过告警的阈值（默认100）时产生该告警。当compaction队列长度小于告警的阈值时，告警恢复。产生该告警表示HBase服务的compaction队列长度已经超过规定的阈值，如果该告警长期存在，表示该节点
- [ALM-19019 HBase容灾等待同步的HFile文件数量超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19019.md): 系统每30秒周期性检测每个HBase服务实例RegionServer等待同步的HFile文件数量。该指标可以在RegionServer角色监控界面查看，当检测到某个RegionServer上的等待同步HFile文件数量超出阈值（默认连续20次超过默认阈值128）时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群 > H
- [ALM-19020 HBase容灾等待同步的wal文件数量超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19020.md): 系统每30秒周期性检测每个HBase服务实例RegionServer等待同步的wal文件数量。该指标可以在RegionServer角色监控界面查看，当检测到某个RegionServer上的等待同步wal文件数量超出阈值（默认连续20次超过默认阈值128）时产生该告警。用户可通过“运维 > 告警 > 阈值设置> 待操作集群 > HBase”
- [ALM-19021 RegionServer handler 使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19021.md): 系统每30秒周期性检测每个HBase服务实例RegionServer的handler使用率。当检测到某个RegionServer上的handler使用率超出阈值（默认连续5次超过默认阈值90%）时产生该告警。当handler使用率小于或等于阈值时，告警消除。RegionServer的handler使用率超出阈值，会影响RegionServ
- [ALM-19022 HBase热点检测功能不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-19022.md): HBase服务安装MetricController实例时，告警模块按120秒周期检测HBase MetricController主实例健康状态。当HBase MetricController主实例不存在或不可用时，热点检测功能不可用，上报该告警。HBase MetricController主实例功能恢复时，告警清除。本章节仅适用于MRS 
- [ALM-19023 HBase Region限流](https://support.huaweicloud.com/usermanual-mrs/ALM-19023.md): HBase服务安装MetricController实例时，热点自愈功能自动开启，告警模块按120秒周期检测HBase是否存在因为热点问题被限制请求流量的Region。当检测到HBase存在热点限流Region时，上报该告警。当热点Region请求不再过热，将解除限流，告警清除。本章节仅适用于MRS 3.3.0-LTS及之后版本。热点Reg
- [ALM-19024 RegionServer RPC响应时间的P99超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19024.md): 系统每30秒周期性检测每个HBase服务的RegionServer实例的RPC请求响应时间的P99。当检测到某个RegionServer上的RPC请求响应时间的P99连续10次超出阈值时产生该告警。当RegionServer实例的RPC请求响应时间的P99小于或等于阈值时，告警消除。本章节仅适用于MRS 3.3.0-LTS及之后版本。Re
- [ALM-19025 HBase存在损坏的StoreFile文件](https://support.huaweicloud.com/usermanual-mrs/ALM-19025.md): 系统每120秒周期性检测每个HBase服务在HDFS上的“hdfs://hacluster/hbase/autocorrupt”和“hdfs://hacluster/hbase/MasterData/autocorrupt”目录，当检测到目录下存在文件时产生该告警。当“/hbase/autocorrupt”和“/hbase/MasterD
- [ALM-19026 HBase存在损坏的WAL文件](https://support.huaweicloud.com/usermanual-mrs/ALM-19026.md): 系统每120秒周期性检测每个HBase服务在HDFS上的“hdfs://hacluster/hbase/corrupt”目录，当检测到“/hbase/corrupt”目录下存在WAL文件时产生该告警。当“/hbase/corrupt”目录不存在或不包含WAL文件时，告警消除。本章节仅适用于MRS 3.3.0-LTS及之后版本。“hdfs:
- [ALM-19030 RegionServer的RPC请求处理时间的P99超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19030.md): 系统每30秒周期性检测每个HBase服务的RegionServer实例的RPC请求处理时间的P99，当检测到某个RegionServer上的RPC请求处理时间的P99连续10次超出阈值时产生该告警。当RegionServer实例的RPC请求处理时间的P99小于或等于阈值时，告警消除。本章节仅适用于MRS 3.3.1-LTS及之后版本。Re
- [ALM-19031 RegionServer的RPC连接数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19031.md): 系统每30秒周期性检测每个HBase服务的RegionServer实例的RPC连接数，当检测到某个RegionServer上的RPC打开连接数连续10次超出阈值时产生该告警。当RegionServer实例的RPC连接数小于或等于阈值时，告警消除。本章节仅适用于MRS 3.3.1-LTS及之后版本。RegionServer RPC连接数超过
- [ALM-19032 RegionServer的RPC写队列数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19032.md): 系统每30秒周期性检测每个HBase服务的RegionServer实例的RPC写队列待处理任务个数，当检测到某个RegionServer上的RPC写队列待处理任务个数连续10次超出阈值时产生该告警。当RegionServer实例的RPC写队列待处理任务个数小于或等于阈值时，告警消除。本章节仅适用于MRS 3.3.1-LTS及之后版本。Re
- [ALM-19033 RegionServer的RPC读队列数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19033.md): 系统每30秒周期性检测每个HBase服务的RegionServer实例的RPC读队列待处理任务个数，当检测到某个RegionServer上的RPC读队列待处理任务个数连续10次超出阈值时产生该告警。当RegionServer实例的RPC读队列待处理任务个数小于或等于阈值时，告警消除。本章节仅适用于MRS 3.3.1-LTS及之后版本。Re
- [ALM-19034 RegionServer WAL写入超时个数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19034.md): 系统每30秒周期性检测每个HBase服务的RegionServer实例的WAL写入超时个数，当检测到某个RegionServer上的WAL写入超时个数连续10次超出阈值时产生该告警。当RegionServer实例的WAL写入超时个数小于或等于阈值时，告警消除。本章节仅适用于MRS 3.3.1-LTS及之后版本。RegionServer W
- [ALM-19035 RegionServer Call队列大小超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19035.md): 系统每30秒周期性检测每个HBase服务的RegionServer实例的Call队列大小，当检测到某个RegionServer上的Call队列大小连续10次超出阈值时产生该告警。当RegionServer实例的Call队列大小小于或等于阈值时，告警消除。本章节仅适用于MRS 3.3.1-LTS及之后版本。RegionServer Call
- [ALM-19036 HBase关键目录数据存在坏块](https://support.huaweicloud.com/usermanual-mrs/ALM-19036.md): 系统每5分钟周期性检测HBase服务的关键目录是否存在坏块，当检测到存在坏块时产生该告警。检查内容包括“hbase.version”文件、hbase:meta和master:store表目录。当系统检测到HBase服务的关键目录都不存在坏块时，告警清除。本章节仅适用于MRS 3.5.0-LTS及之后版本。HBase关键目录丢块，会导致HB
- [ALM-19037 打开的连接数超阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19037.md): 系统每30秒周期性检测每个HBase服务PhoenixQueryServer实例的连接使用率。当检测到某个PhoenixQueryServer上的连接使用率超出阈值（默认连续5次超过阈值）时产生该告警。当PhoenixQueryServer连接使用率小于或等于阈值时，告警清除。本章节仅适用于MRS 3.6.0-LTS及之后版本。Phoen
- [ALM-19038 RegionServer存在写入负载过高Region](https://support.huaweicloud.com/usermanual-mrs/ALM-19038.md): 系统每30秒周期性检测HBase RegionServer实例上由于MemStore达到上限而阻断的请求数，并把请求数与阈值相比较，默认当连续5次检测到请求数超出告警阈值（默认为450）时产生该告警。当HBase RegionServer实例上由于MemStore达到上限而阻断的请求数小于或等于阈值时，告警恢复。本章节仅适用于MRS 3.
- [ALM-19039 RegionServer平均单Store下StoreFile数量超阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19039.md): 系统每30秒周期性检测HBase RegionServer实例的StoreFile数量和Store数量，进行相除求平均，并把结果与阈值相比较，默认当连续5次检测到请求数超出告警阈值（默认为20）时产生该告警。当HBase RegionServer实例上平均单Store下StoreFile数量小于或等于阈值时，告警恢复。本章节仅适用于MRS
- [ALM-19040 HBase存在异常状态Region](https://support.huaweicloud.com/usermanual-mrs/ALM-19040.md): 系统每60秒周期性检测HBase是否存在异常状态的Region，异常状态包括ABNORMALLY_CLOSED（Region被异常关闭）、FAILED_OPEN（RegionServer打开Region失败）、FAILED_CLOSE（RegionServer关闭Region失败）；当检测到HBase存在异常状态Region时，上报该告警
- [ALM-20002 Hue服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-20002.md): 系统按60秒周期性检测Hue服务状态。当Hue服务不可用时产生该告警。当Hue服务恢复时，告警恢复。无法使用Hue原生界面，用户无法通过Hue页面对MRS大数据组件进行交互分析和数据处理。Hue服务所依赖内部服务KrbServer故障。Hue服务所依赖内部服务DBService故障。与DBService连接的网络异常。检查KrbServe
- [ALM-23001 Loader服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-23001.md): 系统每60秒周期性检测Loader服务的可用性。当Loader服务不可用时产生该告警。当Loader服务恢复时，告警恢复。如果Loader服务不可用，数据加载，导入，转换的功能也不可用。Loader服务依赖的内部服务异常。ZooKeeper服务异常。HDFS服务异常。DBService服务异常。Yarn服务异常。Mapreduce服务异常
- [ALM-23003 Loader任务执行失败](https://support.huaweicloud.com/usermanual-mrs/ALM-23003.md): 当系统检测到Loader任务执行失败时即时产生该告警。当用户手动处理执行失败的任务后该告警恢复。该告警需要手动清除。Loader作业级别告警，执行提交的Loader任务时发生异常导致执行失败，需要用户查看具体日志来确认失败原因，没有返回执行结果。故障修复后需重新执行任务。对Loader服务没有影响。任务参数没有正确设置。Yarn执行任务时
- [ALM-23004 Loader堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-23004.md): 系统每60秒周期性检测Loader服务堆内存使用状态，当连续10次检测到Loader实例堆内存使用率超出阈值（最大内存的95%）时产生该告警。堆内存使用率小于阈值时，告警恢复。堆内存使用高，Loader会出现频繁FULL GC，导致Loader性能变差，页面反应速度变慢。如果内存溢出有可能导致Loader无法正常对外提供服务，可能会出现L
- [ALM-23005 Loader非堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-23005.md): 系统每30秒周期性检测Loader服务非堆内存使用状态，当连续5次检测到Loader实例非堆内存使用率超出阈值（最大内存的80%）时产生该告警。非堆内存使用率小于阈值时，告警恢复。当非堆内存溢出时可能会导致Loader页面无法访问，无法正常对外提供服务。该节点Loader实例非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。
- [ALM-23006 Loader直接内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-23006.md): 系统每30秒周期性检测Loader服务直接内存使用状态，当连续5次检测到Loader实例直接内存使用率超出阈值（最大内存的80%）时，产生该告警。当Loader直接内存使用率小于或等于阈值时，告警恢复。直接内存溢出时可能导致Loader无法对外提供服务，通常会导致IO异常或者Socket异常，会出现因异常频繁主备倒换等问题。该节点Load
- [ALM-23007 Loader进程垃圾回收（GC）时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-23007.md): 系统每60秒周期性检测Loader进程的垃圾回收（GC）占用时间，当连续5次检测到Loader进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。导致Loader服务响应缓慢。会导致频繁FULL GC，Loader服务响应缓慢，严重时甚至有可能导致Loader崩溃，不能再正常提供服务。
- [ALM-24000 Flume服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-24000.md): 告警模块按180秒周期检测Flume服务状态，当检测到Flume服务异常时，系统产生此告警。当系统检测到Flume服务恢复正常，且告警处理完成时，告警恢复。当Flume服务不可用时，Flume不能正常工作，数据传输业务中断。Flume实例全部故障。是，执行3。否，重启Flume故障实例或Flume服务，执行2。是，处理完毕。否，执行3。收
- [ALM-24001 Flume Agent异常](https://support.huaweicloud.com/usermanual-mrs/ALM-24001.md): Flume Agent监控模块对Flume Agent状态进行监控，当Flume Agent进程故障（每5秒检测一次）或Flume Agent启动失败时（即时上报告警），系统产生此告警。当检测到Flume Agent进程故障恢复，Flume Agent启动成功，且告警处理完成时，告警恢复。产生告警的Flume Agent实例无法正常启动，
- [ALM-24003 Flume Client连接中断](https://support.huaweicloud.com/usermanual-mrs/ALM-24003.md): 告警模块对Flume Server的连接端口状态进行监控。当Flume Client连接到Flume Server的某个端口，Client端连续3分钟未与Server端连接时，系统产生此告警。当Flume Server收到Flume Client连接消息，告警恢复。产生告警的Flume Client无法与Flume Server端进行通信
- [ALM-24004 Flume读取数据异常](https://support.huaweicloud.com/usermanual-mrs/ALM-24004.md): 告警模块对Flume Source的状态进行监控，当Source读取不到数据的时长超过阈值时，系统即时上报告警。默认阈值为0，表示不开启。用户可通过conf目录下的配置文件properties.properties修改阈值：修改对应source的“NoDatatime”参数。当Source读取到数据，且告警处理完成时，告警恢复。如果数据源
- [ALM-24005 Flume传输数据异常](https://support.huaweicloud.com/usermanual-mrs/ALM-24005.md): 告警模块对Flume Channel的容量状态进行实时监控，当Channel满的时长超过阈值，或Source向Channel放数据失败的次数超过阈值（默认为10）后，系统即时上报告警。默认阈值为10，用户可通过conf目录下的配置文件properties.properties修改阈值：修改对应Channel的“channelfullcou
- [ALM-24006 Flume Server堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-24006.md): 系统每60秒周期性检测Flume服务堆内存使用状态，当连续10次检测到Flume实例堆内存使用率超出阈值（最大内存的95%）时产生该告警，堆内存使用率小于阈值时，告警恢复。堆内存溢出可能导致服务崩溃，Flume实例不可用。该节点Flume实例堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。检查堆内存使用率。是，执行4。否，执行
- [ALM-24007 Flume Server直接内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-24007.md): 系统每60秒周期性检测Flume服务直接内存使用状态，当连续5次检测到Flume实例直接内存使用率超出阈值（最大内存的80%）时，产生该告警。当Flume直接内存使用率小于或等于阈值时，告警恢复。直接内存溢出可能导致服务崩溃，Flume实例不可用。节点Flume实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。检查直接内
- [ALM-24008 Flume Server非堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-24008.md): 系统每60秒周期性检测Flume服务非堆内存使用状态，当连续5次检测到Flume实例非堆内存使用率超出阈值（最大内存的80%）时产生该告警，非堆内存使用率小于阈值时，告警恢复。非堆内存溢出可能导致服务崩溃，Flume实例不可用。该节点Flume实例非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。检查非堆内存使用率。是，执行
- [ALM-24009 Flume Server垃圾回收(GC)时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-24009.md): 系统每60秒周期性检测Flume进程的垃圾回收（GC）占用时间，当连续5次检测到Flume进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。导致Flume数据传输效率低下。该节点Flume实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。检查GC时间。是，执行4。否，执行
- [ALM-24010 Flume证书文件非法或已损坏](https://support.huaweicloud.com/usermanual-mrs/ALM-24010.md): Flume每隔一个小时，检查当前Flume证书文件是否合法（证书是否存在，证书格式是否正确），如果证书文件非法或已损坏，产生该告警。证书文件恢复合法时，告警恢复。本章节仅适用于MRS 3.2.0-LTS及之后版本。Flume证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume服务端。Flume证书文件非法或损坏。查看告警
- [ALM-24011 Flume证书文件即将过期](https://support.huaweicloud.com/usermanual-mrs/ALM-24011.md): Flume每隔一个小时，检查当前Flume证书文件是否即将过期，如果剩余有效期小于或等于30天，产生该告警。证书文件剩余有效期大于30天，告警恢复。本章节仅适用于MRS 3.2.0-LTS及之后版本。Flume证书文件即将失效，对系统目前运行无影响。Flume证书文件即将到期。查看告警信息。检查系统中合法证书文件的有效期，重新生成证书文件
- [ALM-24012 Flume证书文件已过期](https://support.huaweicloud.com/usermanual-mrs/ALM-24012.md): Flume每隔一个小时，检查当前系统中的证书文件是否已过期。如果服务端证书已过期，产生该告警。服务的证书文件恢复到有效期内，告警恢复。本章节仅适用于MRS 3.2.0-LTS及之后版本。Flume证书文件已过期，功能受限，Flume客户端将无法访问Flume服务端。Flume证书文件已过期。查看告警信息。检查系统中合法证书文件的有效期，重
- [ALM-24013 Flume MonitorServer证书文件非法或已损坏](https://support.huaweicloud.com/usermanual-mrs/ALM-24013.md): MonitorServer每隔一个小时，检查当前MonitorServer证书文件是否合法（证书是否存在，证书格式是否正确），如果证书文件非法或已损坏，产生该告警。证书文件恢复合法，告警恢复。本章节仅适用于MRS 3.2.0-LTS及之后版本。MonitorServer证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume
- [ALM-24014 Flume MonitorServer证书文件即将过期](https://support.huaweicloud.com/usermanual-mrs/ALM-24014.md): MonitorServer每隔一个小时，检查当前MonitorServer证书文件是否即将过期，如果剩余有效期小于或等于30天，产生该告警。剩余有效期大于30天，告警恢复。本章节仅适用于MRS 3.2.0-LTS及之后版本。MonitorServer证书文件即将失效，对系统目前运行无影响。MonitorServer证书文件即将到期。查看告
- [ALM-24015 Flume MonitorServer证书文件已过期](https://support.huaweicloud.com/usermanual-mrs/ALM-24015.md): MonitorServer每隔一个小时，检查当前系统中的证书文件是否已过期。如果服务端证书已过期，产生该告警。服务端证书恢复到有效期内，告警恢复。本章节仅适用于MRS 3.2.0-LTS及之后版本。MonitorServer证书文件已过期，功能受限，Flume客户端将无法访问Flume服务端。MonitorServer证书文件已过期。查看
- [ALM-25000 LdapServer服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-25000.md): 系统按30秒周期性检测LdapServer的服务状态，当检测到两个LdapServer服务均异常时产生该告警。当检测到一个或两个LdapServer服务恢复时告警恢复。依赖LdapServer的组件运行状态变为故障，可能引起集群Kerberos认证失败或操作系统用户缓存同步异常，进而导致组件业务运行异常。LdapServer服务所在节点故
- [ALM-25004 LdapServer数据同步异常](https://support.huaweicloud.com/usermanual-mrs/ALM-25004.md): 系统按30秒周期性检测LdapServer数据，如果连续12次检测，Manager的主备LdapServer的数据内容都不一致，产生该告警，当两者的数据一致时，对应告警恢复。系统按30秒周期性检测LdapServer数据，如果连续12次检测，集群中的LdapServer的数据与Manager的LdapServer数据都不一致，产生该告警，
- [ALM-25005 Nscd服务异常](https://support.huaweicloud.com/usermanual-mrs/ALM-25005.md): 系统每60秒周期性检测nscd服务的状态，如果连续4次（3分钟）查询不到nscd进程或者无法获取LdapServer中的用户时，产生该告警。当进程恢复且可以获取LdapServer中的用户时，告警恢复。nscd服务不可用时，可能会影响该节点从LdapServer上同步数据，此时，使用id命令可能会获取不到Ldap中的数据，影响上层业务。n
- [ALM-25006 Sssd服务异常](https://support.huaweicloud.com/usermanual-mrs/ALM-25006.md): 系统每60秒周期性检测sssd服务的状态，如果连续4次（3分钟）查询不到sssd进程或者无法获取LdapServer中的用户时，产生该告警。当进程恢复且可以获取LdapServer中的用户时，告警恢复。sssd服务不可用时，可能会影响该节点从LdapServer上同步数据，此时，使用id命令可能会获取不到ldap中的数据，影响上层业务。s
- [ALM-25007 SlapdServer连接数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-25007.md): 系统每30秒周期性检查SlapdServer节点的进程连接数，并把实际进程连接数和阈值相比较，当进程连接数连续多次（默认值为5）超过设定阈值（默认值为1000）时，系统将产生此告警。平滑次数可配置，当平滑次数为1，进程连接数小于或等于阈值时，该告警恢复。当平滑次数大于1，进程连接数小于或等于阈值的90%时，该告警恢复。SlapdServe
- [ALM-25008 SlapdServer CPU使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-25008.md): 系统每30秒周期性检查SlapdServer节点的CPU使用率，并把实际CPU使用率和阈值相比较，当检测到SlapdServer CPU使用率连续多次（默认值为5）超过设定阈值时，系统将产生此告警。平滑次数可配置，当平滑次数为1，SlapdServer CPU使用率小于或等于阈值时，该告警恢复。当平滑次数大于1，SlapdServer C
- [ALM-25500 KrbServer服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-25500.md): 系统按30秒周期性检测组件KrbServer的服务状态。当检测到组件KrbServer服务异常时产生该告警。当检测到组件KrbServer服务恢复时告警恢复。依赖KrbServer的组件运行状态变为故障，可能引起集群Kerberos认证失败，进而导致组件业务运行异常。组件KrbServer服务所在节点故障。OLdap服务不可用。检查组件K
- [ALM-25501 KerberosServer请求数高](https://support.huaweicloud.com/usermanual-mrs/ALM-25501.md): 系统每30秒周期性检查KerberosServer节点的处理请求数，并把实际处理的请求数和阈值相比较，当请求数连续多次（默认值为5）超过设定阈值时，系统将产生此告警。平滑次数可配置，当平滑次数为1，进程连接数小于或等于阈值时，该告警恢复。当平滑次数大于1，请求数小于或等于阈值的90%时，该告警恢复。本章节仅适用于MRS 3.3.1-LTS
- [ALM-26051 Storm服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-26051.md): 系统按照30秒的周期检测Storm服务是否可用，当集群全部的Nimbus节点异常时，Storm服务不可用，系统产生此告警。当Storm服务恢复正常，告警自动清除。集群无法对外提供Storm服务，用户无法执行新的Storm任务。Kerberos集群故障。ZooKeeper集群故障或假死。Storm集群中主备Nimbus状态异常。检查Kerb
- [ALM-26052 Storm服务可用Supervisor数量小于阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-26052.md): 系统每60秒周期性检测Supervisor数量，并把实际Supervisor数量和阈值相比较。当检测到Supervisor数量低于阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称”修改阈值。当Supervisor数量大于或等于阈值时，告警恢复。集群已经存在的任务无法运行；集群可接收新的Storm任务，但是无
- [ALM-26053 Storm Slot使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-26053.md): 系统每60秒周期性检测Slot使用率，并把实际Slot使用率和阈值相比较。当检测到Slot使用率高于阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置”修改阈值。当Slot使用率小于或等于阈值时，告警恢复。用户无法执行新的Storm任务。集群中Supervisor处于异常状态。集群中Supervisor的状态正常，但是处理能力不足
- [ALM-26054 Nimbus堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-26054.md): 系统每30秒周期性检测Storm Nimbus堆内存使用率，并把实际的Storm Nimbus堆内存使用率和阈值相比较。当连续5次检测到Storm Nimbus堆内存使用率超出阈值（默认值为80%）时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Storm > Nimbus”修改阈值。当Storm Nim
- [ALM-27001 DBService服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-27001.md): 告警模块按30秒周期检测DBService服务状态。当DBService服务不可用时产生该告警。DBService服务恢复时，告警清除。数据库服务不可用，无法对上层服务提供数据入库、查询等功能，使部分服务异常。浮动IP不存在。没有主DBServer实例。主备DBServer进程都异常。检查集群环境中是否存在浮动IP。是，执行3。否，执行9
- [ALM-27003 DBService主备节点间心跳中断](https://support.huaweicloud.com/usermanual-mrs/ALM-27003.md): DBService主节点或备节点超过7秒未收到对端的心跳消息后，系统产生告警。当心跳恢复后，该告警恢复。DBService主备间心跳中断时只有一个节点提供服务，一旦该节点故障，再无法切换到备节点，就会服务不可用。主备DBService节点间链路异常。检查主备DBService服务器间的网络是否正常。集群节点登录可参考登录MRS集群节点。主
- [ALM-27004 DBService主备数据不同步](https://support.huaweicloud.com/usermanual-mrs/ALM-27004.md): DBService主备数据不同步，每10秒检查一次主备数据同步状态，如果连续6次查不到同步状态，或者同步状态不正常，产生告警。当同步状态正常，告警恢复。主备DBServer数据不同步，如果此时主实例异常，则会出现数据丢失或者数据异常的情况。主备节点网络不稳定。备DBService异常。备节点磁盘空间满。主DBService节点GaussD
- [ALM-27005 数据库连接数使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-27005.md): 系统每30秒周期性检查DBServer节点的数据库连接数使用率，并把实际数据库连接数使用率和阈值相比较，当数据库连接数的使用率连续5次（可配置，默认值为5）超过设定阈值时，系统将产生此告警。平滑次数可配置，当平滑次数为1，数据库连接数使用率小于或等于阈值时，该告警恢复；当平滑次数大于1，数据库连接数使用率小于或等于阈值的90%时，该告警恢
- [ALM-27006  数据目录磁盘空间使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-27006.md): 系统每30秒周期性检查DBServer主节点的数据目录磁盘空间使用率，并把实际数据目录磁盘空间使用率和阈值相比较，当数据目录磁盘空间使用率连续5次（可配置，默认值为5）超过设定阈值时，系统将产生此告警。平滑次数可配置，当平滑次数为1，数据磁盘目录空间使用率小于或等于阈值时，该告警恢复；当平滑次数大于1，数据磁盘目录空间使用率小于阈值的90
- [ALM-27007  数据库进入只读模式](https://support.huaweicloud.com/usermanual-mrs/ALM-27007.md): 系统每30秒周期性检查DBServer主节点的数据目录磁盘空间使用率，当数据目录磁盘空间使用率超过90%时，系统将产生此告警。当数据目录磁盘空间使用率低于80%时，此告警恢复。数据库进入只读模式，业务数据丢失。数据库进入只读模式，上层服务写业务操作相关数据丢失。磁盘配置无法满足业务需求，磁盘使用率达到上限。检查磁盘使用率是否达到上限是，执
- [ALM-27008 DBService长事务总数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-27008.md): 系统每30秒周期性检查DBServer数据库长事务总数，默认数据库事务运行时间大于30分钟即认为该事务为长事务。将长事务总数和阈值相比较，若采集的长事务总数连续n次（n为设定的平滑次数，默认值为3）超过设定阈值（默认阈值为1）时，系统将产生此告警。当平滑次数为1，DBServer数据库长事务总数小于或等于阈值时，该告警恢复；当平滑次数大于
- [ALM-27009 正在运行的SQL执行平均耗时超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-27009.md): 系统每30秒周期性检查DBServer数据库正在运行的SQL执行平均耗时，默认正在运行的SQL执行平均耗时大于10秒即认为该SQL超阈值。若采集的正在运行的SQL执行平均耗时连续n次（n为设定的平滑次数，默认值为3）超过设定阈值（默认阈值为10s）时，系统将产生此告警。当平滑次数为1，DBServer正在运行的SQL执行平均耗时小于或等于
- [ALM-27010 DBService数据库文件句柄使用数超阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-27010.md): 系统每30秒周期性检查DBService数据库文件句柄使用数，若采集的数据库文件句柄使用数连续n次（n为设定的平滑次数，默认值为3）超过设定阈值时，系统将产生此告警。当平滑次数为1，DBServer数据库文件句柄使用数小于或等于阈值时，该告警恢复；当平滑次数大于1，DBServer数据库文件句柄使用数连续n次（n为设定的平滑次数）小于阈值
- [ALM-27011 DBService数据库死锁产生次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-27011.md): 系统每30秒周期性检查DBService数据库死锁产生次数，若采集的死锁次数连续n次（n为设定的平滑次数，默认值为3）超过设定阈值（默认为1）时，系统将产生此告警。当平滑次数为1，DBService数据库死锁产生次数小于或等于阈值时，该告警恢复；当平滑次数大于1，DBService数据库死锁产生次数连续n次（n为设定的平滑次数）小于阈值的
- [ALM-27012 数据库80% SQL响应时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-27012.md): 系统每30秒周期性检查DBServer数据库80% SQL响应时间，若采集的数据库80% SQL响应时间连续n次（n为设定的平滑次数，默认值为3）超过设定阈值时，系统将产生此告警。当平滑次数为1，DBServer数据库80% SQL响应时间小于或等于阈值时，该告警恢复；当平滑次数大于1，DBServer数据库80% SQL响应时间连续n次
- [ALM-27013 数据库95% SQL响应时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-27013.md): 系统每30秒周期性检查DBServer数据库95% SQL响应时间，若采集的95% SQL响应时间连续n次（n为设定的平滑次数，默认值为3）超过设定阈值时，系统将产生此告警。当平滑次数为1，DBServer数据库95% SQL响应时间小于或等于阈值时，该告警恢复；当平滑次数大于1，DBServer数据库95% SQL响应时间连续n次（n为
- [ALM-29000 Impala服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-29000.md): 以30s为周期检测Impala服务状态，当检测到Impala服务异常时，系统产生此告警。当系统检测到Impala服务恢复正常，或告警处理完成时，告警解除。Impala服务异常，无法通过FusionInsight Manager对Impala进行集群操作，无法使用Impala服务功能。Hive服务异常。KrbServer服务异常。Impal
- [ALM-29004 Impalad进程内存占用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-29004.md): 以30s为周期检测Impalad进程系统内存占用率，当检测到的超过默认阈值（80%）时，系统产生此告警。当系统检测到进程内存占用率下降到阈值以下时，告警将自动解除。内存使用过高，部分查询任务可能因为内存不足而失败。Impalad进程正在执行较大量查询任务。是，操作结束。否，执行3。如内存占用超过阈值为常态化状态，需要考虑集群扩容。是，操作
- [ALM-29005 Impalad JDBC连接数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-29005.md): 以30s为周期检测连接到该Impalad节点的客户端连接数，当检测到的连接数超过自定义阈值（默认60）时，系统产生此告警。当系统检测到客户端连接数减少到阈值以下时，告警将自动解除。后续新建立客户端连接可能会阻塞甚至失败。已经和Impala服务端建立的连接过多，或者阈值设定的太小。是，操作结束。否，执行3，修改并发客户端连接数。重启全部实例
- [ALM-29006 Impalad ODBC连接数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-29006.md): 以30s为周期检测连接到该Impalad节点的客户端连接数，当检测到的连接数超过自定义阈值（默认60）时，系统产生此告警。当系统检测到客户端连接数减少到阈值以下时，告警将自动解除。后续新建立客户端连接可能会阻塞甚至失败。已经和Impala服务端建立的连接过多，或者阈值设定的太小。是，处理完毕。否，执行3，修改并发Impalad支持的并发连
- [ALM-29010 Impalad 正在提交的查询总数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-29010.md): 以60s为周期检测该Impalad节点正在提交的查询总数，当检测到的数量超过自定义阈值（默认150）时，系统产生此告警。当系统检测到的数量减少到阈值以下时，告警将自动解除。查询可能会阻塞甚至失败。该Impalad服务维护的查询数量过多，或者阈值设定的太小。重启全部实例，服务不可用。重启单个实例，会导致当前实例节点正在执行的任务失败，服务可
- [ALM-29011 Impalad 正在执行的查询总数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-29011.md): 以60s为周期检测该Impalad节点正在执行的查询总数，当检测到的数量超过自定义阈值（默认150）时，系统产生此告警。当系统检测到的数量减少到阈值以下时，告警将自动解除。查询可能会阻塞甚至失败。该Impalad服务维护的查询数量过多，或者阈值设定的太小。重启全部实例，服务不可用。重启单个实例，会导致当前实例节点正在执行的任务失败，服务可
- [ALM-29012 Impalad 正在等待的查询总数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-29012.md): 以60s为周期检测该Impalad节点正在等待的查询总数，当检测到的数量超过自定义阈值（默认150）时，系统产生此告警。当系统检测到的数量减少到阈值以下时，告警将自动解除。查询可能会阻塞甚至失败。该Impalad服务维护的查询数量过多，或者阈值设定的太小。重启全部实例，服务不可用。重启单个实例，会导致当前实例节点正在执行的任务失败，服务可
- [ALM-29013 Impalad FGCT超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-29013.md): 系统每60秒周期性检测Impalad服务的FGC时间，当检测到的FGC时间超出阈值(连续5次检测超过12秒)时产生该告警，当FGC时间小于或等于阈值时，告警恢复。FGC时间超出阈值，会影响到数据的读写。该节点实例内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。检查GC时间是，执行3。否，操作结束。是，执行4。否，执行5。是，操作结
- [ALM-29014 Catalog FGCT超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-29014.md): 系统每60秒周期性检测Catalog服务的FGC时间，当检测到的FGC时间超出阈值(连续5次检测超过12秒)时产生该告警，当FGC时间小于或等于阈值时，告警恢复。FGC时间超出阈值，会影响到数据的读写。该节点实例内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。检查GC时间是，执行3。否，操作结束。是，执行4。否，执行5。是，操作结
- [ALM-29015 Catalog进程内存占用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-29015.md): 以30s为周期检测Catalog进程系统内存占用率，当检测到的超过默认阈值（80%）时，系统产生此告警。当系统检测到进程内存占用率下降到阈值以下时，告警将自动解除。内存使用过高，部分查询任务可能因为内存不足而失败。该节点实例内存使用率过大，或配置的内存不合理。是，操作结束。否，执行3。如内存占用超过阈值为常态化状态，需要考虑集群扩容。是，
- [ALM-29016 Impalad实例亚健康](https://support.huaweicloud.com/usermanual-mrs/ALM-29016.md): MRS 3.1.5版本：系统每60秒周期性检测Impalad的Hive Server2 HTTP端口（28000）是否响应curl请求，当返回结果不正确（连续2次检测超过20秒）时产生该告警，当curl请求在20秒内正确响应时，告警恢复。除MRS 3.1.5的其他版本：系统每60秒周期性检测Impalad是否能执行select 1，当返回
- [ALM-29100  Kudu服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-29100.md): 系统每60秒周期性检测Kudu的服务状态，当检测到所有的Kudu实例都异常时，就会认为Kudu服务不可用，此时产生该告警。至少一个Kudu实例正常后，系统认为Kudu实例服务恢复，告警清除。用户无法使用Kudu服务。Kudu有实例存在异常。处理Kudu实例异常是，执行4。否，执行5。是，处理完毕。否，执行5。收集故障信息此告警修复后，系统
- [ALM-29104 Tserver进程内存占用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-29104.md): 系统每60秒周期性检测Kudu Tserver进程内存占用率，当检测到Tserver进程占用率超过阈值，此时产生该告警。Tserver进程内存占用率恢正常后，系统认为Kudu实例服务恢复，告警清除。用户无法使用Kudu服务。存在KuduTserver实例内存占用率过高。处理Kudu实例异常是，处理完毕。否，执行4。收集故障信息此告警修复后
- [ALM-29106 Tserver进程CPU占用率过高](https://support.huaweicloud.com/usermanual-mrs/ALM-29106.md): 系统每60秒周期性检测Kudu的服务状态，当检测到Kudu Tserver进程CPU占用率过高时，此时产生该告警。Tserver进程CPU占用率正常时，系统认为Kudu实例服务恢复，告警清除。用户无法使用Kudu服务。存在KuduTserver实例CPU占用率过高。处理Kudu实例异常是，处理完毕。否，执行4。收集故障信息此告警修复后，系
- [ALM-29107 Tserver进程内存使用百分比超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-29107.md): 系统每60秒周期性检测Kudu的服务状态，当检测到Kudu Tserver进程内存使用百分比超过阈值，此时产生该告警。Tserver进程内存使用百分比正常时，系统认为Kudu实例服务恢复，告警清除。用户无法使用Kudu服务。存在KuduTserver实例内存使用过高。处理Kudu实例异常通过增加节点、重新规划任务等方式，处理Tserver
- [ALM-38000 Kafka服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-38000.md): 系统按照30秒的周期检测Kafka服务是否可用，当Kafka服务不可用，系统产生此告警。当Kafka服务恢复正常，告警自动清除。集群无法对外提供Kafka服务，用户无法执行新的Kafka任务。KrbServer服务故障。（非普通模式集群）ZooKeeper服务故障或无响应。Kafka服务中Broker实例状态异常。检查KrbServer服
- [ALM-38001 Kafka磁盘容量不足](https://support.huaweicloud.com/usermanual-mrs/ALM-38001.md): 系统按60秒周期检测Kafka磁盘空间使用率，并把实际磁盘使用率和阈值相比较。磁盘使用率默认提供一个阈值范围。当检测到磁盘使用率高于阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置”，在服务列表下面，选择“Kafka > 磁盘 > Broker磁盘使用率 (Broker)”修改阈值。平滑次数为1，Kafka磁盘使用率小于或等于阈
- [ALM-38002 Kafka堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-38002.md): 系统每60秒周期性检测Kafka服务堆内存使用状态，当连续10次检测到Kafka实例堆内存使用率超出阈值时产生该告警。平滑次数为1，堆内存使用率小于或等于阈值时，告警恢复；平滑次数大于1，堆内存使用率小于或等于阈值的90%时，告警恢复。Kafka可用内存不足，会造成内存溢出导致Broker实例崩溃，影响该Broker正常提供读写服务。该节
- [ALM-38004 Kafka直接内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-38004.md): 系统每30秒周期性检测Kafka服务直接内存使用状态，当连续10次检测到Kafka实例直接内存使用率超出阈值时，产生该告警。平滑次数为1，直接内存使用率小于或等于阈值时，告警恢复；平滑次数大于1，直接内存使用率小于或等于阈值的90%时，告警恢复。Kafka可用直接内存不足，会造成内存溢出导致Broker实例崩溃，影响该Broker正常提供
- [ALM-38005 Broker进程垃圾回收（GC）时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-38005.md): 系统每60秒周期性检测Broker进程的垃圾回收（GC）占用时间，当连续3次检测到Broker进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。平滑次数为1，垃圾回收（GC）时间小于或等于阈值时，告警恢复；平滑次数大于1，垃圾回收（GC）时间小于或等于阈值的90%时，告警恢复。Broker进程的垃圾回收时间过长，可能影响该B
- [ALM-38006 Kafka未完全同步的Partition百分比超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-38006.md): 系统每60秒周期性检测Kafka服务未完全同步的Partition数占Partition总数的百分比，当连续3次检测到该比率超出阈值时产生该告警。平滑次数为1，未完全同步的Partition百分比小于或等于阈值时，告警恢复；平滑次数大于1，未完全同步的Partition百分比小于或等于阈值的90%时，告警恢复。Kafka服务未完全同步的P
- [ALM-38007 Kafka默认用户状态异常](https://support.huaweicloud.com/usermanual-mrs/ALM-38007.md): 系统每60秒周期性检测Kafka服务默认用户，当检测到该用户异常时发送此告警。平滑次数为1，当用户状态恢复后，告警恢复。Kafka默认用户状态异常，会影响Broker之间的元数据同步，以及Kafka与ZooKeeper之间的交互，进而影响业务生产、消费和Topic的创建、删除等操作。Sssd服务异常导致。部分Broker实例停止运行。检查
- [ALM-38008 Kafka数据目录状态异常](https://support.huaweicloud.com/usermanual-mrs/ALM-38008.md): 系统每60秒周期性检测Kafka数据目录状态，当检测到某数据目录状态异常时产生该告警。平滑次数为1，当数据目录状态恢复正常后，告警恢复。Kafka数据目录状态异常，会导致该数据目录上所有Partition的当前副本下线，多个节点同时出现数据目录状态异常，可能会导致部分Partition不可用。数据目录权限被篡改。数据目录所在磁盘故障。检查
- [ALM-38009 Kafka Topic过载（适用于MRS 3.1.0及之前版本）](https://support.huaweicloud.com/usermanual-mrs/ALM-38009-1.md): 如果告警名称为“ALM-38009 Broker磁盘IO繁忙”，请参考ALM-38009 Broker磁盘IO繁忙（适用于MRS 3.1.0之后版本）进行处理。系统每60秒周期性检测Kafka各个Topic的过载情况，当检测到某个Topic在过载磁盘上的Partition数占比超出阈值（默认40%）时，产生该告警。平滑次数为1，当某个To
- [ALM-38009 Broker磁盘IO繁忙（适用于MRS 3.1.0之后版本）](https://support.huaweicloud.com/usermanual-mrs/ALM-38009.md): MRS 3.6.0.1及之后版本：系统每60秒周期性检测Kafka各个磁盘的IO情况，当检测到某个Broker上的Kafka数据目录磁盘IO超出阈值（默认85%）时，产生该告警。平滑次数为5，当该磁盘IO低于阈值（默认85%）时，告警恢复。MRS 3.6.0及之前版本：系统每60秒周期性检测Kafka各个磁盘的IO情况，当检测到某个Bro
- [ALM-38010 存在单副本的Topic](https://support.huaweicloud.com/usermanual-mrs/ALM-38010.md): 系统在Kafka的Controller所在节点上，每60秒周期性检测各个Topic的副本数，当检测到某个Topic的副本数为1时，产生该告警。单副本的Topic存在单点故障风险，当副本所在节点异常时，会直接导致Partition没有leader，影响该Topic上的业务。Topic副本数配置不合理。检查Topic副本数配置。是，执行3。否
- [ALM-38011 Broker上用户连接数使用率超过设定阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-38011.md): 系统每30秒周期性检测Broker上每个用户的连接数情况，当连续5次（MRS 3.6.0.1及之后版本：3次）检测到Broker上某个用户的连接数使用占比超过阈值时产生该告警。平滑次数为5（MRS 3.6.0.1及之后版本：3次），当Broker上某个用户的连接数使用占比低于阈值时，告警恢复。告警可自动清除，但当某个用户的连接数突然变为0
- [ALM-38012 Broker的分区数量超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-38012.md): 系统每30秒周期性检测Kafka服务每个Broker实例的分区数量。该指标可以在Broker实例监控中查看Partition数目，当检测到某个Broker上的分区数量超过阈值时产生告警。用户可在Manager上选择“运维 > 告警 > 阈值设置> 服务 > Kafka”修改阈值。当分区数小于或等于阈值时，告警清除。本章节仅适用于MRS 3
- [ALM-38013 Produce请求在请求队列的时延超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-38013.md): 系统每30秒周期性检测Broker实例的Produce请求在请求队列的时延，当检测到某个Broker上的Produce请求在请求队列的时延连续10次超出阈值时产生该告警。当Produce请求在请求队列的时延小于或等于阈值时，告警消除。本章节仅适用于MRS 3.5.0-LTS及之后版本。Broker实例的Produce请求在请求队列的时延超
- [ALM-38014 Produce请求总体时延超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-38014.md): 系统每30秒周期性检测Broker实例的Produce请求的总体时延，当检测到某个Broker上的Produce请求的总体时延连续10次超出阈值时产生该告警。当Produce请求的总体时延小于或等于阈值时，告警消除。本章节仅适用于MRS 3.5.0-LTS及之后版本。Broker实例的Produce请求的总体时延超过阈值，对于时延敏感型业
- [ALM-38015 Fetch请求在请求队列的时延超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-38015.md): 系统每30秒周期性检测Broker实例的Fetch请求在请求队列的时延，当检测到某个Broker上的Fetch请求在请求队列的时延连续10次超出阈值时产生该告警。当Fetch请求在请求队列的时延小于或等于阈值时，告警清除。本章节仅适用于MRS 3.5.0-LTS及之后版本。Broker实例的Fetch请求在请求队列的时延超过阈值，对于时延
- [ALM-38016 Fetch请求总体时延超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-38016.md): 系统每30秒周期性检测Broker实例的Fetch请求总体时延，当检测到某个Broker实例的Fetch请求总体时延连续10次超出阈值时产生该告警。当Broker实例的Fetch请求总体时延小于或等于阈值时，告警清除。本章节仅适用于MRS 3.5.0-LTS及之后版本。Broker实例的Fetch请求总体时延超过阈值时，对于时延敏感型业务
- [ALM-38017 分区均衡时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-38017.md): 系统每10分钟（可以通过修改Kafka配置项“auto.reassign.check.interval.ms”调整）周期性检测，扩容新的Broker后触发的分区均衡时间超过阈值（MRS 3.6.0.1及之后版本默认为：4320分钟；MRS 3.6.0.1之前版本默认为：1440分钟），可以通过修改Kafka配置项“reassignment
- [ALM-38018 Kafka消息积压](https://support.huaweicloud.com/usermanual-mrs/ALM-38018.md): 如果用户在KafkaUI界面的“Alarms”中配置了需要上报的Kafka消息积压告警规则（默认不存在Kafka消息积压告警规则），则系统将按照如下规则进行上报：系统每60秒周期性检测所有用户配置的消费者组订阅的Topic，当连续5次检测到消费者在消费Topic时，其消费进度（offset）与该分区（partition）最新生产的消息的l
- [ALM-38019 Broker进程Full GC次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-38019.md): 系统每60秒周期性检测Broker进程的Full GC次数，当连续3次检测到Broker进程的Full GC次数超过12次时产生重要告警，连续3次检测超过12*0.8（向下取整）次时产生次要告警。用户可通过登录Manager选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Kafka > 进程 > Broker每分钟的Full
- [ALM-38020 Kafka生产流量异常](https://support.huaweicloud.com/usermanual-mrs/ALM-38020.md): 如果用户通过脚本配置了需要上报生产流量异常告警规则（默认不存在），则系统每1分钟（可设置）周期性检测所有用户配置的Topic，当连续5次（可设置）检测到配置的Topic的生产流量不在阈值（单位为生产消息数/秒）内，则产生生产流量异常告警。当连续5次（可设置）检测到Topic的生产流量在设置的阈值内，则对应的生产流量异常告警恢复。如果执行导
- [ALM-43001 Spark2x服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-43001.md): 系统每300秒周期性检测Spark2x服务状态，当检测到Spark2x服务不可用时产生该告警。Spark2x服务恢复时，告警清除。MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本
- [ALM-43006 JobHistory2x进程堆内存使用超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-43006.md): 系统每30秒周期性检测JobHistory2x进程堆内存使用状态，当检测到JobHistory2x进程堆内存使用率超出阈值（最大内存的95%）时产生该告警。MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名
- [ALM-43007 JobHistory2x进程非堆内存使用超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-43007.md): 系统每30秒周期性检测JobHistory2x进程非堆内存使用状态，当检测到JobHistory2x进程非堆内存使用率超出阈值（最大内存的95%）时产生该告警。MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如JobHistory2x变更为JobHistory。相关涉及服务名称、角
- [ALM-43008 JobHistory2x进程直接内存使用超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-43008.md): 系统每30秒周期性检测JobHistory2x进程直接内存使用状态，当检测到JobHistory2x进程直接内存使用率超出阈值（最大内存的95%）时产生该告警。MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如JobHistory2x变更为JobHistory。相关涉及服务名称、角
- [ALM-43009 JobHistory2x进程GC时间超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-43009.md): 系统每60秒周期性检测JobHistory2x进程的GC时间，当检测到JobHistory2x进程的GC时间超出阈值（连续3次检测超过12秒）时产生该告警。用户可通过“运维 >告警 > 阈值设置 > Spark2x > GC时间 > JobHistory2x的总GC时间”修改阈值。当JobHistory2x进程 GC时间小于或等于阈值时，
- [ALM-43010 JDBCServer2x进程堆内存使用超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-43010.md): 系统每30秒周期性检测JDBCServer2x进程堆内存使用状态，当检测到JDBCServer2x进程堆内存使用率超出阈值（最大内存的95%）时产生该告警。MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如JDBCServer2x变更为JDBCServer。相关涉及服务名称、角色名
- [ALM-43011 JDBCServer2x进程非堆内存使用超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-43011.md): 系统每30秒周期性检测JDBCServer2x进程非堆内存使用状态，当检测到JDBCServer2x进程非堆内存使用率超出阈值（最大内存的95%）时产生该告警。MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如JDBCServer2x变更为JDBCServer。相关涉及服务名称、角
- [ALM-43012 JDBCServer2x进程直接内存使用超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-43012.md): 系统每30秒周期性检测JDBCServer2x进程直接内存使用状态，当检测到JDBCServer2x进程直接内存使用率超出阈值（最大内存的95%）时产生该告警。MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如JDBCServer2x变更为JDBCServer。相关涉及服务名称、角
- [ALM-43013 JDBCServer2x进程GC时间超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-43013.md): 系统每60秒周期性检测JDBCServer2x进程的GC时间，当检测到JDBCServer2x进程的GC时间超出阈值（连续3次检测超过12秒）时产生该告警。用户可通过“运维 >告警 > 阈值设置 > Spark2x > GC时间 > JDBCServer2x的总GC时间”修改阈值。当JDBCServer2x进程GC时间小于或等于阈值时，告
- [ALM-43017 JDBCServer2x进程Full GC次数超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-43017.md): 系统每60秒周期性检测JDBCServer2x进程的Full GC次数，当检测到JDBCServer2x进程的Full GC次数超出阈值（连续3次检测超过12次）时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > Spark2x > GC次数 > JDBCServer2x的Full GC次数”修改阈值。当JDBCServer2x进
- [ALM-43018 JobHistory2x进程Full GC次数超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-43018.md): 系统每60秒周期性检测JobHistory2x进程的Full GC次数，当检测到JobHistory2x进程的Full GC次数超出阈值（连续3次检测超过12次）时产生该告警。用户可通过“运维 > 阈值设置 > Spark2x > GC次数 > JobHistory2x的Full GC次数”修改阈值。当JobHistory2x进程Full
- [ALM-43019 IndexServer2x进程堆内存使用超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-43019.md): 系统每30秒周期性检测IndexServer2x进程堆内存使用状态，当检测到IndexServer2x进程堆内存使用率超出阈值（最大内存的95%）时产生该告警。MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如IndexServer2x变更为IndexServer。相关涉及服务名称
- [ALM-43020 IndexServer2x进程非堆内存使用超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-43020.md): 系统每30秒周期性检测IndexServer2x进程非堆内存使用状态，当检测到IndexServer2x进程非堆内存使用率超出阈值（最大内存的95%）时产生该告警。MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如IndexServer2x变更为IndexServer。相关涉及服务
- [ALM-43021 IndexServer2x进程直接内存使用超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-43021.md): 系统每30秒周期性检测IndexServer2x进程直接内存使用状态，当检测到IndexServer2x进程直接内存使用率超出阈值（最大内存的95%）时产生该告警。MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如IndexServer2x变更为IndexServer。相关涉及服务
- [ALM-43022 IndexServer2x进程GC时间超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-43022.md): 系统每60秒周期性检测IndexServer2x进程的GC时间，当检测到IndexServer2x进程的GC时间超出阈值（连续3次检测超过12秒）时产生该告警。用户可通过“运维 >告警 > 阈值设置 > Spark2x > GC时间 > IndexServer2x的总GC时间”修改阈值。当IndexServer2x进程GC时间小于或等于阈
- [ALM-43023 IndexServer2x进程Full GC次数超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-43023.md): 系统每60秒周期性检测IndexServer2x进程的Full GC次数，当检测到IndexServer2x进程的Full GC次数超出阈值（连续3次检测超过12次）时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > Spark2x > GC次数 > IndexServer2x的Full GC次数”修改阈值。当IndexServe
- [ALM-43028 JDBCServer Session过载](https://support.huaweicloud.com/usermanual-mrs/ALM-43028.md): 本章节仅适用于MRS 3.3.1及之后版本。JDBCServer进程进行请求转发的时候，当触发Session资源不足流控后，会产生该告警。此时说明发送到JDBCServer进程的请求过多，超出JDBCServer进程目前的承受范围。JDBCServer进程目前接收的请求已超出能够处理的能力范围，对于无法处理的请求会直接返回失败。该节点JD
- [ALM-43029 JDBCServer作业提交超时](https://support.huaweicloud.com/usermanual-mrs/ALM-43029.md): 本章节仅适用于MRS 3.5.0及之后版本。用户提交JDBC作业后，会尝试创建JDBCServer进程，并建立Session连接，在建立连接成功前，如果超出预设阈值，则会发出该告警。与该告警相关的配置参数有两个：spark.thriftserver.proxy.create.session.monitor.enabled，控制是否启用该告
- [ALM-44000 Presto服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-44000.md): 系统每60秒周期性检测Presto服务状态。当Presto服务不可用时产生该告警。当Presto服务恢复时，告警恢复。Presto无法执行SQL。Presto服务不可用可能由Presto Coordinator或Worker自身的进程故障引起。Presto Coordinator和Worker实例间网络通信中断。在FusionInsigh
- [ALM-44004 Presto Coordinator资源组排队任务超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-44004.md): 系统通过jmx接口查询资源组的排队任务数即QueuedQueries指标，当检测到资源组排队数大于阈值时产生该告警。用户可通过"组件管理 > Presto > 服务配置（将“基础配置”切换为“全部配置”） >Presto > resource-groups " 配置资源组。用户可通过"组件管理 > Presto > 服务配置（将“基础配置
- [ALM-44005 Presto Coordinator进程垃圾收集时间超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-44005.md): 系统每30s周期性采集Presto Coordinator进程的垃圾收集（GC）时间，当检测到GC时间超出阈值（连续3次检测超过5s）时产生该告警。用户可在FusionInsight Manager中通过“运维 > 告警 >  阈值配置 > Presto > 集群状态 > Coordinator进程GC时间”修改阈值。当 Coordina
- [ALM-44006 Presto Worker进程垃圾收集时间超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-44006.md): 系统每30s周期性采集Presto Worker进程的垃圾收集（GC）时间，当检测到GC时间超出阈值（连续3次检测超过5s）时产生该告警。用户可在FusionInsight  Manager中通过“运维 >  阈值配置 > 服务 > Presto > 集群状态 > Worker进程GC时间”修改阈值。当 Worker进程GC时间小于或等于
- [ALM-45000 HetuEngine服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-45000.md): 系统每300秒周期性检测HetuEngine服务状态，当检测到HetuEngine服务不可用时产生该告警。HetuEngine服务恢复时，告警清除。HetuEngine服务异常，无法通过FusionInsight Manager对HetuEngine集群进行操作，无法使用HetuEngine服务功能。KrbServer服务异常ZooKee
- [ALM-45001 HetuEngine计算实例故障](https://support.huaweicloud.com/usermanual-mrs/ALM-45001.md): 系统每60秒周期性检测HetuEngine计算实例状态，当检测到HetuEngine服务存在故障计算实例时产生该告警。HetuEngine故障计算实例全部恢复时，告警清除。本章节仅适用于MRS 3.2.0-LTS及之后版本。用户提交到HetuEngine该故障计算实例的SQL任务会执行失败。HDFS服务异常Yarn服务异常Yarn队列资源
- [ALM-45003 HetuEngine QAS磁盘容量不足](https://support.huaweicloud.com/usermanual-mrs/ALM-45003.md): 系统按60秒周期检测HetuEngine QAS磁盘空间使用率，并把实际磁盘使用率和阈值相比较。磁盘使用率默认提供一个阈值范围。当检测到磁盘使用率高于阈值时产生该告警。用户可通过“运维 > 告警 > 阈值设置”，在服务列表下面，选择“HetuEngine > 磁盘 > QAS磁盘使用率 (QAS)”修改阈值。平滑次数为1，HetuEngi
- [ALM-45004 HetuEngine计算实例任务积压](https://support.huaweicloud.com/usermanual-mrs/ALM-45004.md): 系统每30秒周期性检测HetuEngine计算实例的运行和排队的任务个数之和，当检测到HetuEngine计算实例的运行和排队任务个数之和大于50时产生该告警。HetuEngine计算实例运行和排队的任务个数之和小于等于50时，告警清除。本章节仅适用于MRS 3.3.1-LTS及之后版本。HetuEngine计算实例任务积压，会导致该计算
- [ALM-45005 HetuEngine计算实例CPU负载使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45005.md): 系统每30秒周期性检测HetuEngine计算实例的平均CPU负载使用率，当检测到HetuEngine计算实例的CPU负载使用率大于90%时产生该告警。HetuEngine计算实例运行的CPU负载使用率小于等于90%时，告警清除。本章节仅适用于MRS 3.3.1-LTS及之后版本。HetuEngine计算实例CPU负载使用率超过阈值，会导
- [ALM-45006 HetuEngine计算实例内存负载使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45006.md): 系统每30秒周期性检测HetuEngine计算实例的内存负载使用率，当检测到HetuEngine计算实例的内存负载使用率大于80%时产生该告警。HetuEngine计算实例运行的内存负载使用率小于等于80%时，告警清除。本章节仅适用于MRS 3.3.1-LTS及之后版本。HetuEngine计算实例内存负载使用率超过阈值，会导致该计算实例
- [ALM-45007 HetuEngine计算实例Worker个数小于阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45007.md): 系统每60秒周期性检测HetuEngine计算实例的Worker个数，当检测到HetuEngine计算实例的Worker个数小于初始设置值的80%时产生该告警。HetuEngine计算实例运行的Worker个数大于等于初始设置值的80%时，告警清除。本章节仅适用于MRS 3.3.1-LTS及之后版本。HetuEngine计算实例Worke
- [ALM-45008 HetuEngine计算实例查询时延超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45008.md): 系统每30秒周期性检测HetuEngine计算实例的查询时延，当检测到HetuEngine计算实例的查询时延大于等于60S时产生该告警。HetuEngine计算实例的查询时延小于60S时，告警清除。本章节仅适用于MRS 3.5.0-LTS及之后版本。HetuEngine计算实例查询时延超过阈值，说明当前业务SQL响应较慢，需关注任务运行情
- [ALM-45009 HetuEngine计算实例任务失败率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45009.md): 系统每30秒周期性检测HetuEngine计算实例的任务失败率，当检测到HetuEngine计算实例的任务失败率大于等于50%时产生该告警。HetuEngine计算实例运行的任务失败率小于50%时，告警清除。本章节仅适用于MRS 3.5.0-LTS及之后版本。HetuEngine计算实例任务失败率过高，会影响业务的正常运行，需及时排查问题
- [ALM-45010 HSBroker垃圾回收(GC)时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45010.md): 系统每60秒周期性检测HSBroker进程的垃圾回收（GC）占用时间，当连续3次检测到HSBroker进程的垃圾回收（GC）时间超出阈值时（默认阈值为12000 ms），产生该告警。当系统检测到垃圾回收（GC）时间小于阈值时，告警恢复。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。HSBroker实例GC时间过长，导致HSBro
- [ALM-45011 HSConsole垃圾回收(GC)时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45011.md): 系统每60秒周期性检测HSConsole进程的垃圾回收（GC）占用时间，当连续3次检测到HSConsole进程的垃圾回收（GC）时间超出阈值时（默认阈值为12000 ms），产生该告警。当系统检测到垃圾回收（GC）时间小于阈值时，告警恢复。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。HSConsole实例GC时间过长，导致HS
- [ALM-45012 HSFabric垃圾回收(GC)时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45012.md): 系统每60秒周期性检测HSFabric进程的垃圾回收（GC）占用时间，当连续3次检测到HSFabric进程的垃圾回收（GC）时间超出阈值时（默认阈值为12000 ms），产生该告警。当系统检测到垃圾回收（GC）时间小于阈值时，告警恢复。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。HSFabric实例GC时间过长，导致HSFab
- [ALM-45175 OBS元数据接口调用平均时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45175.md): 系统每30秒周期性检测OBS元数据接口调用平均时间是否超过阈值，当检测到连续超过所设置阈值次数大于平滑次数时就会产生该告警 。当OBS元数据接口调用平均时间小于阈值时，该告警会自动清除。OBS元数据接口调用平均时间超过阈值，会影响上层大数据计算业务的性能，导致某些计算任务的执行时间超过阈值。OBS服务端出现卡顿，或OBS客户端到OBS服务
- [ALM-45176 OBS元数据接口调用成功率低于阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45176.md): 系统每30秒周期性检测OBS元数据接口调用成功率是否小于阈值，当检测到小于所设置阈值时就会产生该告警 。当OBS元数据接口调用成功率大于阈值时，该告警会自动清除。OBS元数据接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。OBS服务端出现执行异常或严重超时。检查堆内存使用率。是，执行3。否，执行5。
- [ALM-45177 OBS数据读操作接口调用成功率低于阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45177.md): 系统每30秒周期性检测OBS数据读操作接口调用成功率是否小于阈值，当检测到小于所设置阈值时就会产生该告警 。当OBS数据读操作接口调用成功率大于阈值时，该告警会自动清除。OBS数据读操作接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。OBS服务端出现执行异常或严重超时。检查堆内存使用率。是，执行3。
- [ALM-45178 OBS数据写操作接口调用成功率低于阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45178.md): 系统每30秒周期性检测OBS写操作接口调用成功率是否小于阈值，当检测到小于所设置阈值时就会产生该告警 。当OBS数据写操作接口调用成功率大于阈值时，该告警会自动清除。OBS数据写操作接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。OBS服务端出现执行异常或严重超时。检查堆内存使用率。是，执行3。否，
- [ALM-45179 OBS readFully接口调用失败数高于阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45179.md): 系统每30秒周期性检测OBS readFully接口调用失败数是否高于阈值，当检测到大于所设置阈值时就会产生该告警 。当OBS readFully接口调用失败数小于阈值时，该告警会自动清除。OBS readFully接口调用失败数高于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。OBS服务端出现执行异常或严重超时。
- [ALM-45180 OBS read接口调用失败数高于阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45180.md): 系统每30秒周期性检测OBS read接口调用失败数是否高于阈值，当检测到大于所设置阈值时就会产生该告警 。当OBS read接口调用失败数小于阈值时，该告警会自动清除。OBS read接口调用失败数高于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。OBS服务端出现执行异常或严重超时。是，处理完毕。否，执行3。是，
- [ALM-45181 OBS write接口调用失败数高于阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45181.md): 系统每30秒周期性检测OBS write接口调用失败数是否高于阈值，当检测到大于所设置阈值时就会产生该告警 。当OBS write接口调用失败数小于阈值时，该告警会自动清除。OBS write接口调用失败数高于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。OBS服务端出现执行异常或严重超时。是，处理完毕。否，执行3
- [ALM-45182 OBS操作被流控次数高于阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45182.md): 系统每30秒周期性检测OBS操作被流控次数是否高于阈值，当检测到大于所设置阈值时就会产生该告警 。当OBS操作被流控次数小于阈值时，该告警会自动清除。OBS操作被流控后，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。请求OBS接口频率太高。是，处理完毕。否，执行3。是，执行4。否，联系OBS服务运维人员修复OBS服务。收
- [ALM-45275 Ranger服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-45275.md): 告警模块按180秒周期检测Ranger服务状态，当检测到Ranger服务异常时，系统产生此告警。当系统检测到Ranger服务恢复正常，且告警处理完成时，告警恢复。当Ranger服务不可用时，Ranger无法正常工作，Ranger原生UI无法访问。Ranger服务所依赖内部服务DBService故障。RangerAdmin角色实例异常。检查
- [ALM-45276 RangerAdmin状态异常](https://support.huaweicloud.com/usermanual-mrs/ALM-45276.md): 告警模块按60秒周期检测RangerAdmin状态，当检测到RangerAdmin状态异常时，系统产生此告警。当系统检测到RangerAdmin状态恢复正常，且告警处理完成时，告警恢复。当存在单个RangerAdmin状态异常时，不影响Ranger原生UI访问；当两个RangerAdmin状态异常时，Ranger原生UI无法访问，无法执行
- [ALM-45277 RangerAdmin堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45277.md): 系统每60秒周期性检测RangerAdmin服务堆内存使用状态，当连续10次检测到RangerAdmin实例堆内存使用率超出阈值（最大内存的95%）时产生该告警，堆内存使用率小于阈值时，告警恢复。堆内存溢出可能导致服务崩溃。该节点RangerAdmin实例堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。检查堆内存使用率。是，执
- [ALM-45278 RangerAdmin直接内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45278.md): 系统每60秒周期性检测RangerAdmin服务直接内存使用状态，当连续5次检测到RangerAdmin实例直接内存使用率超出阈值（最大内存的80%）时，产生该告警。当RangerAdmin直接内存使用率小于或等于阈值时，告警恢复。直接内存溢出可能导致服务崩溃。节点RangerAdmin实例直接内存使用率过大，或配置的直接内存不合理，导致
- [ALM-45279 RangerAdmin非堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45279.md): 系统每60秒周期性检测RangerAdmin服务非堆内存使用状态，当连续5次检测到RangerAdmin实例非堆内存使用率超出阈值（最大内存的80%）时产生该告警，非堆内存使用率小于阈值时，告警恢复。非堆内存溢出可能导致服务崩溃。该节点RangerAdmin实例非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。检查非堆内存使
- [ALM-45280 RangerAdmin垃圾回收(GC)时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45280.md): 系统每60秒周期性检测RangerAdmin进程的垃圾回收（GC）占用时间，当连续5次检测到RangerAdmin进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。导致RangerAdmin响应缓慢。该节点RangerAdmin实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC
- [ALM-45281 UserSync堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45281.md): 系统每60秒周期性检测UserSync服务堆内存使用状态，当连续10次检测到UserSync实例堆内存使用率超出阈值（最大内存的95%）时产生该告警，堆内存使用率小于阈值时，告警恢复。堆内存溢出可能导致服务崩溃。该节点UserSync实例堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。是，执行4。否，执行6。出现此告警时，说明
- [ALM-45282 UserSync直接内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45282.md): 系统每60秒周期性检测UserSync服务直接内存使用状态，当连续5次检测到UserSync实例直接内存使用率超出阈值（最大内存的80%）时，产生该告警。当UserSync直接内存使用率小于或等于阈值时，告警恢复。直接内存溢出可能导致服务崩溃。节点UserSync实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。检查直接
- [ALM-45283 UserSync非堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45283.md): 系统每60秒周期性检测UserSync服务非堆内存使用状态，当连续5次检测到UserSync实例非堆内存使用率超出阈值（最大内存的80%）时产生该告警，非堆内存使用率小于阈值时，告警恢复。非堆内存溢出可能导致服务崩溃。该节点UserSync实例非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。检查非堆内存使用率。是，执行4。
- [ALM-45284 UserSync垃圾回收(GC)时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45284.md): 系统每60秒周期性检测UserSync进程的垃圾回收（GC）占用时间，当连续5次检测到UserSync进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。导致UserSync响应缓慢。该节点UserSync实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。检查GC时间。是，
- [ALM-45285 TagSync堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45285.md): 系统每60秒周期性检测TagSync服务堆内存使用状态，当连续10次检测到TagSync实例堆内存使用率超出阈值（最大内存的95%）时产生该告警，堆内存使用率小于阈值时，告警恢复。堆内存溢出可能导致服务崩溃。该节点TagSync实例堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。是，执行4。否，执行6。出现此告警时，说明当前T
- [ALM-45286 TagSync直接内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45286.md): 系统每60秒周期性检测TagSync服务直接内存使用状态，当连续5次检测到TagSync实例直接内存使用率超出阈值（最大内存的80%）时，产生该告警。当TagSync直接内存使用率小于或等于阈值时，告警恢复。直接内存溢出可能导致服务崩溃。节点TagSync实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。检查直接内存使用
- [ALM-45287 TagSync非堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45287.md): 系统每60秒周期性检测TagSync服务非堆内存使用状态，当连续5次检测到TagSync实例非堆内存使用率超出阈值（最大内存的80%）时产生该告警，非堆内存使用率小于阈值时，告警恢复。非堆内存溢出可能导致服务崩溃。该节点TagSync实例非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。检查非堆内存使用率。是，执行4。否，执
- [ALM-45288 TagSync垃圾回收(GC)时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45288.md): 系统每60秒周期性检测TagSync进程的垃圾回收（GC）占用时间，当连续5次检测到TagSync进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。导致TagSync响应缓慢。该节点TagSync实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。检查GC时间。是，执行4。
- [ALM-45289 PolicySync堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45289.md): 系统每60秒周期性检测PolicySync服务堆内存使用状态，当连续10次检测到PolicySync实例堆内存使用率超出阈值（最大内存的95%）时产生该告警，堆内存使用率小于阈值时，告警恢复。堆内存溢出可能导致服务崩溃。该节点PolicySync实例堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。是，执行4。否，执行6。出现此
- [ALM-45290 PolicySync直接内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45290.md): 系统每60秒周期性检测PolicySync服务直接内存使用状态，当连续5次检测到PolicySync实例直接内存使用率超出阈值（最大内存的90%）时，产生该告警。当PolicySync直接内存使用率小于或等于阈值时，告警恢复。直接内存溢出可能导致服务崩溃。节点PolicySync实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超
- [ALM-45291 PolicySync非堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45291.md): 系统每60秒周期性检测PolicySync服务非堆内存使用状态，当连续5次检测到PolicySync实例非堆内存使用率超出阈值（最大内存的90%）时产生该告警，非堆内存使用率小于阈值时，告警恢复。非堆内存溢出可能导致服务崩溃。该节点PolicySync实例非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。检查非堆内存使用率。
- [ALM-45292 PolicySync垃圾回收(GC)时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45292.md): 系统每60秒周期性检测PolicySync进程的垃圾回收（GC）占用时间，当连续5次检测到PolicySync进程的垃圾回收（GC）时间超出阈值时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。导致PolicySync响应缓慢。该节点PolicySync实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。检查GC时间。是
- [ALM-45293 Ranger用户同步异常](https://support.huaweicloud.com/usermanual-mrs/ALM-45293.md): 本章节仅适用于MRS 3.3.1及之后版本。系统每5分钟周期性检测UserSync进程的用户同步情况，当存在同步异常时产生该告警。当用户同步正常时，告警恢复。未同步的用户无法登录Ranger原生页面，无法通过Ranger为未同步的用户设置权限策略，可能导致未同步用户无法访问被Ranger权限控制的服务。RangerAdmin实例状态异常。
- [ALM-45294 RangerKMS进程状态异常](https://support.huaweicloud.com/usermanual-mrs/ALM-45294.md): 本章节仅适用于MRS 3.3.1及之后版本。RangerKMS每20秒周期性检查进程状态，当进程状态异常，且长时间未转换为正常状态时触发该告警。进程状态正常后告警清除。进程状态异常会导致该进程无法提供正常服务，进而可能导致服务整体异常。主机中正在等待的IO（磁盘IO、网络IO等）在较长时间内未得到响应，进程处于D状态和Z状态，或进程可能被
- [ALM-45325 Presto服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-45325.md): 本章节仅适用于MRS 3.1.5及之后版本。系统每60秒周期性检测Presto服务状态。当Presto服务不可用时产生该告警；当Presto服务恢复时，告警恢复。Presto无法执行SQL。Presto服务不可用可能由Presto Coordinator或Worker自身的进程故障引起。Presto Coordinator和Worker实
- [ALM-45326 Presto Coordinator线程数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45326.md): 本章节仅适用于MRS 3.1.5及之后版本。系统会检查Presto Coordinator和Worker实例的线程使用情况，默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值，则发出告警。无Presto实例线程数量过大。Presto并发执行的任务过多。检查任务并发量是，执行2。否，执行4。调整线程
- [ALM-45327 Presto Coordinator进程垃圾收集时间超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45327.md): 本章节仅适用于MRS 3.1.5及之后版本。系统每30s周期性采集Presto Coordinator进程的垃圾收集（GC）时间，当检测到GC时间超出阈值（连续3次检测超过5s）时产生该告警。当 Coordinator进程GC时间小于或等于告警阈值时，告警清除。Coordinator进程GC时间过长，会影响Coordinator进程运行的
- [ALM-45328 Presto Worker进程垃圾收集时间超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45328.md): 本章节仅适用于MRS 3.1.5及之后版本。系统每30s周期性采集Presto Worker进程的垃圾收集（GC）时间，当检测到GC时间超出阈值（连续3次检测超过5s）时产生该告警；当Worker进程GC时间小于或等于告警阈值时，告警清除。Worker进程GC时间过长，会影响Worker进程运行的性能，甚至造成Worker进程不可用。该节
- [ALM-45329 Presto Coordinator资源组排队任务超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45329.md): 本章节仅适用于MRS 3.1.5及之后版本。系统通过jmx接口查询资源组的排队任务数即QueuedQueries指标，当检测到资源组排队数大于阈值时产生该告警。资源组排队超过阈值可能导致大量任务处于排队状态，Presto任务时间超过预期，当资源组排队数超过该组最大排队数（maxQueued）时，会导致新的任务无法执行。资源组配置不合理或该
- [ALM-45330 Presto Worker线程数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45330.md): 本章节仅适用于MRS 3.1.5及之后版本。系统会检查Presto Coordinator和Worker实例的线程使用情况，默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值，则发出告警。无Presto实例线程数量过大。Presto并发执行的任务过多。检查任务并发量是，执行2。否，执行4。调整线程
- [ALM-45331 Presto Worker1线程数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45331.md): 系统会检查Presto Coordinator和Worker实例的线程使用情况，默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值，则发出告警。无Presto实例线程数量过大。Presto并发执行的任务过多。检查任务并发量是，执行2。否，执行4。调整线程数告警触发阈值。是，操作结束。否，执行6。升
- [ALM-45332 Presto Worker2线程数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45332.md): 系统会检查Presto Coordinator和Worker实例的线程使用情况，默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值，则发出告警。无Presto实例线程数量过大。Presto并发执行的任务过多。检查任务并发量是，执行2。否，执行4。调整线程数告警触发阈值。是，操作结束。否，执行6。升
- [ALM-45333 Presto Worker3线程数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45333.md): 系统会检查Presto Coordinator和Worker实例的线程使用情况，默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值，则发出告警。无Presto实例线程数量过大。Presto并发执行的任务过多。检查任务并发量是，执行2。否，执行4。调整线程数告警触发阈值。是，操作结束。否，执行6。升
- [ALM-45334 Presto Worker4线程数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45334.md): 系统会检查Presto Coordinator和Worker实例的线程使用情况，默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值，则发出告警。无Presto实例线程数量过大。Presto并发执行的任务过多。是，执行2。否，执行4。调整线程数告警触发阈值。是，操作结束。否，执行6。升级Coordi
- [ALM-45335 Presto Worker1进程垃圾收集时间超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45335.md): 系统每30s周期性采集Presto Worker1进程的垃圾收集（GC）时间，当检测到GC时间超出阈值（连续3次检测超过5s）时产生该告警。当 Worker1进程GC时间小于或等于告警阈值时，告警清除。Worker1进程GC时间过长，会影响Worker1进程运行的性能，甚至造成Worker1进程不可用。该节点Worker1进程堆内存使用率
- [ALM-45336 Presto Worker2进程垃圾收集时间超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45336.md): 系统每30s周期性采集Presto Worker2进程的垃圾收集（GC）时间，当检测到GC时间超出阈值（连续3次检测超过5s）时产生该告警。当 Worker2进程GC时间小于或等于告警阈值时，告警清除。Worker2进程GC时间过长，会影响Worker2进程运行的性能，甚至造成Worker2进程不可用。该节点Worker2进程堆内存使用率
- [ALM-45337 Presto Worker3进程垃圾收集时间超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45337.md): 系统每30s周期性采集Presto Worker3进程的垃圾收集（GC）时间，当检测到GC时间超出阈值（连续3次检测超过5s）时产生该告警。当 Worker3进程GC时间小于或等于告警阈值时，告警清除。Worker3进程GC时间过长，会影响Worker3进程运行的性能，甚至造成Worker3进程不可用。该节点Worker3进程堆内存使用率
- [ALM-45338 Presto Worker4进程垃圾收集时间超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45338.md): 系统每30s周期性采集Presto Worker4进程的垃圾收集（GC）时间，当检测到GC时间超出阈值（连续3次检测超过5s）时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 服务 > Presto”修改阈值，当 Worker4进程GC时间小于或等于告警阈值时，告警清除。Worker4进程GC时间过长，会影响Worker4进程运
- [ALM-45425 ClickHouse服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-45425.md): 告警模块按60秒周期检测ClickHouse实例状态，当检测到所有ClickHouse实例异常时，系统产生此告警。当系统检测到任一ClickHouse实例恢复正常，且告警处理完成时，告警恢复。ClickHouse服务异常，无法通过FusionInsight Manager对ClickHouse进行集群操作，无法使用ClickHouse服务
- [ALM-45426 ClickHouse服务在ZooKeeper的数量配额使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45426.md): 告警模块按60秒周期检测ClickHouse服务在ZooKeeper的数量配额使用百分比，当检测到使用百分比超过阈值（90%），系统产生此告警。当系统检测到使用百分比低于阈值，且告警处理完成时，告警恢复。ClickHouse在ZooKeeper的数量配额超过阈值后，无法通过FusionInsight Manager对ClickHouse进
- [ALM-45427 ClickHouse服务在ZooKeeper的容量配额使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45427.md): 告警模块按60秒周期检测ClickHouse服务在ZooKeeper的容量配额使用百分比，当检测到使用百分比超过阈值（90%），系统产生此告警。当系统检测到使用百分比低于阈值，且告警处理完成时，告警恢复。ClickHouse在ZooKeeper的容量配额超过阈值后，无法通过FusionInsight Manager对ClickHouse进
- [ALM-45428 ClickHouse磁盘IO异常](https://support.huaweicloud.com/usermanual-mrs/ALM-45428.md): 告警模块按60秒周期检测ClickHouse在读写过程中有EIO或者EROFS错误，系统产生此告警。ClickHouse读写数据异常，本地表的INSERT、SELECT和CREATE操作概率异常，分布式表基本不受影响。影响业务，会导致IO失败。磁盘老化或者磁盘坏道。若检测结果如下图所示，其中“SMART Health Status: OK
- [ALM-45429 ClickHouse扩容节点上同步表元数据失败](https://support.huaweicloud.com/usermanual-mrs/ALM-45429.md): 本章节仅适用于MRS 3.1.2及之后版本。ClickHouse扩容时创建分布式表对应的本地表失败时产生该告警。查询分布式表失败。扩容过程中已有节点停止或故障。是，执行3。否，执行4。source集群安装目录/FusionInsight_ClickHouse_*/*_*_ClickHouseServer/etc/ENV_VARSsourc
- [ALM-45430 ClickHouse扩容节点上同步权限元数据失败](https://support.huaweicloud.com/usermanual-mrs/ALM-45430.md): 本章节仅适用于MRS 3.1.2及之后版本。ClickHouse扩容时同步用户和权限信息失败时产生该告警。已创建的用户在本节点无操作权限。扩容过程中已有节点停止或故障。是，执行3。否，执行4。source${BIGDATA_HOME}/FusionInsight_ClickHouse_*/*_*_ClickHouseServer/etc/
- [ALM-45431 ClickHouse 实例不满足拓扑分配](https://support.huaweicloud.com/usermanual-mrs/ALM-45431.md): ClickHouseServer实例分布不满足拓扑分配要求。部分ClickHouseServer实例不可用。安装或扩容过程中，实例数或分配方式不能满足拓扑要求。此告警修复后，需手工清除。无。
- [ALM-45432 ClickHouse用户同步进程故障](https://support.huaweicloud.com/usermanual-mrs/ALM-45432.md): 系统每5分钟周期性检测用户角色同步进程的状态，当检测到ClickHouse服务用户角色同步进程故障或者用户角色同步失败，产生该告警。当用户角色同步进程正常并且用户角色同步功能正常后，告警自动清除。部分ClickHouseServer实例不可用。ClickHouse节点故障恢复时，存量用户角色同步失败，导致使用存量用户访问此节点时可能存在认
- [ALM-45433 ClickHouse AZ拓扑检查异常](https://support.huaweicloud.com/usermanual-mrs/ALM-45433.md): 在已经部署了ClickHouse的集群开启跨AZ高可用功能，开启前后ClickHouse的拓扑不会变化，此时如果同一shard的副本节点都在同一个AZ内，不能满足跨AZ高可用要求，产生该告警。当系统检测到所有shard的实例满足跨AZ高可用部署，告警自动清除。ClickHouse服务当前的部署不具备跨AZ高可用能力。开启跨AZ高可用之后，
- [ALM-45434 ClickHouse组件数据表中存在单副本](https://support.huaweicloud.com/usermanual-mrs/ALM-45434.md): ClickHouse组件检测到某个自定义逻辑集群存在单副本时，系统产生此告警。当检测到自定义逻辑集群使用多副本时，告警自动清除。ClickHouse组件中存在单副本，当出现硬件故障时，无法恢复数据。ClickHouse节点其组件配置目录下的metrika.xml配置信息中存在单副本配置。检查ClickHouse实例metrika.xml配
- [ALM-45435 ClickHouse表元数据不一致](https://support.huaweicloud.com/usermanual-mrs/ALM-45435.md): 检测到分布式表本身，或分布式表对应的本地表的元数据不一致持续180min后，系统产生此告警。当分布式表本身，或分布式表对应的本地表的元数据一致时，告警自动清除。元数据一致包括：表中各列的数量、名称、顺序、类型一致分区键一致排序键一致主键一致采样键一致该告警存在，则说明当前节点所属的ClickHouse集群中，表元数据存在不一致，不一致可能
- [ALM-45436 ClickHouse表数据倾斜](https://support.huaweicloud.com/usermanual-mrs/ALM-45436.md): ClickHouse各节点之间，分布式表对应的本地表中，若存在数据倾斜，系统产生此告警。当检测到数据均衡时，告警自动清除。数据倾斜检测方法：当参数“min_table_check_data_bytes”值为“0”时，不启用数据倾斜检查。当参数“min_table_check_data_bytes”值为大于“0”时，启用数据倾斜检查。启用数
- [ALM-45437 ClickHouse表part数量过多](https://support.huaweicloud.com/usermanual-mrs/ALM-45437.md): 当part数量超过阈值part_num_threshold时，系统上报此告警。当part数量低于阈值part_num_threshold时，告警自动消除。ClickHouse表part数量过多可能导致业务报错。ClickHouse表数据分布不合理，或后台合并任务执行慢导致part数量多。cd{客户端安装路径}source bigdata_
- [ALM-45438 ClickHouse磁盘使用率超过80%](https://support.huaweicloud.com/usermanual-mrs/ALM-45438.md): 系统每隔1分钟检测ClickHouseServer节点磁盘容量，当检测到ClickHouse数据目录或元数据目录所在磁盘的使用率超过80%时，系统产生此告警。当检测到ClickHouse数据目录或元数据目录所在磁盘的使用率低于80%时，告警自动清除。磁盘使用率高可能导致ClickHouse写入执行失败。ClickHouseServer节点
- [ALM-45439 ClickHouse节点进入只读模式](https://support.huaweicloud.com/usermanual-mrs/ALM-45439.md): 系统每隔1分钟检测ClickHouseServer节点磁盘容量，当检测到磁盘容量超过90%，ClickHouseServer节点进入只读模式时，系统产生此告警。当检测到磁盘容量低于90%，ClickHouseServer节点退出只读模式时，告警自动清除。当ClickHouseServer节点处于只读模式时，若需要登录客户端清理数据，则可手
- [ALM-45440 ClickHouse副本间不一致](https://support.huaweicloud.com/usermanual-mrs/ALM-45440.md): 当ClickHouse副本数大于1时，系统周期性对复制表进行检查，若数据不同步，则发送告警。副本间所有复制表数据同步后，告警清除。当本地复制表在副本之间业务数据不一致时，会影响ClickHouse复制表数据的可靠性，造成数据差异，影响分布式表的查询结果。ClickHouse业务压力过大。ClickHouse与ZooKeeper连接发生异常
- [ALM-45441 ZooKeeper连接断开](https://support.huaweicloud.com/usermanual-mrs/ALM-45441.md): 系统每分钟检测一次ClickHouse和ZooKeeper的连接情况，如果检测连接失败，系统产生告警（告警原因为ZooKeeper连接异常）。如果连续3次检测连接失败，系统产生告警（告警原因为ZooKeeper连接断开）。当系统检测到有一次连接成功，告警自动清除。本章节仅适用于MRS 3.3.0-LTS及之后版本。当ClickHouse与
- [ALM-45442 SQL并发数过高](https://support.huaweicloud.com/usermanual-mrs/ALM-45442.md): 告警模块按30秒周期检测ClickHouse服务的实际并发数，若并发数超过界面配置的并发阈值，系统产生此告警。当系统检测到实际并发数低于并发阈值时，告警恢复。当SQL并发数过高时，会消耗大量的系统资源，导致系统的响应时间变慢。ClickHouse业务压力过大。是，执行3。否，执行5。是，执行4。否，执行5。是，操作结束。否，执行5。收集故
- [ALM-45443 集群存在慢SQL查询](https://support.huaweicloud.com/usermanual-mrs/ALM-45443.md): 系统每隔1分钟检测ClickHouse的慢SQL，当检测到有SQL的执行时间大于等于慢SQL阈值时，系统产生此告警。当系统检测到SQL执行时间小于慢SQL阈值时，告警自动清除。ClickHouse服务的性能下降，影响其他业务的响应时间，若慢SQL的量过大，可能会导致服务不可用。ClickHouse业务压力过大。SQL语句执行耗时较长。检查
- [ALM-45444 ClickHouse进程异常](https://support.huaweicloud.com/usermanual-mrs/ALM-45444.md): ClickHouse实例健康检查模块30秒检查一次，如果连续失败的次数超过配置的阈值，则触发上报告警，此时ClickHouse进程可能处于停止响应状态，无法正常执行业务。当ClickHouse进程异常时，会导致业务无法正常执行。ClickHouse进程运行异常。cd{客户端安装路径}source bigdata_env集群已启用Kerbe
- [ALM-45445 ClickHouse写入分布式表时发送数据文件到远端分片失败](https://support.huaweicloud.com/usermanual-mrs/ALM-45445.md): 本章节仅适用于MRS 3.3.1及之后版本。ClickHouse实例分布式表检查模块300秒检查一次，如果连续失败的次数超过配置的阈值，则触发上报告警，此时ClickHouse写入分布式表的节点无法正常发送数据文件到远端分片节点。当系统检测到连续失败的次数低于阈值时，告警恢复。当ClickHouse写入分布式表节点发送数据文件到远端分片节
- [ALM-45446 ClickHouse的mutation任务长时间未执行完成](https://support.huaweicloud.com/usermanual-mrs/ALM-45446.md): 本章节仅适用于MRS 3.3.1及之后版本。系统每隔5分钟检测一次mutation任务，当检测到有正在执行的mutation任务且运行时间大于等于阈值slow_mutation_cost_time时，系统产生告警；当没有检测到正在运行的mutation任务或mutation任务运行时间小于阈值slow_mutation_cost_time
- [ALM-45447 ClickHouse表只读](https://support.huaweicloud.com/usermanual-mrs/ALM-45447.md): 系统每隔1分钟检测一次表的状态，当检测到有表处于只读状态，系统产生告警。当没有表处于只读状态，告警自动消除。本章节仅适用于MRS 3.3.1-LTS及之后版本。只读的表无法写入数据和修改数据。影响复制表的数据同步，导致数据不一致。ZooKeeper压力大，元数据丢失。登录集群Manager具体操作，请参考访问MRS集群Manager。安全
- [ALM-45448 ClickHouse使用Znode数量增长速率过快](https://support.huaweicloud.com/usermanual-mrs/ALM-45448.md): 本章节仅适用于MRS 3.3.1及之后版本。ClickHouse中元数据信息会存储在ZooKeeper上，因此会占用Znode，但是在业务无大的变动的场景下，Znode占用数出现持续陡增，两小时增长量超过设定的阈值，则上报告警。对于大量导数据或者迁业务场景下，可以忽略此次告警的上报。当系统检测到两小时增长量低于阈值时，告警恢复。占用Zoo
- [ALM-45449 ClickHouse使用zxid即将翻转](https://support.huaweicloud.com/usermanual-mrs/ALM-45449.md): ClickHouse依赖ZooKeeper，zxid（ZooKeeper Transaction ID）是ZooKeeper为了实现分布式一致性而引入的一种事务编号，是一个长64位的数字。高32位用来表示当前Leader的周期，低32位用来表示当前请求产生的事务在当前Leader周期内的位置。每产生一个新的事务，zxid的低32位就会自动
- [ALM-45450 ClickHouse获取临时委托凭据失败](https://support.huaweicloud.com/usermanual-mrs/ALM-45450.md): 系统配置冷热分离功能和委托后，每隔1分钟检测一次临时委托凭据的更新状态，当连续3次检测到获取临时委托凭据失败时，系统产生告警。当检测到系统获取临时委托凭据成功时，告警自动消除。本章节仅适用于MRS 3.3.1-LTS及之后版本。如果一直无法获取到新的临时委托凭据，会导致在当前使用的临时委托凭据过期后，系统无法访问OBS，对于配置冷热分离策
- [ALM-45451 ClickHouse访问OBS失败](https://support.huaweicloud.com/usermanual-mrs/ALM-45451.md): 系统配置冷热分离功能后，每隔1分钟检测一次当前访问OBS的状态，当连续3次检测到访问OBS失败时，系统产生告警。当检测到系统访问OBS成功时，告警自动消除。本章节仅适用于MRS 3.3.1-LTS及之后版本。对于配置了冷热分离策略的表，无法读取和写入OBS上的冷数据，同时本地盘上的热数据变冷后，无法移动到OBS上。ClickHouse访问
- [ALM-45452 ClickHouse本地磁盘剩余空间低于冷热分离策略配置阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45452.md): 系统配置冷热分离功能后，每隔5分钟检测一次当前系统冷热分离策略中配置的本地磁盘的剩余空间，如果低于冷热分离策略中配置的move_factor阈值，系统产生告警。当本地磁盘剩余空间高于move_factor阈值时，告警自动消除。本章节仅适用于MRS 3.3.1-LTS及之后版本。导致本地磁盘的部分热数据会移动到OBS上，影响系统的读写性能。
- [ALM-45453 Keeper连接断开](https://support.huaweicloud.com/usermanual-mrs/ALM-45453.md): 系统每分钟检测一次ClickHouse和Keeper的连接情况，如果检测连接失败，系统产生告警（告警原因为Keeper连接异常）。如果连续3次检测连接失败，系统产生告警（告警原因为Keeper连接断开）。当系统检测到有一次连接成功，告警自动清除。本章节仅适用于MRS 3.6.0-LTS及之后版本。当ClickHouse与Keeper断连，
- [ALM-45454 ClickHouse存在写入过快的表](https://support.huaweicloud.com/usermanual-mrs/ALM-45454.md): 系统每天检测前一天ClickHouse节点上是否存在写入频次过快的表，如果检测到存在，则系统产生告警。写入频次阈值通过ClickHouse服务配置参数MAX_INSERT_NUMBER_PER_SECOND查看和调整。当系统检测到前一天ClickHouse节点上不存在写入频次过快的表，则告警自动清除。本章节仅适用于MRS 3.5.1-LT
- [ALM-45455 ClickHouse节点间负载不均衡](https://support.huaweicloud.com/usermanual-mrs/ALM-45455.md): 系统每天检测前一天ClickHouse服务每个节点上接收到的业务下发的查询请求数量是否均衡，如果检测到存在不均衡，则系统产生告警。节点间接收到的业务下发的查询请求数量的差异阈值通过ClickHouse服务配置参数MAX_NODE_BALANCE_THRESHOLD查看和调整。当系统检测到前一天ClickHouse服务所有节点上接收到的业务
- [ALM-45456 ClickHouse的分布式DDL任务长时间未执行完成](https://support.huaweicloud.com/usermanual-mrs/ALM-45456.md): 系统每五分钟检测一次ClickHouse服务每个节点上是否存在执行时间超过默认阈值（600秒）的分布式DDL任务，如果检测到存在这样的任务，则系统产生告警。分布式DDL任务执行时间长的阈值通过ClickHouse服务配置参数“slow_ddl_cost_time”查看和调整。当系统检测到分布式DDL队列中不存在超过阈值的任务时，告警自动清
- [ALM-45457 ClickHouse的副本队列中存在任务堆积](https://support.huaweicloud.com/usermanual-mrs/ALM-45457.md): 告警模块按30秒周期检测ClickHouse服务replication_queue任务队列中的任务数，当检测到任务数超过阈值（50,000），系统产生此告警。当系统检测到任务数低于阈值，告警恢复。本章节仅适用于MRS 3.6.0-LTS及之后版本。当ClickHouse服务出现副本队列中任务堆积时，可能会导致MergeTree表的数据同步
- [ALM-45458 ClickHouse存在变更任务的堆积](https://support.huaweicloud.com/usermanual-mrs/ALM-45458.md): 告警模块按30秒周期检测ClickHouse服务mutations任务队列中的任务数，当检测到任务数超过阈值（5000），系统产生此告警。当系统检测到任务数低于阈值，告警恢复。本章节仅适用于MRS 3.6.0-LTS及之后版本。当ClickHouse节点出现变更任务堆积时，可能会导致查询任务出现延迟，严重时会拖慢整个集群的性能，甚至导致集
- [ALM-45459 ClickHouse容灾表只读设置失败](https://support.huaweicloud.com/usermanual-mrs/ALM-45459.md): 当容灾集群打开备集群只读功能，ClickHouse容灾表只读设置失败时，系统产生此告警。当容灾表只读设置成功后，告警恢复。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。当ClickHouse备集群表设置只读失败后，可以对容灾集群上的容灾表进行写操作，会导致容灾数据被破坏。ClickHouseServer节点对应表不存在。Clic
- [ALM-45475 Kudu组件数据表中存在单副本](https://support.huaweicloud.com/usermanual-mrs/ALM-45475.md): 系统检测Kudu数据表的副本状态，当检测到Kudu数据表中存在单副本时，产生该告警。当Kudu数据表中所有表的副本都为多副本或无数据时，告警清除。当硬件出现故障时，例如慢盘或者坏盘时后更换磁盘，Kudu数据可能会丢失。su - ommsource /opt/Bigdata/client/bigdata_envkinit{用户名}kudu 
- [ALM-45476 KuduTServer进程tablet数量超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45476.md): 系统每60秒周期性检测Kudu的监控指标，当检测到KuduTServer进程tablet数量过高时，此时产生该告警。KuduTServer进程tablet数量正常时，系统认为Kudu实例服务恢复，告警清除。Tablet数量高于预期时，Kudu引擎的查询性能会降低。TServer使用率过高或TServer负载不均衡。处理Kudu实例异常是，
- [ALM-45477 Kudu组件更换磁盘后恢复数据失败](https://support.huaweicloud.com/usermanual-mrs/ALM-45477.md): Kudu组件在更换磁盘后调用SetupTool中的脚本进行恢复数据，恢复失败时触发该告警。数据恢复成功后，该告警消除。Kudu组件恢复数据失败，历史数据不可用。Kudu组件恢复数据时恢复uuid或者从远端恢复数据失败。收集故障信息收集NodeAgent日志，查看换盘操作以后数据恢复是否成功。日志路径如下：/var/log/Bigdata/
- [ALM-45478 Kudu组件数据均衡失败](https://support.huaweicloud.com/usermanual-mrs/ALM-45478.md): 系统周期性对Kudu组件的数据表进行数据均衡，当检测到数据均衡的接口返回失败，则产生此告警。当调用Kudu组件的数据均衡接口成功后，告警清除。Kudu组件的数据均衡接口调用返回失败，可能是Kudu组件的状态已经异常。Kudu组件的数据表中segment丢失或者副本丢失。处理Kudu实例异常是，执行4。否，执行5。是，处理完毕。否，执行5。
- [ALM-45479 Tserver进程tablet数量超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45479.md): 系统每60秒周期性检测Kudu的服务状态，当检测到Tserver进程tablet数量过高时，此时产生该告警。Tserver进程tablet数量正常时，系统认为Kudu实例服务恢复，告警清除。Tablet数量高于预期时，Kudu引擎的查询性能会降低。Tserver使用率过高或Tserver负载不均衡。处理Kudu实例异常是，执行2。否，执行
- [ALM-45480 Tserver进程tablet leader分布不均衡](https://support.huaweicloud.com/usermanual-mrs/ALM-45480.md): 系统每60秒周期性检测Kudu的服务状态，当检测到某个Tserver进程tablet leader数量和集群累计tablet leader数量的比值超过阈值时，此时产生该告警。某个Tserver进程tablet leader数量 和 集群累计tablet leader数量的比值正常时，系统认为Kudu实例服务恢复，告警清除。Tserver
- [ALM-45481 KuduTserver存在容量已满磁盘](https://support.huaweicloud.com/usermanual-mrs/ALM-45481.md): 系统每60秒周期性检测Kudu的磁盘监控指标，当检测到某个Tserver的容量已满磁盘数量监控指标不为0时，产生该告警。当Tserver的容量已满磁盘数量监控指标重新变为0后，该告警自动消除。用户无法正常使用Kudu服务。磁盘配置无法满足业务需求，kudu服务所用磁盘已有满容量状况。查看磁盘容量，清除无用文件，无用数据表。是，执行4。否，
- [ALM-45482 Kudu表状态异常](https://support.huaweicloud.com/usermanual-mrs/ALM-45482.md): 系统检测Kudu数据表的健康状态，当检测到Kudu中存在状态异常的表时，产生该警告。当Kudu所有数据表都为健康状态时，告警清除。当数据表出现故障时，会导致数据不可用、数据一致性等风险。Kudu服务/实例异常、网络故障、节点故障、磁盘故障。检查Kudu服务/实例是否异常是，执行2。否，执行3。是，处理完毕。否，执行3。检查网络是否故障是，
- [ALM-45585 IoTDB服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-45585.md): 系统每300秒周期性检测IoTDB服务状态，当检测到IoTDB服务不可用时产生该告警。IoTDB服务恢复时，告警清除。用户无法正常使用IoTDB服务进行读写操作。KrbServer服务异常。50%以上IoTDBServer实例发生故障。检查IoTDB依赖的KrbServer服务异常是，执行3。否，执行5。是，处理完毕。否，执行5。检查Io
- [ALM-45586 IoTDBServer堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45586.md): 系统每60秒周期性检测IoTDBServer进程堆内存使用状态，当检测到IoTDBServer进程堆内存使用率超出阈值（最大内存的90%）时产生该告警。IoTDBServer进程堆内存使用率过高，会导致IoTDBServer进程数据读写性能下降，甚至造成内存溢出导致IoTDBServer进程重启。该节点IoTDB进程堆内存使用率过大，或配
- [ALM-45587 IoTDBServer垃圾回收（GC）时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45587.md): 系统每60秒周期性检测IoTDBServer进程的垃圾回收（GC）时间，当检测到IoTDBServer进程的垃圾回收（GC）连续3次超过阈值（默认12秒）时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > IoTDB > GC > IoTDBServer垃圾回收（GC）总时间 (IoTDBServer)”来修
- [ALM-45588 IoTDBServer直接内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45588.md): 系统每60秒周期性检测IoTDBServer进程直接内存使用状态，当连续5次检测到IoTDBServer实例直接内存使用率超出阈值（最大内存的90%）时，产生该告警。当IoTDBServer直接内存使用率小于或等于阈值时，告警恢复。直接内存溢出可能导致服务不可用，可能影响该IoTDBServer进程无法正常提供数据读写服务。节点IoTDB
- [ALM-45589 ConfigNode堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45589.md): 系统每60秒周期性检测ConfigNode进程堆内存使用状态，当检测到ConfigNode进程堆内存使用率超出阈值（最大内存的90%）时产生该告警。当ConfigNode进程堆内存使用率小于阈值时，告警清除。ConfigNode进程堆内存使用率过高，会导致ConfigNode进程数据读写性能下降，甚至造成内存溢出导致ConfigNode进
- [ALM-45590 ConfigNode垃圾回收（GC）时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45590.md): 系统每60秒周期性检测ConfigNode进程的垃圾回收（GC）时间，当检测到ConfigNode进程的垃圾回收（GC）时间连续3次超过阈值（默认12秒）时产生该告警。当ConfigNode垃圾回收（GC）时间小于阈值时，告警清除。可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > IoTDB > GC > ConfigNod
- [ALM-45591 ConfigNode直接内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45591.md): 系统每60秒周期性检测ConfigNode进程直接内存使用状态，当连续5次检测到ConfigNode实例直接内存使用率超出阈值时，产生该告警，即当前ConfigNode设置的直接内存无法满足当前ConfigNode进程所需的直接内存。当ConfigNode直接内存使用率小于或等于阈值时，告警清除。直接内存溢出可能导致IoTDB实例不可用，
- [ALM-45592 IoTDBServer RPC执行时长超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45592.md): 当60s周期内检测到IoTDBServer进程RPC超出阈值时产生该告警。当IoTDBServer进程RPC低于阈值时，告警清除。IoTDBServer进程RPC过高，会影响IoTDBServer进程数据读写性能下降。IoTDBServer RPC有一个请求处理时长超过阈值，需要进一步分析日志查看。收集故障信息。此告警修复后，系统会自动清
- [ALM-45593 IoTDBServer Flush执行时长超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45593.md): 当检测到数据Flush功能时长超出阈值时产生该告警。当Flush时长低于阈值时，告警清除。Flush任务超时，会阻塞写数据操作，导致写数据操作的性能下降。该节点IoTDB Flush较慢，需要进一步分析日志查看。收集故障信息。此告警修复后，系统会自动清除此告警，无需手工清除。无。
- [ALM-45594 IoTDBServer空间内合并执行时长超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45594.md): 当检测到空间内合并时长超出阈值时产生该告警。当空间内合并时长低于阈值时，告警清除。空间内合并任务超时，会阻塞写数据，导致写操作的性能下降。该节点IoTDB空间内合并任务较慢，需要进一步分析日志查看。收集故障信息。此告警修复后，系统会自动清除此告警，无需手工清除。无。
- [ALM-45595 IoTDBServer跨空间合并执行时长超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45595.md): 当检测到跨空间合并时长超出阈值时产生该告警。当跨空间合并时长低于阈值时，告警清除。跨空间合并任务超时，会阻塞写数据，导致写操作的性能下降。该节点IoTDB跨空间合并任务较慢，需要进一步分析日志查看。收集故障信息。此告警修复后，系统会自动清除此告警，无需手工清除。无。
- [ALM-45596 Procedure执行失败](https://support.huaweicloud.com/usermanual-mrs/ALM-45596.md): Procedure是由ConfigNode Leader管理执行的任务，如果有Procedure执行失败，则会产生此告警。如果同一个Procedure重新执行成功，告警清除。Procedure任务执行失败，会影响任务操作一致性。IoTDB副本补齐任务运行失败。删除存储组任务运行失败。查看副本补齐任务运行是否失败。是，表示副本补齐运行失败，
- [ALM-45615 CDL服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-45615.md): 系统每60秒周期检测CDL健康状态，当检测到CDL健康状态为DOWN时，系统产生此告警。当系统检测到CDL健康状态为UP，告警恢复。CDL服务异常，无法通过FusionInsight Manager对CDL进行集群操作，无法使用CDL服务功能。CDL服务的全部CDLService实例或CDLConnector实例状态异常，Kafka服务不
- [ALM-45616 CDL任务执行异常](https://support.huaweicloud.com/usermanual-mrs/ALM-45616.md): 系统每60秒为周期检查CDL任务是否异常，如果异常则产生该告警。任务正常运行或者停止后，告警恢复。CDL任务失败，任务数据实时集成中断。CDL任务由于参数配置或者其他原因导致运行失败。失败原因可在CDL WebUI的作业列表界面中单击“状态”为“已失败”或者“运行异常”的链接查看，或者在作业运行日志中查看。是，处理完毕。否，则执行7。收集
- [ALM-45617 CDL复制槽Slot积压数据量超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45617.md): PostgreSQL或Opengauss（适用于MRS 3.3.0-LTS及之后版本）积压过多的WAL日志，可能导致PostgreSQL或Opengauss磁盘空间耗尽。系统每5分钟检查CDL任务配置的复制槽Slot积压数据量是否超过阈值，如果是，则产生该告警。复制槽Slot积压低于阈值，告警恢复。WAL日志在源端数据库不断积压，可能导致
- [ALM-45635 FlinkServer作业失败](https://support.huaweicloud.com/usermanual-mrs/ALM-45635.md): 系统每10秒为周期检查FlinkServer作业是否执行失败，如果失败则产生告警。作业重新启动成功，告警恢复。本章节仅适用于MRS 3.1.2-LTS及之后版本。Flink作业级别的告警，对FlinkServer本身无影响，需要用户查看Flink作业日志来确定失败原因。失败原因可在具体日志中查看。是，执行4。否，执行6。单击作业“Logs
- [ALM-45636 Flink作业连续checkpoint失败](https://support.huaweicloud.com/usermanual-mrs/ALM-45636-1.md): 系统以用户配置的告警周期（metrics.reporter.alarm.interval，默认值：30s）检查Checkpoint连续失败次数，如果Flink作业Checkpoint连续失败次数达到用户配置的阈值（job.alarm.checkpoint.consecutive.failures.num，默认值：5），则发送告警。当Che
- [ALM-45636 Flink作业连续checkpoint失败次数超阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45636.md): 系统以用户配置的告警周期（metrics.reporter.alarm.interval，默认值：30s）检查CheckPoint连续失败次数，如果FlinkServer作业CheckPoint连续失败次数达到用户配置的阈值（job.alarm.checkpoint.consecutive.failures.num，默认值：5），则发送告
- [ALM-45637 FlinkServer作业task持续背压](https://support.huaweicloud.com/usermanual-mrs/ALM-45637.md): 系统以用户配置的告警周期（metrics.reporter.alarm.interval，默认值：30s）检查作业Task持续背压时间，如果FlinkServer作业Task持续背压时间达到用户配置的阈值（metrics.reporter.alarm.job.alarm.task.backpressure.duration，默认值：180
- [ALM-45638 Flink作业失败重启次数超阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45638-1.md): 系统以用户配置的告警周期（metrics.reporter.alarm.interval，默认值：30s）检查Flink作业重启次数，如果重启次数达到用户配置的阈值，则发送告警。当作业重启成功，则告警恢复。该告警阈值计算公式为：失败重启次数需要上报告警的比率*作业的最大重启次数，MRS 3.2.1-LTS及之后版本默认值为3（80%*3向
- [ALM-45638 FlinkServer作业失败重启次数超阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45638.md): 系统以用户配置的告警周期检查FlinkServer作业重启次数，如果重启次数超过用户配置的阈值，则发送告警。当作业重启成功，则告警恢复。本章节仅适用于MRS 3.1.2-LTS至3.2.0-LTS之间版本集群，MRS 3.2.0-LTS及之后版本集群请参考ALM-45638 Flink作业失败重启次数超阈值处理。Flink作业重启次数超阈
- [ALM-45639 Flink作业checkpoint完成时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45639.md): 系统以用户配置的告警周期（metrics.reporter.alarm.interval，默认值：30s）检查Flink作业CheckPoint完成时间是否超过阈值（job.alarm.checkpoint.completion.time.duration 默认值：600s），如果超过阈值则产生告警。作业CheckPoint完成时间小于或
- [ALM-45640 FlinkServer主备节点间心跳中断](https://support.huaweicloud.com/usermanual-mrs/ALM-45640.md): FlinkServer主节点或备节点连续30秒（keepalive配置的心跳中断时间）未收到对端的心跳消息后，系统产生告警。当心跳恢复后，告警恢复。本章节仅适用于MRS 3.2.0-LTS及之后版本。FlinkServer主备之间的心跳中断有很多原因，如果是主节点出问题，那么心跳中断后备节点会升为主节点，继续对外提供服务；如果是因为其他原
- [ALM-45641 FlinkServer主备节点同步数据异常](https://support.huaweicloud.com/usermanual-mrs/ALM-45641.md): 系统每60秒周期检测FlinkServer主备节点同步数据情况，当备FlinkServer无法与主FlinkServer同步文件时，产生该告警。当备FlinkServer与主FlinkServer正常同步文件时，告警恢复。本章节仅适用于MRS 3.2.0-LTS及之后版本。备FlinkServer的配置文件没有更新，主备倒换之后，部分配置
- [ALM-45642 RocksDB持续触发写限流](https://support.huaweicloud.com/usermanual-mrs/ALM-45642.md): 系统以用户配置的告警周期（metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration，默认180s）检查作业RocksDB监控数据，如果作业RocksDB持续触发写限流，即作业写RocksDB的速率不为0时则发送告警。当作业写RocksDB的速率为0时，则告警恢复。作业写RocksD
- [ALM-45643 RocksDB的MemTable大小持续超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45643.md): 系统以用户配置的告警周期（metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration，默认180s）检查作业RocksDB监控数据，如果作业RocksDB的MemTable大小持续超过用户配置的阈值（metrics.reporter.alarm.job.alarm.rocksdb.g
- [ALM-45644 RocksDB的Level0层SST文件数持续超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45644.md): 系统以用户配置的告警周期（metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration，默认180s）检查作业RocksDB监控数据，如果作业RocksDB的Level0层SST文件数持续达到用户配置的阈值（state.backend.rocksdb.level0_slowdown_w
- [ALM-45645 RocksDB的Pending Flush持续超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45645.md): 系统以用户配置的告警周期（metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration，默认180s）检查作业RocksDB监控数据，如果作业RocksDB的Pending Flush请求数持续达到flush/compaction线程数的n倍，则发送告警。当作业RocksDB的Pend
- [ALM-45646 RocksDB的Pending Compaction持续超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45646.md): 系统以用户配置的告警周期（metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration，默认180s）检查作业RocksDB监控数据，如果作业RocksDB的Pending Compaction请求数持续达到flush/compaction线程数的n倍，则发送告警。当作业RocksDB
- [ALM-45647 RocksDB的Pending Compaction预估总大小持续超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45647.md): 系统以用户配置的告警周期（metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration，默认180s）检查作业RocksDB监控数据，如果作业RocksDB的Pending Compaction预估总大小持续达到用户配置的阈值，则发送告警。当作业RocksDB的Pending Comp
- [ALM-45648 RocksDB持续发生Write-Stopped](https://support.huaweicloud.com/usermanual-mrs/ALM-45648.md): 系统以用户配置的告警周期（metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration，默认180s）检查作业RocksDB监控数据，如果作业RocksDB持续出现is-write-stopped，则发送告警。当作业RocksDB在同一个告警周期内不再或不连续出现is-write-st
- [ALM-45649 RocksDB的Get P95耗时持续超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45649.md): 系统以用户配置的告警周期（metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration，默认180s）检查作业RocksDB监控数据，如果作业RocksDB的Get P95耗时达到用户配置的阈值（metrics.reporter.alarm.job.alarm.rocksdb.get.
- [ALM-45650 RocksDB的Write P95耗时持续超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45650.md): 系统以用户配置的告警周期（metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration，默认180s）检查作业RocksDB监控数据，如果作业RocksDB的Write P95耗时达到用户配置的阈值（metrics.reporter.alarm.job.alarm.rocksdb.wr
- [ALM-45652 Flink服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-45652.md): 告警模块按60秒周期检测Flink服务状态。当检测到Flink服务不可用时产生该告警。Flink服务恢复时，告警恢复。本章节仅适用于MRS 3.3.0-LTS及之后版本。Flink服务不可用会导致FlinkServer和Flink客户端提交Flink作业功能无法正常使用。Flink服务依赖的ZooKeeper、HDFS、Yarn服务不可用
- [ALM-45653 Flink HA证书文件失效](https://support.huaweicloud.com/usermanual-mrs/ALM-45653.md): Flink首次或者每天01:00:00开始健康检查时，检查当前系统中的HA证书文件是否失效（证书是否存在，证书格式是否正确），如果证书文件失效，产生该告警。证书文件恢复，告警恢复。本章节仅适用于MRS 3.3.0-LTS及之后版本。用户HA证书文件已经失效，会导致主备模式下FlinkServer将无法正常对外提供服务，FlinkServe
- [ALM-45654 Flink HA证书文件即将过期](https://support.huaweicloud.com/usermanual-mrs/ALM-45654.md): Flink首次或者每天01:00:00开始健康检查时，检查当前系统中的HA证书文件是否即将过期。如果剩余有效期小于或等于30天，产生该告警。剩余有效期大于30天，告警恢复。本章节仅适用于MRS 3.3.0-LTS及之后版本。HA证书即将过期，如果过期，主备模式下FlinkServer的HA功能会受到影响，将导致主备模式下FlinkServ
- [ALM-45655 Flink HA证书文件已过期](https://support.huaweicloud.com/usermanual-mrs/ALM-45655.md): Flink首次或者每天01:00:00开始健康检查时，检查当前系统中的HA证书文件是否已过期。如果HA证书已过期，产生该告警。证书恢复到有效期内，告警恢复。本章节仅适用于MRS 3.3.0-LTS及之后版本。用户HA证书文件已过期，会导致主备模式下FlinkServer将无法正常对外提供服务，FlinkServer提交Flink作业功能无
- [ALM-45656 Flink作业进程Full GC频率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45656.md): 系统以用户配置的告警周期（metrics.reporter.alarm.interval，默认值：30s）检查作业每个进程的Full GC次数，当检测到Flink作业的某个进程Full GC频率超出用户配置的阈值，产生该告警。当作业重启成功或删除作业时告警恢复。否则，该告警需要手动清除。该告警阈值计算公式为：Full GC次数变化的增量/
- [ALM-45657 FlinkServer SQL-Gateway服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-45657.md): 告警模块按60秒周期检测FlinkServer SQL-Gateway服务状态。当检测到无法和SQL-Gateway建立连接时产生该告警。SQL-Gateway服务恢复时，告警恢复。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。FlinkServer SQL-Gateway服务不可用时，FlinkServer页面的语法校验、血缘
- [ALM-45736 Guardian服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-45736.md): 告警模块按60秒周期检测Guardian服务状态，当检测到Guardian服务异常时，系统产生此告警。当系统检测到Guardian服务恢复正常，且告警处理完成时，告警恢复。本章节仅适用于MRS 3.1.5及之后版本。当Guardian服务不可用时，业务无法正常访问OBS。Guardian服务所依赖内部服务HDFS故障。TokenServe
- [ALM-45737 TokenServer堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45737.md): 系统每60秒周期性检测TokenServer服务堆内存使用状态，当连续10次检测到TokenServer实例堆内存使用率超出阈值（最大内存的95%）时产生该告警。当系统检测到堆内存使用率小于阈值时，告警恢复。本章节仅适用于MRS 3.1.5及之后版本。Guardian TokenServer实例堆内存溢出可能导致业务无法正常访问OBS。该
- [ALM-45738 TokenServer直接内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45738.md): 系统每60秒周期性检测TokenServer服务直接内存使用状态，当连续5次检测到TokenServer实例直接内存使用率超出阈值（最大内存的80%）时，产生该告警。当系统检测到TokenServer直接内存使用率小于或等于阈值时，告警恢复。本章节仅适用于MRS 3.1.5及之后版本。Guardian TokenServer实例直接内存溢
- [ALM-45739 TokenServer非堆内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45739.md): 系统每60秒周期性检测TokenServer服务非堆内存使用状态，当连续5次检测到TokenServer实例非堆内存使用率超出阈值（最大内存的80%）时产生该告警。当系统检测到非堆内存使用率小于阈值时，告警恢复。本章节仅适用于MRS 3.1.5及之后版本。Guardian TokenServer实例非堆内存溢出可能导致业务无法正常访问OB
- [ALM-45740 TokenServer垃圾回收(GC)时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45740.md): 系统每60秒周期性检测TokenServer进程的垃圾回收（GC）占用时间，当连续5次检测到TokenServer进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。当系统检测到垃圾回收（GC）时间小于阈值时，告警恢复。本章节仅适用于MRS 3.1.5及之后版本。Guardian TokenServer实例GC时间过长，导致T
- [ALM-45741 请求ECS securitykey接口失败](https://support.huaweicloud.com/usermanual-mrs/ALM-45741.md): Guardian 会缓存ECS委托的临时aksk，当缓存不存在或者快要过期时，Guardian会去调用ECS的securitykey接口刷新aksk，当调用接口失败时，会产生该告警。本章节仅适用于MRS 3.2.1-LTS及之后版本。当Guardian调用ECS的securitykey接口失败时，可能会导致任务获取访问OBS的临时aksk
- [ALM-45742 请求ECS metadata接口失败](https://support.huaweicloud.com/usermanual-mrs/ALM-45742.md): 当Guardian调用IAM接口获取临时aksk时，需要先从ECS metadata接口获取相关元数据信息，如果调用该接口失败，则产生该告警。本章节仅适用于MRS 3.1.5及之后版本。当Guardian调用ECS metadata失败时，可能会导致获取访问OBS的临时aksk失败，进而业务无法正常访问OBS。ECS底层接口异常，导致请求
- [ALM-45743  请求IAM接口失败](https://support.huaweicloud.com/usermanual-mrs/ALM-45743.md): 当Guardian调用IAM接口获取临时aksk时，如果调用该接口失败，则产生该告警。本章节仅适用于MRS 3.1.5及之后版本。当Guardian调用IAM 接口失败时，可能会导致获取访问OBS的临时aksk失败，进而业务无法正常访问OBS。IAM 服务异常。收集故障信息。此告警修复后，系统会自动清除此告警，无需手工清除。无。
- [ALM-45744 Guardian TokenServer RPC处理平均时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45744.md): 系统每30秒周期性检测TokenServer服务RPC处理平均时间，当连续5次检测到TokenServer实例RPC处理平均时间超出阈值时产生该告警。当系统检测到TokenServer实例RPC处理平均时间小于阈值时，告警恢复。本章节仅适用于MRS 3.5.0-LTS及之后版本。Guardian TokenServer实例RPC处理平均时
- [ALM-45745 Guardian TokenServer RPC队列平均时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-45745.md): 系统每30秒周期性检测TokenServer服务RPC队列平均时间，当连续5次检测到TokenServer实例RPC队列平均时间超出阈值时产生该告警。当系统检测到TokenServer服务RPC队列平均时间小于阈值时，告警恢复。本章节仅适用于MRS 3.5.0-LTS及之后版本。Guardian TokenServer实例RPC队列平均时
- [ALM-47001 MemArtsCC服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-47001.md): 本章节仅适用于MRS 3.3.1及之后版本。告警模块按60秒周期检测MemArtsCC所依赖ZooKeeper服务状态，如出现ZooKeeper服务不可用则产生该告警。当系统检查ZooKeeper服务正常，告警自动清除造成MemArtsCC服务不可用。MemArtsCC服务所依赖的ZooKeeper服务不可用。处理ZooKeeper异常是
- [ALM-47002 MemArtsCC磁盘故障](https://support.huaweicloud.com/usermanual-mrs/ALM-47002.md): 本章节仅适用于MRS 3.3.1及之后版本。告警模块按60秒周期检测MemArtsCC使用的本地盘状态，当检测到磁盘状态异常会触发告警。当磁盘恢复正常后，告警恢复。造成MemArtsCC组件状态异常或者性能下降。MemArtsCC使用的磁盘损坏或者权限只读。是，更换磁盘，重启故障节点的CCSideCar和CCWorker角色，执行3。否，
- [ALM-47003 MemArtsCC Worker进程内存使用超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-47003.md): 本章节仅适用于MRS 3.5.0及之后版本。系统每30秒周期性检查MemArtsCC组件的CCWorker进程内存，当检查到超过最大限制时触发该告警。当检测到CCWorker进程内存使用率低于阈值时，告警恢复。单个CCWorker进程的内存使用超过最大限制内存后可能会出现进程重启，短暂影响缓存命中率。上层计算服务（Spark/Hive/H
- [ALM-47004 MemArtsCC Worker的read请求平均时延超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-47004.md): 本章节仅适用于MRS 3.5.0及之后版本。系统每30秒周期性检查MemArtsCC组件的CCWorker进程内部所有read请求的平均时延，当检查到超过限制时触发该告警。当检测到CCWorker进程内的read请求时延下降到低于阈值时，告警恢复。单个CCWorker内部平均read请求处理时延超过最大阈值后，可能会出现缓存性能下降。上层
- [ALM-50201 Doris服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-50201.md): 告警模块按60秒周期检测Doris服务状态，当检测到所有FE和BE实例异常时，系统产生此告警。当系统检测到任意FE或BE实例恢复正常，告警恢复。Doris服务异常，无法通过FusionInsight Manager对Doris进行集群操作，无法使用Doris服务功能。FE和BE实例状态异常。重启Doris服务。在Doris服务重启期间服务
- [ALM-50202 FE CPU使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50202.md): 系统每30秒周期性检测FE CPU使用率。CPU使用率默认提供一个阈值范围。当检测到CPU使用率连续多次（默认值为3）超出阈值范围（默认值为95%）时产生该告警。平滑次数为1，CPU使用率小于或等于阈值时，告警恢复；平滑次数大于1，CPU使用率小于或等于阈值的85%时，告警恢复。业务进程响应缓慢或不可用。告警阈值配置或者平滑次数配置不合理
- [ALM-50203 FE内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50203.md): 系统每30秒周期性检测FE内存使用率。当检测到内存使用率连续多次（默认值为3）超出阈值范围（默认值为95%）时产生该告警。平滑次数为1，内存使用率小于或等于阈值时，告警恢复；平滑次数大于1，内存使用率小于或等于阈值的85%时，告警恢复。业务进程响应缓慢或不可用。告警阈值配置或者平滑次数配置不合理。检查告警阈值配置或者平滑次数配置是否合理。
- [ALM-50205 BE CPU使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50205.md): 系统每30秒周期性检测BE CPU使用率。当检测到CPU使用率连续多次（默认值为3）超出阈值范围（默认值为95%）时产生该告警。平滑次数为1，CPU使用率小于或等于阈值时，告警恢复；平滑次数大于1，CPU使用率小于或等于阈值的85%时，告警恢复。业务进程响应缓慢或不可用。告警阈值配置或者平滑次数配置不合理。检查告警阈值配置或者平滑次数配置
- [ALM-50206 BE内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50206.md): 系统每30秒周期性检测BE内存使用率。当检测到内存使用率连续多次（默认值为3）超出阈值范围时产生该告警。平滑次数为1，内存使用率小于或等于阈值时，告警恢复；平滑次数大于1，内存使用率小于或等于阈值的85%时，告警恢复。业务进程响应缓慢或不可用。告警阈值配置或者平滑次数配置不合理。检查告警阈值配置或者平滑次数配置是否合理。平滑次数为在告警检
- [ALM-50207 FE的MySQL端口连接数与允许最大连接数的比值超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50207.md): 系统每30秒周期性检查MySQL端口连接数，当检测到当前连接数与设置的FE最大端口连接数的比值超出阈值（默认值为95%）时产生该告警。当前集群设置的FE最大端口连接数由参数“qe_max_connection”控制，默认为“1024”。FE节点MySQL端口连接数小于或等于阈值时，告警恢复。业务进程响应缓慢或不可用。MySQL客户端连接D
- [ALM-50208 清理历史元数据镜像文件失败的次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50208.md): 系统每30秒周期性检查FE节点清理历史元数据镜像文件失败的次数，当检查到失败的次数超出阈值（默认值为1）时产生该告警。当系统检查到FE节点清理历史元数据镜像文件失败的次数低于阈值时，告警清除。Doris元数据所占磁盘空间越来越大，最终可能导致服务异常。Doris服务异常。检查Doris服务是否正常是，执行4。否，执行3。是，处理完毕。否，
- [ALM-50209 Doris生成元数据镜像文件失败的次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50209.md): 系统每30秒周期性检查FE节点生成元数据镜像文件失败的次数，当检查到失败的次数超出阈值（默认值为1）时产生该告警。当系统检查到FE节点生成元数据镜像文件失败的次数低于阈值时，告警清除。非Master角色的FE节点不能接收到最新的元数据镜像文件，系统可靠性降低。Doris FE的checkpoint线程检测到FE堆内存使用超过75%（MRS
- [ALM-50210 所有BE节点中最大的compaction score值超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50210.md): 系统每30秒周期性检查所有BE节点中最大的compaction score值，当检查到该值超出阈值（默认值为100）时产生该告警。可能导致查询或写入延迟。集群业务并发量较大或compaction队列设置较小。检查告警阈值配置或者平滑次数配置是否合理。登录集群Manager具体操作，请参考访问MRS集群Manager。是，处理完毕。否，执行
- [ALM-50211 BE的各种定期汇报任务在FE端的队列长度超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50211.md): 系统每30秒周期性检查BE的各种定期汇报任务在FE端的队列长度，当检查到该值超出阈值（默认值为10）时产生该告警。该值反映了汇报任务在Master FE节点上的阻塞程度，数值越大，表示FE处理能力不足。当系统检查到BE的各种定期汇报任务在FE端的队列长度低于阈值时，告警清除。当前FE处理能力不足，影响业务的查询速度。Doris集群并发业务
- [ALM-50212 FE进程的老年代GC耗时累计值超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50212.md): 系统每30秒周期性检查FE进程的老年代GC耗时累计值，当检查到该值超出阈值（默认值为3000ms）时产生该告警。当系统检查到FE进程的老年代GC耗时累计值低于阈值时，告警清除。FE进程的垃圾回收时间过长，可能影响该FE进程正常提供服务。该FE节点实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。检查GC时间。左侧图表分类选择“
- [ALM-50213 FE中和BE交互的线程池中正在排队的任务数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50213.md): 系统每30秒周期性检查FE中和BE交互的线程池中正在排队的任务数，当检查到该值超出阈值（默认值为10）时产生该告警。该线程池为FE端ThriftServer的工作线程池，对应“fe.conf”文件中的“rpc_port”，用于和BE进行交互。当系统检查到FE中和BE交互的线程池中正在排队的任务数低于阈值时，告警清除。Doris服务读写性能
- [ALM-50214 FE中处理任务的线程池中正在排队的任务数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50214.md): 系统每30秒周期性检查FE中处理任务的线程池中正在排队的任务数，当检查到该值超出阈值（默认值为10）时产生该告警。该线程池为NIO MySQL Server用于处理任务的线程池。当FE中处理任务的线程池中正在排队的任务数低于阈值时，告警清除。导致整个系统任务执行变慢阻塞。可能存在较大的任务阻塞了队列执行时长。查看FE任务执行情况。show
- [ALM-50215 FE Thrift各个方法接收的RPC请求中最长的耗时超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50215.md): 系统每30秒周期性检查FE Thrift各个方法接收的RPC请求中最长的耗时，当检查到该值超出阈值（默认值为5000ms）时产生该告警。当FE Thrift各个方法接收的RPC请求中最长的耗时低于阈值时，告警清除。RPC时长越长表示性能负载越高，网络请求处理越慢，可能会导致服务阻塞。网络存在时延存在大SQL任务并发过高是，执行3。否，执行
- [ALM-50216 FE节点使用的内存比率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50216.md): 系统每30秒周期性检查FE节点使用的内存比率，当检查到该值超出阈值（默认值为95%）时产生该告警。当FE节点使用的内存比率低于阈值时，告警清除。影响任务执行和客户端连接FE。FE堆内存过小。检查FE堆内存使用率。单击“平滑次数”后的编辑按钮，根据实际使用情况，修改平滑次数配置项，单击“确定”。单击“操作”列的“修改”，根据实际使用情况，更
- [ALM-50217 FE节点堆内存的使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50217.md): 系统每30秒周期性检查FE节点堆内存的使用率，当检查到该值超出阈值（默认值为95%）时产生该告警。当FE节点堆内存的使用率低于阈值时，告警清除。影响任务执行和客户端连接FE。FE堆内存过小。检查堆内存使用率。单击“平滑次数”后的编辑按钮，根据实际使用情况，修改平滑次数配置项，单击“确定”。单击“操作”列的“修改”，根据实际使用情况，更改告
- [ALM-50219 当前查询执行线程池等待队列的长度超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50219.md): 系统每30秒周期性检查当前查询执行线程池等待队列的长度超过阈值，当检查到该值超出阈值（默认值为20）时产生该告警。当前查询执行线程池等待队列的长度低于阈值时，告警清除。导致整个系统任务执行变慢阻塞。可能存在较大的任务阻塞了队列执行时长。查看任务执行情况。show variables like 'query_timeout';如果此值过大，
- [ALM-50220 TCP包接收错误的次数的比率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50220.md): 系统每30秒周期性检查TCP包接收错误的次数的比率，当检查到该值超出阈值（默认值为5%）时产生该告警。当TCP包接收错误的次数的比率低于阈值时，告警清除。导致任务失败或者数据丢失。网络故障，导致数据无法发送。是，执行4。否，执行2。是，处理完毕。否，执行4。收集故障信息。此告警修复后，系统会自动清除此告警，无需手工清除。不涉及。
- [ALM-50221 BE数据盘的使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50221.md): 系统每30秒周期性检查BE数据盘的使用率，当检查到该值超出阈值（默认值为95%）时产生该告警。当系统检测到BE数据盘的使用率低于阈值时，告警清除。新数据写入失败，任务中断。集群磁盘容量已满。BE节点间数据倾斜。登录集群Manager具体操作，请参考访问MRS集群Manager。收集故障信息此告警修复后，系统会自动清除此告警，无需手工清除。
- [ALM-50222 BE中指定数据目录的磁盘状态异常](https://support.huaweicloud.com/usermanual-mrs/ALM-50222.md): 系统每30秒周期性检查BE中指定数据目录的磁盘状态，当检查到该值不等于1（1表示正常，0表示异常）时产生该告警。BE中指定数据目录的磁盘状态恢复正常，告警清除。可能会导致业务数据不可用，在Doris客户端查询数据失败。硬盘故障。磁盘权限设置不正确。查看是否存在磁盘告警是，执行2。否，执行4。是，执行3。否，执行4。是，处理完毕。否，执行4
- [ALM-50223 BE所需最大内存大于机器剩余可用内存](https://support.huaweicloud.com/usermanual-mrs/ALM-50223.md): 系统每30秒周期性检查BE所需最大内存是否大于机器剩余可用内存，当检查到该值不等于1（1表示小于等于，0表示大于）时产生该告警。BE所需最大内存小于等于机器剩余可用内存时，告警清除。可能会导致任务运行时申请不到内存而失败。BE节点内存被其他进程占用过大导致机器剩余内存不够，或BE服务最大内存上限设置过大。检查BE节点设置的最大内存上限是否
- [ALM-50224 BE上执行的各类任务中是否存在某种类型的任务失败次数有增长趋势](https://support.huaweicloud.com/usermanual-mrs/ALM-50224.md): 系统每30秒周期性检查BE上执行的各类任务中是否存在某种类型的任务失败次数有增长趋势，当检查到该值不等于1（1表示没有增长趋势，0表示有增长趋势）时产生该告警。当系统检测到BE上执行的各类任务中不存在某种类型的任务失败次数有增长趋势时，告警清除。导致某个场景下任务持续执行失败。可能存在某个BE的异常点导致任务触发场景下失败任务增长。检查告
- [ALM-50225 FE实例故障](https://support.huaweicloud.com/usermanual-mrs/ALM-50225.md): 系统每30秒周期性检查FE的进程状态，当检查到该值大于0（0表示状态正常，1表示状态异常）时产生该告警。当系统检测到FE的进程状态正常时，告警清除。当前FE实例不可用，无法响应客户端请求。FE实例由于某种原因出现故障或被重启。是，执行3。否，执行4。是，处理完毕。否，执行4。收集故障信息。此告警修复后，系统会自动清除此告警，无需手工清除。
- [ALM-50226 BE实例故障](https://support.huaweicloud.com/usermanual-mrs/ALM-50226.md): 系统每30秒周期性检查BE的进程状态，当检查到该值大于0（0表示状态正常，1表示状态异常）时产生该告警。当系统检测到BE的进程状态正常时，告警清除。当前BE实例不可用，无法对外提供读写数据功能。BE实例由于某种原因出现故障或被重启。是，执行3。否，执行4。是，处理完毕。否，执行4。收集故障信息。此告警修复后，系统会自动清除此告警，无需手工
- [ALM-50227 Doris租户查询并发数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50227.md): 系统每30秒周期性检查租户FE节点的查询并发数，当检查到该值超出阈值（默认值为90%）时产生该告警。当检测到FE的查询并发数低于阈值时，告警恢复。本章节仅适用于MRS 3.3.1-LTS及之后版本。当查询并发数过大时，会消耗大量的系统资源，导致系统响应时间变慢，甚至拒绝后续查询。租户业务量过大。查看租户FE实际查询并发数。是，执行3。否，
- [ALM-50228 Doris租户内存使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50228.md): 系统每30秒周期性检查租户BE节点的内存使用率，当检查到该值超出阈值时产生该告警。当检测到租户BE节点的内存使用率低于阈值时，告警恢复。本章节仅适用于MRS 3.3.1-LTS及之后版本。业务进程响应缓慢或不可用。租户查询数据过大，且未开启内存软隔离。查看租户BE实际内存使用大小。是，执行3。否，执行8。是，执行5。否，执行8。是，执行7
- [ALM-50229 Doris FE连接OBS不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-50229.md): 系统每30秒周期性检查Doris FE实例节点对OBS的连接是否可用，当检查到连接状态码为非零时，产生该告警。当检测到连接状态码为零时，告警恢复。本章节仅适用于MRS 3.3.1-LTS及之后版本。Doris部分特性和功能不可用，例如：冷热分离和Hive OBS Catalog等。获取的AK/SK失效。连接OBS失败。确认上报告警原因。若
- [ALM-50230 Doris BE连接OBS不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-50230.md): 系统每30秒周期性检查Doris BE实例节点对OBS的连接是否可用，当检查到连接状态码非零时，产生该告警。当检测到连接状态码为零时，告警恢复。本章节仅适用于MRS 3.3.1-LTS及之后版本。Doris部分特性和功能不可用，例如：冷热分离和Hive OBS Catalog等。获取的AK/SK失效。连接OBS失败。确认上报告警原因。若“
- [ALM-50231 BE进程页表项使用内存占节点内存的比率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50231-1.md): 系统每30秒周期性检查BE进程页表项使用内存占节点内存的比率，当检查到该值超出阈值（默认值为15%）时产生该告警。当系统检测到BE进程页表项使用内存占节点内存的比率低于阈值时，告警清除。页表是操作系统管理物理内存与虚拟内存映射关系的结构，每个进程都有独立的页表项。本章节仅适用于MRS 3.6.0-LTS及之后版本。BE进程可用内存变少。用
- [ALM-50231 Doris中存在异常Tablet](https://support.huaweicloud.com/usermanual-mrs/ALM-50231.md): 告警模块按5分钟周期检查Doris集群中是否存在异常的Tablet，当存在异常Tablet时，产生此告警。当检测到Doris集群中不存在异常Tablet时，告警恢复。本章节仅适用于MRS 3.5.0-LTS版本，MRS 3.6.0-LTS及之后版本请参见ALM-50231 BE进程页表项使用内存占节点内存的比率超过阈值。Tablet异常可
- [ALM-50232 Doris中存在较大的Tablet](https://support.huaweicloud.com/usermanual-mrs/ALM-50232.md): 告警模块按5分钟周期检查Doris集群中是否存在大于3GB（可通过“alarm_tablet_max_size”参数修改该值）的Tablet，如果存在则产生此告警。当检测到Doris集群中不存在大于3GB的Tablet时，告警恢复。本章节仅适用于MRS 3.5.0-LTS版本。Tablet较大时可能导致Doris查询速度变慢或者compa
- [ALM-50401 JobServer中等待执行的任务数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50401.md): 系统每30秒周期性检测提交到JobServer的作业数量，当等待执行的作业数量超过800时，触发该告警。已检测到JobServer任务队列中存在过多任务数（详细的任务队列使用情况，请参考本告警的附加信息字段），将导致如下影响：当JobServer任务队列中的任务数达到队列最大值（默认为1000）时，新的任务将无法添加，将会影响用户的大数据
- [ALM-50402 JobGateway服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-50402.md): 系统按60秒周期性检测组件JobGateway的服务状态。当检测到组件JobGateway服务异常时产生该告警。当检测到组件JobGateway服务恢复时告警恢复。用户无法操作与JobGateway组件相关的作业功能。例如：MRS管控面作业管理中的功能，无法在作业管理中进行提交、终止、查看作业等操作；无法成功调用MRS API V2作业管
- [ALM-50403 JobServer提交作业接口时延超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50403.md): 本章节仅适用于MRS 3.5.1及之后版本。系统每30秒周期性检测JobServer中提交作业接口的时延，默认配置下，当时延连续3次超出10s，上报重要告警，当时延连续3次超出20s，上报紧急告警，当时延连续3次低于阈值时，清除告警。用户执行提交作业时延较长。例如：通过REST接口提交作业响应时间较长。该节点JobServer的并发请求数
- [ALM-50404 JobServer查询作业接口时延超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50404.md): 本章节仅适用于MRS 3.5.1及之后版本。系统每30秒周期性检测JobServer中查询作业接口的时延，默认配置下，当时延连续3次超出10s，上报重要告警，当时延连续3次超出20s，上报紧急告警，当时延连续3次低于阈值时，清除告警。用户执行查询作业时延较长。例如：通过REST接口查询作业响应时间较长。该节点JobServer的并发请求数
- [ALM-50405 JobServer终止作业接口时延超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50405.md): 本章节仅适用于MRS 3.5.1及之后版本。系统每30秒周期性检测JobServer中终止作业接口的失败率，默认配置下，当失败率连续3次超出80%，上报重要告警，当失败率连续3次超出90%，上报紧急告警，当失败率连续3次低于阈值时，清除告警。用户执行终止作业时延较长。例如：通过REST接口终止作业响应时间较长。该节点JobServer的并
- [ALM-50406 JobServer提交作业接口失败率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50406.md): 本章节仅适用于MRS 3.5.0及之后版本。系统每30秒周期性检测JobServer中提交失败的接口占比，当失败率超出阈值（默认值为80%）时，触发该告警。当失败率低于阈值时，告警恢复。用户执行提交作业失败。例如：通过REST接口提交作业可能失败。该节点JobServer实例存在异常。重启期间服务业务可能受损或中断，建议选择业务低峰期操作
- [ALM-50407 JobServer查询作业接口失败率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50407.md): 本章节仅适用于MRS 3.5.0及之后版本。系统每30秒周期性检测JobServer中查询失败的接口占比，当失败率超出阈值（默认值为80%）时，触发该告警。当失败率低于阈值时，告警恢复。用户执行查询作业失败。例如：通过REST接口查询作业可能失败。该节点JobServer实例存在异常。重启期间服务业务可能受损或中断，建议选择业务低峰期操作
- [ALM-50408 JobServer终止作业接口失败率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50408.md): 本章节仅适用于MRS 3.5.0及之后版本。系统每30秒周期性检测JobServer中终止失败的接口占比，当失败率超出阈值（默认值为80%）时，触发该告警。当失败率低于阈值时，告警恢复。用户执行终止作业失败。例如：通过REST接口终止作业可能失败。该节点JobServer实例存在异常。重启期间服务业务可能受损或中断，建议选择业务低峰期操作
- [ALM-50601 LDMS服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-50601.md): 系统按30秒周期性检测组件LDMS的服务状态。当检测到组件LDMS服务异常时产生该告警。当检测到组件LDMS服务恢复时告警恢复。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。用户无法操作与LDMS组件相关的作业功能。例如：无法进入LDMSServer实例页面或调取LDMSServer的接口请求失败。Spark服务所在节点故障。H
- [ALM-50602 LDMS计算实例CPU负载使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50602.md): 系统每30秒周期性检测LDMS计算实例的平均CPU负载使用率，当检测到LDMS计算实例的CPU负载使用率大于90%时产生该告警。LDMS计算实例运行的CPU负载使用率小于等于90%时，告警清除。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。LDMS计算实例CPU负载使用率超过阈值，会导致该计算实例性能下降，服务响应变慢。LDMS
- [ALM-50604 LDMS任务提交失败](https://support.huaweicloud.com/usermanual-mrs/ALM-50604.md): LDMS根据配置的分组作业队列，按规则提交调度Spark任务到Yarn上执行，若连续3次提交任务失败，则会上报该告警，后续分组作业队列提交成功后，告警消除。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。LDMS调度任务提交失败会影响托管的表的使用可靠性，长期提交失败会导致托管的表长期未进行运维管理影响读写性能甚至导致表不可用。L
- [ALM-50605 LDMS任务执行失败](https://support.huaweicloud.com/usermanual-mrs/ALM-50605.md): LDMS会监控提交到Yarn上的作业，如果作业失败则会上报任务执行失败告警。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。LDMS计算实例任务失败率过高，会影响业务的正常运行，需及时排查问题并处理。任务执行失败的可能原因有：表属性错误、权限问题、参数配置不合理等。检查计算实例资源配置是否合理单击失败作业application I
- [ALM-50801 Mplog用量超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50801.md): 系统按30秒周期性检测组件StoreWorker的Mplog使用水位，当检测到使用水位超过100%时产生该告警。当检测到使用水位低于100%时告警恢复。告警发生时，节点的性能会降低。告警阈值配置或者平滑次数配置不合理。修改使用水位阈值平滑次数为在告警检查阶段连续检查多少次超过阈值，则发送告警。是，处理完毕。否，执行5。收集故障信息此告警修
- [ALM-50802 磁盘用量超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50802.md): 系统按30秒周期性检测组件StoreWorker的磁盘空间用量，当检测到磁盘空间使用率超过95%时产生该告警。当检测到磁盘空间使用率低于95%时告警恢复。告警发生时，进行中的业务APP（Spark等）可能会失败。告警阈值配置或者平滑次数配置不合理。修改磁盘容量使用率阈值平滑次数为在告警检查阶段连续检查多少次超过阈值，则发送告警。是，处理完
- [ALM-50803 StoreWorker写入延迟超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50803.md): 系统按30秒周期性检测组件StoreWorker的写入延迟，当检测到写入延迟大于30000000(30s)时产生该告警。当检测到写入延迟低于30000000(30s)时告警恢复。告警发生时，进行中的业务APP（Spark等）可能会失败。告警阈值配置或者平滑次数配置不合理。修改写入最大延迟阈值平滑次数为在告警检查阶段连续检查多少次超过阈值，
- [ALM-50804 StoreWorker读取延迟超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50804.md): 系统按30秒周期性检测组件StoreWorker的读取延迟，当检测到读取延迟大于30000000(30s)时产生该告警。当检测到读取延迟低于30000000(30s)时告警恢复。告警发生时，进行中的业务APP（Spark等）可能会失败。告警阈值配置或者平滑次数配置不合理。CPU/内存配置无法满足业务需求。修改读取最大延迟阈值平滑次数为在告
- [ALM-50805 StoreMaster写入ZooKeeper延迟超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50805.md): 系统按30秒周期性检测组件StoreMaster写入ZooKeeper的延迟，当检测到写入延迟大于8000000(8s)时产生该告警。当检测到写入延迟低于8000000(8s)时告警恢复。告警发生时，StoreMaster进程可能会不可用。告警阈值配置或者平滑次数配置不合理。修改平均延迟阈值平滑次数为在告警检查阶段连续检查多少次超过阈值，
- [ALM-50806 StoreMaster读取ZooKeeper延迟超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50806.md): 系统按30秒周期性检测组件StoreMaster读取ZooKeeper的延迟，当检测到读取延迟大于8000000(8s)时产生该告警。当检测到读取延迟低于8000000(8s)时告警恢复。告警发生时，StoreMaster进程可能会不可用。告警阈值配置或者平滑次数配置不合理。修改平均延迟阈值平滑次数为在告警检查阶段连续检查多少次超过阈值，
- [ALM-50807 StoreMaster加载失败次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50807.md): 系统按30秒周期性检测组件StoreMaster读取是否加载失败，当检测到加载失败时产生该告警。当检测到无加载失败时告警恢复。Master加载失败，整个集群无法服务。ZooKeeper关键数据被篡改。ZooKeeper访问异常。检查ZooKeeper服务实例状态。是，执行6。否，执行3。是，执行5。否，执行6。是，处理完毕。否，执行6。收
- [ALM-50808 StoreMaster创建space失败次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50808.md): 系统按30秒周期性检测组件StoreMaster创建space是否失败，当检测到加载失败时产生该告警。当检测到创建space无失败时告警恢复。创建space失败，导致对应Spark任务失败。ZooKeeper访问异常。检查ZooKeeper服务实例状态。是，执行6。否，执行3。是，执行5。否，执行6。是，处理完毕。否，执行6。收集故障信息
- [ALM-50809 StoreMaster通知Worker删除时延超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50809.md): 系统按30秒周期性检测组件StoreMaster通知Worker删除时延，当检测到时延超过阈值后产生该告警。当检测到StoreMaster通知Worker删除时延在阈值内时告警恢复。时延超过阈值，将导致重试，加重服务器负担。告警阈值配置或者平滑次数配置不合理。StoreWorker的存储功能有异常。检查告警阈值配置或者平滑次数配置是否合理
- [ALM-50810 StoreWorker读时因流控而失败的次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50810.md): 系统按30秒周期性检测组件StoreWorker读因为被流控而失败的次数，当检测到失败次数超过阈值后产生该告警。当检测到StoreWorker读因为被流控而失败的次数在阈值内时告警恢复。被流控，将导致服务器服务效率下降，可能导致任务失败。负载倾斜性过大，负载压力过大。告警阈值配置或者平滑次数配置不合理。检查Pool I/O时间。左侧图表分
- [ALM-50811 StoreWorker写时因流控而失败的次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50811.md): 系统按30秒周期性检测组件StoreWorker写时因流控而失败的次数，当检测到失败次数超过阈值后产生该告警。当检测到StoreWorker写时因流控而失败的次数在阈值内时告警恢复。被流控，将导致服务器服务效率下降，可能导致任务失败。负载倾斜性过大，负载压力过大。告警阈值配置或者平滑次数配置不合理。检查Pool I/O时间。左侧图表分类选
- [ALM-50814 StoreWorker协程用量占总量的百分比超过极限阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50814.md): 系统按30秒周期性检测组件StoreWorker协程用量占总量的百分比，当检测到协程用量占总量的百分比超过极限阈值后产生该告警。当检测到StoreWorker协程用量占总量的百分比在阈值内时告警恢复。协程用量较高，可能导致任务失败。负载压力过大。告警阈值配置或者平滑次数配置不合理。检查协程占用率左侧图表分类选择“资源”，观察StoreWo
- [ALM-50815 StoreMaster协程用量占总量的百分比超过极限阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50815.md): 系统按30秒周期性检测组件StoreMaster协程用量占总量的百分比，当检测到协程用量占总量的百分比超过极限阈值后产生该告警。当检测到StoreMaster协程用量占总量的百分比在阈值内时告警恢复。协程用量较高，可能导致任务失败。负载压力过大。告警阈值配置或者平滑次数配置不合理。检查协程占用率左侧图表分类选择“资源”，观察StoreMa
- [ALM-50816 StoreWorker fd使用数量占配置上限的百分比超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50816.md): 系统按30秒周期性检测组件StoreWorker fd使用数量占配置上限的百分比，当检测到fd使用数量占配置上限的百分比超过阈值后产生该告警。当检测到StoreWorker fd使用数量占配置上限的百分比在阈值内时告警恢复。fd数量占用太多，将导致文件、网络处理异常，将导致进程无法服务，造成任务失败。负载压力过大。告警阈值配置或者平滑次数
- [ALM-50817 StoreMaster fd使用数量占配置上限的百分比超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50817.md): 系统按30秒周期性检测组件StoreMaster fd使用数量占配置上限的百分比，当检测到fd使用数量占配置上限的百分比超过阈值后产生该告警。当检测到StoreMaster fd使用数量占配置上限的百分比在阈值内时告警恢复。fd数量占用太多，将导致文件、网络处理异常，将导致进程无法服务，造成任务失败。负载压力过大。告警阈值配置或者平滑次数
- [ALM-50818 StoreWorker SDK网络连接数占配置上限的百分比超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50818.md): 系统按30秒周期性检测组件StoreWorker  SDK网络连接数占配置上限的百分比，当检测到SDK网络连接数占配置上限的百分比超过阈值后产生该告警。当检测到StoreWorker SDK网络连接数占配置上限的百分比在阈值内时告警恢复。连接数太多将导致内存占用增多，导致服务处理效率下降，进一步可能导致任务失败。负载倾斜性过大，负载压力过
- [ALM-50819 StoreMaster SDK网络连接数占配置上限的百分比超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50819.md): 系统按30秒周期性检测组件StoreMaster  SDK网络连接数占配置上限的百分比，当检测到SDK网络连接数占配置上限的百分比超过阈值后产生该告警。当检测到StoreMaster SDK网络连接数占配置上限的百分比在阈值内时告警恢复。连接数太多将导致内存占用增多，导致服务处理效率下降，进一步可能导致任务失败。负载倾斜性过大，负载压力过
- [ALM-50820 StoreWorker进程内存用量超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50820.md): 系统按30秒周期性检测组件StoreWorker内存用量，当检测到内存用量超过阈值后产生该告警。当检测到StoreWorker内存用量在阈值内时告警恢复。内存占用过大，超过cgroup限制的值会被cgroups终止。负载压力过大。告警阈值配置或者平滑次数配置不合理。检查告警阈值配置或者平滑次数配置是否合理平滑次数为在告警检查阶段连续检查多
- [ALM-50821 StoreMaster进程内存用量超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50821.md): 系统按30秒周期性检测组件StoreMaster内存用量，当检测到内存用量超过阈值后产生该告警。当检测到StoreMaster内存用量在阈值内时告警恢复。内存占用过大，超过cgroup限制的值会被cgroups终止。负载压力过大。告警阈值配置或者平滑次数配置不合理。检查告警阈值配置或者平滑次数配置是否合理平滑次数为在告警检查阶段连续检查多
- [ALM-50822 没有Master主节点](https://support.huaweicloud.com/usermanual-mrs/ALM-50822.md): 系统按30秒周期性检测MemArtsStore集群是否有Master主节点，当检测到集群内没有Master主节点产生该告警。当检测到MemArtsStore集群内有Master主节点时告警恢复。集群不存在主Master，集群不可服务。ZooKeeper访问异常。Store Master初始化异常。检查ZooKeeper服务实例状态是，执行
- [ALM-50823 StoreWorker写入ZooKeeper延迟超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50823.md): 系统按30秒周期性检测组件StoreWorker写入ZooKeeper的延迟，当检测到写入延迟大于8000000(8s)时产生该告警。当检测到写入延迟低于8000000(8s)时告警恢复。告警发生时，StoreWorker进程可能会不可用。ZooKeeper访问异常。告警阈值配置或者平滑次数配置不合理。检查告警阈值配置或者平滑次数配置是否
- [ALM-50824 StoreWorker读取ZooKeeper延迟超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50824.md): 系统按30秒周期性检测组件StoreWorker读取ZooKeeper的延迟，当检测到读取延迟大于8000000(8s)时产生该告警。当检测到读取延迟低于8000000(8s)时告警恢复。告警发生时，StoreWorker进程可能会不可用。ZooKeeper访问异常。告警阈值配置或者平滑次数配置不合理。检查告警阈值配置或者平滑次数配置是否
- [ALM-50825 MemArtsStore服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-50825.md): 系统按30秒周期性检测MemArtsStore服务是否可用，当检测到不可用时产生该告警。当检测到服务恢复可用时告警恢复。MemArtsStore服务不可用，整个集群无法服务。集群未成功启动。ZooKeeper服务异常。检查ZooKeeper服务实例状态是，执行6。否，执行3。是，执行5。否，执行6。是，处理完毕。否，执行6。收集故障信息此
- [ALM-50826 StoreWorker读资源占用占流控阈值的比例超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50826.md): 系统按30秒周期性检测组件StoreWorker读资源占用占流控阈值的比例，当读资源占用占流控阈值的比例超过阈值时产生该告警。当检测到读资源占用占流控阈值的比例低于阈值时告警恢复。被流控，将导致服务器服务效率下降，可能导致任务失败。负载倾斜性较大，负载压力较大。告警阈值配置或者平滑次数配置不合理。检查告警阈值配置或者平滑次数配置是否合理平
- [ALM-50827 StoreWorker写资源占用占流控阈值的比例超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50827.md): 系统按30秒周期性检测组件StoreWorker写资源占用占流控阈值的比例，当写资源占用占流控阈值的比例超过阈值时产生该告警。当检测到写资源占用占流控阈值的比例低于阈值时告警恢复。被流控，将导致服务器服务效率下降，可能导致任务失败。负载倾斜性较大，负载压力较大。告警阈值配置或者平滑次数配置不合理。检查告警阈值配置或者平滑次数配置是否合理平
- [ALM-50828 StoreWorker数据丢失错误超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50828.md): 系统按30秒周期性检测组件StoreWorker数据丢失错误，当数据丢失错误超过阈值时产生该告警。当检测到数据丢失错误低于阈值时告警恢复。数据丢失将触发数据重算，需要重新运行整个阶段的任务，重新计算资源开销较大，对性能影响较大。出现两个节点及以上的故障。数据被篡改。检查MemArtsStore服务实例状态是，执行6。否，执行3。是，执行5
- [ALM-50829 StoreWorker认证失败次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50829.md): 系统按30秒周期性检测组件StoreWorker认证失败次数，当认证失败次数超过阈值时产生该告警。当检测到认证失败次数低于阈值时告警恢复。认证失败将导致任务失败。Spark客户端没有合理地配置认证参数。检查Spark客户端配置是，执行5。否，执行6。是，处理完毕。否，执行6。收集故障信息此告警修复后，系统会自动清除此告警，无需手工清除。不
- [ALM-50830 StoreMaster认证失败次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50830.md): 系统按30秒周期性检测组件StoreMaster认证失败次数，当认证失败次数超过阈值时产生该告警。当检测到认证失败次数低于阈值时告警恢复。认证失败将导致任务失败。Spark客户端没有合理地配置认证参数。检查Spark客户端配置是，执行5。否，执行6。是，处理完毕。否，执行6。收集故障信息此告警修复后，系统会自动清除此告警，无需手工清除。不
- [ALM-50831 Store总容量水位超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50831.md): 系统按30秒周期性检测组件Store总容量水位，当水位超过阈值时产生该告警。当检测到总容量水位低于阈值时告警恢复。继续写入数据而不删除，会导致集群无法提供服务。store持续写入数据，没有及时删除，接近存储池的上限。告警阈值配置或者平滑次数配置不合理。检查告警阈值配置或者平滑次数配置是否合理平滑次数为在告警检查阶段连续检查多少次超过阈值，
- [ALM-50832 StoreMaster创建partition失败次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50832.md): 系统按30秒周期性检测组件StoreMaster创建partition失败次数，当失败次数超过阈值时产生该告警。当失败次数低于阈值时告警恢复。创建partitions失败，导致对应Spark任务失败。ZooKeeper访问异常。检查Spark客户端配置cd客户端安装路径/Spark/spark/conf是，执行5。否，执行6。是，处理完毕
- [ALM-50833 StoreMaster删除partition失败次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50833.md): 系统按30秒周期性检测组件StoreMaster删除partition失败次数，当失败次数超过阈值时产生该告警。当失败次数低于阈值时告警恢复。删除partitions失败，导致对应的数据无法得到及时的清理，占用节点的存储空间。ZooKeeper访问异常。StoreWorker网络访问异常。StoreWorker的存储功能异常。检查Spar
- [ALM-50834 StoreMaster删除space失败次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50834.md): 系统按30秒周期性检测组件StoreMaster删除space失败次数，当失败次数超过阈值时产生该告警。当失败次数低于阈值时告警恢复。删除space失败，导致对应的数据无法得到及时的清理，占用节点的存储空间。ZooKeeper访问异常。检查Spark客户端配置cd客户端安装路径/Spark/spark/conf是，执行5。否，执行6。是，
- [ALM-50835 MemArtsStore健康检查不通过](https://support.huaweicloud.com/usermanual-mrs/ALM-50835.md): 系统每30秒周期性检测进程状态、端口状态及sidecar与worker之间grpc通信状态，当检测到状态异常时，健康检查不通过，产生该告警。状态异常清除且健康检查通过时，告警清除。服务无法正常访问。进程不存在。进程状态异常。端口检查异常。sidecar和worker之间的grpc通信失败。检查MemArtsStore进程状态登录集群Man
- [ALM-50840 Mempool的业务请求超并发上限而失败次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50840.md): 系统按30秒周期性检测组件Mempool因业务请求超并发上限而失败的次数，当检测到失败次数超过阈值后产生该告警。当检测到Mempool因业务请求超并发上限而失败的次数在阈值内时告警恢复。被流控，将导致服务器服务效率下降，可能导致任务失败。负载倾斜性过大，负载压力过大。Mempool的业务并发上限值设置太小。检查Pool I/O时间左侧图表
- [ALM-50841 Mempool的业务请求超带宽上限而失败次数超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50841.md): 系统按30秒周期性检测组件Mempool因业务请求超带宽上限而失败的次数，当检测到失败次数超过阈值后产生该告警。当检测到Mempool因业务请求超带宽上限而失败的次数在阈值内时告警恢复。被流控，将导致服务器服务效率下降，可能导致任务失败。负载倾斜性过大，负载压力过大。Mempool的业务带宽上限值设置太小。检查Pool I/O时间左侧图表
- [ALM-50842 StoreWorker写并发占用比例超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-50842.md): 系统按30秒周期性检测实例StoreWorker并发写占用比例，当检测到数量超过阈值后产生该告警。当检测到实例StoreWorker并发写占用比例在阈值内时告警恢复。本节点上正在shufflewrite的分区过多，将导致服务器服务效率下降。负载倾斜性过大，负载压力过大。节点过少，每个节点压力过大。检查告警节点的数量占比登录集群Manage
- [ALM-50843 Worker节点通讯异常告警](https://support.huaweicloud.com/usermanual-mrs/ALM-50843.md): 系统按10分钟周期性检测实例Worker网络消息发送失败的次数，当检测到数量超过阈值后产生该告警。当检测到实例Worker网络消息发送失败次数在阈值内时告警恢复。节点网络不可用，导致业务出现失败。节点负载过大，导致网络消息超时，消息发送失败。节点未正确与其他节点建链，导致消息发送失败。判断网络错误类型是，网络自愈，处理完毕。否，执行3。是
- [ALM-50844 Master节点通讯异常告警](https://support.huaweicloud.com/usermanual-mrs/ALM-50844.md): 系统按10分钟周期性检测实例Master网络消息发送失败的次数，当检测到数量超过阈值后产生该告警。当检测到实例Master网络消息发送失败次数在阈值内时告警恢复。节点网络不可用，导致业务出现失败。节点未正确与其他节点建链，导致消息发送失败。判断网络错误类型是，网络自愈，处理完毕。否，执行3。是，处理完毕。否，执行5。收集故障信息此告警修复
- [ALM-50845 Spark任务数据倾斜告警](https://support.huaweicloud.com/usermanual-mrs/ALM-50845.md): 系统按周期性检测Spark数据倾斜情况，当检测到数量超过阈值后产生该告警。本节点上Spark数据倾斜严重，将导致服务器服务效率下降。负载倾斜性过大，负载压力过大。回退成native是，处理完毕。否，执行3。收集故障信息此告警修复后，系统会自动清除此告警，无需手工清除。不涉及。
- [MRS集群Manager界面简介](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000007.md): MRS为用户提供海量数据的管理及分析功能，快速从结构化和非结构化的海量数据中挖掘您所需要的价值数据。开源组件结构复杂，安装、配置、管理过程费时费力，使用Manager将为您提供企业级的集群的统一管理平台。提供集群状态的监控功能，您能快速掌握服务及主机的运行状态。提供图形化的指标监控及定制，您能及时的获取系统的关键信息。提供服务属性的配置功
- [查看已安装的MRS集群客户端](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000022.md): 在MRS集群运维中，管理员需要掌握集群客户端的安装情况，包括客户端安装在哪些节点、安装路径、包含哪些组件等信息。当客户端出现异常或需要排查连接问题时，通过查看已安装客户端信息可以快速定位问题节点。Manager支持统一管理集群的客户端安装信息，用户下载并安装客户端后，界面可自动记录已注册客户端的信息，方便查询管理。同时系统支持手动添加、修
- [查看MRS集群组件运行状态](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000038.md): MRS集群创建后，用户可在MRS管理控制台或者集群Manager界面查看集群内各服务组件以及组件角色实例的运行状态，以判断组件是否运行正常。如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击IAM用户同步右侧的“同步”进行IAM用户同步）。如果通过Manager界面操作，需要已登录MRS集群Manag
- [修改MRS集群节点机架信息](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000058.md): 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足以下要求：为了提高通信速率，希望不同主机之间的通信能够尽量发生在同一个机架之内，而不是跨机架。为了提高容错能力，分布式服务的进程或数据需要尽可能存在多个机架的不同
- [在线检索MRS集群日志](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000074.md): MRS集群Manager支持在线检索并显示组件的日志内容，用于问题定位等其他日志查看场景，管理员可在线按照节点范围或者组件角色范围快速检视所有日志，通过关键字分析快速定位问题。本章节操作仅MRS 3.x及之后的版本支持。该视频为您介绍如何在MRS集群Manager界面中在线检索及下载组件日志到本地。因不同版本操作界面可能存在差异，相关视频
- [配置MRS集群审计日志转储](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000086.md): 在MRS集群运维中，Manager会自动记录所有用户操作和管理行为的审计日志，用于安全审计和操作追溯。默认情况下审计日志保存在Manager数据库中，随着集群运行时间增长，审计日志持续累积，可能导致数据目录磁盘空间不足，影响集群正常运行。管理员需要将审计日志定期转储到外部归档服务器（如SFTP服务器或OBS）中，以释放本地磁盘空间并长期保
- [Superior调度器模式下管理MRS全局用户策略](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000115.md): 如果租户配置使用Superior调度器，那么系统可以控制具体用户使用资源调度器的行为，包含：最大运行任务数最大挂起任务数默认队列添加策略登录MRS集群Manager界面。登录集群Manager界面请参考访问MRS集群Manager。单击“租户资源”。单击“动态资源计划”页签。单击“全局用户策略”页签。defaults(default se
- [修改MRS集群用户信息](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000138.md): 管理员可以在Manager修改已创建的用户信息，包括修改用户组、主组、角色分配权限和描述。登录集群Manager界面请参考访问MRS集群Manager。根据实际情况，修改对应参数。修改用户的用户组，或者修改用户的角色权限，最长可能需要3分钟时间生效。MRS 3.1.2及之后版本：用户不能修改自己的密码策略绑定关系（admin用户除外）。被
- [MRS集群互信概述](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000177.md): 默认情况下，安全模式下的大数据集群用户只能访问本集群中的资源，无法在其他安全模式集群中进行身份认证并访问资源。域每个系统用户安全使用的范围定义为“域”，不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。每个系统用户安全使用的范围定义为“域”，不同的Manager系统需要定义唯一的域名。跨Manager
- [备份Manager数据（MRS 3.x及之后版本）](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000202.md): 为了确保FusionInsight Manager系统日常数据安全，或者系统管理员需要对Manager进行重大操作（如扩容、减容等）前后，需要对Manager数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。用户可以通过FusionInsight Manager创建备份Manager任务，
- [备份DBService元数据](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000203.md): 为了确保DBService日常数据安全，或者系统管理员需要对DBService进行重大操作（如升级或迁移等）时，需要对DBService数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。用户可以通过FusionInsight Manager创建备份DBService元数据任务，系统支持自动
- [备份HBase元数据](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000204.md): 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。用户可以通
- [备份HDFS业务数据](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000209.md): 为了确保HDFS日常用户的业务数据安全，或者系统管理员需要对HDFS进行重大操作（如升级或迁移等），需要对HDFS数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。用户可以通过FusionInsight Manager创建备份HDFS业务数据任务，系统支持自动或手动进行数据备份。MRS集群
- [备份Hive业务数据](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000210.md): 为了确保Hive日常用户的业务数据安全，或者系统管理员需要对Hive进行重大操作（如升级或迁移等），需要对Hive数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。用户可以通过FusionInsight Manager创建备份Hive业务数据任务，系统支持自动或手动进行数据备份。Hive备
- [MRS集群用户权限模型](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000235.md): MRS集群通过采用RBAC（role-based access control，基于角色的权限控制）方式对大数据系统进行权限管理，将系统中各组件零散的权限管理功能集中呈现和管理，对普通用户屏蔽掉了内部的权限管理细节，对管理员简化了权限管理的操作方法，提升权限管理的易用性和用户体验。MRS集群权限模型由“用户－用户组－角色－权限”四类对象构
- [MRS集群用户鉴权策略](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000238.md): 大数据平台用户完成身份认证后，系统还需要根据实际权限管理配置，选择是否对用户进行鉴权，确保系统用户拥有资源的有限或全部权限。如果系统用户权限不足，需要由系统管理员为用户授予各个组件对应的权限后，才能访问资源。安全模式或者普通模式集群均提供鉴权能力，组件的具体权限项在两种模式中相同。新安装的安全模式集群默认即安装了Ranger服务并启用了R
- [MRS集群用户账号一览表](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000239.md): 本章节介绍MRS集群内的相关默认用户信息。用户分类MRS集群提供以下3类用户，请系统管理员定期修改密码，不建议使用默认密码。用户类型使用说明系统用户通过FusionInsight Manager创建，是系统操作运维与业务场景中主要使用的用户，包含两种类型：“人机”用户：用于在FusionInsight Manager的操作运维场景，以及在
- [修改或重置MRS集群admin用户密码](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000250.md): “admin”是Manager的系统管理员账号，建议用户参考修改admin用户密码定期修改密码，提高系统安全性。用户在密码丢失情况可参考重置admin用户密码进行重置。修改该密码会导致已经下载的用户凭证不可用，请修改该密码后重新下载认证凭据并替换旧凭据。通过Manager页面修改admin用户密码：开启Kerberos认证的集群和开启弹性
- [修改MRS集群节点操作系统用户密码](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000251.md): 在MRS集群运维过程中，操作系统用户密码是保障集群安全的第一道防线。集群节点上的操作系统用户（如omm、ommdba、root）拥有不同级别的系统权限，如果密码长期未修改或被泄露，可能导致集群面临未授权访问、数据篡改等安全风险。默认情况下，集群操作系统用户密码有效期为90天，密码过期后相关用户将无法登录，可能影响集群运维操作。因此，管理员
- [修改MRS集群Kerberos管理员用户密码](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000253.md): 该任务指导用户定期修改MRS集群Kerberos或OMS Kerberos（MRS 3.x及之后版本）管理员“kadmin”的密码，以提升系统运维安全性。修改该密码会导致已经下载的用户凭证不可用，请修改该密码后重新下载认证凭据并替换旧凭据。MRS 2.x及之前版本，已在Master1节点准备客户端。MRS 3.x及之后版本，已在集群内的任
- [更换CA证书](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000264.md): MRS CA证书用于组件客户端与服务端在通信过程中加密数据，实现安全通信。该任务指导集群用户通过FusionInsight Manager完成CA证书替换工作，以确保产品安全使用。适用于以下场景：首次安装好集群以后，需要更换企业证书。企业证书有效时间已过期或安全性加强，需要更换为新的证书。更换CA证书以后，MRS中HDFS、Yarn、Ma
- [更换HA证书](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000265.md): HA证书用于主备进程与高可用进程的通信过程中加密数据，实现安全通信。该任务指导用户为Manager完成主备管理节点的HA证书替换工作，以确保产品安全使用。适用于以下场景：首次安装好集群以后，需要更换企业证书。企业证书有效时间已过期或安全性加强，需要更换为新的证书。不支持未安装主备管理节点集群进行HA证书替换操作。证书文件和密钥文件可向企业
- [加密HFile和WAL内容](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000276.md): 缺省情况下，HBase中的HFile和WAL（Write ahead log）内容是不加密的。如果用户需要对其进行加密，可通过该章节操作进行配置。设置HFile和WAL为SM4（也称为SMS4）加密或AES加密方式对系统的影响较大，一旦操作失误会导致数据丢失，不推荐使用此功能。使用BulkLoad批量导入的数据不支持加密。本章节内容仅适用
- [配置Kafka数据传输加密](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000281.md): 在分布式系统中，Kafka作为高吞吐量的消息中间件，其数据传输安全至关重要。Kafka客户端和Broker之间的数据传输默认采用明文传输，客户端可能部署在不受信任的网络中，传输的数据可能遭到泄漏和篡改。集群管理员可以调整Kafka组件相关配置，使用加密协议对数据传输通道加密。在集群Manager管理界面中，选择“集群 > 服务 > 服务名
- [MRS集群运维说明](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000289.md): 建议系统管理员对账户例行检查，检查的内容包括：操作系统、Manager以及各组件的账户是否有必要，临时账户是否已删除。各类账户的权限是否合理。不同的管理员拥有不同的权限。对各类账户的登录、操作记录进行检查和审计。用户身份验证是应用系统的门户。用户的账户和密码的复杂性、有效期等需根据客户的安全要求进行配置。对密码的维护建议如下：专人保管操作
- [备份ClickHouse元数据](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000348.md): 为了确保ClickHouse集群中的元数据安全，或者集群用户需要对ClickHouse进行重大操作（如升级或迁移等）时，需要对ClickHouse集群的元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。用户可以通过FusionInsight Manager创建备份ClickHouse元数
- [MRS集群数据备份恢复简介](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000399.md): Manager提供对集群内的用户数据及系统数据的备份恢复能力，备份功能按组件提供。系统支持备份Manager的数据、组件元数据及业务数据。MRS 3.x及之后版本，备份功能支持将数据备份至本地磁盘（LocalDir）、本端HDFS（LocalHDFS）、远端HDFS（RemoteHDFS）、NAS（NFS/CIFS）、SFTP服务器（SF
- [备份Doris业务数据](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000423.md): 为了确保Doris日常用户的业务数据安全，或者集群用户需要对Doris进行重大操作（如升级或迁移等）时，需要对Doris数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。用户可以通过FusionInsight Manager创建备份Doris业务数据任务，系统支持自动或手动进行数据备份。M
- [恢复Doris业务数据](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000424.md): 在用户意外修改、删除或需要找回数据时，系统管理员对Doris进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对Doris进行恢复数据操作。用户可以通过FusionInsight Manager创建恢复Doris业务数据任务，系统仅支持手动进行数据恢复。用户
- [配置Doris SQL防御](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000427.md): 用户可以在Manager界面配置Doris的SQL防御规则，根据业务调整对应SQL防御规则的参数。已安装MySQL客户端，且待连接Doris数据库的节点与MRS集群网络互通。MRS集群内Doris的FE和BE实例状态正常。防御规则默认动态生效时间为5分钟。拦截和熔断规则会中断SQL查询，请根据实际业务配置合理的值。本功能仅MRS 3.5.
- [配置MRS集群间互信-单向访问](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000429.md): 当本集群为安全模式，且需要访问另外一个安全模式集群的资源时（且不希望重启该集群），系统管理员可以参考该章节设置跨集群互信单向访问，使本集群的用户可以在对端系统中使用。每个系统用户安全使用的范围定义为“域”，不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。该章节仅MRS 3.6.0及之后版本支持。同一
- [配置登录Manager时开启图形验证码和IP校验](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000431.md): 针对MRS 3.6.0及之后版本集群，为增加系统防暴力破解能力，支持开启登录时校验图形验证码功能。开启此功能后，每次登录将校验图形验证码。系统默认不开启登录时图形验证码功能，用户可以参考该操作手动开启。vi ${BIGDATA_HOME}/om-server/tomcat/webapps/cas/WEB-INF/classes/confi
- [配置集群备份恢复性能调优](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000446.md): MRS 3.6.0-LTS.1及之后版本，在使用MRS备份恢复功能时，通常需要根据实际备份数据量对集群进行部分参数调优配置（或其他参数配置修改）。登录集群Manager具体操作，请参考访问MRS集群Manager。
- [ALM-12001 审计日志转储失败（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12001.md): 根据本地历史数据备份策略，集群的审计日志需要转储到第三方服务器上。如果转储服务器满足配置条件，审计日志可以成功转储。审计日志转储失败，系统产生此告警。如果第三方服务器的转储目录磁盘空间不足，或者用户修改了转储服务器的用户名、密码或转储目录，将会导致审计日志转储失败。系统本地最多只能保存50个转储文件，如果该故障持续存在于转储服务器，本地审
- [ALM-12002 HA资源异常（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12002.md): HA软件周期性检测Manager的WebService浮动IP地址和Manager的数据库。当HA软件检测到浮动IP地址或数据库异常时，产生该告警。当HA检测到浮动IP地址或数据库正常后，告警恢复。如果Manager的WebService浮动IP地址异常，用户无法登录和使用Manager。如果Manager的数据库异常，所有核心业务和相关
- [ALM-12004 OLdap资源异常（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12004.md): 当Manager中的Ldap资源异常时，系统产生此告警。当Manager中的Ldap资源恢复，且告警处理完成时，告警恢复。OLdap资源异常，Manager认证服务不可用，无法对Web上层服务提供安全认证和用户管理功能，可能引起无法登录Manager。Manager中LdapServer进程故障。登录主管理节点。执行ps -ef | gr
- [ALM-12005 OKerberos资源异常（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12005.md): 告警模块对Manager中的Kerberos资源的状态进行监控，当Kerberos资源异常时，系统产生此告警。当Kerberos资源恢复时，且告警处理完成时，告警恢复。Manager中的Kerberos资源异常，认证服务不可用，无法对Web上层服务提供安全认证功能，可能引起无法登录MRS Manager。Okerberos依赖的OLdap
- [ALM-12006 节点故障（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12006.md): Controller按30秒周期检测NodeAgent状态。当Controller连续三次未接收到某个NodeAgent的状态报告时，产生该告警。当Controller可以正常接收时，告警恢复。节点业务无法提供。网络断连或硬件故障。打开MRS集群详情页面，在告警管理页签的告警列表中，单击此告警所在行，在告警详情中，查看该告警的主机地址。登
- [ALM-12007 进程故障（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12007.md): 进程健康检查模块按5秒周期检测进程状态。当进程健康检查模块连续三次检测到进程连接状态为故障时，产生该告警。当进程连接正常时，告警恢复。该进程提供的业务不可用。实例进程异常。磁盘空间不足。打开MRS集群详情页面，在告警管理页签的告警列表中，单击此告警所在行，在告警详情中，查看该告警的主机名称与服务名称。在“告警管理”页面，查看是否有ALM-
- [ALM-12010 Manager主备节点间心跳中断（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12010.md): 当主Manager节点在7秒内没有收到备Manager节点的心跳信号时，产生该告警。当主Manager节点收到备Manager节点的心跳信号后，告警恢复。如果主Manager进程异常，主备倒换无法进行，影响业务。主备Manager节点间链路异常。打开MRS集群详情页面，在告警管理页签的告警列表中，单击此告警所在行，在告警详情中，查看该告警
- [ALM-12011 Manager主备节点同步数据异常（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12011.md): 当备Manager无法与主Manager同步文件时，产生该告警。当备Manager与主Manager正常同步文件时，告警恢复。备Manager的配置文件没有更新。主备倒换之后，一些配置可能会丢失。Manager及部分组件可能无法正常运行。主备Manager节点间链路中断。打开MRS集群详情页面，在告警管理页签的告警列表中，单击此告警所在行
- [ALM-12012 NTP服务异常（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12012.md): 当节点NTP服务无法与主OMS节点NTP服务正常同步时间时产生该告警。当节点NTP服务与主OMS节点NTP服务正常同步时间时恢复该告警。该节点的时间与集群其它节点的时间不同步，可能会导致该节点上的某些MRS应用无法正常运行。该节点的NTP服务无法正常启动。该节点与主OMS节点NTP服务不能正常同步时间。该节点NTP认证的key值与主OMS
- [ALM-12014 设备分区丢失（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12014.md): 系统周期性进行扫描，如果检测到挂载服务目录的设备分区丢失（如由于设备拔出、设备离线、删除分区等原因）时，产生此告警。造成服务数据无法写入，业务系统运行不正常。硬盘被拔出。硬盘离线、硬盘坏道等故障。是，执行5。否，执行6。是，执行7。否，执行8。是，针对MRS 1.9.3.10及之后补丁版本集群，执行10。其他版本请手动清除告警，操作结束。
- [ALM-12015 设备分区文件系统只读（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12015.md): 系统周期性进行扫描，如果检测到挂载服务目录的设备分区变为只读模式（如设备有坏扇区、文件系统存在故障等原因），则触发此告警。系统如果检测到挂载服务目录的设备分区的只读模式消失（比如文件系统修复为读写模式、设备拔出、设备被重新格式化等原因），则告警恢复。造成服务数据无法写入，业务系统运行不正常。硬盘存在坏道等故障。无。
- [ALM-12016 CPU使用率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12016.md): 系统每30秒周期性检测CPU使用率，并把实际CPU使用率和阈值相比较。CPU使用率默认提供一个阈值。当检测到CPU使用率连续多次（可配置，默认值为10）超过该阈值时产生该告警。当平均CPU使用率小于或等于阈值的90%时，告警恢复。业务进程响应缓慢或不可用。告警阈值配置或者平滑次数配置不合理。CPU配置无法满足业务需求，CPU使用率达到上限
- [ALM-12017 磁盘容量不足（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12017.md): 系统每30秒周期性检测磁盘容量，并把实际磁盘容量和阈值相比较。磁盘容量默认提供一个阈值。当检测到磁盘容量低于阈值时产生该告警。用户可通过“系统设置 > 阈值配置”修改阈值。当主机磁盘使用率小于或等于阈值时，告警恢复。业务进程不可用。磁盘配置无法满足业务需求，磁盘使用率达到上限。默认90%为合理值，用户可以根据自己的实际需求调节。是，执行2
- [ALM-12018 内存使用率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12018.md): 系统每30秒周期性检测内存使用率，并把实际内存使用率和阈值相比较。内存使用率默认提供一个阈值。当检测到内存使用率超过阈值时产生该告警。当主机内存使用率小于或等于阈值的90%时，告警恢复。业务进程响应缓慢或不可用。内存配置无法满足业务需求。内存使用率达到上限。打开MRS集群详情页面，在告警管理页签的告警列表中，单击此告警所在行，在告警详情中
- [ALM-12027 主机PID使用率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12027.md): 系统每30秒周期性检测PID使用率，并把实际PID使用率和阈值进行比较，PID使用率默认提供一个阈值。当检测到PID使用率超出阈值时产生该告警。当主机PID使用率小于或等于阈值时，告警恢复。无法分配PID给新的业务进程，业务进程不可用。节点同时运行的进程过多，需要扩展pid_max值。 系统环境异常。打开MRS集群详情页面，在实时告警列表
- [ALM-12028 主机D状态进程数超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12028.md): 系统每30秒周期性检测主机中omm用户D状态进程数，并把实际进程数和阈值相比较。主机D状态进程数默认提供一个阈值。当检测到进程数超出阈值时产生该告警。当主机中omm用户D状态进程数小于或等于阈值时，告警恢复。占用系统资源，业务进程响应变慢。主机中正在等待的IO（磁盘IO、网络IO等）在较长时间内未得到响应，进程处于D状态。打开MRS集群详
- [ALM-12031 omm用户或密码即将过期（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12031.md): 系统每天零点开始，每8小时检测当前系统中omm用户和密码是否过期，如果用户或密码即将在15天内过期，则发送告警。当系统中omm用户过期的期限修改或密码重置，且告警处理完成时，告警恢复。omm用户或密码过期，Manager各节点互信不可用，无法对服务提供管理功能。系统omm用户或密码即将过期。登录故障节点。执行以下命令来查看当前omm用户密
- [ALM-12032 ommdba用户或密码即将过期（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12032.md): 系统每天零点开始，每8小时检测当前系统中ommdba用户和密码是否过期，如果用户或密码即将在15天内过期，则发送告警。当系统中ommdba用户过期的期限修改或密码重置，且告警处理完成时，告警恢复。ommdba用户或密码过期，OMS数据库无法管理，数据不能访问。系统ommdba用户或密码即将过期。登录故障节点。执行以下命令来查看当前ommd
- [ALM-12033 慢盘故障（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12033.md): MRS 2.x及以前版本：对于HDD盘，满足以下任意条件时触发告警：系统每3秒执行一次iostat命令，在30秒内连续10周期svctm值超过1000ms。系统每3秒执行一次iostat命令，在300秒内有超过60%的IO超过150ms。系统每3秒执行一次iostat命令，在30秒内连续10周期svctm值超过1000ms。系统每3秒执行
- [ALM-12034 周期备份任务失败（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12034.md): 周期备份任务执行失败，则上报该告警，如果下次备份执行成功，则发送恢复告警。周期备份任务失败，可能会导致长时间没有可用的备份包，在系统出现异常时，无法恢复。该告警产生原因依赖于该任务的详细情况，直接获取日志和任务详情来处理该告警。查看磁盘空间是否不足是，执行6。否，执行13。df -h是，执行9。否，执行13。是，执行10。否，执行13。是
- [ALM-12035 恢复失败后数据状态未知（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12035.md): 执行恢复任务失败后，系统会自动回滚，如果回滚失败，可能会导致数据丢失等问题，如果该情况出现，则上报告警，如果下一次该任务恢复成功，则发送恢复告警。执行恢复任务失败后，系统会自动回滚，如果回滚失败，可能会导致数据丢失，数据状态未知等问题，有可能会影响业务功能。该告警产生原因可能是执行恢复任务前组件状态不满足要求或执行恢复任务中某个步骤出错，
- [ALM-12037 NTP服务器异常（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12037.md): 当NTP服务器异常时产生该告警。当NTP服务器异常消除时，该告警恢复。主OMS节点配置的NTP服务器异常，可能会导致主OMS节点与外部服务器不能同步时间，集群时间可能会产生误差。NTP服务器网络异常。与NTP服务器认证失败。不能从NTP服务器获取时间。从NTP服务器获取的时间持续未更新。打开MRS集群详情页面，在实时告警列表中，单击此告警
- [ALM-12038 监控指标转储失败（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12038.md): 用户在MRS Manager界面配置监控指标转储后，转储失败时产生该告警。转储成功后，告警恢复。监控指标转储失败会影响上层管理系统无法获取到MRS Manager系统的监控指标。无法连接服务器。无法访问服务器上保存路径。上传监控指标文件失败。是，执行3。否，执行2。是，执行完毕。否，执行3。是，执行5。否，执行4。是，执行完毕。否，执行5
- [ALM-12039 GaussDB主备数据不同步（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12039.md): GaussDB主备数据不同步，系统每10秒检查一次主备数据同步状态，如果连续6次查不到同步状态，或者同步状态异常，产生告警。当主备数据同步状态正常，告警恢复。主备GaussDB数据不同步，如果此时主实例异常，会出现数据丢失或者数据异常的情况。主备节点网络不稳定。备GaussDB异常。备节点磁盘空间满。ping 备GaussDB心跳IP地址
- [ALM-12040 系统熵值不足（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12040.md): 每天零点系统检查熵值，每次检查都连续检查五次，首先检查是否启用并正确配置了rng-tools工具，如果没有配置，则继续检查当前熵值，如果五次均小于500，则上报故障告警。当检查到真随机数方式已经配置或者伪随机数方式中配置了随机数参数或者没有配置但是五次检查中，至少有一次熵值大于等于500，则发送恢复告警。导致解密失败，影响解密相关功能，例
- [ALM-12041关键文件权限异常（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12041.md): 系统每隔一个小时检查一次系统中关键目录或者文件权限、用户、用户组是否正常，如果不正常，则上报故障告警。当检查到权限等均正常，则告警恢复。导致系统功能不可用。用户手动修改了文件权限、用户和用户组等信息或者系统异常下电等原因。登录MRS集群详情页面，选择“告警管理”。查看该告警的详细信息，查看定位信息中对应的“HostName”字段值，获取该
- [ALM-12042 关键文件配置异常（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12042.md): 系统每隔一个小时检查一次系统中关键的配置是否正确，如果不正常，则上报故障告警。当检查到配置正确时，则告警恢复。导致文件所属服务功能不正常。用户手动修改了文件配置或者系统异常下电等原因。登录MRS集群详情页面，选择“告警管理”。查看该告警的详细信息，查看定位信息中对应的“HostName”字段值，获取该告警产生的主机名，查看定位信息中对应的
- [ALM-12043 DNS解析时长超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12043.md): 系统每30秒周期性检测DNS解析时长，并把DNS解析时长和阈值（系统默认阈值20000ms）进行比较，当检测到DNS解析时长连续多次（默认值为2）超过阈值时产生该告警。用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络状态 > DNS解析时长 > DNS解析时长”修改阈值。平滑次数为1，DNS解析时长小于等于阈值时，告警恢复
- [ALM-12045 网络读包丢包率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12045.md): 系统每30秒周期性检测网络读包丢包率，并把实际丢包率和阈值（系统默认阈值0.5%）进行比较，当检测到网络读包丢包率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络读信息 > 网络读包率信息 > 读包丢包率”修改阈值。平滑次数为1，网络读包丢包率小于或等于阈值时，告警恢复；平滑次数
- [ALM-12046 网络写包丢包率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12046.md): 系统每30秒周期性检测网络写包丢包率，并把实际丢包率和阈值（系统默认阈值0.5%）进行比较，当检测到网络写包丢包率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络写信息 > 网络写包率信息 > 写包丢包率”修改阈值。平滑次数为1，网络写包丢包率小于或等于阈值时，告警恢复；平滑次数
- [ALM-12047 网络读包错误率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12047.md): 系统每30秒周期性检测网络读包错误率，并把实际错误率和阈值（系统默认阈值0.5%）进行比较，当检测到网络读包错误率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络读信息 > 网络读包率信息 > 读包错误率”修改阈值。平滑次数为1，网络读包错误率小于或等于阈值时，告警恢复；平滑次数
- [ALM-12048 网络写包错误率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12048.md): 系统每30秒周期性检测网络写包错误率，并把实际错误率和阈值（系统默认阈值0.5%）进行比较，当检测到网络写包错误率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络写信息 > 网络写包率信息 > 写包错误率”修改阈值。平滑次数为1，网络写包错误率小于或等于阈值时，告警恢复；平滑次数
- [ALM-12049 网络读吞吐率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12049.md): 系统每30秒周期性检测网络读吞吐率，并把实际吞吐率和阈值（系统默认阈值80%）进行比较，当检测到网络读吞吐率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络读信息 > 网络读吞吐率 > 读吞吐率”修改阈值。平滑次数为1，网络读吞吐率小于或等于阈值时，告警恢复；平滑次数大于1，网络
- [ALM-12050 网络写吞吐率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12050.md): 系统每30秒周期性检测网络写吞吐率，并把实际吞吐率和阈值（系统默认阈值80%）进行比较，当检测到网络写吞吐率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络写信息 > 网络写吞吐率 > 写吞吐率”修改阈值。平滑次数为1，网络写吞吐率小于或等于阈值时，告警恢复；平滑次数大于1，网络
- [ALM-12051 磁盘Inode使用率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12051.md): 系统每30秒周期性检测磁盘Inode使用率，并把实际Inode使用率和阈值（系统默认阈值80%）进行比较，当检测到Inode使用率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 磁盘 > 磁盘inode使用率 > 磁盘inode使用率”修改阈值。平滑次数为1，磁盘Inode使用率小于
- [ALM-12052 TCP临时端口使用率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12052.md): 系统每30秒周期性检测TCP临时端口使用率，并把实际使用率和阈值（系统默认阈值80%）进行比较，当检测到TCP临时端口使用率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“系统设置 > 阈值配置 > 主机 > 网络状态 > TCP临时端口使用率 > TCP临时端口使用率”修改阈值。平滑次数为1，TCP临时端口使用率小于或等于阈值时
- [ALM-12053 文件句柄使用率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12053.md): 系统每30秒周期性检测主机文件句柄使用率，并把实际使用率和阈值（系统默认阈值80%）进行比较，当检测到主机文件句柄使用率连续多次（默认值为5）超过阈值时产生该告警。用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 主机状态 > 主机文件句柄使用率 > 主机文件句柄使用率”修改阈值。平滑次数为1，主机文件句柄使用率小于或等于阈值时
- [ALM-12054 证书文件失效（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12054.md): 系统在每天23点检查当前系统中的证书文件是否失效（即当前集群中的证书文件是否过期，或者尚未生效）。如果证书文件失效，产生该告警。当重新导入一个正常证书，并且状态不为失效状态，该告警恢复。提示用户证书文件已经失效，部分功能受限，无法正常使用。系统未导入证书（HA根证书或者HA用户证书）、导入证书失败、证书文件失效。查看告警原因在“告警详情”
- [ALM-12055 证书文件即将过期（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12055.md): 系统每天23点检查一次当前系统中的证书文件，如果当前时间距离过期时间不足告警阈值天数，则证书文件即将过期，产生该告警。当重新导入一个正常证书，并且状态不为即将过期，该告警恢复。提示用户证书文件即将过期，如果证书文件过期，则会导致部分功能受限，无法正常使用。系统证书文件（CA证书、HA根证书或者HA用户证书）剩余有效期小于证书的告警阈值。查
- [ALM-12180 磁盘卡IO（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12180.md): MRS 2.x及以前版本：对于HDD盘，满足以下任意条件时触发告警：系统在30s内，每3秒采集一次数据，连续10周期，svctm时延超过6秒。系统在30s内，每3秒采集一次数据，连续10周期，磁盘队列深度（avgqu-sz）> 0，iops = 0或带宽 = 0，且ioutil > 99%。系统在30s内，每3秒采集一次数据，连续10周期
- [ALM-12357 审计日志导出到OBS失败（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_12357.md): 用户在MRS Manager界面配置审计日志导出OBS后，系统会周期性地将审计日志导出到OBS，当访问OBS失败时产生该告警。导出成功后，告警恢复。服务审计日志在系统本地最多保存7个压缩文件，如果该故障持续存在，本地服务审计日志可能会丢失。管理审计日志每达到10万条会以文件形式转储到本地，存储在本地的文件最多保留50个，如果该故障持续存在
- [ALM-13000 ZooKeeper服务不可用（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_13000.md): 系统每30秒周期性检测ZooKeeper服务状态，当检测到ZooKeeper服务不可用时产生该告警。ZooKeeper服务恢复时，告警清除。ZooKeeper无法为上层组件提供协调服务，依赖ZooKeeper的组件可能无法正常运行。ZooKeeper实例状态异常。磁盘容量不足。网络故障。ZooKeeper节点上安装了DNS。检查ZooKe
- [ALM-13001 ZooKeeper可用连接数不足（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_13001.md): 系统每30秒周期性检测ZooKeeper服务连接数状态，当检测到ZooKeeper实例连接数超出阈值（最大连接数的百分之八十）时产生该告警。连接数小于阈值时，告警恢复。ZooKeeper可用连接数不足，当连接率超过百分之百时无法处理外部连接。该节点ZooKeeper连接量过大，超过阈值。某些连接进程存在连接泄露，或配置的最大连接数不符合实
- [ALM-13002 ZooKeeper内存使用量超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_13002.md): 系统每30秒周期性检测ZooKeeper服务内存使用状态，当检测到ZooKeeper实例内存使用量超出阈值（最大内存的百分之八十）时产生该告警。内存使用率小于阈值时，告警恢复。ZooKeeper可用内存不足，可能会造成内存溢出导致服务崩溃。该节点ZooKeeper实例内存使用量过大，或分配的内存不合理，导致使用量超过阈值。在MRS集群详情
- [ALM-14000 HDFS服务不可用（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_14000.md): 系统每30秒周期性检测NameService的服务状态，当检测到所有的NameService服务都异常时，就会认为HDFS服务不可用，此时产生该告警。至少一个NameService服务正常后，系统认为HDFS服务恢复，告警清除。无法为基于HDFS服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。ZooKeeper服
- [ALM-14001 HDFS磁盘空间使用率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_14001.md): 系统每30秒周期性检测HDFS集群磁盘空间使用率，并把实际的HDFS集群磁盘空间使用率和阈值相比较。HDFS集群磁盘使用率指标默认提供一个阈值范围。当HDFS集群磁盘空间使用率超出阈值范围时，产生该告警。当HDFS磁盘使用率小于或等于阈值时，告警恢复。HDFS集群磁盘容量不足，会影响到HDFS的数据写入。HDFS集群配置的磁盘空间不足。在
- [ALM-14002 DataNode磁盘空间使用率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_14002.md): 系统每30秒周期性检测DataNode磁盘空间使用率，并把实际磁盘使用率和阈值相比较。DataNode容量百分比指标默认提供一个阈值范围。当检测到DataNode容量百分比指标超出阈值范围时产生该告警。当DataNode容量百分比指标的值小于或等于阈值时，告警恢复。DataNode容量不足，会影响到HDFS的数据写入。集群磁盘容量已满。D
- [ALM-14003 丢失的HDFS块数量超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_14003.md): 系统每30秒周期性检测丢失的块数量，并把丢失的块数量和阈值相比较。丢失的块数量指标默认提供一个阈值范围。当检测到丢失的块数量超出阈值范围时产生该告警。当丢失的块数量小于或等于阈值时，告警恢复。HDFS存储数据丢失，HDFS可能会进入安全模式，无法提供写服务。丢失的块数据无法恢复。DataNode实例异常。数据被删除。在MRS集群详情页面，
- [ALM-14004 损坏的HDFS块数量超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_14004.md): 系统每30秒周期性检测损坏的块数量，并把损坏的块数量和阈值相比较。损坏的块数量指标默认提供一个阈值范围。当检测到损坏的块数量超出阈值范围时产生该告警。当损坏的块数量小于或等于阈值时，告警恢复。建议使用命令（hdfs fsck /）验证是否有文件完全损坏。数据损坏，HDFS读取文件异常。DataNode实例异常。数据校验信息被破坏。在MRS
- [ALM-14006 HDFS文件数超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_14006.md): 系统每30秒周期性检测HDFS文件数，并把实际文件数和阈值相比较。当检测到HDFS文件数指标超出阈值范围时产生该告警。当HDFS文件数指标的值小于或等于阈值时，告警恢复。HDFS文件数过多，磁盘存储不足可能造成数据入库失败。对HDFS系统性能产生影响。HDFS文件数超过阈值。在集群节点使用客户端，执行hdfs dfs -ls 文件或目录路
- [ALM-14007 HDFS NameNode内存使用率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_14007.md): 系统每30秒周期性检测HDFS NameNode内存使用率，并把实际的HDFS NameNode内存使用率和阈值相比较。HDFS NameNode内存使用率指标默认提供一个阈值范围。当HDFS NameNode内存使用率超出阈值范围时，产生该告警。当HDFS NameNode内存使用率小于或等于阈值时，告警恢复。HDFS NameNode
- [ALM-14008 HDFS DataNode内存使用率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_14008.md): 系统每30秒周期性检测HDFS DataNode内存使用率，并把实际的HDFS DataNode内存使用率和阈值相比较。HDFS DataNode内存使用率指标默认提供一个阈值范围。当HDFS DataNode内存使用率超出阈值范围时，产生该告警。当HDFS DataNode内存使用率小于或等于阈值时，告警恢复。HDFS DataNode
- [ALM-14009 故障DataNode数量超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_14009.md): 系统每30秒周期性检测HDFS集群处于故障状态的DataNode数量，并把实际的故障状态的DataNode数量和阈值相比较。故障状态的DataNode数量指标默认提供一个阈值范围。当HDFS集群故障状态的DataNode数量超出阈值范围时，产生该告警。故障状态的DataNode数量小于或等于阈值时，告警恢复。故障状态的DataNode节点
- [ALM-14010 NameService服务异常（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_14010.md): 系统每180秒周期性检测NameService服务状态，当检测到NameService服务不可用时产生该告警。NameService服务恢复时，告警清除。无法为基于该NameService服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。JournalNode节点故障。DataNode节点故障。磁盘容量不足。Nam
- [ALM-14011 HDFS DataNode数据目录配置不合理（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_14011.md): DataNode的配置参数“dfs.datanode.data.dir”指定了DataNode的数据目录。当所配置的目录路径无法创建、与系统关键目录使用同一磁盘或多个目录使用同一磁盘时，系统产生此告警。当修改DataNode的数据目录合理后，重启该DataNode，告警清除。如果将DataNode数据目录挂载在根目录等系统关键目录，长时间
- [ALM-14012 HDFS Journalnode数据不同步（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_14012.md): 在主NameNode节点上，系统每5分钟检测一次集群中所有JournalNode节点的数据同步性。如果有JournalNode节点的数据不同步，系统产生该告警。当Journalnode数据同步5分钟后，告警恢复。当一个JournalNode节点工作状态异常时，其数据就会与其他JournalNode节点的数据不同步。如果超过一半的Journ
- [ALM-16000 连接到HiveServer的session数占最大允许数的百分比超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_16000.md): 系统每30秒周期性检测连接到HiveServer的Session数占HiveServer允许的最大session数的百分比，该指标可在Hive服务监控界面查看。连接到HiveServer的session数占最大允许数的百分比指标默认提供一个阈值范围（90%），当检测到百分比指标超过阈值范围产生该告警。当百分比指标小于或等于阈值时，可自动清
- [ALM-16001 Hive数据仓库空间使用率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_16001.md): 系统每30秒周期性检测Hive数据仓库空间使用率，该指标可在Hive服务监控界面查看，指标名称为“Hive已经使用的HDFS空间占可使用空间的百分比”。Hive数据仓库空间使用率指标默认提供一个阈值范围（85%），当检测到Hive数据仓库空间使用率超过阈值范围时产生该告警。当Hive数据仓库空间使用率小于或等于阈值时，告警恢复。用户可通过
- [ALM-16002 Hive SQL执行成功率低于阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_16002.md): 系统每30秒周期性检测执行的HiveQL成功百分比，HiveQL成功百分比由一个周期内Hive执行成功的HiveQL数/Hive执行HiveQL总数计算得到。该指标可在Hive服务监控界面查看。执行的HiveQL成功百分比指标默认提供一个阈值范围（90%），当检测到百分比指标低于阈值范围产生该告警。在该告警的定位信息可查看产生该告警的主机
- [ALM-16004 Hive服务不可用（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_16004.md): 系统每30秒周期性检测Hive服务状态。当Hive服务不可用时产生该告警。当Hive服务恢复时，告警恢复。系统无法提供数据加载，查询，提取服务。Hive服务不可用可能与ZooKeeper、HDFS、Yarn和DBService等基础服务有关，也可能由Hive自身的进程故障引起。ZooKeeper服务异常。HDFS服务异常。Yarn服务异常
- [ALM-16005 上个周期Hive SQL执行失败超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_16005.md): 上个10min的周期内，Hive SQL执行失败数超过阈值。该告警每10min检测一次，如果上个10min周期内，发生Hive SQL执行失败数大于设定的阈值时候，会发生该告警。在下个10min周期，如果运行失败的Hive SQL执行失败数低于阈值时该告警会自动消除。无。Hive SQL语法有问题，导致Hive SQL执行失败。查看运行失
- [ALM-18000 Yarn服务不可用（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_18000.md): 告警模块按30秒周期检测Yarn服务状态。当检测到Yarn服务不可用时产生该告警。Yarn服务恢复时，告警恢复。集群无法提供Yarn服务。用户无法执行新的application。已提交的application无法执行。ZooKeeper服务异常。HDFS服务异常。Yarn集群中没有主ResourceManager节点。Yarn集群中的所有
- [ALM-18002 NodeManager心跳丢失（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_18002.md): 系统每30秒周期性检测丢失的NodeManager节点数，并把丢失的节点数和阈值相比较。“丢失的节点数”指标默认提供一个阈值范围。当检测到“丢失的节点数”的值超出阈值范围时产生该告警。当“丢失的节点数”的值小于或等于阈值范围时，告警自动清除。丢失的NodeManager节点无法提供Yarn服务。容器减少，集群性能下降。NodeManage
- [ALM-18003 NodeManager不健康（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_18003.md): 系统每30秒周期性检测异常NodeManager节点数，并把异常节点数和阈值相比较。“非健康的节点数”指标默认提供一个阈值范围。当检测到“非健康的节点数”的值超出阈值范围时产生该告警。当“非健康的节点数”的值小于或等于阈值范围时，告警自动清除。故障的NodeManager节点无法提供Yarn服务。容器减少，集群性能下降。NodeManag
- [ALM-18004 NodeManager磁盘可用率低于阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_18004.md): 系统每30秒周期性检测NodeManager各个节点的可用磁盘空间，并把磁盘可用率和阈值相比较。“NodeManager磁盘可用率”指标默认提供一个阈值范围。当检测到实际“NodeManager磁盘可用率”的值低于阈值范围时产生该告警。当实际“NodeManager磁盘可用率”的值大于阈值范围时，告警自动清除。磁盘可用率低于阈值的Node
- [ALM-18006 执行MapReduce任务超时（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_18006.md): 告警模块每30秒周期性检测MapReduce任务。任务提交后，当检测到MapReduce任务执行时间超过指定时间时，产生该告警。该告警需要手动清除。提交的MapReduce任务执行超时，所以无执行结果返回。故障修复后重新执行该任务。执行MapReduce任务需要较长时间。但指定的时间少于所需的执行时间。把“-Dapplication.ti
- [ALM-18008 Yarn ResourceManager堆内存使用率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_18008.md): 系统每30秒周期性检测Yarn ResourceManager堆内存使用率，并把实际的Yarn ResourceManager堆内存使用率和阈值相比较。当Yarn ResourceManager堆内存使用率超出阈值（默认为最大堆内存的80%）时产生该告警。用户可通过“系统设置 > 阈值配置 > 服务 > Yarn”修改阈值。当Yarn R
- [ALM-18009 MapReduce JobHistoryServer堆内存使用率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_18009.md): 系统每30秒周期性检测Mapreduce JobHistoryServer堆内存使用率，并把实际的Mapreduce JobHistoryServer堆内存使用率和阈值相比较。当Mapreduce JobHistoryServer堆内存使用率超出阈值（默认为最大堆内存的80%）时产生该告警。用户可通过“系统设置 > 阈值配置 > 服务 >
- [ALM-18010 Yarn任务挂起数超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_18010.md): 系统每30秒周期性检查YARN服务处于挂起状态（Pending）的任务数量，并把挂起状态的任务数量和阈值进行比较。当检测到挂起状态的任务数超过阈值时产生该告警。用户可通过在MRS Manager中的“系统设置 > 阈值配置 > 服务 > Yarn > 队列root正在挂起的任务 > 队列root正在挂起的任务”修改阈值。当挂起状态任务数小
- [ALM-18011 Yarn任务挂起内存超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_18011.md): 系统每30秒周期性检查YARN服务处于挂起状态（Pending）的任务所占内存量，并把挂起状态任务的内存量和阈值进行比较。当检测到挂起状态任务的内存量超过阈值时产生该告警。用户可通过“系统设置> 阈值配置 > 服务 > Yarn > 队列root挂起的内存量 > 队列root挂起的内存量”修改阈值。当挂起状态任务的内存量小于或等于阈值时，
- [ALM-18012 上个周期被终止的Yarn任务数超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_18012.md): 上个10min的周期内，发生被终止的YARN任务数超过阈值。该告警每10min检测一次，如果上个10min周期内，发生YARN任务被终止的数量大于设定的阈值时，会发生该告警。如果在下个10min周期，被终止的Yarn任务数低于阈值时该告警会自动消除。无。有用户手动终止了正在运行的YARN任务。排查YARN日志和审计日志，查看终止任务操作的
- [ALM-18013 上个周期运行失败的Yarn任务数超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_18013.md): 上个10min的周期内，运行失败的YARN任务数超过阈值。该告警每10min检测一次，如果上个10min周期内，发生YARN任务运行失败的数量大于设定的阈值时候，会发生该告警。如果在下个10min周期，运行失败的Yarn任务数低于阈值时该告警会自动消除。无。提交的YARN作业程序有问题，例如： spark提交任务参数错误导致。查看运行失败
- [ALM-19000 HBase服务不可用（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_19000.md): 告警模块按30秒周期检测HBase服务状态。当HBase服务不可用时产生该告警。HBase服务恢复时，告警清除。无法进行数据读写和创建表等操作。ZooKeeper服务异常。HDFS服务异常。HBase服务异常。网络异常。登录MRS集群详情页面，选择“组件管理”。在服务列表中，查看ZooKeeper健康状态是否为“良好”。是，执行2.a。否
- [ALM-19006 HBase容灾同步失败（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_19006.md): 当同步容灾数据到备集群失败时，发送该告警。当容灾数据同步成功后，告警清除。无法同步集群中HBase的数据到备集群，导致主备集群数据不一致。备集群HBase服务异常。网络异常。登录MRS集群详情页面，选择“告警管理”。在告警列表中单击该告警，从“告警详情”的“产生时间”处获得告警的产生时间，查看告警是否持续超过5分钟。是，执行2.a。否，执
- [ALM-19007 HBase合并队列超出阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_19007.md): 系统每30秒周期性检测HBase服务的compaction队列长度，默认当连续3次检测到HBase服务的compaction队列长度超过告警的阈值（默认100）时产生该告警。当compaction队列长度小于告警的阈值时，告警恢复。产生该告警表示HBase服务的compaction队列长度已经超过规定的阈值，如果不及时处理，可能会导致集群
- [ALM-20002 Hue服务不可用（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_20002.md): 系统按60秒周期性检测Hue服务状态。当Hue服务不可用时产生该告警。当Hue服务恢复时，告警恢复。系统无法提供数据加载，查询，提取服务。Hue服务所依赖内部服务KrbServer故障。Hue服务所依赖内部服务DBService故障。与DBService连接的网络异常。检查KrbServer服务是否正常。是，执行5。否，执行3。是，处理完
- [ALM-23001 Loader服务不可用（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_23001.md): 系统每60秒周期性检测Loader服务的可用性。当Loader服务不可用时产生该告警。当Loader服务恢复时，告警恢复。如果Loader服务不可用，数据加载，导入，转换的功能也不可用。Loader服务依赖的内部服务异常。ZooKeeper服务异常。HDFS服务异常。DBService服务异常。Yarn服务异常。Mapreduce服务异常
- [ALM-24000 Flume服务不可用（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_24000.md): 告警模块按180秒周期检测Flume服务状态，当检测到Flume服务异常时，系统产生此告警。当系统检测到Flume服务恢复正常，且告警处理完成时，告警恢复。当Flume服务不可用时，Flume不能正常工作，数据传输业务中断。HDFS服务不可用。LdapServer服务不可用。登录MRS集群详情页面，选择“告警管理”。查看是否有“ALM-1
- [ALM-24001 Flume Agent异常（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_24001.md): Flume Agent监控模块对Flume Agent状态进行监控，当Flume Agent进程故障时，系统产生此告警。当检测到Flume Agent进程故障恢复，且告警处理完成时，告警恢复。产生告警的Flume Agent实例无法提供正常功能，定义在该实例下的数据传输任务暂时中断，对于实时数据传输，会丢失实时数据。JAVA_HOME目录
- [ALM-24003 Flume Client连接中断（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_24003.md): 告警模块对Flume Server的连接端口状态进行监控。当Flume Client连接到Flume Server的某个端口，Client端连续3分钟未与Server端连接时，系统产生此告警。当Flume Server收到Flume Client连接消息，告警恢复。产生告警的Flume Client无法与Flume Server端进行通信
- [ALM-24004 Flume读取数据异常（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_24004.md): 告警模块对Flume Source的状态进行监控，当Source读取不到数据的时长超过阈值时，系统发送告警。用户可通过配置修改阈值。当Source读取到数据，且告警处理完成时，告警恢复。如果数据源有数据，Flume Source持续读取不到数据，数据采集会停止。Flume Source故障，导致数据无法发送。网络故障，导致数据无法发送。确
- [ALM-24005 Flume传输数据异常（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_24005.md): 告警模块对Flume Channel的容量状态进行监控，当Channel满的时长超过阈值，或Source向Channel放数据失败的次数超过阈值后，系统发送告警。用户可通过配置修改阈值：修改对应channel的“channelfullcount”参数。当Flume Channel空间被释放，且告警处理完成时，告警恢复。Flume Chan
- [ALM-25000 LdapServer服务不可用（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_25000.md): 系统按30秒周期性检测LdapServer的服务状态。当检测到两个LdapServer服务均异常时产生该告警。当检测到一个LdapServer服务恢复时告警恢复。告警发生时，不能对集群中的KrbServer和LdapServer用户进行任何操作。例如，无法在MRS Manager页面添加、删除或修改任何用户、用户组或角色，也无法修改用户密
- [ALM-25004 LdapServer数据同步异常（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_25004.md): 当Manager中LdapServer数据内容不一致时，产生该告警，当两者的数据一致时，对应告警恢复。当集群中LdapServer与Manager中的LdapServer数据内容不一致时，产生该告警，当两者的数据一致时，对应告警恢复。LdapServer数据不一致时，有可能是Manager上的LdapServer数据损坏，也有可能是集群上
- [ALM-25500 KrbServer服务不可用（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_25500.md): 系统按30秒周期性检测组件KrbServer的服务状态。当检测到组件KrbServer服务异常时产生该告警。当检测到组件KrbServer服务恢复时告警恢复。告警发生时，不能对集群中的组件KrbServer进行任何操作。其它组件的KrbServer认证将受影响。集群中依赖KrbServer的组件健康状态将为故障。组件KrbServer服务
- [ALM-26051 Storm服务不可用（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_26051.md): 系统按照30秒的周期检测Storm服务是否可用，当集群全部的Nimbus实例所在节点异常时，Storm服务不可用，系统产生此告警。当Storm服务恢复正常，告警自动清除。集群无法对外提供Storm服务。用户无法执行新的Storm任务。Kerberos组件故障ZooKeeper组件故障或假死Storm集群中主备Nimbus状态异常登录MRS
- [ALM-26052 Storm服务可用Supervisor数量小于阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_26052.md): 系统每60秒周期性检测Supervisor数量，并把实际Supervisor数量和阈值相比较。当检测到Supervisor数量低于阈值时产生该告警。用户可通过系统设置 > 阈值配置修改阈值。当Supervisor数量大于或等于阈值时，告警恢复。集群已经存在的任务无法运行。集群可接收新的Storm任务，但是无法运行。集群中Superviso
- [ALM-26053 Storm Slot使用率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_26053.md): 系统每60秒周期性检测Slot使用率，并把实际Slot使用率和阈值相比较。当检测到Slot使用率高于阈值时产生该告警。用户可通过系统设置 > 阈值配置修改阈值。当Slot使用率小于或等于阈值时，告警恢复。用户无法执行新的Storm任务。集群中Supervisor处于异常状态。集群中Supervisor的状态正常，但是处理能力不足。登录MR
- [ALM-26054 Storm Nimbus堆内存使用率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_26054.md): 系统每30秒周期性检测Storm Nimbus堆内存使用率，并把实际的Storm Nimbus堆内存使用率和阈值相比较。当Storm Nimbus堆内存使用率超出阈值（默认值为80%）时产生该告警。用户可通过系统设置 > 阈值配置 > 服务 > Storm修改阈值。当Storm Nimbus堆内存使用率小于或等于阈值时，告警恢复。Stor
- [ALM-27001 DBService服务不可用（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_27001.md): 告警模块按30秒周期检测DBService服务状态。当DBService服务不可用时产生该告警。DBService服务恢复时，告警清除。数据库服务不可用，无法对上层服务提供数据入库、查询等功能，使部分服务异常。浮动IP不存在。没有主DBServer实例。主备DBServer进程都异常。登录MRS集群详情页面，选择“组件管理”。单击“DBS
- [ALM-27003 DBService主备节点间心跳中断（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_27003.md): DBService主节点或备节点未收到对端的心跳消息后，系统产生告警。当心跳恢复后，该告警恢复。DBService主备间心跳中断时只有一个节点提供服务，一旦该节点故障，再无法切换到备节点，就会服务不可用。主备DBService节点间链路异常。登录MRS集群详情页面，选择“告警管理”。在告警列表中，单击此告警所在行，在告警详情中，查看该告警
- [ALM-27004 DBService主备数据不同步（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_27004.md): DBService主备数据不同步，每10秒检查一次主备数据同步状态，如果连续6次查不到同步状态，或者同步状态不正常，产生告警。当同步状态正常，告警恢复。主备DBServer数据不同步，如果此时主实例异常，则会出现数据丢失或者数据异常的情况。主备节点网络不稳定。备DBService异常。备节点磁盘空间满。登录MRS集群详情页面，选择“告警管
- [ALM-28001 Spark服务不可用（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_28001.md): 系统每30秒周期性检测Spark服务状态，当检测到Spark服务不可用时产生该告警。Spark服务恢复时，告警清除。用户提交的Spark任务执行失败。KrbServer服务异常。LdapServer服务异常。ZooKeeper服务异常。HDFS服务故障。Yarn服务故障。对应的Hive服务故障。登录MRS集群详情页面，选择“告警管理”。在
- [ALM-38000 Kafka服务不可用（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_38000.md): 系统按照30秒的周期检测Kafka服务是否可用，当Kafka服务不可用，系统产生此告警。当Kafka服务恢复正常，告警自动清除。集群无法对外提供Kafka服务，用户无法执行新的Kafka任务。KrbServer组件故障。ZooKeeper组件故障或无响应。Kafka集群中Broker节点异常。登录MRS集群详情页面，选择“组件管理”。查看
- [ALM-38001 Kafka磁盘容量不足（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_38001.md): 系统按60秒周期检测Kafka磁盘空间使用率，并把实际磁盘使用率和阈值相比较。磁盘使用率默认提供一个阈值范围。当检测到磁盘使用率高于阈值时产生该告警。用户可通过系统设置 > 阈值配置修改阈值。当Kafka磁盘使用率小于或等于阈值时，告警恢复。磁盘容量不足会导致Kafka写入数据失败。用于存储Kafka数据的磁盘配置（如磁盘数目、磁盘大小等
- [ALM-38002 Kafka堆内存使用率超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_38002.md): 系统每30秒周期性检测Kafka服务堆内存使用状态，当检测到Kafka实例堆内存使用率超出阈值（最大内存的80%）时产生该告警。堆内存使用率小于阈值时，告警恢复。Kafka可用内存不足，可能会造成内存溢出导致服务崩溃。该节点Kafka实例堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。登录MRS集群详情页面，选择“告警管理”。
- [ALM-43001 Spark服务不可用（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_43001.md): 系统每60秒周期性检测Spark服务状态，当检测到Spark服务不可用时产生该告警。Spark服务恢复时，告警清除。用户提交的Spark任务执行失败。KrbServer服务异常。LdapServer服务异常。ZooKeeper服务异常。HDFS服务故障。Yarn服务故障。对应的Hive服务故障。登录MRS集群详情页面，选择“告警管理”。在
- [ALM-43006 JobHistory进程堆内存使用超出阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_43006.md): 系统每30秒周期性检测JobHistory进程堆内存使用状态，当检测到JobHistory进程堆内存使用率超出阈值（最大内存的90%）时产生该告警。JobHistory进程堆内存使用率过高，会影响JobHistory进程运行的性能，甚至造成内存溢出导致JobHistory进程不可用。该节点JobHistory进程堆内存使用率过大，或配置的
- [ALM-43007 JobHistory进程非堆内存使用超出阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_43007.md): 系统每30秒周期性检测JobHistory进程非堆内存使用状态，当检测到JobHistory进程非堆内存使用率超出阈值（最大内存的90%）时产生该告警。JobHistory进程非堆内存使用率过高，会影响JobHistory进程运行的性能，甚至造成内存溢出导致JobHistory进程不可用。该节点JobHistory进程非堆内存使用率过大，
- [ALM-43008 JobHistory进程直接内存使用超出阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_43008.md): 系统每30秒周期性检测JobHistory进程直接内存使用状态，当检测到JobHistory进程直接内存使用率超出阈值（最大内存的90%）时产生该告警。JobHistory进程直接内存使用率过高，会影响JobHistory进程运行的性能，甚至造成内存溢出导致JobHistory进程不可用。该节点JobHistory进程直接内存使用率过大，
- [ALM-43009 JobHistory GC 时间超出阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_43009.md): 系统每60秒周期性检测JobHistory进程的GC时间，当检测到JobHistory进程的GC时间超出阈值(连续3次检测超过12秒)时产生该告警。 用户可通过“系统设置 > 阈值配置 > 服务 > Spark > JobHistory的GC时间 > JobHistory的总GC时间”修改阈值。 当JobHistory进程 GC时间小于或
- [ALM-43010 JDBCServer进程堆内存使用超出阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_43010.md): 系统每30秒周期性检测JDBCServer进程堆内存使用状态，当检测到JDBCServer进程堆内存使用率超出阈值（最大内存的90%）时产生该告警。JDBCServer进程堆内存使用率过高，会影响JDBCServer进程运行的性能，甚至造成内存溢出导致JDBCServer进程不可用。该节点JDBCServer进程堆内存使用率过大，或配置的
- [ALM-43011 JDBCServer进程非堆内存使用超出阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_43011.md): 系统每30秒周期性检测JDBCServer进程非堆内存使用状态，当检测到JDBCServer进程非堆内存使用率超出阈值（最大内存的90%）时产生该告警。JDBCServer进程非堆内存使用率过高，会影响JDBCServer进程运行的性能，甚至造成内存溢出导致JDBCServer进程不可用。该节点JDBCServer进程非堆内存使用率过大，
- [ALM-43012 JDBCServer进程直接内存使用超出阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_43012.md): 系统每30秒周期性检测JDBCServer进程直接内存使用状态，当检测到JDBCServer进程直接内存使用率超出阈值（最大内存的90%）时产生该告警。JDBCServer进程直接内存使用率过高，会影响JDBCServer进程运行的性能，甚至造成内存溢出导致JDBCServer进程不可用。该节点JDBCServer进程直接内存使用率过大，
- [ALM-43013 JDBCServer GC 时间超出阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_43013.md): 系统每60秒周期性检测JDBCServer进程的GC时间，当检测到JDBCServer进程的GC时间超出阈值(连续3次检测超过12秒)时产生该告警。 用户可通过“系统设置 > 阈值配置 > 服务 > Spark > JDBCServer的GC时间 > JDBCServer的总GC时间”修改阈值。 当JDBCServer进程 GC时间小于或
- [ALM-44004 Presto Coordinator资源组排队任务超过阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_44004.md): 系统通过jmx接口查询资源组的排队任务数即QueuedQueries指标，当检测到资源组排队数大于阈值时产生该告警。用户可通过"组件管理 > Presto > 服务配置（将“基础配置”切换为“全部配置”） >Presto > resource-groups " 配置资源组。用户可通过"组件管理 > Presto > 服务配置（将“基础配置
- [ALM-44005 Presto Coordinator进程垃圾收集时间超出阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_44005.md): 系统每30s周期性采集Presto Coordinator进程的垃圾收集（GC）时间，当检测到GC时间超出阈值（连续3次检测超过5s）时产生该告警。用户可在MRS Manager中通过“系统设置>  阈值配置 > 服务 > Presto > Coordinator > Presto进程GC时间> Coordinator进程GC时间”修改阈
- [ALM-44006 Presto Worker进程垃圾收集时间超出阈值（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_44006.md): 系统每30s周期性采集Presto Worker进程的垃圾收集（GC）时间，当检测到GC时间超出阈值（连续3次检测超过5s）时产生该告警。用户可在MRS Manager中通过“系统设置 > 阈值配置 > 服务 > Presto > Worker > Presto进程GC时间 > Worker进程GC时间”修改阈值。当 Worker进程GC
- [ALM-45325 Presto服务不可用（2.x及以前版本）](https://support.huaweicloud.com/usermanual-mrs/alm_45325.md): 系统每60秒周期性检测Presto服务状态。当Presto服务不可用时产生该告警。当Presto服务恢复时，告警恢复。Presto无法执行SQL。Presto服务不可用可能由Presto Coordinator或Worker自身的进程故障引起。Presto Coordinator和Worker实例间网络通信中断。在FusionInsigh
- [MRS业务场景介绍](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0025.md): MRS包含了多种大数据组件，用户可基于企业大数据业务场景、数据类型、可靠性以及资源预算等要求合理选择集群类型。用户可以基于系统预置的集群模板快速购买一个集群，也可自行选择组件列表及高级配置特性，自定义购买集群。大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源等行业均可以使用华为云MRS服务进行大数据处理。以下为大数
- [查看MRS集群补丁信息](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0036.md): 查看集群组件的补丁信息。如果集群组件，如Hadoop或Spark等出现了异常，可下载补丁版本，修复问题。补丁版本信息如下：补丁名称：补丁包的名称。发布时间：补丁包发布的时间。状态：展示补丁的状态。补丁内容：补丁版本的描述信息。操作：可安装或者卸载补丁。
- [删除MRS集群](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0042.md): 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除或退订操作。当MRS集群部署失败时，集群会被自动删除或退订。对于按需收费模式集群，如果作业执行结束后不需要集群， 可以删除MRS集群。集群删除或退订后不再产生费用。对于包年包月模式集群无法执行删除操作，如果作业执行结束后不需要集群， 可以退订MRS集群。集群退订后，资源和数据
- [添加MRS集群节点标签](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0048.md): 在MRS集群运维管理中，随着集群数量和节点规模增长，管理员需要一种有效的方式对集群和节点进行分类、识别和管理。例如，需要按部门、项目组或用途对集群进行分组，或按节点角色进行标识，以便快速检索目标资源并进行成本核算。为集群和节点添加标签正是解决这一管理需求的功能，标签作为资源的标识，可以方便地对集群和节点进行分类管理和搜索定位。标签共由两部
- [MRS作业介绍](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0051.md): MRS集群创建成功后，用户可以基于业务需求开发上层应用或脚本，对业务数据进行处理。用户基于大数据组件能力并结合实际业务情况开发作业程序或者脚本，然后与业务数据一同上传云平台后并提交运行，以实现指定的业务目标。MRS集群提供了在线的作业管理功能，用户可直接在MRS管理控制台界面中快速创建并运行作业，系统支持包括MapReduce、Spark
- [运行MapReduce作业](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0052.md): MapReduce是大数据处理领域的经典计算模型，它将复杂的数据处理任务拆解为 “映射（Map）” 和 “规约（Reduce）” 两个阶段。在Map阶段，大量数据被分割成小块并行处理，每个节点独立执行用户自定义的映射函数，输出中间键值对；随后Reduce阶段汇总相同键的数据，通过规约函数完成聚合计算，最终输出结果。这种分布式计算框架不仅能
- [查看MRS作业详情和日志](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0055.md): MRS是一个在华为云上部署和管理Hadoop系统的服务。用户可以通过MRS管理控制台管理提交并执行作业、查看作业的状态详情、详细配置信息以及运行日志信息。这有助于用户及时了解作业运行情况，优化作业配置，以及故障排查。由于Spark SQL和Distcp作业在后台无日志，因此运行中的Spark SQL和Distcp作业不能在线查看运行日志信
- [停止删除MRS集群作业](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0056.md): 在MRS集群运行过程中，用户提交的作业可能因资源配置不当、数据异常或逻辑错误导致长时间运行或卡死，需要及时停止以释放集群资源。同时，作业执行完成后，历史作业记录会持续累积，影响作业列表的可读性，需要定期清理不再需要的作业记录。那么，如何停止正在运行的异常作业以及删除已完成的历史作业？MRS管理控制台支持手动停止正在运行的作业和删除作业记录
- [缩容MRS集群](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0060.md): 用户可以根据业务需求量，通过简单地缩减Core节点或者Task节点，对集群进行缩容，以使MRS拥有更优的存储、计算能力，降低运维成本。当集群正在进行主备同步操作时，不允许进行缩容操作。包周期集群不支持该方式缩容，仅按需计费集群支持该方式缩容。如需缩容包周期计费类型的节点，请参考退订MRS包周期集群指定节点进行操作。目前支持缩容Core节点
- [配置MRS集群告警事件消息通知](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0062.md): 消息通知服务（Simple Message Notification，SMN）是可靠的、可扩展的、海量的消息处理服务。它可以依据用户的需求主动推送通知消息，最终用户可以通过短信、电子邮件等方式接收。MRS联合消息通知服务，采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式（例如短信和邮件通知）。在MRS
- [扩容MRS集群](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0063.md): 随着业务量的增长，集群存储容量、计算能力或服务能力无法满足业务需求时，需要考虑对集群进行扩容，以提升集群的计算能力、存储容量、稳定性或扩展性，避免因资源不足导致业务中断或效率降低。MRS集群的扩容不论在存储还是计算能力上，都可以简单地通过增加节点数量来完成，不需要修改系统架构，降低运维成本。处于“运行中”状态的MRS集群才能进行扩容操作。
- [MRS集群节点类型说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0081.md): MRS集群由多个弹性云服务器节点组成，根据节点的不同规格，系统以节点组的方式进行管理，不同的节点组一般选用不同的云服务器规格。根据节点上部署的组件角色的不同，集群内的节点类型可分为Master节点、Core节点、Task节点。MRS集群节点支持用户远程登录，远程登录包含界面登录和SSH登录两种方式：界面登录：直接通过弹性云服务器管理控制台
- [登录MRS集群节点](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0083.md): 本章节介绍如何登录到MRS集群内节点，对集群进行管理或者运维等交互操作。用户可以通过弹性云服务器（Elastic Cloud Server，简称ECS，更多介绍请参考什么是弹性云服务器）管理控制台上提供的远程登录方式（VNC）直接登录节点，也可以使用密钥或密码以SSH方式登录MRS集群中的节点。如果本地环境与节点VPC网络不能直达访问，需
- [查看MRS集群主备管理节点](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0086.md): MRS集群中的管理节点指OMS所在的节点，主OMS所在的节点为主管理节点，备OMS所在的节点为备管理节点。OMS通常情况下主备部署，为集群Master节点组中的“master1”节点和“master2”节点。在主OMS节点故障或者停止时，系统会触发主备倒换，备OMS节点升为主OMS节点，因此“master1”节点不一定是主管理节点。MRS
- [安装客户端（3.x版本）](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0089.md): MRS客户端是用来与集群进行交互的工具。用户可以通过客户端提交作业、管理集群资源、查看作业状态等。客户端与集群之间通过紧密的协作，实现了用户对大规模数据处理和分析的需求。客户端负责将用户的作业请求发送给集群，集群则负责高效地执行作业，并将结果和状态反馈给客户端。MRS集群创建成功后，用户可自行安装集群客户端，用于连接集群内组件服务端，进行
- [服务端配置过期后更新MRS集群客户端](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0090.md): 在MRS集群运维过程中，管理员经常需要在Manager上修改服务配置参数并重启服务以调整集群行为。服务端配置变更后，已安装的客户端仍使用旧配置文件，导致客户端连接服务端时可能因配置不一致而出现连接失败或功能异常。因此，每次服务端配置变更后，需要及时更新已安装客户端的配置文件，确保客户端与服务端配置保持一致。本文介绍如何在服务端配置变更后更
- [安装客户端（2.x及之前版本）](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0091.md): MRS集群创建成功后，用户可自行安装集群客户端，用于连接集群内组件服务端，进行组件连接、作业提交等任务。集群客户端可以安装在集群内的节点上，也可以安装在集群外的节点上。集群内组件的服务端配置修改后，也建议重新安装客户端，否则客户端与服务端版本将不一致，可能影响部分功能的正常使用。本章节指导用户安装MRS 2.x及之前版本的集群客户端，MR
- [访问MRS集群Manager（2.x及之前版本）](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0102.md): MRS是面向企业级海量数据场景的一站式管理平台，深度整合开源大数据组件（如Hadoop、Spark、Flink等），通过标准化运维体系与可视化管控能力，解决原生开源组件部署复杂、运维低效等痛点，助力企业快速实现数据价值挖掘。可视化监控体系实时展示集群健康状态、资源利用率（CPU/内存/磁盘）及服务运行指标，支持自定义监控面板与告警策略，动
- [MRS集群部署方案说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0121.md): MRS当前提供的“分析集群”、“流式集群”和“混合集群”采用固定模板进行部署集群的进程，无法满足用户自定义部署管理角色和控制角色在集群节点中的需求。如需自定义集群部署方式，可在创建集群时的“集群类型”选择“自定义”，实现用户自主定义集群的进程实例在集群节点中的部署方式（MRS 3.x及之后版本支持创建自定义拓扑集群）。自定义集群可实现以下
- [访问MRS集群Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0128.md): MRS是面向企业级海量数据场景的一站式管理平台，深度整合开源大数据组件（如Hadoop、Spark、Flink等），通过标准化运维体系与可视化管控能力，解决原生开源组件部署复杂、运维低效等痛点，助力企业快速实现数据价值挖掘。可视化监控体系实时展示集群健康状态、资源利用率（CPU/内存/磁盘）及服务运行指标，支持自定义监控面板与告警策略，动
- [查看MRS集群已修改的组件配置参数](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0202.md): MRS支持一键查看集群内各服务配置参数的变动情况，方便用户快速排查定位问题，提升配置管理效率。用户可通过集群Manager界面快速查看集群内各服务所有非初始默认值、同一角色实例之间非统一值、集群配置修改的历史记录、集群内当前配置状态为过期的参数。集群还支持在Manager页面上直接查看实例节点上实际的环境变量、角色配置等配置文件内容，以供
- [启动停止MRS集群组件](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0203.md): 在MRS集群运维中，管理员需要根据业务需求对集群内的服务组件进行启停管理。例如，某些服务在特定时期不再使用，停止该服务可以释放计算和内存资源；异常的服务需要先停止再重新启动以恢复功能；配置过期的服务需要重启以使新配置生效。MRS支持通过管理控制台或Manager界面执行组件的启动、停止和重启操作。本文介绍如何启停MRS集群组件。如果通过M
- [修改MRS集群组件配置参数](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0204.md): 在大数据集群中，服务端参数的调整是优化集群性能、稳定性和资源利用率的关键手段，当集群出现资源分配不合理、任务并行度不足等问题时，需及时调整相关组件参数。为了满足实际业务的需求，MRS控制台提供了在线查看及修改组件配置参数功能，用户可以方便快速地完成组件侧相关配置的修改。如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的
- [添加MRS组件自定义参数](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0205.md): MRS集群内各个大数据组件通常支持开源社区的所有参数，其中部分常用场景的配置参数支持在MRS管理控制台或者Manager中进行修改，且部分组件的客户端可能不包含开源特性的所有参数。如果需要修改或者添加界面中未包含的配置参数，用户可以通过自定义配置项功能为组件添加新的参数，添加的新参数最终将保存在组件的配置文件中并在重启后生效。用户已充分了
- [同步MRS集群组件配置参数](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0206.md): 当用户发现部分组件或实例的状态超期或失败时，您可以尝试使用同步配置功能，以恢复配置状态。或者集群中所有服务的配置状态为失败时，同步指定服务的配置数据与后台配置数据。若集群中所有服务的配置状态为“失败”时，同步集群的配置数据与后台配置数据。若集群中某些服务的配置状态为“失败”时，同步指定服务的配置数据与后台配置数据。若集群中所有服务的配置状
- [管理MRS角色实例](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0207.md): 在MRS集群运行过程中，您可能需要对角色实例进行生命周期管理。例如，当角色实例处于“停止”、“停止失败”或“启动失败”状态时，需要启动该角色实例以恢复服务正常运行；当某些角色实例不再使用或出现异常时，需要停止或重启该角色实例以释放资源或恢复功能。此外，您还可以导出和导入角色实例的配置参数，方便在集群间迁移或备份配置数据。如果通过MRS管理
- [修改MRS角色实例参数](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0208.md): 在MRS集群运行过程中，管理员可能需要调整单个角色实例的配置参数以优化服务性能或适配业务需求。例如，在集群迁移或重新部署相同服务的场景下，管理员可以通过导出和导入实例配置数据，实现配置结果的快速复制。修改角色实例配置参数、导出或导入实例配置时不影响其他实例的正常运行。修改角色实例配置后，如果实例状态为“配置过期”，则需要重启此实例。重启时
- [退服和入服MRS角色实例](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0210.md): MRS集群支持将数据存储在不同Core节点，某个Core或Task节点出现问题时，可能导致整个集群状态显示为“异常”，用户可以在MRS指定角色实例退服，使退服的角色实例不再提供服务。在排除故障后，可以将已退服的角色实例入服。MRS集群支持退服、入服的角色实例包括：HDFS的DataNode角色实例Yarn的NodeManager角色实例H
- [启停MRS集群节点上所有角色](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0211.md): MRS集群节点角色启停功能适用于需要对集群节点进行维护或故障处理的MRS集群管理员和运维工程师。在MRS集群日常运维中，节点可能因硬件老化、磁盘故障、操作系统补丁升级等原因需要临时下线维护。此时需要先停止该节点上运行的所有角色实例，确保服务进程安全退出后再执行维护操作；维护完成后，再启动所有角色实例恢复该节点的业务服务。节点故障维护：当主
- [隔离MRS集群节点](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0212.md): 用户发现某个主机出现异常或故障，无法提供服务或影响集群整体性能时，可以临时将主机从集群可用节点排除，使客户端访问其他可用的正常节点。在为集群安装补丁的场景中，也支持排除指定节点不安装补丁。该任务指导用户在MRS上根据实际业务或运维规划手工将主机隔离。隔离主机功能仅支持隔离MRS集群的非管理节点。主机隔离后该主机上的所有角色实例将被停止，且
- [启动停止MRS集群](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0214.md): 当不再需要使用MRS集群或对集群进行故障修复时，用户可以通过在MRS管理控制台或Manager中停止集群，集群停止后，集群内的组件将无法对外提供服务。用户也可以将已停止的集群再次启动。如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击IAM用户同步右侧的“同步”进行IAM用户同步）。如果通过Manag
- [导出MRS集群配置参数](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0216.md): 管理员可以将MRS集群中各组件的关键服务端配置参数导出，用于快速检查或者备份集群内组件配置。如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击IAM用户同步右侧的“同步”进行IAM用户同步）。如果通过Manager界面操作，需要已登录MRS集群Manager界面，详情请参考访问MRS集群Manager
- [执行MRS集群健康检查](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0224.md): 在大数据集群日常运维中，集群包含数十甚至上百个节点和多个服务组件，管理员需要定期确认集群各组件运行状态是否正常、是否存在潜在风险。如果仅依赖人工逐一排查，不仅耗时费力，且容易遗漏隐蔽问题，导致故障发现不及时。那么，如何高效全面地检查集群健康状态？MRS提供集群健康检查功能，支持对Manager管理平台、服务级别和主机级别的健康状态、告警和
- [查看并导出健康检查报告](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0225.md): 为了满足对健康检查结果的进一步具体分析，您可以在MRS中查看以及导出健康检查的结果。仅MRS 1.9.2集群支持在MRS管理控制台执行健康检查管理操作。登录集群Manager界面请参考访问MRS集群Manager。查看健康检查报告：默认显示所有已保存的检查报告，以列表形式展示，在检查记录列表右上方，可以筛选指定的检查对象和结果状态。如果检
- [配置MRS集群监控指标数据转储](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0235.md): 在MRS集群运维中，管理员需要将集群的监控指标数据导出到外部系统进行长期存储和二次分析。MRS默认将监控数据保存在本地数据库中，随着数据持续累积可能占用大量磁盘空间，且无法与第三方监控系统直接对接。通过配置监控指标数据转储功能，可以将系统中采集到的监控数据写入文本文件，并以FTP或SFTP方式定期上传到指定的外部服务器，实现监控数据的长期
- [配置MRS集群告警阈值](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0238.md): 在MRS集群运维中，管理员需要实时监控集群各节点和服务的运行状态。当CPU使用率过高、磁盘空间不足或服务内存溢出等异常发生时，需要及时收到告警通知以便快速处理。通过配置告警阈值，管理员可以为各监控指标设置触发条件，当指标值满足预设条件时系统自动触发告警，并在告警页面中显示，帮助管理员及时发现和解决问题。本文介绍如何配置MRS集群告警阈值及
- [配置MRS集群对接Syslog服务器上报告警](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0239.md): 如果用户需要在统一的告警平台查看集群的告警和事件，管理员可以使用Syslog协议将相关数据上报到告警平台。Syslog协议未做加密，传输数据容易被窃取，存在安全风险，对于高安全性要求的场景，建议搭配加密和认证机制使用。对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC，且Master节点可以访问对接服务器的IP地
- [配置MRS集群对接SNMP网管平台上报告警](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0240.md): 在企业运维场景中，管理员通常需要将MRS集群的告警和监控数据统一上报到集中式运维网管平台（如Zabbix、Nagios等），以实现多系统的统一监控和告警管理。当用户需要在统一的运维网管平台查看集群的告警和监控数据时，管理员可以在FusionInsight Manager中配置SNMP（Simple Network Management P
- [查看MRS集群审计日志](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0265.md): “审计”页面记录用户对集群Manager页面操作信息。管理员可查看用户在Manager上的历史操作记录，审计管理包含的审计内容信息，请参考审计日志。该任务指导用户在MRS Manager查看、导出审计日志工作，用于安全事件中事后追溯、定位问题原因及划分事故责任。登录集群Manager界面请参考访问MRS集群Manager。用户可以在“所有
- [下载MRS集群日志](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0267.md): 在MRS集群运维过程中，当集群服务出现异常或需要排查问题时，管理员通常需要收集多个节点的服务日志进行分析。如果手工逐个登录节点获取日志，不仅效率低下，还容易遗漏关键日志文件。Manager提供了批量日志下载功能，支持一键导出各个服务角色所有实例生成的日志，无需手工登录单个节点获取，并可指定时间范围和服务范围进行精准收集。本章节指导用户通过
- [MRS多租户简介](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0304.md): 背景介绍：现代企业的数据集群在向集中化和云化方向发展，企业级大数据集群需要满足：不同用户在集群上运行不同类型的应用和作业（分析、查询、流处理等），同时存放不同类型和格式的数据。某些类型的用户（例如银行、政府单位等）对数据安全非常关注，很难容忍将自己的数据与其他用户的放在一起。这给大数据集群带来了以下挑战：合理地分配和调度资源，以支持多种应
- [添加MRS租户](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0305.md): 在多业务线共享MRS集群的场景中，不同业务团队需要独立的计算和存储资源配额，避免相互影响。MRS通过租户（Tenant）机制实现资源隔离：每个租户可以独立分配Yarn计算资源百分比、HDFS存储空间配额，并关联HBase、ClickHouse、Doris等服务资源。当业务团队需要按需指定资源使用情况时，管理员可以在MRS中创建租户，实现资
- [添加MRS子租户](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0306.md): 根据业务对资源消耗以及隔离的规划与需求，用户可以通过MRS创建子租户，将当前租户的资源进一步分配以满足实际使用场景。如果在添加租户时，租户资源类型选择“非叶子租户”，则支持添加子租户；如果选择“叶子租户”则不支持添加子租户。已参考添加MRS租户添加“非叶子租户”。根据业务需求规划租户的名称，不得与当前集群中已有的角色或者Yarn队列重名。
- [删除MRS租户](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0307.md): 根据业务需求，对于当前不再使用的租户，用户可以通过MRS删除租户，释放租户占用的资源。如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击IAM用户同步右侧的“同步”进行IAM用户同步）。如果通过Manager界面操作，需要已登录MRS集群Manager界面，详情请参考访问MRS集群Manager。检查
- [管理MRS租户资源目录](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0308.md): 用户根据业务需求，可以在MRS对指定租户使用的HDFS存储目录，进行管理操作。支持用户对租户添加目录、修改目录文件数量配额、修改存储空间配额和删除目录。如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击IAM用户同步右侧的“同步”进行IAM用户同步）。如果通过Manager界面操作，需要已登录MRS集
- [重装Yarn服务后手动恢复MRS租户数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0309.md): 租户的数据默认在Manager和集群组件中保存相关数据，在组件故障恢复或者卸载重新安装的场景下，所有租户的部分配置数据可能状态不正常，需要手动恢复。如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击IAM用户同步右侧的“同步”进行IAM用户同步）。如果通过Manager界面操作，需要已登录MRS集群M
- [添加MRS租户资源池](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0310.md): MRS租户资源池功能适用于需要对集群计算资源进行逻辑隔离和按需分配的MRS集群管理员和运维工程师。典型业务场景包括：多租户资源隔离：多个业务部门共享同一MRS集群时，通过资源池将节点划分到不同部门，避免资源争抢。按业务优先级分配资源：将高优先级业务的计算任务绑定到资源充足的资源池，低优先级业务使用剩余资源池，保障核心业务的服务质量。混合负
- [管理MRS租户资源池](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0311.md): 在MRS多租户管理场景下，租户资源池中的主机决定了该租户可使用的计算资源。随着业务发展，租户的计算资源需求会发生变化：业务扩容时需要向资源池增加主机以提升算力，业务收缩或主机维护时需要从资源池移除主机。如果资源池主机配置无法灵活调整，将导致资源分配与实际业务需求不匹配，影响资源利用率。那么，如何在不停机的情况下调整租户资源池中的主机？MR
- [配置MRS租户队列](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0313.md): 用户可以根据业务需求，在MRS修改指定租户的队列配置，对队列进行扩容或缩容。Yarn任务队列和资源池关联，可实现资源的分配和调度。如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击IAM用户同步右侧的“同步”进行IAM用户同步）。如果通过Manager界面操作，需要已登录MRS集群Manager界面，
- [配置资源池的队列容量策略](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0314.md): 添加资源池后，需要为YARN任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后，YARN任务队列与资源池形成关联关系。该任务指导用户通过MRS配置队列策略。如果通过MRS管理控制台操作，需要已
- [清除MRS租户队列配置](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0315.md): 当队列不再需要某个资源池的资源，或资源池需要与队列取消关联关系时，用户可以在MRS清除队列配置。清除队列配置即取消队列在此资源池中的资源容量策略。如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击IAM用户同步右侧的“同步”进行IAM用户同步）。如果通过Manager界面操作，需要已登录MRS集群Ma
- [管理MRS集群角色](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0343.md): 根据不同业务场景需要，管理员使用Manager创建并管理不同角色，通过角色对Manager和组件进行授权管理。MRS 3.x及之后版本，Manager最大支持5000个角色（包括系统内置角色，不包括租户自动创建的角色）。MRS 2.x及之前版本，Manager最大支持的角色数为1000。MRS 3.x及之后版本：登录集群Manager界面
- [创建MRS集群用户](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0345.md): 在MRS集群中，默认仅有“admin”用户具有Manager最高操作权限，无法满足多部门、多角色协同运维的需求。当不同团队需要访问集群执行各自业务时，管理员需要为每个团队或应用创建独立的用户，并分配相应的操作权限，以实现权限隔离和操作审计。通过Manager可以创建新用户并指定用户组、角色等权限，满足多用户协同使用集群的安全管理需求。本文
- [初始化MRS集群用户密码](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0351.md): 用户如果遗忘密码或公共账号密码需要定期修改时，管理员可通过Manager初始化密码。初始化密码后系统用户首次使用账号需要修改密码。初始化MRS集群用户密码后，如果以前下载过用户认证文件，则需要重新下载并获取keytab文件。MRS 3.x及之后版本：登录集群Manager界面请参考访问MRS集群Manager。默认密码复杂度要求：密码字符
- [下载MRS集群用户认证凭据文件](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0352.md): 用户开发大数据应用程序并在支持Kerberos认证的MRS集群中运行程序时，需要准备访问MRS集群的用户认证文件。认证文件中的keytab文件可用于认证用户身份。该任务指导管理员用户通过Manager下载用户认证文件并导出keytab文件。修改用户密码后，之前导出的keytab将失效，需要重新导出。下载“人机”用户的认证凭据文件前，需要使
- [配置MRS集群间互信](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0354.md): 当不同的两个Manager系统下安全模式的集群需要互相访问对方的资源时，系统管理员可以设置互信的系统，使外部系统的用户可以在本系统中使用。如果未配置跨集群互信，每个集群资源仅能被本集群用户访问。每个系统用户安全使用的范围定义为“域”，不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。MRS 3.x及之
- [配置互信MRS集群的用户权限](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0355.md): 配置完跨Manager集群互信后，需要在互信的系统上设置访问用户的权限，这样指定的用户才能在互信系统上进行对应的业务操作。已完成跨集群互信配置，然后刷新两个集群的客户端。登录集群Manager界面请参考访问MRS集群Manager。是，执行3。否，执行4。是，执行2。否，执行3。例如，集群A的admin用户拥有查看本集群HDFS中目录/t
- [访问MRS集群上托管的开源组件Web页面](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0362.md): MRS集群使用过程中，用户可以通过Manager界面对集群进行运维配置、状态监控、用户及角色管理等相关操作。对于集群内的大数据组件，部分组件还提供WebUI界面，便于用户快速了解更详细的组件运行状态或者对组件进行业务配置操作。用户在登录集群Manager界面后，系统支持用户一键跳转至组件的WebUI界面。MRS集群内容常见的组件WebUI
- [修复隔离MRS集群主机补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0412.md): 若集群中存在主机被隔离的情况，集群补丁安装完成后，请参见本节操作对隔离主机进行补丁修复。修复完成后，被隔离的主机节点版本将与其他未被隔离的主机节点一致。MRS 3.x版本不支持在管理控制台执行本章节操作，本章节仅适用于3.x之前的版本。登录集群Manager界面请参考访问MRS集群Manager。
- [准备MRS节点引导操作脚本](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0413.md): 引导操作目前仅支持Linux Shell脚本，脚本文件需以.sh结尾。准备MRS节点引导操作脚本步骤如下：正式编写脚本前，您需要将所需安装包、配置包的所有相关文件都上传到同Region的OBS文件系统中。因为不同Region间有网络隔离，MRS虚拟机无法下载其他Region上的OBS文件。您可以在脚本中指定从OBS下载需要的文件。如果将文
- [MRS节点引导操作概述](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0414.md): 用户可以通过引导操作来完成安装其他第三方软件，修改集群运行环境等自定义操作。引导操作可以在集群组件首次启动前/后在指定的节点上执行脚本。已运行的集群组件添加的引导操作，只能通过手动方式在节点上执行第三方组件的安装脚本进行安装。如果集群扩容，选择执行引导操作，则引导操作也会以相同方式在新增节点上执行。对于弹性伸缩场景，MRS支持通过自定义弹
- [添加MRS节点引导操作安装第三方软件](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0415.md): 已参考准备MRS节点引导操作脚本准备好引导操作脚本。引导操作支持在创建集群时添加，或者在集群创建后进行添加。同时也支持在弹性伸缩页面配置自动化执行脚本。添加成功后，可以通过“操作”列进行编辑、克隆和删除。对于弹性伸缩场景，MRS支持通过自定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后执行相应操作，自动适应业务负载的变化，免去了
- [查看MRS节点引导操作执行记录](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0416.md): 您可以在集群详情页选择引导操作 页签查看引导操作的执行结果。可以通过选择右上角的“组件首次启动前”或者“组件首次启动后”查询相关的引导操作信息。这里列出的是上次执行结果。对于新创建的集群，则列出的是创建时执行引导操作的记录；如果集群被扩容了，则列出的是上次扩容对新增节点执行引导操作的记录。如果需要查看引导操作的执行日志，请在添加引导操作时
- [管理MRS集群用户组](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0421.md): MRS集群用户组管理功能适用于需要对集群用户进行分类管理和批量授权的MRS集群管理员。典型业务场景包括：按业务团队隔离权限：为不同业务团队（如数据开发组、运维组、数据分析组）创建独立用户组，绑定不同角色实现权限隔离。批量用户授权：员工入职或项目交接时，将用户加入对应用户组即可自动继承组内权限，无需逐个配置。权限统一变更：业务需求变化时，通
- [锁定MRS集群用户](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0424.md): 由于业务变化，用户可能长期暂停使用，为了保证安全，管理员可以锁定用户。锁定用户的方法包含以下两种方式：自动锁定：通过设置密码策略中的“密码连续错误次数”，将超过登录失败次数的用户自动锁定。具体操作请参见配置MRS集群用户密码策略。手动锁定：由管理员通过手动的方式将用户锁定。以下将具体介绍手动锁定。不支持锁定“机机”用户。如需解锁MRS集群
- [删除MRS集群用户](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0426.md): 根据业务需要，管理员应在Manager删除不再使用的系统用户。用户删除后，已经发放的TGT在24小时内仍然有效，用户可以使用该TGT继续进行安全认证并访问系统。如新建用户与已删除用户同名，则会继承已删除用户的拥有的所有Owner权限。建议根据实际业务需求决定是否删除该用户持有的资源。例如HDFS上的文件。默认的admin用户无法删除。登录
- [修改MRS集群Manager用户密码](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0427.md): 出于MRS集群安全的考虑，“人机”类型系统用户密码必须定期修改。该任务指导用户通过Manager完成修改自身密码工作。如果用户具备使用Manager的权限时，可以通过Manager完成修改自身密码工作。如果用户不具备使用Manager的权限时，可以通过集群客户端修改相关用户密码。修改MRS集群用户密码后，如果以前下载过用户认证文件，则需要
- [配置MRS集群用户密码策略](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0430.md): 根据业务安全需要，管理员可以在Manager设置密码安全规则、用户登录安全规则及用户锁定规则。该操作仅适用于MRS 3.1.2及之后版本。密码策略涉及用户管理的安全性，请根据企业安全要求谨慎修改，否则会有安全性风险。修改密码策略之后，再修改用户密码，此时新的密码策略才会生效。此密码策略适用于Manager创建的人机用户，密码策略最多支持创
- [安装MRS集群滚动补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0431.md): 滚动补丁是指在补丁安装/卸载时，采用滚动重启服务（按批次重启服务或实例）的方式，在不中断或尽可能短地中断集群各个服务业务的前提下完成对集群中单个或多个服务的补丁安装/卸载操作。集群中的服务根据对滚动补丁的支持程度，分为三种：支持滚动安装/卸载补丁的服务：在安装/卸载补丁过程中，服务的全部业务或部分业务（因服务而异，不同服务存在差别）不中断
- [通过IAM角色或策略授予使用MRS的权限](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0453.md): 在企业多用户使用MRS服务的场景中，管理员需要为不同职能的员工分配合适的MRS访问权限，实现权限隔离和精细化管控。华为云通过统一身份认证服务（Identity and Access Management，简称IAM）提供权限管理能力，管理员可以根据企业组织架构创建IAM用户，为其授予不同级别的MRS权限策略，实现按需授权。如果您需要对您所
- [通过IAM身份策略授予使用MRS的权限](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0455.md): 如果您需要对您所拥有的MRS进行角色与策略的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以：根据企业的业务组织，在您的华为账号中，给企业中不同职能部门的员工创建用户或用户组，让员工拥有唯一安全凭证，并使用MRS资源。根据企业用户的职能，设置不同的访问权限
- [MRS存算分离概述](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0467.md): MRS支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、提供低成本的海量数据分析方案。MRS 3.3.0-LTS及之后版本推荐使用基于Guardian组件对接OBS，为HDFS、Hive、Spark、Loader、HetuEngine等服务提供访问OBS的临时认证凭据。配置Guard
- [MRS集群客户端如何通过AK/SK信息对接OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0468.md): MRS 1.9.2及之后的版本支持使用obs://的方式对接OBS服务，当前主要支持的组件为Hadoop、Hive、Spark、Presto、Flink。其中HBase组件使用obs://的方式对接OBS服务暂不支持。该章节主要介绍MRS集群组件如何通过AK/SK（Access Key ID/Secret Access Key，即访问密钥
- [IAM用户同步MRS集群说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0495.md): 在MRS集群运维场景中，管理员需要将华为云IAM用户同步至MRS集群中，以便IAM用户可以直接登录Manager管理集群或提交作业。当企业通过IAM统一管理用户权限时，需要将IAM用户同步到MRS集群，实现权限的自动映射和管理。IAM用户同步是指将绑定MRS相关策略的IAM用户同步至MRS系统中，创建同用户名、不同密码的账号，用于集群管理
- [快速购买MRS集群](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0496.md): MRS包含了多种大数据组件，用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。本章节以HBase查询集群为例介绍如何快速购买一个MRS集群。HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能优异、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利
- [MRS集群服务常用端口列表](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0504.md): 本章节介绍MRS集群内各组件的常用端口，在自定义购买MRS集群时，如果集群版本类型为“LTS版”，则用户可以自行选择组件的默认端口是否要保持与开源版本一致。“组件端口”参数选择“开源”时或者版本类型为“普通版”的集群，组件端口默认值请参考“开源默认端口”列。“组件端口”参数选择“定制”时，组件端口默认值请参考“定制默认端口”列。如果仅有“
- [自定义购买MRS集群](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0513.md): 本章节为您介绍如何在MRS管理控制台自定义创建一个新的MRS集群。MRS包含了多种大数据组件，用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。用户可以基于系统预置的集群模板快速购买一个集群，也可自行选择组件列表及高级配置特性，自定义购买集群。MRS系统界面支持同一时间并发创建10个集群，且最多支
- [查看MRS集群资源监控指标](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0515.md): 在MRS集群运维中，管理员需要实时掌握集群的资源使用情况和健康状态，以便及时发现CPU使用率过高、内存不足、磁盘空间告警等异常。MRS提供集群资源监控功能，将集群中所有部署角色的节点按管理节点、控制节点和数据节点进行分类，分别计算关键主机监控指标在每类节点上的变化趋势，并在报表中以分布曲线图形式展示。管理员可在MRS管理控制台或Manag
- [查看MRS集群组件监控指标](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0517.md): 用户在日常使用中，可以在MRS管理所有组件（含角色实例）的状态及指标信息。状态信息包括运行、健康、配置及角色实例状态统计。指标信息为各组件的主要监控指标项。单击列表中指定服务名称，查看服务状态及指标信息。定制、查看组件级别监控图表。在“图表”区域框中，单击“定制”自定义服务监控指标。在“时间区间”选择查询时间，单击“查看”显示该时间段内的
- [退订MRS包周期集群指定节点](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0521.md): 在MRS包周期集群的日常运维中，随着业务量下降，集群中部分Core节点的计算和存储资源可能长期处于闲置状态，继续保留这些节点将导致资源浪费和运维成本增加。然而，直接删除节点可能导致HDFS数据丢失或服务异常，存在数据安全风险。如何在保证数据完整性和集群稳定性的前提下，安全退出不需要的节点以降低运维成本？MRS提供退订包周期集群指定节点功能
- [运行SparkSubmit作业](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0524.md): Spark是一个开源的并行数据处理框架，能够帮助用户简单、快速地开发大数据应用，对数据进行离线处理、流式处理、交互式分析等。spark-submit是Spark提供的统一入口工具，用于在不同集群环境下部署和运行Spark应用程序。通过它可以将编写好的Spark作业提交到YARN或直接以本地模式运行。该工具通过将应用打包为独立的JAR/WA
- [运行HiveSql作业](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0525.md): HiveSql作业是基于Hive数据仓库工具编写和运行的数据分析任务，主要用于在Hadoop分布式集群上处理大规模结构化或半结构化数据。HiveSQL是Hive定义的SQL方言，语法与标准SQL类似，但针对大数据场景做了优化，可将SQL语句转换为MapReduce或Spark任务执行，适合非编程人员快速实现数据查询、统计和分析。用户可将自
- [运行SparkSql作业](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0526.md): SparkSql是Spark生态中用于结构化数据处理的模块，它将关系型SQL查询与Spark的分布式计算能力结合，支持使用SQL语句或DataFrame/Dataset API操作数据。SparkSql作业可以在批处理、流处理（如Structured Streaming）和交互式查询场景中运行，具备高性能、易用性和扩展性的特点。用户可将自
- [运行Flink作业](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0527.md): Flink作业是基于Flink框架开发的分布式数据处理任务，主要用于流式数据处理和有状态计算。Flink是一个面向流处理和批处理的统一计算框架，其作业以流为核心（批处理可视为有限流），支持高吞吐、低延迟、精准语义的实时数据处理，广泛应用于实时监控、日志分析、金融交易等场景。用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指
- [查看MRS集群静态资源](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0535.md): 大数据管理平台支持通过静态服务资源池对没有运行在Yarn上的服务资源进行管理和隔离。系统支持基于时间的静态服务资源池自动调整策略，使集群在不同的时间段自动调整参数值，从而更有效地利用资源。系统管理员可以在Manager查看静态服务池各个服务使用资源的监控指标结果，包含监控指标如下：服务总体CPU使用率服务总体磁盘IO读速率服务总体磁盘IO
- [配置MRS集群静态资源](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0536.md): 当需要控制集群服务可以使用节点资源的情况，或者控制集群服务在不同时间段节点可用配额的CPU与I/O资源时，集群管理员可以在Manager调整资源基数，并自定义资源配置组。配置静态服务池后，受影响的服务的配置状态将配置过期，需要重启服务，重启期间服务不可用。配置静态服务池后，各服务及角色实例使用的最大资源将不能超过限制。修改资源调整基数登录
- [备份Manager数据（MRS 2.x及之前版本）](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0553.md): 为了确保元数据信息安全，或者用户在对元数据功能进行重大操作（如扩容缩容、安装补丁包、升级或迁移等）前后，需要对元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。元数据包含OMS数据、LdapServer数据、DBService数据和NameNode数据。备份Manager数据包含同时备份
- [恢复Manager数据（MRS 2.x及之前版本）](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0555.md): 在用户意外修改删除、数据需要找回，对元数据组件进行重大操作（如升级、重大数据调整等）后系统数据出现异常或未达到预期结果，模块全部故障完全无法使用，或者迁移数据到新集群的场景中，需要对元数据进行恢复操作。该任务指导用户通过MRS Manager创建恢复元数据任务，系统仅支持手动进行数据恢复。MRS集群支持多种数据路径类型恢复Manager数
- [管理MRS集群备份恢复任务](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0558.md): 在企业大数据场景中，集群数据的备份与恢复是保障数据安全的关键手段。随着业务发展，原有的备份策略可能无法满足新的业务需求，例如备份频率需要调整、备份路径需要变更或备份数量需要扩容等。系统管理员可通过Manager修改已创建的备份任务配置参数，以适应业务需求的变化。不支持修改任何恢复任务配置参数，只能查看恢复任务的配置参数。修改备份任务后，新
- [修改MRS集群LDAP普通用户密码](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0565.md): 在MRS集群运维中，定期修改LDAP用户密码是提升系统安全性的重要措施。当LDAP管理员用户或LDAP普通用户密码使用时间较长，或出于安全合规要求需要更换密码时，管理员可以通过MRS Manager界面完成密码修改。本文介绍修改LDAP管理员用户和LDAP普通用户密码的操作步骤。涉及的LDAP用户：MRS 3.1.0版本用户名称：LDAP
- [修改MRS集群组件运行用户密码](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0566.md): 建议用户定期修改MRS集群组件运行用户的密码，以提升系统运维安全性。MRS 2.x及之前版本：如果初始密码由系统随机生成，需要直接重置密码。修改该密码会导致已经下载的用户凭证不可用，请修改该密码后重新下载认证凭据并替换旧凭据。如果初始密码由系统随机生成，需要直接重置密码。修改该密码会导致已经下载的用户凭证不可用，请修改该密码后重新下载认证
- [修改OMS数据库管理员密码](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0567.md): 建议管理员定期修改OMS数据库管理员的密码，以提升系统运维安全性。ommdba用户密码不支持在备管理节点修改，否则集群无法正常工作。只需在主管理节点执行修改操作，无需在备管理节点操作。sudo su - ommcd $OMS_RUN_PATH/toolsmod_db_passwd ommdba密码复杂度要求：密码字符长度为16～32位。至
- [修改OMS数据库访问用户密码](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0568.md): 该任务指导管理员定期修改OMS数据库访问用户的密码，以提升系统运维安全性。修改密码需要重启OMS服务，服务在重启时无法访问。登录集群Manager具体操作，请参考访问MRS集群Manager。密码复杂度要求：密码字符长度为8～32位。至少需要包含大写字母、小写字母、数字、特殊字符~`!@#$%^&*()-+_=\|[{}];",<.>/?
- [修改MRS集群组件数据库用户密码](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0569.md): 该任务指导用户定期修改组件数据库用户的密码，以提升系统运维安全性。本章节不适用于Ranger服务。RangerKMS依赖于Ranger的数据库密码，重置之后会导致原本key丢失，RangerKMS异常。修改密码需要重启服务，服务在重启时无法访问。该操作仅适用于MRS 3.1.0版本，MRS 3.1.0之后版本请参考重置MRS集群组件数据库
- [更新MRS集群加密密钥](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0572.md): 在安装集群时，系统将自动生成加密密钥key值以对集群的部分安全信息（例如所有数据库用户密码、密钥文件访问密码等）进行加密存储。在集群安装成功后，如果原始密钥不慎意外泄露或者需要使用新的密钥，系统管理员可以通过以下操作手动更改密钥值。更新集群密钥后，集群中新增加一个随机生成的新密钥，用于加密解密新保存的数据。旧的密钥不会删除，用于解密旧的加
- [重启MRS集群](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0579.md): MRS集群运行过程中，在修改了组件的配置项、基础资源故障或者服务进程异常等运维场景中，需要对集群内组件进行重启操作。MRS集群内组件支持普通重启与滚动重启两种方式：普通重启：直接并发重启集群内所有服务或实例，可能引起业务中断。滚动重启：在尽可能不中断业务的前提下对相关对象进行的重启操作。与普通重启相比，滚动重启通常不会导致服务业务中断，但
- [转换MRS按需集群为包周期集群](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0590.md): 如果用户想要将按需计费的集群转为更经济的包年/包月的包周期集群，可使用该指导进行操作。集群状态为“运行中”或“停止中”时，可以进行转包周期操作。关于按需计费、包年/包月的详细介绍请参见计费模式。订单提交完成后，集群状态由运行中更新为转包周期中。订单支付成功后，集群开始进行转包周期流程，待集群转包周期成功后，集群状态更新为运行中。转包周期后
- [查看MRS集群事件](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0602.md): 在MRS集群的日常运维中，管理员需要及时了解集群运行状态的变化，以便对潜在问题进行预防和排查。MRS集群中的事件是系统运行中发生的状态变化或操作记录的审计追踪，例如组件实例的启动、停止、主备倒换，以及节点慢盘隔离变化等。与告警不同，事件本身并不一定表示系统异常，但重要及以上级别的事件需要管理员关注相关组件是否运行正常。通过查看集群事件，管
- [配置MapReduce通过IAM委托访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0617.md): 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，如果需要实现JobHistory及时清理用户目录下的日志文件，需参考本章节新增Mapreduce自定义配置。本参数用于控制JobHistory在扫描作业日志时是否始终包含用户目录下的日志文件，取值包含“true”和“false”true：JobHistory服务会强制扫描用
- [升级MRS集群Master节点规格](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0626.md): 随着用户业务的增长和Core节点的扩容，集群CPU使用率逐渐升高，原有Master节点规格可能已无法满足当前业务需求。当Master节点资源不足时，会影响集群管理效率和组件运行稳定性，此时需要升级Master节点规格以保障集群正常运行。本文介绍通过MRS管理控制台升级Master节点规格的两种方式：一键升级和分步升级。确认是否开启了主机安
- [重启MRS集群组件](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0628.md): MRS集群运行过程中，在修改了组件的配置项、基础资源故障或者服务进程异常等运维场景中，需要对集群内组件进行重启操作。MRS集群内组件支持普通重启与滚动重启两种方式：普通重启：直接并发重启集群内所有服务或实例，可能引起业务中断。滚动重启：在尽可能不中断业务的前提下对相关对象进行的重启操作。与普通重启相比，滚动重启通常不会导致服务业务中断，但
- [配置MRS集群用户的OBS的细粒度访问权限](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0632.md): 开启细粒度权限时，用户通过该指导配置访问OBS权限，实现MRS用户对OBS文件系统下的目录权限控制。如需对MRS的用户访问OBS的资源进行详细控制，可通过该功能实现。例如，您只允许用户组A访问某一OBS文件系统中的日志文件，您可以执行以下操作来实现：为MRS集群配置OBS访问权限的委托，实现使用ECS自动获取的临时AK/SK访问OBS。在
- [MRS集群元数据外置说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0633.md): 元数据是用于描述数据的数据，例如数据结构、存储位置、访问权限等信息。在MRS集群中，组件元数据信息默认存储于集群内自带的本地GaussDB中（MRS集群内置的关系型数据库实例，用于存储各组件的元数据和配置信息），当集群删除时元数据同时被删除，如需保存元数据，需提前手动保存元数据。MRS提供了数据连接管理功能，支持将集群中组件（如Hive、
- [运行MRS作业时如何读取OBS加密数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0640.md): MRS 1.9.x支持使用OBS文件系统中加密后的数据来运行作业，同时支持将加密后的作业运行结果存储在OBS文件系统中。目前仅支持通过OBS协议访问数据。OBS支持使用KMS密钥的加解密方式对数据进行加解密，所有的加解密操作都在OBS完成，同时密钥管理在DEW服务。如需在MRS中使用OBS加密功能，用户需要有“KMS Administra
- [配置MRS集群远程运维](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0641.md): 当用户在使用MRS集群过程中遇到问题且需要技术支持人员协助定位时，用户可通过远程运维功能为支持人员提供临时访问权限。MRS集群提供多种远程运维方式：集群节点授权（授权访问集群节点机器）、集群界面授权（授权访问集群Manager界面）、日志共享（共享特定时间段内的集群日志）和指标共享（共享集群监控指标数据）等，用户可根据问题定位的需要选择合
- [配置MRS集群作业消息通知](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0762.md): 消息通知服务（Simple Message Notification，SMN）是可靠的、可扩展的、海量的消息处理服务。它可以依据用户的需求主动推送通知消息，最终用户可以通过短信、电子邮件等方式接收。MRS联合消息通知服务，采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式（例如短信和邮件通知）。通过配置
- [配置MRS集群通过IAM委托对接OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0768.md): MRS支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式。MRS通过IAM服务的“委托”机制进行简单配置， 实现使用ECS自动获取的临时AK/SK访问OBS。避免了永久AK/SK直接暴露在配置文件中的风险。通过绑定委托，ECS或BMS云服务将有权限来管理您的部分资源，请根据实际业务场景需求确认是否需要配置委托。
- [配置MRS集群安全通信授权](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0786.md): MRS集群通过管理控制台为用户发放、管理和使用大数据组件，大数据组件部署在用户的VPC内部，MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则，而开通相应的安全组规则需要获取用户授权，此授权过程称为通信安全授权。若不开启通信安全授权，MRS将无法创建集群。集群创建成功后若关闭通信将导致集群状态为“网络通道
- [购买专属云MRS集群](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0911.md): 本章节为您介绍如何在您的专属资源上创建一个MRS集群。如果您希望MRS服务运行在隔离的专属区域，请您先申请专属计算集群，再创建专属云MRS集群。了解和申请专属计算集群，请参见《专属计算集群用户指南》。了解和申请专属计算集群，请参见《专属计算集群用户指南》。如果您希望MRS服务拥有独享的存储设备，请您在开通专属计算集群后申请专属企业存储，再
- [MRS集群日志概述](https://support.huaweicloud.com/usermanual-mrs/mrs_01_1226.md): MRS集群的日志保存路径为“/var/log/Bigdata”。日志分类见下表：MRS日志目录清单见下表：运行日志记录的运行信息描述如表3所示。审计日志记录的审计信息包含Manager审计信息和组件审计信息。MRS的审计日志保存在数据库中，可通过“审计管理”页面查看及导出审计日志。组件审计日志的文件信息见下表。部分组件审计日志文件保存在“
- [配置Hive通过IAM委托访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_1286.md): 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Hive客户端创建Location为OBS路径的表。登录集群Manager具体操作，请参考访问MRS集群Manager。在左侧的导航列表中选择“Hive（服务） > 自定义”。在自定义配置项中，给参数“hdfs.site.customized.configs”添加配置
- [配置Flink通过IAM委托访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_1288.md): 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Flink任务中访问OBS并行文件系统并运行作业，本章节以通过提交一个Flink WordCount作业为例进行介绍。由于Flink作业是On Yarn运行，在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。下载并安装集群客户端的具
- [配置Spark通过IAM委托访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_1289.md): 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Spark客户端创建Location为OBS路径的表。在左侧的导航列表中选择“JDBCServer2x > 自定义”。在参数“spark.hdfs-site.customized.configs”中添加配置项“dfs.namenode.acls.enabled”，值为
- [配置HDFS通过IAM委托访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_1292.md): 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在HDFS客户端查看和创建OBS文件目录。下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。例如：使用以下命令访问OBS文件系统。hdfs dfs -ls obs://OBS并行文件系统名称/路径例如，执行以下命令访问“mrs-word001”并行文件系统，返
- [配置Ranger元数据存储至RDS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24051.md): 本章节旨在指导用户将现有集群的Ranger元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据，且元数据不随集群的删除而删除，也能够避免集群迁移时Ranger元数据的迁移。多个MRS集群对接同一个RDS且共用一份元数据时，需保证集群模式相同。该操作仅在MRS 3.1.0及之后版本需要执行。登录集群Manage
- [配置Hudi通过IAM委托访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24171.md): 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在spark-shell中创建Hudi COW表存储到OBS中。加载环境变量：加载组件环境变量：修改如下内容，“dfs.namenode.acls.enabled”参数用于设置是否启用HDFS ACL功能：其中，"obs://testhudi/cow_table/"是O
- [配置MRS云服务授权](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24210.md): 用户通过MapReduce服务（MRS）管理控制台与MRS集群进行交互，查看MRS集群状态监控以及进行集群相关管理操作，首次使用MRS服务时需要进行服务授权。进行服务授权后，MRS将在统一身份认证服务（IAM）中创建名为“mrs_admin_agency”的委托，该委托创建成功后请勿修改和删除，删除委托或者删除委托中的Tenant Adm
- [切换MRS集群VPC子网](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24259.md): 子网是虚拟私有云（VPC）内的IP地址集，可以将虚拟私有云的网段分成若干块，子网划分可以帮助您合理规划IP地址资源。虚拟私有云中的所有云资源都必须部署在子网内。同一个虚拟私有云下，子网网段不可重复。默认情况下，同一个VPC中，不同子网内的所有实例网络互通。同一个VPC内的子网可以位于不同可用区，不影响通信。使用子网的云资源，其可用区和子网
- [配置Flume通过IAM委托访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24279.md): 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Flume即可运行OBS作业。例如，本章节以提交一个读取客户端节点的txt文件内容输出到OBS目录中的Flume作业为例进行介绍。本章节适用于MRS 3.x及之后的版本。登录OBS管理控制台。单击“并行文件系统”进入并行文件系统页面。在OBS控制台并行文件系统列表中，单击已
- [配置Sqoop通过IAM委托访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24294.md): 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后，可在Sqoop客户端导入关系型数据库的表到OBS中，或导出OBS中的表到关系型数据库中。RDS MySQL实例与Sqoop所在的MRS集群在同一虚拟私有云和子网下。执行以下命令查询表数据：查询到的表数据为：下载并安装集群客户端的具体操作，请参考安装M
- [配置Hive元数据存储至RDS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24487.md): 本章节指导用户将现有集群的Hive元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据，且元数据不随集群的删除而删除，也能够避免集群迁移时Hive元数据的迁移。为了保证集群和MySQL或PostgreSQL数据库的网络访问，建议该实例与MRS集群的虚拟私有云和子网一致。RDS实例的安全组入方向规则需要放通My
- [添加MRS集群Task节点弹性伸缩策略](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24728.md): MRS的弹性伸缩规则功能支持根据集群负载对集群的Task节点进行弹性伸缩。如果数据量是按照周期进行有规律的变化，用户可以按照固定时间段来自动调整Task节点数量范围，从而在数据量变化前提前完成集群的扩缩容。根据集群负载配置Task节点弹性伸缩：根据集群实时负载指标或集群资源池指标对Task节点数量进行调整，数据量变化后触发扩缩容，有一定的
- [管理MRS集群弹性伸缩策略](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24732.md): MRS集群弹性伸缩策略创建完成后，用户可以在MRS管控台查看、修改、删除、开启和关闭弹性伸缩策略。如需通过API方式查看或删除弹性伸缩策略，具体操作请参见查看弹性伸缩策略或删除弹性伸缩策略。
- [MRS集群Task节点弹性伸缩概述](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24737.md): 在大数据应用，尤其是实时分析处理数据的场景中，常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS支持根据集群负载对集群的Task节点进行弹性伸缩。如果数据量是按照周期进行有规律的变化，用户可以按照固定时间段来自动调整Task节点数量范围，从而在数据量变化前提前完成集群的扩缩容。根据集群负载配置Task节点弹性伸缩：根据集群实时
- [HDFS对接OBS业务应用开发样例说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24748.md): HDFS创建FileSystem的代码会根据uri的scheme查找对应的实现类，即针对不同底层提供的实现类，在HDFS的配置文件中进行配置，HDFS就会根据fs.AbstractFileSystem.%s.impl创建对应的实现类。如下所示：*Create a file system instance for the specified
- [MRS 3.1.2-LTS补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24860.md): MRS 3.1.2-LTS.0.3补丁安装后，目录“/srv/BigData/data1/nm/localdir/filecache/”下的log4j旧版本的包，需要重新提交相关的yarn作业，才会加载新的log4j的包。MRS 3.1.2-LTS版本的补丁安装过程中会自动重启OMS，安装过程中将影响作业提交以及集群扩缩容等管控面集群控制
- [MRS 3.1.0补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24872.md): MRS 3.1.0版本的补丁安装/卸载过程中会自动重启OMS，安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能，请选择适当的时间进行补丁安装。MRS 3.1.0版本的补丁安装完成后，如需对接CES，请联系运维处理。MRS 3.1.0版本打了补丁后，重新下载安装的客户端也需要执行客户端升级步骤。MRS 3.1.0.8以及之后的补丁
- [配置LakeFormation数据连接前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24880.md): MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog。确认左上角实例是新创建的LakeFormation实例名称后，进入“元数据 > 数据目录”页面。（如果当前实例已包含名称为“hive”的Catalog，则跳过Catalog的创建操作。）在Catalog页面单击“创建”
- [创建集群时配置LakeFormation数据连接](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24882.md): 该章节指导用户在创建MRS 3.3.0-LTS或之后版本集群时配置LakeFormation数据连接，并在创建完成后配置MRS集群相关参数完成与LakeFormation的对接，实现统一的数据湖元数据及权限管理。登录集群Manager具体操作，请参考访问MRS集群Manager。在Manager界面，选择“集群 > 服务 > Guardi
- [安装在集群外的MRS客户端如何访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24889.md): 在OBS存算分离场景下，用户可以通过委托方式获取访问OBS的临时AK、SK，继而访问OBS服务端。对于集群外节点的客户端，如果想要访问OBS，可以通过Guardian组件获取AK、SK实现。Guardian组件是MRS的自研组件，可以帮助集群外的客户端访问OBS的临时AK、SK。仅MRS 3.1.5版本集群支持该功能。新建集群时选择Gua
- [安装MRS集群补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_248926.md): 当您通过如下途径获知集群版本补丁信息，请根据您的实际需求进行集群补丁升级操作。通过消息中心服务推送的消息获知MapReduce服务发布了补丁信息。在管理控制台的MRS集群详细页面内，选择“补丁管理 > 集群组件补丁”，查看可支持安装的补丁信息。请参见执行MRS集群健康检查检查集群状态，集群节点故障、硬盘故障等异常可能导致补丁安装卸载失败。
- [缩容ClickHouseServer节点](https://support.huaweicloud.com/usermanual-mrs/mrs_01_248971.md): MRS集群中部署了ClickHouse服务时，如果需要缩容ClickHouseServer节点，需参考本章节进行缩容前的数据检查，避免在删除节点过程中造成数据丢失。本操作仅适用于MRS 3.1.2-LTS及之后版本。缩容ClickHouseServer请在业务相对空闲时执行，因为退服操作会占用一定的带宽资源。如果ClickHouse集群修
- [MRS 3.2.0-LTS.1补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_248974.md): LakeFormation服务Add partitions API限制一次新增分区数最大100，影响MRS对接后Hive/Spark通过alter table add partitions一次新增过多分区MRS安装补丁后添加RangerKMS、PolicySync实例，必须部署在RangerAdmin相同节点上MRS 3.2.0-LTS.
- [配置Hive通过Guardian访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_248989.md): 参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后，即可在Hive客户端创建存储在OBS并行文件系统中的表。如果参考配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS，还需参考Ranger权限配置在Ra
- [配置Flink通过Guardian访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_248991.md): 参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后，即可在Flink任务中访问OBS并行文件系统并运行作业，本章节以通过提交一个Flink WordCount作业为例进行介绍。由于Flink作业是On Yarn运行，在配置Flink对接O
- [配置Spark通过Guardian访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_248992.md): 参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后，即可在Spark客户端创建Location为OBS路径的表。如果参考配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS，还需参考Ranger权限配置在
- [配置Hudi通过Guardian访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_248993.md): 参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后，即可在spark-shell中创建Hudi COW表存储到OBS中。如果参考配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS，还需参考Ranger权
- [配置HetuEngine通过Guardian访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_248995.md): 参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后，即可在HetuEngine客户端创建指定Location为OBS文件系统路径的表，也支持基于Hive Metastore方式对接OBS。如果参考配置Guardian服务启用Ranger 
- [配置HDFS通过Guardian访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_248996.md): 参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后，即可在HDFS客户端查看和创建OBS文件目录。如果参考配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS，还需参考Ranger权限配置在Ranger中
- [配置Yarn通过Guardian访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_248997.md): 参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后，即可在集群客户端执行Yarn任务访问OBS。如果参考配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS，还需参考Ranger权限配置在Ranger中为
- [配置Mapreduce通过Guardian访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_248998.md): 参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后，MapReduce服务还需参考本章节新增自定义配置。本参数用于控制JobHistory在扫描作业日志时是否始终包含用户目录下的日志文件，取值包含“true”和“false”true：Jo
- [MRS 3.1.5补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_248999.md): MRS 3.1.5版本的补丁安装/卸载过程中会自动重启OMS，安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能，请选择适当的时间进行补丁安装。慢盘隔离特性约束：隔离慢盘之前无法判断集群节点是否存在客户私有化数据，因此不要在节点数据盘存放个人私有化数据，避免慢盘隔离时对业务造成影响；自动触发慢盘隔离动作后，对于原来写两副本数据存在
- [克隆MRS集群](https://support.huaweicloud.com/usermanual-mrs/mrs_01_249003.md): 当新建集群与某原有集群配置相同时，可使用克隆集群功能快速创建集群。已删除的集群仅支持删除3个月内的集群进行克隆。克隆包周期集群时默认不自动续费。磁盘类型为专属分布式存储的集群不允许克隆。克隆时仅可以修改为更高集群版本，无法克隆创建历史版本集群。在组件服务配置修改的参数和创建集群时选择的自定义软件配置的参数不会克隆到新集群。资源池维度的弹性
- [克隆MRS集群作业](https://support.huaweicloud.com/usermanual-mrs/mrs_01_249004.md): MRS集群提供了克隆作业能力。用户每次只能克隆1个作业，单击克隆后的作业信息不再区分显示运行程序参数和执行程序参数，而是合并显示为命令参考。克隆MRS集群作业可以应用在以下几个场景：快速部署相似作业：当有一系列相似的数据分析或处理任务时，通过克隆作业可以避免重复配置作业参数、输入输出路径、任务逻辑等信息。只需在克隆后的作业基础上进行少量修
- [MRS 1.9.2.3及之后版本补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_249135.md): 安装MRS 1.9.2.5补丁期间会重启MRS Manager，重启期间会引起MRS Manager服务暂时不可用。如果集群之前安装了1.9.2.3补丁，安装完MRS 1.9.2.5补丁后不需要重启服务，否则安装MRS 1.9.2.5补丁需要滚动重启Hadoop、Hive、Spark、Kafka、Ranger、Presto以及相关依赖服务
- [MRS 2.1.1.1补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_249136.md): 安装MRS 2.1.1.1补丁期间会重启MRS Manager。MRS 2.1.1.1补丁安装完成之后，需要关闭指标共享，重新打开指标共享。
- [配置MRS集群组件回收站目录和OBS碎片生命周期](https://support.huaweicloud.com/usermanual-mrs/mrs_01_249150.md): 在MRS 3.2.0-LTS.1及后续版本中，集群内组件默认支持数据防误删策略，确保用户删除的文件数据不会直接被删除，而是会被保存到OBS文件系统内的用户回收站目录中。这一功能与Hadoop FS原生的垃圾回收机制兼容，为基于OBS的Hadoop大数据系统提供了额外的数据保护。本章节用于指导用户设置OBS文件系统内回收站目录和碎片的生命周
- [MRS 1.9.3.9及之后版本补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_249167.md): MRS 1.9.3.11补丁安装/卸载过程中会自动重启OMS，安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能，请选择适当的时间进行补丁安装，不需要重启大数据组件。MRS 1.9.3.10补丁安装/卸载过程中会自动重启OMS，安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能，请选择适当的时间进行补丁安装，不需要重启大数
- [为已有集群配置LakeFormation数据连接](https://support.huaweicloud.com/usermanual-mrs/mrs_01_249232.md): 该章节指导用户为当前已有的MRS 3.3.0-LTS及之后版本集群对接LakeFormation。MRS集群已开启Kerberos认证，且集群版本为MRS 3.3.0-LTS及之后版本。MRS集群已开启存算分离，数据存储在OBS中。集群的区域与LakeFormation实例保持一致。集群的虚拟私有云与LakeFormation数据连接保持
- [配置Hive对接LakeFormation授权管理](https://support.huaweicloud.com/usermanual-mrs/mrs_01_249234.md): LakeFormation数据湖权限支持配置数据库、数据表、函数等维度的权限。云服务管理员可针对不同的管理对象配置不同IAM用户组的权限，统一对数据湖资源进行管理。MRS集群对接LakeFormation后，LakeFormation服务中的相关数据湖权限策略及角色信息会自动同步至MRS Ranger，对于MRS集群内的用户， 可通过关联
- [同步MRS集群节点磁盘信息](https://support.huaweicloud.com/usermanual-mrs/mrs_01_249275.md): 当云硬盘实际信息与控制台展示的云硬盘信息不一致，或者节点列表展示的云硬盘信息显示“数据盘: --（请同步磁盘信息）”，需要同步最新云硬盘时，可以使用同步磁盘信息功能。同步磁盘信息用于检查集群云磁盘最新信息并进行更新，使控制台展示的云硬盘信息与实际最新云硬盘信息保持一致。同步磁盘信息功能仅支持同步云硬盘信息，不支持同步本地盘信息。正在进行磁
- [配置对接LakeFormation概述](https://support.huaweicloud.com/usermanual-mrs/mrs_01_249276.md): LakeFormation是企业级一站式湖仓构建服务，提供元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持无缝对接多种计算引擎及大数据云服务，使客户便捷高效地构建数据湖和运营相关业务，加速释放业务数据价值。您可以创建一个LakeFormation实例并与MRS集群对接，实现统一的数据湖元数据及权限管
- [扩容MRS集群节点数据盘](https://support.huaweicloud.com/usermanual-mrs/mrs_01_249282.md): 随着业务增长，当集群节点的数据盘存储空间不足时，可以进行数据盘扩容操作。当集群版本为MRS 3.1.0（须安装3.1.0.0.11及以上补丁）、MRS 3.1.5（须安装3.1.5.0.3及以上补丁）、MRS 3.3.0-LTS及之后版本请参考数据盘扩容（一键扩容）进行数据盘扩容。当集群版本为MRS 3.1.2-LTS.3、MRS 3.2
- [运行HadoopStream作业](https://support.huaweicloud.com/usermanual-mrs/mrs_01_249297.md): Hadoop Streaming是Apache Hadoop提供的一种编程接口，允许用户使用任何可执行程序（如Python、Shell脚本）作为Map和Reduce函数，而非传统的Java语言。通过标准输入输出（STDIN/STDOUT）进行数据交换，Hadoop Streaming使开发者能够快速利用已有脚本语言编写分布式计算作业，尤其
- [EulerOS补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_2493068.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [MRS集群Core节点扩容成功后状态异常如何处理](https://support.huaweicloud.com/usermanual-mrs/mrs_01_2493109.md): Core节点扩容可能存在扩容节点完成，但节点上存在启动失败的实例的情况，现象如下：Core节点已经扩容完成，节点管理页面可以看到新扩容的节点：任务管理中有添加节点的任务失败或部分成功：若IAM用户已同步，可在组件管理观察到存在未启动角色。若未同步，可在集群Manager页面观察到存在未启动角色。场景一：添加节点任务在安装组件前失败登录MR
- [管理MRS集群安全组](https://support.huaweicloud.com/usermanual-mrs/mrs_01_2493122.md): 安全组是一个逻辑上的分组，为具有相同安全保护需求并相互信任的云服务器、云容器、云数据库等实例提供访问策略。安全组中包括入方向规则和出方向规则，用户可以针对每条入方向规则指定来源、端口和协议，针对出方向规则指定目的地、端口和协议，用来控制安全组内实例入方向和出方向的网络流量。更多关于安全组和安全组规则的说明可参考安全组和安全组规则。创建MR
- [MRS集群节点规格说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300003.md): MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。弹性云服务器由多个租户共享物理资源，而裸金属服务器的资源归用户独享。对于关键类应用或性能要求较高的业务（如大数据集群、企业中间件系统），并且要求安全可靠的运行环境，使用裸金属服务器更合适。当使用BMS类型的规格时，不支持升级Master节点规格。仅当集群的“计费模式”为“包年/
- [修改MRS集群NTP服务器](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300008.md): 如果未配置NTP服务器或已配置的NTP不再使用，管理员可以为MRS集群重新指定或者更换新的NTP服务器，使集群从新的NTP时钟源同步时间。本章节仅适用于MRS 3.x及以后版本。已准备新的NTP服务器，服务器的NTP服务状态正常。MRS集群与新NTP服务器的网络已互通。更换NTP服务器是高危操作，更换后集群时间可能将会变化。更换NTP服务
- [修改OMS服务配置](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300009.md): 在MRS集群运行过程中，管理员可能需要根据用户环境的安全要求调整OMS（Operation Management Service，运维管理服务）的配置参数。例如，当需要调整Kerberos认证超时时间、LDAP连接参数或重置LDAP账户密码时，可以通过FusionInsight Manager修改OMS中Kerberos（okerbero
- [修改MRS集群Manager路由表](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300010.md): 安装FusionInsight Manager时系统会自动在主管理节点上创建2条路由信息，执行ip rule list可以查看。如果FusionInsight Manager创建的路由信息与企业网络规划配置的路由信息发生冲突时，集群管理员可以使用“autoroute.sh”工具禁用或启用Manager创建的路由信息。没有配置ntp外部服务
- [添加删除MRS集群组件](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300012.md): 创建MRS集群时，用户可自行选择集群内包含的服务组件，集群创建成功后，管理员可通过管理控制台手动为MRS添加新的组件或者已删除的组件。普通版本集群：仅MRS 3.1.2及之后普通版本的自定义类型集群支持添加和删除组件。LTS版本集群：仅MRS 3.1.2-LTS.3及之后LTS版本的自定义类型集群支持添加和删除组件。需要在IAM用户所属的
- [管理MRS角色实例组](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300013.md): 在大规模MRS集群中，同一角色（如DataNode、NodeManager）的多个实例可能分布在具有不同硬件配置的节点上。管理员需要为不同硬件配置的实例组应用不同的配置参数（如内存、CPU限制等）。如果逐个实例修改配置，不仅效率低下，且容易遗漏。那么，如何高效地批量管理相同角色的实例配置？MRS提供角色实例组功能，允许用户按照相同硬件配置
- [执行MRS角色实例主备倒换](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300014.md): MRS角色实例主备倒换功能适用于需要对主备部署的角色实例执行主备切换的MRS集群管理员和运维工程师。典型业务场景包括：主节点故障切换：主实例节点资源负载过高或软件进程异常时，手动触发主备倒换，将服务切换到备节点恢复业务。计划性维护：需要对主节点执行维护操作（如系统升级、硬件更换）前，先执行主备倒换将服务切换到备节点，实现不停机维护。故障演
- [切换MRS集群组件Ranger鉴权](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300015.md): 新安装的已开启Kerberos认证的集群默认即安装了Ranger服务并启用了Ranger鉴权，用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权，集群管理员可在服务页面手动停用Ranger鉴权，停用Ranger鉴权后，访问组件资源时系统将继续基于Manager的角色模型进行权限控制。从历史版
- [批量升级MRS集群客户端](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300018.md): 在FusionInsight Manager界面上下载的客户端包中包含客户端批量升级工具，当集群升级或扩容后需要对多个客户端进行升级时，可以使用该工具对客户端进行批量一键升级。同时该工具在提供批量升级客户端功能的同时，也提供了轻量级的批量刷新客户端所在节点/etc/hosts文件的功能。本章节仅适用于MRS 3.x及以后版本。登录集群Ma
- [为MRS集群用户绑定租户](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300021.md): 创建好的租户不能直接登录集群访问资源，管理员需要通过FusionInsight Manager为已有租户创建新用户，通过绑定租户的角色继承其操作权限，以满足业务使用。该章节操作以MRS 3.x及之后版本集群为例进行说明。管理员已明确业务需求，并已创建了租户。登录集群Manager界面请参考访问MRS集群Manager。若为系统中已有的用户
- [Capacity调度器模式下清除租户非关联队列](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300024.md): 在Yarn Capacity Scheduler模式下，删除租户的时候，只是把租户队列的容量设置为0，并且把状态设为“STOPPED”，但是队列在Yarn的服务里面仍然残留。由于Yarn的机制，无法动态删除队列，管理员可以执行命令手动清除残留的队列。脚本运行过程中会重启controller服务，同步Yarn的配置，并重启主备Resourc
- [切换MRS租户资源调度器](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300025.md): 在MRS集群运维中，不同的业务场景对Yarn资源调度的需求不同。Superior调度器适用于多租户复杂资源隔离场景，Capacity调度器适用于队列层级化资源管理场景。当业务需求变化时，集群管理员需要切换Yarn调度器类型以匹配当前资源管理策略。切换调度器会将原有调度器的租户、资源池等配置清除，并使用目标调度器的参数重建资源管理模型。本文
- [MRS集群用户认证策略](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300029.md): 大数据平台用户需要对用户进行身份认证，防止不合法用户访问集群。安全模式或者普通模式的集群均提供认证能力。安全模式的集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证，提高了安全性，可有效消除使用网络发送用户凭据进行模拟认证的安全风险。集群中由KrbServer服务提供Kerberos认证支
- [MRS集群默认权限信息说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300031.md): 请参见MRS集群用户账号一览表。
- [配置MRS集群用户私有属性](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300033.md): 用户的私有属性是指用户的密码只能由用户本人管理，管理员无法初始化或重置私有用户的密码。当用户不希望管理员能够重置其密码时，系统可开启私有属性功能。设置私有属性后，管理员不能初始化私有用户（业务用户设置了私有属性后，即为私有用户）的密码。admin用户或绑定Manager_administrator角色的管理员用户，可以在Manager配置
- [静态服务资源概述](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300039.md): 集群分配给各个服务的资源是静态服务资源，这些服务包括Flume、HBase、HDFS、IoTDB、Kafka（Kafka组件仅MRS 3.2.0及之后版本支持静态服务池）和Yarn。每个服务的计算资源总量固定，不与其他服务共享，是静态的。租户通过独占或共享一个服务来获取这个服务运行时需要的资源。静态服务池用来指定服务资源的配置。在服务级别
- [查看MRS集群节点资源监控指标](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300042.md): 在MRS集群日常运维中，管理员需要实时掌握各节点的运行状态和资源消耗情况。当集群出现性能瓶颈、节点故障或资源不足等问题时，通过查看节点资源监控指标可以快速定位问题节点，分析CPU、内存、磁盘和网络等资源的使用趋势，为容量规划和故障排查提供数据支撑。本文介绍通过MRS管理控制台和Manager界面查看节点资源监控指标的方法。通过MRS管理控
- [执行MRS集群节点健康检查](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300043.md): 如果某个主机节点的运行状态不是良好，用户可以执行主机健康检查，快速确认某些基本功能是否存在异常。在日常运维中，管理员也可以执行主机健康检查，以保证主机上各角色实例的配置参数以及监控没有异常、能够长时间稳定运行。登录集群Manager界面请参考访问MRS集群Manager。健康检查的结果可直接在检查列表左上角单击“导出报告”，选择导出结果。
- [启用MRS集群间拷贝功能](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300047.md): 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能，该功能默认未启用，复制数据的集群双方都需要配置。管理员可以根据以下指导，在Manager修改参数以启用集群间拷贝功能，启用之后即可创建将数据备份至远端HDFS（RemoteHDFS）的备份任务。启用集群间复制功
- [备份CDL业务数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300050.md): 为了确保CDL日常数据安全，或者系统管理员需要对CDL进行重大操作（如升级或迁移等）时，需要对CDL数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。CDL的数据存储在DBService与Kafka服务中，用户可以通过FusionInsight Manager创建备份DBService和K
- [备份ClickHouse业务数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300052.md): 为了确保ClickHouse日常用户的业务数据安全，或者集群用户需要对ClickHouse进行重大操作（如升级或迁移等），需要对ClickHouse数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。用户可以通过FusionInsight Manager创建备份ClickHouse业务数据任
- [备份Flink元数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300054.md): 为了确保Flink集群中的元数据安全，或者系统管理员需要对Flink进行重大操作（如升级或迁移等）时，需要对Flink集群的元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。用户可以通过FusionInsight Manager创建备份Flink元数据任务，系统支持自动或手动进行数据备份
- [备份HBase业务数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300056.md): 为了确保HBase日常数据安全，或者系统管理员需要对HBase进行重大操作（如升级或迁移等）时，需要对HBase业务数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。用户可以通过FusionInsight Manager创建备份HBase业务数据任务，系统支持自动或手动进行数据备份。MRS
- [备份HDFS NameNode元数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300057.md): 为了确保NameNode日常数据安全，或者系统管理员需要对NameNode进行重大操作（如升级或迁移等），需要对NameNode数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。用户可以通过FusionInsight Manager创建备份NameNode元数据任务，系统支持自动或手动进行
- [备份IoTDB元数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300060.md): 为了确保IoTDB元数据安全，防止因IoTDB的元数据文件损坏等导致IoTDB服务不可用时，需要对IoTDB元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。系统管理员可以通过FusionInsight Manager创建备份IoTDB任务并备份元数据。支持创建任务自动或手动备份数据。根
- [备份IoTDB业务数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300061.md): 为了确保IoTDB日常数据安全，或者系统管理员需要对IoTDB进行重大操作（如升级或迁移等），需要对IoTDB业务数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。系统管理员可以通过FusionInsight Manager创建备份IoTDB任务并备份数据。支持创建任务自动或手动备份数据。
- [备份Kafka元数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300062.md): 为了确保Kafka元数据安全，或者系统管理员需要对ZooKeeper进行重大操作（如升级或迁移等）时，需要对Kafka元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。用户可以通过FusionInsight Manager创建备份Kafka元数据任务，系统支持自动或手动进行数据备份。MR
- [恢复Manager数据（MRS 3.x及之后版本）](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300064.md): 在用户意外修改、删除或需要找回数据时，系统管理员对FusionInsight Manager系统进行重大数据调整等操作后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，需要对Manager进行恢复数据操作。用户可以通过FusionInsight Manager创建恢复Manager数据任务，系统仅支持手动进行数据恢复。MRS集群
- [恢复CDL业务数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300065.md): 在用户意外修改、删除或需要找回数据时，系统管理员对CDL进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对CDL进行恢复数据操作。CDL的元数据存储在DBService与Kafka服务中，用户可以通过FusionInsight Manager创建恢复DBS
- [恢复ClickHouse元数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300066.md): 在用户意外修改、删除或需要找回数据时，集群用户需要对ClickHouse进行重大操作（如升级或迁移等）后，系统数据出现异常或未达到预期结果，导致ClickHouse组件全部故障无法使用，或者迁移数据到新集群的场景中，需要对ClickHouse元数据进行恢复数据操作。集群用户可以通过FusionInsight Manager创建恢复Clic
- [恢复ClickHouse业务数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300067.md): 在用户意外修改、删除或需要找回数据时，集群用户对ClickHouse进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对ClickHouse进行恢复数据操作。集群用户可以通过FusionInsight Manager创建恢复ClickHouse业务数据任务，
- [恢复DBService元数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300068.md): 在用户意外修改、删除或需要找回数据时，系统管理员对DBService进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对DBService进行恢复数据操作。用户可以通过FusionInsight Manager创建恢复DBService元数据任务，系统仅支持
- [恢复Flink元数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300069.md): 在用户意外修改、删除或需要找回数据时，系统管理员需要对Flink进行重大操作（如升级或迁移等）后，系统数据出现异常或未达到预期结果，导致Flink组件全部故障无法使用，或者迁移数据到新集群的场景中，需要对Flink元数据进行恢复数据操作。用户可以通过FusionInsight Manager创建恢复Flink元数据任务，系统仅支持手动进行
- [恢复HBase元数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300070.md): 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。用户可以通
- [恢复HBase业务数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300071.md): 在用户意外修改、删除或需要找回数据时，系统管理员对HBase进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HBase业务数据进行恢复数据操作。用户可以通过FusionInsight Manager创建恢复HBase业务数据任务。系统仅支持手动进行数据恢
- [恢复HDFS NameNode元数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300072.md): 在用户意外修改、删除或需要找回数据时，系统管理员对NameNode进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对NameNode进行恢复数据操作。用户可以通过FusionInsight Manager创建恢复NameNode元数据任务，系统仅支持手动进
- [恢复HDFS业务数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300073.md): 在用户意外修改、删除或需要找回数据时，系统管理员对HDFS进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HDFS进行恢复数据操作。用户可以通过FusionInsight Manager创建恢复HDFS业务数据任务，系统仅支持手动进行数据恢复。MRS集群
- [恢复Hive业务数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300074.md): 在用户意外修改、删除或需要找回数据时，系统管理员对Hive进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对Hive进行恢复数据操作。用户可以通过FusionInsight Manager创建恢复Hive业务数据任务，系统仅支持手动进行数据恢复。MRS集群
- [恢复IoTDB元数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300075.md): 为了确保IoTDB元数据安全，防止因IoTDB的文件损坏等导致IoTDB服务不可用时，需要对IoTDB元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。系统管理员可以通过FusionInsight Manager创建恢复IoTDB任务。只支持创建任务手动恢复数据。只支持进行数据备份时的系
- [恢复IoTDB业务数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300076.md): 在用户意外修改、删除或需要找回数据时，系统管理员对IoTDB进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对IoTDB进行恢复数据操作。系统管理员可以通过FusionInsight Manager创建恢复IoTDB任务。只支持创建任务手动恢复数据。只支持
- [恢复Kafka元数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300077.md): 在用户意外修改、删除或需要找回数据时，系统管理员对ZooKeeper进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，导致Kafka组件全部故障无法使用，或者迁移数据到新集群的场景中，需要对Kafka元数据进行恢复数据操作。用户可以通过FusionInsight Manager创建恢复Kafka元数据任务，系统仅
- [使用HDFS快照快速恢复组件业务数据](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300078.md): 使用DistCp备份数据时，本集群HDFS中将保存备份数据的快照信息。FusionInsight Manager支持使用本地的快照快速恢复数据，减少从备集群恢复数据使用的时间。管理员可以通过FusionInsight Manager与本集群HDFS保存的快照信息，创建本地快速恢复任务并执行恢复任务。该章节仅适用于MRS 3.x及之后版本。
- [查看MRS组件角色实例日志](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300080.md): MRS集群创建成功后，用户可以通过Manager界面在线直接查看组件各角色实例的日志内容并下载指定日志文件，便于快速定位分析问题。本章节操作仅支持MRS 3.x及之后的版本。登录集群Manager界面请参考访问MRS集群Manager。在“主机”页面单击主机名称，在主机详情页面的“实例”区域，也可查看该主机上所有角色实例的日志文件。日志内
- [采集MRS集群服务堆栈信息](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300082.md): 当集群服务出现卡顿、响应缓慢或内存泄漏等问题时，集群管理员可在Manager中采集服务堆栈信息用于问题定位。堆栈信息是JVM（Java Virtual Machine，Java虚拟机）运行时的状态快照，通过分析堆栈信息可以定位线程阻塞、内存溢出等问题的根因。Manager支持采集指定角色或实例的堆栈信息，保存到本地目录并支持下载。采集内容
- [配置MRS组件默认日志级别与归档文件大小](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300083.md): 在MRS集群运维和问题排查中，管理员需要通过查看组件日志来定位故障和分析问题。默认的日志级别可能产生大量冗余信息，导致关键错误被淹没在海量日志中，同时日志文件持续增长可能占用过多磁盘空间，影响集群正常运行。通过调整日志级别，管理员可以控制日志输出的详细程度，在排障时启用DEBUG级别获取详细信息，在正常运行时使用INFO级别减少日志量。通
- [配置MRS集群审计日志本地备份数](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300084.md): 集群组件的审计日志按名称分类，保存在集群各节点“/var/log/Bigdata/audit”，OMS每天凌晨3点自动备份这些审计日志目录。各节点审计日志目录会按<节点IP>.tar.gz的文件名压缩，所有压缩文件再按<yyyy-MM-dd_HH-mm-ss>.tar.gz的文件名格式，压缩保存在主管理节点“/var/log/Bigdat
- [修改MRS集群系统域名](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300088.md): 每个系统用户安全使用的范围定义为“域”，不同的系统需要定义唯一的域名。FusionInsight Manager的域名在安装过程中生成，如果需要修改为特定域名，系统管理员可通过FusionInsight Manager进行配置。修改系统域名为高危操作，在执行本章节操作前，请确认已参考备份Manager数据（MRS 3.x及之后版本）章节成
- [MRS集群加固策略说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300092.md): 在FusionInsight Manager软件安装及使用过程中，针对Tomcat基于开源做了如下功能增强：升级Tomcat版本为官方稳定版本。设置应用程序之下的目录权限为500，对部分目录支持写权限。系统软件安装完成后自动清除Tomcat安装包。应用程序目录下针对工程禁用自动部署功能，只部署了web、cas和client三个工程。禁用部
- [配置Hadoop数据传输加密](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300093.md): 在大数据集群运行过程中，Hadoop各组件之间（如HDFS、Yarn、Spark、HBase等）通过RPC通道进行数据传输和指令交互。默认情况下，这些通信通道不加密，数据以明文方式在网络中传输。当集群部署在公网或非可信网络环境中时，未加密的数据可能被中间人截获，导致敏感信息泄露。那么，如何对Hadoop组件间的数据传输通道进行加密？MRS
- [配置Spark数据传输加密](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300096.md): 在分布式计算环境中，Spark数据传输加密是保障数据安全的重要环节。当待数据中包含敏感信息或者网络环境存在安全隐患时，用户可设置Spark安全通道加密，以增强安全性。在集群Manager管理界面中，选择“集群 > 服务 > 服务名 > 配置”，展开“全部配置”页签，在搜索框中输入参数名称，修改配置参数后需要重启对应服务以使配置生效。登录集
- [配置ZooKeeper数据传输加密](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300097.md): 默认情况下，ZooKeeper客户端与服务端之间、服务端各实例之间默认未开启SSL通道加密传输，本章节指导用户开启ZooKeeper通道加密传输。该功能仅适用于MRS 3.1.2及之后版本集群。ZooKeeper服务端开启SSL通道加密传输后，将导致一定程度的性能下降。ZooKeeper服务端开启SSL通道加密传输，需重启ZooKeepe
- [配置Controller与Agent间数据传输加密](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300098.md): MRS集群创建后Controller和Agent之间需要进行数据通信，在通信的过程中采用了Kerberos认证，出于对集群性能的考虑，通信过程默认不加密，对于一些安全要求较高用户可以参考本章节操作进行加密。该章节仅适用于MRS 3.x及之后版本。执行加密操作时，会自动重启Controller和所有Agent，重启期间会造成FusionIn
- [配置受信任IP地址访问集群LDAP](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300099.md): 默认情况下，部署在OMS和MRS集群中的LDAP服务允许任意IP访问。如果需要只允许受信任的IP地址访问LDAP服务，可以配置iptables过滤列表的INPUT策略。该章节仅适用于MRS 3.x及之后版本。配置受信任IP访问LDAP以后，未配置的IP无法访问LDAP。扩容前，新增加的IP需要配置为受信任的IP。已联系集群管理员收集集群内
- [配置HBase只读模式集群允许修改数据的IP白名单](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300101.md): MRS 3.x及之后版本，当HBase集群开启Replication功能时，为了保护主备集群的HBase数据一致性，对备集群HBase增加了数据修改操作的保护。当备集群HBase接收到数据修改操作的RPC请求时，首先检查发出该请求的用户的权限，只有HBase管理用户才有修改权限；其次检查发出该请求的IP的有效性，备集群只接收来自IP白名单
- [配置LDAP输出审计日志](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300102.md): 用户可以通过设置LDAP服务的审计日志输出级别，将审计内容输出至系统日志信息中（如“/var/log/messages”），用于查看用户的活动信息及操作指令信息。LDAP的审计日志开启后，会产生大量日志信息，严重影响集群性能，请谨慎开启。该章节仅适用于MRS 3.x及之后版本。在双平面组网的集群中，由于LDAP部署在业务平面中，为保证LD
- [更新MRS集群节点omm用户ssh密钥](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300103.md): 在安装集群时，系统将自动为omm用户生成ssh认证私钥和公钥，用来建立节点间的互信。在集群安装成功后，如果原始私钥不慎意外泄露或者需要使用新的密钥时，系统管理员可以通过以下操作手动更改密钥值。该章节仅适用于MRS 3.x及之后版本。已停止集群。修改时禁止同时进行其他管理类操作。如果该节点是Manager管理节点，务必在主管理节点上执行相关
- [修改MRS集群组件鉴权配置开关](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300104.md): 集群部署为安全模式或者普通模式时，HDFS和ZooKeeper默认会对访问服务的用户进行鉴权，没有权限的用户无法访问HDFS和ZooKeeper中的资源。集群部署为普通模式时，Yarn默认不会对访问用户进行鉴权，所有用户可以访问Yarn中的资源。管理员可以根据业务实际需要，在普通模式集群中配置开启Yarn鉴权，或关闭HDFS和ZooKee
- [配置MRS集群外节点用户访问普通模式集群资源](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300105.md): 集群安装为普通模式时，各组件客户端不支持安全认证且无法使用kinit命令，所以集群外的节点默认无法使用集群中的用户，可能导致在这些节点访问某个组件服务端时用户鉴权失败。如果需要在集群外节点以组件用户身份访问集群资源，管理员需为集群外节点设置同名用户可通过SSH协议登录节点的功能，并以登录操作系统用户身份连接集群各组件服务端。该章节仅适用于
- [修改MRS集群管理界面会话超时时间](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300106.md): FusionInsight Manager支持配置Manager页面及组件WebUI页面（MRS 3.6.0及之后版本支持）超时时间，方便用户根据自身业务情况，自定义调整超时时间。但需合理设置Web页面超时时间，避免由于Web页面长时间暴露造成的信息泄露。该功能仅MRS 3.3.0及之后版本集群支持。MRS 3.6.0及之后版本，支持参考
- [解锁MRS集群LDAP用户](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300108.md): 在用户输入错误密码次数大于允许输入的错误次数，造成用户被锁定的场景下，用户可以通过Manager为锁定的用户解锁（仅支持解锁通过Manager创建的用户），也可以通过登录MRS集群节点后使用命令进行解锁。如果服务出现异常状态，有可能是系统内部用户被锁定，需及时解锁，否则会影响集群正常运行。系统内部用户列表请参见MRS集群用户账号一览表。系
- [解锁MRS集群LDAP管理账户](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300109.md): 管理员在LDAP用户和管理账户被锁定时，需要在管理节点解锁集群LDAP用户“cn=pg_search_dn,ou=Users,dc=hadoop,dc=com”以及LDAP管理账户“cn=krbkdc,ou=Users,dc=hadoop,dc=com”和“cn=krbadmin,ou=Users,dc=hadoop,dc=com”。Ld
- [修改MRS集群LDAP管理账户密码](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300111.md): 建议管理员定期修改集群LDAP管理账户“cn=krbkdc,ou=Users,dc=hadoop,dc=com”和“cn=krbadmin,ou=Users,dc=hadoop,dc=com”的密码，以提升系统运维安全性。该章节仅适用于MRS 3.1.0版本。MRS 3.1.0之后版本请参考修改OMS服务配置章节。修改密码后需要重启Krb
- [重置MRS集群组件数据库用户密码](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300113.md): MRS集群中组件连接DBService数据库的用户默认密码为随机密码，建议管理员定期重置组件数据库用户的密码，以提升系统运维安全性。本章节仅适用于MRS 3.1.2及之后版本。MRS 3.1.2之前版本请参考修改MRS集群组件数据库用户密码章节。该章节不适用于Ranger服务。RangerKMS依赖于Ranger的数据库密码，重置之后会导
- [重置DBService数据库omm用户密码](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300114.md): MRS集群中DBService数据库omm用户的默认密码为随机密码，建议定期重置DBService数据库omm用户的密码，以提升系统运维安全性。该章节仅适用于MRS 3.2.0-LTS.1及之后的版本，MRS 3.2.0-LTS.1之前的版本暂不支持重置该密码。登录集群Manager具体操作，请参考访问MRS集群Manager。在弹出窗口
- [修改DBService数据库compdbuser用户密码](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300115.md): 建议管理员定期修改OMS数据库管理员的密码，以提升系统运维安全性。该章节内容仅适用于MRS 3.x及之后版本。登录集群Manager界面请参考访问MRS集群Manager。compuserdb用户密码不支持在备DBService节点修改。只需在主管理节点执行修改操作，无需在备管理节点操作。su - ommcd $DBSERVER_HOME
- [配置MRS集群告警屏蔽状态](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300116.md): MRS集群支持手动配置告警的屏蔽状态，可以有效过滤冗余信息，让管理员更聚焦于关键告警。MRS集群运行过程中，不想关注某些不重要的告警，屏蔽次要告警。第三方产品对接MRS集群时，部分告警与产品自身的告警信息重复，屏蔽重复告警。部署环境特殊时，可能存在特定告警误报，屏蔽误报的告警。告警被屏蔽后，与该告警ID相同的新告警将不再出现在“告警管理”
- [配置定时备份告警与审计信息](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300117.md): 用户通过修改配置文件，实现定时备份FusionInsight Manager的告警信息、Manager审计信息以及所有服务的审计信息到指定的存储位置。备份支持使用SFTP协议或FTP协议，FTP协议未加密数据可能存在安全风险，建议使用SFTP。本章节适用于MRS 3.x及以后版本。MRS集群节点登录请参考登录MRS集群。用户只需在主管理节
- [开启MRS集群维护模式停止上报告警](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300118.md): FusionInsight Manager支持将集群、服务、主机或者OMS配置为维护模式，进入维护模式的对象将不再上报告警，避免在升级等维护变更期间系统产生大量无意义的告警，影响运维人员对集群状态的判断。集群维护模式集群未正式上线或暂时离线进行运维操作时（例如非滚动方式的升级），可将整个集群配置为维护模式。集群未正式上线或暂时离线进行运维
- [查看MRS集群节点运行状态](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300120.md): MRS集群节点运行状态查看功能适用于需要监控集群节点健康状态和资源使用情况的MRS集群管理员和运维工程师。典型业务场景包括：日常巡检：定期查看集群各节点的CPU、内存、磁盘使用率，及时发现资源瓶颈和异常节点。故障排查：当业务任务执行异常或集群告警时，通过查看节点运行状态定位故障节点和异常组件。容量规划：监控节点资源使用趋势，为集群扩容或节
- [同步MRS集群配置](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300121.md): 在MRS集群运维中，管理员修改服务配置参数后，相关服务的“配置状态”会变为“配置过期”，表示这些服务本地的配置参数值尚未与服务端同步生效。当某个配置需要同时下发到集群所有服务，或修改某项配置导致多个不同服务的配置状态为“配置过期”或“失败”时，管理员需要对集群执行同步配置操作，将最新的配置参数下发到所有相关服务，并重启配置过期的服务实例，
- [SQL防御概述](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300124.md): 当前大数据领域的SQL引擎层出不穷，在带给解决方案多样性的同时，也暴露出一定的问题，例如SQL输入语句质量良莠不齐、SQL问题难定位、大SQL语句消耗资源过多等。低质量的SQL会对数据分析平台系统带来不可预料的冲击，影响系统的性能或者平台稳定性。Hive、Spark、HetuEngine、ClickHouse的SQL防御功能仅MRS 3.
- [添加MRS SQL防御规则](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300125.md): 用户可以在Manager界面对指定的租户及SQL引擎添加SQL防御规则，系统会对触发规则的SQL请求进行提示、拦截或阻断操作。为集群添加或者修改SQL防御规则时需结合业务场景进行规则是否开启以及对应规则阈值是否合理的评估，不合理的防御规则对相关SQL请求进行拦截或阻断后，可能会对上层业务造成影响。登录集群Manager界面请参考访问MRS
- [配置Hive SQL防御规则](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300126.md): 用户可以在Manager界面配置Hive的SQL防御规则，根据业务调整对应SQL防御规则的参数。已安装包含Hive服务的集群客户端，例如安装目录为“/opt/hadoopclient”。集群中Hive服务运行状态正常。对于开启了Kerberos认证的集群，已创建具有Hive操作权限的用户。防御规则默认动态生效时间为5秒，修改队列后Hive
- [配置ClickHouse SQL防御规则](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300127.md): 用户可以在Manager界面配置ClickHouse的SQL防御规则，根据业务调整对应SQL防御规则的参数。已安装包含ClickHouse服务的集群客户端，例如安装目录为“/opt/hadoopclient”。ClickHouse逻辑集群运行状态正常。对于开启了Kerberos认证的集群，需要创建具有ClickHouse表操作权限的业务用
- [配置HetuEngine SQL防御规则](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300128.md): 用户可以在Manager界面配置HetuEngine的SQL防御规则，根据业务调整对应SQL防御规则的参数。已安装包含HetuEngine服务的集群客户端，安装目录如“/opt/hadoopclient”。HetuEngine服务及计算实例运行状态正常。如集群已启用Kerberos认证，需提前创建HetuEngine的用户并授予相关权限，
- [配置Spark SQL防御规则](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300129.md): 用户可以在Manager界面配置Spark的SQL防御规则，根据业务调整对应SQL防御规则的参数。已安装包含Spark服务的集群客户端，安装目录如“/opt/hadoopclient”。Spark服务运行状态正常。在租户资源中添加租户，例如创建租户sparkstatic1，具体请参见添加MRS租户章节。对于开启了Kerberos认证的集群
- [管理MRS集群数据连接](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300283.md): 在MRS集群运维过程中，集群可能需要关联外部数据服务来存储元数据或实现数据治理功能。例如，Ranger组件需要使用外部RDS数据库存储权限策略数据，LakeFormation服务需要统一的数据目录管理能力。如果未配置数据连接，集群将无法使用Ranger权限管理或LakeFormation数据治理等高级功能。MRS管理控制台提供了数据连接管
- [创建MRS集群数据备份任务](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300286.md): 在大数据集群运行过程中，数据丢失或损坏可能导致严重的业务损失。为保障数据安全，系统管理员需要定期对集群中的元数据和业务数据进行备份。MRS集群的Manager提供了可视化的备份任务创建功能，支持配置周期备份和手动备份两种方式，用户可根据业务需求灵活选择备份策略。本章节指导用户在Manager界面创建数据备份任务，确保在出现故障时能够快速恢
- [创建MRS集群数据恢复任务](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300287.md): Manager支持在界面上创建恢复任务，运行恢复任务将把指定的备份数据恢复到集群中。登录集群Manager界面请参考访问MRS集群Manager。支持恢复元数据和业务数据。各组件不同数据的恢复任务操作请参考备份恢复MRS集群数据。在指定的恢复任务“操作”列，单击“执行”，可以立即运行恢复任务。登录集群Manager界面请参考访问MRS集群
- [MRS多租户使用流程](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300288.md): 租户主要用于资源控制、业务隔离的场景。在实际业务中，用户需要先明确使用集群资源的业务场景，规划租户。多租户使用包含三类操作：创建租户、管理租户和管理资源。各操作的具体动作如表1所示。在实际业务中，管理员需要先明确使用集群资源的业务场景，规划租户。然后再通过MRS添加租户，并配置租户的动态资源、存储资源以及所关联的服务。创建租户的具体操作流
- [安装补丁前必读](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300300.md): MRS 3.2.0-LTS.1.9补丁基本信息及解决问题列表请参考补丁基本信息说明。集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。集群有以下要求：请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组件服务正常、各实例正常、无故障、无退服的实例。请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集
- [安装补丁前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300302.md): 安装补丁前需要手动进行以下相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manage
- [安装补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300303.md): 请确保集群允许root登录，并且所有节点的root密码一致。如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。升级安装失败或者重试后仍然失败，不能直接回滚，请联系运维人员。MRS_3.2.0-LTS.1.6以及之后补丁，Spark支持视图表权限控制，开启方法（若之前有设置过，则跳过）：在JDBCServ
- [补丁安装后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300304.md): 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级操作。cd /opt/Bigdata/patches/{MRS补丁版本号}/download/scp patch.tar.gz{客户端机器IP}:/opt/例如：scp patch.tar.gz 127.0.0.1:/opt/mkdir /opt/{MRS补丁版本号}
- [回滚补丁前检查](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300306.md): 卸载补丁前需要手动进行相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manager。
- [回滚补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300307.md): 登录华为云管理控制台界面，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。如果任务失败，选择“重试卸载”，只有当“状态”显示为“可用”时，
- [回滚补丁后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300308.md): su - ommcd /opt/Bigdata/patches/{MRS补丁版本号}/client/source /opt/Bigdata/client/bigdata_env所有涉及{MRS补丁版本号}目录名称的操作，均以实际安装的补丁号为准。例如：cd /opt/Bigdata/patches/MRS_3.2.0-LTS.1.9/cl
- [补丁基本信息说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300309.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [安装补丁前必读](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300311.md): MRS 3.2.0-LTS.1.8补丁基本信息及解决问题列表请参考补丁基本信息。集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。集群有以下要求：请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组件服务正常、各实例正常、无故障、无退服的实例。请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中
- [安装补丁前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300313.md): 安装补丁前需要手动进行以下相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manage
- [安装补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300314.md): 如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。升级安装失败或者重试后仍然失败，不能直接回滚，请联系运维人员。MRS_3.2.0-LTS.1.6以及之后补丁，Spark支持视图表权限控制，开启方法（若之前有设置过，则跳过）：在JDBCServer的自定义custom参数添加spark.ranger.p
- [补丁安装后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300315.md): 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级操作。cd /opt/Bigdata/patches/{MRS补丁版本号}/download/scp patch.tar.gz{客户端机器IP}:/opt/例如：scp patch.tar.gz 127.0.0.1:/opt/mkdir /opt/{MRS补丁版本号}
- [回滚补丁前检查](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300317.md): 卸载补丁前需要手动进行相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manager。
- [回滚补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300318.md): 登录华为云管理控制台界面，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。如果任务失败，选择“重试卸载”，只有当“状态”显示为“可用”时，
- [回滚补丁后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300319.md): su - ommcd /opt/Bigdata/patches/{MRS补丁版本号}/client/source /opt/Bigdata/client/bigdata_env所有涉及{MRS补丁版本号}目录名称的操作，均以实际安装的补丁号为准。例如：cd /opt/Bigdata/patches/MRS_3.2.0-LTS.1.8/cl
- [补丁基本信息](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300320.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [配置Presto通过IAM委托访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300322.md): 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Presto即可通过presto_cli.sh客户端创建表存储在OBS中。下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。切换至客户端安装目录下：配置环境变量：登录集群Manager界面请参考访问MRS集群Manager。如果创建的人机用户，则还需使用新创建的用
- [安装补丁前必读](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300325.md): MRS 3.3.1-LTS.1.1补丁基本信息及解决问题列表请参考补丁基本信息说明。集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。集群有以下要求：请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组件服务正常、各实例正常、无故障、无退服的实例。请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集
- [安装补丁前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300327.md): 安装补丁前需要手动进行以下相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manage
- [安装补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300328.md): 如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。升级安装失败或者重试后仍然失败，不能直接回滚，请联系运维人员。不涉及。不涉及。
- [补丁安装后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300329.md): 不涉及。不涉及。升级完补丁后需要重新打开弹性伸缩，操作如下：
- [回滚补丁前检查](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300331.md): 卸载补丁前需要手动进行相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manager。
- [回滚补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300332.md): 登录华为云管理控制台界面，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时
- [回滚补丁后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300333.md): 不涉及。不涉及。不涉及。如果卸载补丁前关闭了弹性伸缩，请卸载完成后重新打开。
- [补丁基本信息说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300334.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [安装补丁前必读](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300339.md): MRS_3.1.0_TROS_Tools_patch_20240430补丁基本信息及解决问题列表请参考补丁基本信息。集群有以下要求：请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组件服务正常、各实例正常、无故障、无退服的实例。请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组件服务正常、各实例
- [安装补丁前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300341.md): 安装补丁前需要手动进行以下相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manage
- [安装补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300342.md): 执行如下命令下载补丁，如果已存在，可跳过此步骤。wget${补丁下载地址}补丁下载地址请参考补丁下载地址。chown omm:wheel -R /home/omm/MRS_3.1.0_TROS_Tools_patch_20240430.tar.gzsu - ommcd /home/ommtar -zxf MRS_3.1.0_TROS_To
- [补丁安装后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300343.md): 升级完补丁后需要重新打开弹性伸缩，操作如下：
- [回滚补丁前检查](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300345.md): 卸载补丁前需要手动进行相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁卸载。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manager。
- [回滚补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300346.md): 执行卸载脚本。su - ommcd /home/omm/MRS_3.1.0_TROS_Tools_patch_20240430vi ips.ini在ips.ini中配置需要卸载的节点IP（只会卸载填写IP的节点）。每行配置一个IP，中间不能有空行。nohup sh install.sh rollback &通过tail -f nohup.
- [卸载补丁后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300347.md): 如果卸载补丁前关闭了弹性伸缩，请卸载完成后重新打开。
- [补丁基本信息](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300348.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [安装补丁前必读](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300394.md): MRS 3.3.1-LTS.1.2补丁基本信息及解决问题列表请参考补丁基本信息说明。集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。集群有以下要求：请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组件服务正常、各实例正常、无故障、无退服的实例。请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集
- [安装补丁前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300396.md): 安装补丁前需要手动进行以下相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manage
- [安装补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300397.md): 如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。升级安装失败或者重试后仍然失败，不能直接回滚，请联系运维人员。不涉及。补丁安装完成后，需要手动重启相关大数据组件服务，使补丁生效。提供两种重启方式，请根据业务自行选择重启方式：滚动重启：影响小，耗时长。离线重启：会断服，耗时短。在MRS控制台，选择“现有
- [补丁安装后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300398.md): 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级操作。cd /opt/Bigdata/patches/{MRS补丁版本号}/download/scp patch.tar.gz{客户端机器IP}:/opt/例如：scp patch.tar.gz 127.0.0.1:/opt/mkdir /opt/{MRS补丁版本号}
- [回滚补丁前检查](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300400.md): 卸载补丁前需要手动进行相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manager。
- [回滚补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300401.md): 登录华为云管理控制台界面，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。如果任务失败，选择“重试卸载”，只有当“状态”显示为“可用”时，
- [回滚补丁后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300402.md): su - ommcd /opt/Bigdata/patches/{MRS补丁版本号}/client/source /opt/Bigdata/client/bigdata_env所有涉及{MRS补丁版本号}目录名称的操作，均以实际安装的补丁号为准。例如：cd /opt/Bigdata/patches/MRS_3.3.1-LTS.1.2/cl
- [补丁基本信息说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300403.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [配置HetuEngine对接LakeFormation数据连接](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300413.md): 配置LakeFormation数据连接操作及配置MRS集群组件的存算分离后，才可以正常使用HetuEngine对接LakeFormation统一的数据湖元数据及权限管理。本章节内容仅适用于MRS 3.6.0及之后版本。LakeFormation实例运行正常，数据库、数据表、数据权限等页面加载正常。集群关闭Kerberos认证（普通模式），
- [配置Guardian服务启用Ranger OBS路径鉴权](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300419.md): 该章节指导用户开启Guardian组件存算分离操作，且对接OBS后，支持通过Ranger配置组件关于OBS相关路径的权限策略（需确保OBS服务已开启AccessLabel功能，若未开启，需手动开启，详细操作请联系OBS服务运维人员）。配置后Guardian可以在存算分离场景下为HDFS、Hive、Spark、Loader、HetuEngi
- [安装补丁前必读](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300444.md): MRS 3.2.0-LTS.1.10补丁基本信息及解决问题列表请参考补丁基本信息说明。集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。集群有以下要求：请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组件服务正常、各实例正常、无故障、无退服的实例。请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。
- [安装补丁前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300445.md): 安装补丁前需要手动进行以下相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manage
- [安装补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300446.md): 请确保集群允许root登录，并且所有节点的root密码一致。如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。升级安装失败或者重试后仍然失败，不能直接回滚，请联系运维人员。MRS_3.2.0-LTS.1.6以及之后补丁，Spark支持视图表权限控制，开启方法（若之前有设置过，则跳过）：在JDBCServ
- [补丁安装后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300447.md): 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级操作。cd /opt/Bigdata/patches/{MRS补丁版本号}/download/scp patch.tar.gz{客户端机器IP}:/opt/例如：scp patch.tar.gz 127.0.0.1:/opt/mkdir /opt/{MRS补丁版本号}
- [回滚补丁前检查](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300449.md): 卸载补丁前需要手动进行相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manager。
- [回滚补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300450.md): 登录MRS管理控制台，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。如果任务失败，选择“重试卸载”，只有当“状态”显示为“可用”时，才能
- [回滚补丁后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300451.md): su - ommcd /opt/Bigdata/patches/{MRS补丁版本号}/client/source /opt/Bigdata/client/bigdata_env所有涉及{MRS补丁版本号}目录名称的操作，均以实际安装的补丁号为准。例如：cd /opt/Bigdata/patches/MRS_3.2.0-LTS.1.10/c
- [补丁基本信息说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300452.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [安装补丁前必读](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300459.md): MRS 3.3.0-LTS.1.2补丁基本信息及解决问题列表请参考补丁基本信息说明。集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。集群有以下要求：请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组件服务正常、各实例正常、无故障、无退服的实例。请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集
- [安装补丁前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300460.md): 安装补丁前需要手动进行以下相关检查。安装补丁前需要检查Spark作业在DataArts上配的作业OBS桶路径。用户委托中如果只配置了MRS作业业务桶，可能会导致安装补丁后SparkScript/SparkSubmit作业提交失败。登录MRS管理控制台前往MRS管控面作业管理，搜索作业列表中是否存在SparkScript/SparkSubm
- [安装补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300461.md): 请确保集群允许root登录，并且所有节点的root密码一致。如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。升级安装失败或者重试后仍然失败，不能直接回滚，请联系运维人员。针对存算分离且集群已配置委托场景，解决使用JobGateway组件提交Spark长稳任务偶现OBS 403问题：登录Manager页
- [补丁安装后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300462.md): 如果执行备份ClickHouse的nginx二进制文件操作，需要执行如下操作：mv -f /tmp/nginx /opt/Bigdata/FusionInsight_ClickHouse_8.3.0.1/install/FusionInsight-ClickHouse-v23.3.2.37-lts/clickhouse/clickHous
- [回滚补丁前检查](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300464.md): 卸载补丁前需要手动进行相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manager。
- [回滚补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300465.md): 登录华为云管理控制台界面，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。如果任务失败，选择“重试卸载”，只有当“状态”显示为“可用”时，
- [回滚补丁后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300466.md): su - ommcd /opt/Bigdata/patches/{MRS补丁版本号}/client/source /opt/Bigdata/client/bigdata_env所有涉及{MRS补丁版本号}目录名称的操作，均以实际安装的补丁号为准。例如：cd /opt/Bigdata/patches/MRS_3.3.0-LTS.1.1/cl
- [补丁基本信息说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300467.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [安装补丁前必读](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300474.md): MRS 3.3.0.3.1补丁基本信息及解决问题列表请参考补丁基本信息说明。集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。集群有以下要求：请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组件服务正常、各实例正常、无故障、无退服的实例。请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组
- [安装补丁前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300475.md): 安装补丁前需要手动进行以下相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manage
- [安装补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300476.md): 如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。升级安装失败或者重试后仍然失败，不能直接回滚，请联系运维人员。不涉及。补丁安装完成后，需要手动重启相关大数据组件服务，使补丁生效。当前补丁只支持离线重启。在MRS控制台，选择“现有集群”，单击集群名称进入集群详情页面。单击“组件管理”，选择需要重启的服务
- [补丁安装后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300477.md): 升级完补丁后需要重新打开弹性伸缩，操作如下：
- [回滚补丁前检查](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300479.md): 卸载补丁前需要手动进行相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁回滚。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manager。
- [回滚补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300480.md): 登录华为云管理控制台界面，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。如果任务失败，选择“重试卸载”，只有当“状态”显示为“可用”时，
- [回滚补丁后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300481.md): 不涉及。如果卸载补丁前关闭了弹性伸缩，请卸载完成后重新打开。
- [补丁基本信息说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300482.md): 特性说明：StarRocks BE实例滚动重启能力支持后，重启时需要在StarRocks实例管理页面进行滚动重启实例操作。
- [配置Spark对接LakeFormation授权管理](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300532.md): LakeFormation数据湖权限支持配置数据库、数据表、函数等维度的权限。云服务管理员可针对不同的管理对象配置不同IAM用户组的权限，统一对数据湖资源进行管理。MRS集群对接LakeFormation后，LakeFormation服务中的相关数据湖权限策略及角色信息会自动同步至MRS Ranger，对于MRS集群内的用户，可通过关联至
- [MRS集群节点磁盘分区说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300544.md): MRS集群即发即用，不需要用户自行规划磁盘分区。集群节点创建成功后，节点的操作系统磁盘分区说明如表1所示。本章节仅适用于MRS 3.x及之后版本，MRS 3.3.1-LTS及之后版本OS盘不分区，只有“/”目录。MRS集群节点创建成功后，节点的非操作系统磁盘会挂载至“/srv/BigData/dataN”目录，例如节点有4块数据盘，则磁盘
- [安装补丁前必读](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300570.md): MRS 3.3.0-LTS.0.1补丁基本信息及解决问题列表请参考补丁基本信息说明。集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。集群有以下要求：请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组件服务正常、各实例正常、无故障、无退服的实例。请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集
- [安装补丁前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300571.md): 安装补丁前需要手动进行以下相关检查。安装补丁前需要检查Spark作业在DataArts上配的作业OBS桶路径。用户委托中如果只配置了MRS作业业务桶，可能会导致安装补丁后SparkScript/SparkSubmit作业提交失败。登录MRS管理控制台前往MRS管控面作业管理，搜索作业列表中是否存在SparkScript/SparkSubm
- [安装补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300572.md): 安装MRS 3.3.0-LTS.0.1之前必须先安装MRS 3.3.0-LTS.0.0补丁，用以让该版本支持替换root权限文件的能力。MRS 3.3.0-LTS.0.0打补丁过程中，只会重启executor模块，会影响MRS管理面上的任务下发（弹性伸缩，日志共享等），整个过程持续3-5分钟。请确保集群允许root登录，并且所有节点的ro
- [补丁安装后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300573.md): 如果执行备份ClickHouse的nginx二进制文件操作，需要执行如下操作：mv -f /tmp/nginx /opt/Bigdata/FusionInsight_ClickHouse_8.3.0/install/FusionInsight-ClickHouse-v23.3.2.37-lts/clickhouse/clickHouse_
- [回滚补丁前检查](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300575.md): 卸载补丁前需要手动进行相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manager。
- [回滚补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300576.md): 登录华为云管理控制台界面，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。如果任务失败，选择“重试卸载”，只有当“状态”显示为“可用”时，
- [回滚补丁后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300577.md): 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端回退的操作。登录客户端所在节点并执行以下命令：cd /opt/MRS_3.3.0-LTS.0.1/clientsh upgrade_client.sh rollback{客户端安装目录}例如：sh upgrade_client.sh rollback /opt/clien
- [补丁基本信息说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300578.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [配置Guardian服务不启用Ranger OBS路径鉴权](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300579.md): 该章节指导用户开启集群未启用Kerberos认证（普通模式）的Guardian组件存算分离操作，且不支持通过Ranger配置组件关于OBS相关路径的权限策略（即关闭使用Guardian对接OBS的AccessLabel，OBS侧无需关注是否启用AccessLabel功能）。配置后Guardian可以在存算分离场景下为HDFS、Hive、S
- [开启MRS集群节点磁盘加密](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300587.md): 在创建MRS集群时，用户可以自行选择对MRS集群节点所挂载的系统盘或者数据盘进行加密。加密系统盘使用的密钥由密码安全中心（DEW，Data Encryption Workshop）中密钥管理（KMS，Key Management Service）服务提供，无需您自行构建和维护密钥管理基础设施。当加密云硬盘挂载时，EVS访问KMS，KMS会
- [MRS集群常用配置文件及日志目录](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300588.md): 在MRS集群日常运维和开发过程中，管理员和开发者经常需要查找组件的安装路径、定位运行日志以排查故障、获取客户端配置文件以对接外部系统。如果对集群目录结构不熟悉，排查问题时需要反复搜索，效率低下。那么，如何快速定位MRS集群中各组件的安装目录、日志路径和客户端配置文件？本文档汇总了MRS集群的安装目录、组件日志目录和客户端常见配置文件路径，
- [管理MRS集群节点组](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300589.md): MRS集群内的节点组是用户对集群节点进行管理的核心单元，同一节点组通常由相同规格的ECS节点组成。用户可以通过对节点组进行操作，批量管理一个组内的节点。MRS集群中的Master节点不支持以节点组的维度进行管理。当Task或Core类型的节点组内节点数量为0时，可以对节点组进行删除操作。仅MRS 3.x版本的自定义集群支持手动添加节点组。
- [通过DataArts Studio提交MRS Hive作业](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300590.md): HiveSql作业是基于Hive数据仓库工具编写和运行的数据分析任务，主要用于在Hadoop分布式集群上处理大规模结构化或半结构化数据。HiveSQL是Hive定义的SQL方言，语法与标准SQL类似，但针对大数据场景做了优化，可将SQL语句转换为MapReduce或Spark任务执行，适合非编程人员快速实现数据查询、统计和分析。DataA
- [通过DataArts Studio提交MRS Flink作业](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300591.md): Flink作业是基于Flink框架开发的分布式数据处理任务，主要用于流式数据处理和有状态计算。Flink是一个面向流处理和批处理的统一计算框架，其作业以流为核心（批处理可视为有限流），支持高吞吐、低延迟、精准语义的实时数据处理，广泛应用于实时监控、日志分析、金融交易等场景。DataArts Studio作为一站式数据处理平台，为用户提供了
- [安装补丁前必读](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300592.md): MRS 3.1.0.0.16补丁基本信息及解决问题列表请参考补丁基本信息说明。集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。集群有以下要求：请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组件服务正常、各实例正常、无故障、无退服的实例。请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各
- [安装补丁前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300593.md): 安装补丁前需要手动进行以下相关检查。是，不能实施此补丁。否，检查结束。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界
- [安装补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300594.md): 请确保集群允许root登录，并且所有节点的root密码一致。如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。升级安装失败或者重试后仍然失败，不能直接回滚，请联系运维人员。支持HDFS单副本检测能力在MRS 3.1.0.0.2补丁以及之后的补丁中，会增加HDFS单副本检测和告警能力，新增是否允许写入单副
- [补丁安装后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300595.md): 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级操作。cd /opt/Bigdata/patches/{MRS补丁版本号}/download/scp patch.tar.gz{客户端机器IP}:/opt/例如：scp patch.tar.gz 127.0.0.1:/opt/mkdir /opt/{MRS补丁版本号}
- [回滚补丁前检查](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300597.md): 卸载补丁前需要手动进行相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manager。
- [回滚补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300598.md): 登录华为云管理控制台界面，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。如果任务失败，选择“重试卸载”，只有当“状态”显示为“可用”时，
- [回滚补丁后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300599.md): su - ommcd /opt/Bigdata/patches/{MRS补丁版本号}/client/source /opt/Bigdata/client/bigdata_env所有涉及{MRS补丁版本号}目录名称的操作，均以实际安装的补丁号为准。例如：cd /opt/Bigdata/patches/MRS_3.1.0.0.16/clien
- [补丁基本信息说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300600.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [安装补丁前必读](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300602.md): MRS 3.3.1-LTS.1.3补丁基本信息及解决问题列表请参考补丁基本信息说明。集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。集群有以下要求：请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组件服务正常、各实例正常、无故障、无退服的实例。请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集
- [安装补丁前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300603.md): 安装补丁前需要手动进行以下相关检查。安装补丁前需要检查Spark作业在DataArts上配的作业OBS桶路径。用户委托中如果只配置了MRS作业业务桶，可能会导致安装补丁后SparkScript/SparkSubmit作业提交失败。登录MRS管理控制台前往MRS管控面作业管理，搜索作业列表中是否存在SparkScript/SparkSubm
- [安装补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300604.md): 如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。升级安装失败或者重试后仍然失败，不能直接回滚，请联系运维人员。不涉及。补丁安装完成后，需要手动重启相关大数据组件服务，使补丁生效。提供两种重启方式，请根据业务自行选择重启方式：滚动重启：影响小，耗时长。离线重启：会断服，耗时短。方式一（推荐）：重启集群，
- [补丁安装后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300605.md): 如果执行备份ClickHouse的nginx二进制文件操作，需要执行如下操作：mv -f /tmp/nginx /opt/Bigdata/FusionInsight_ClickHouse_8.3.1/install/FusionInsight-ClickHouse-v23.3.2.37-lts/clickhouse/clickHouse_
- [回滚补丁前检查](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300607.md): 卸载补丁前需要手动进行相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manager。
- [回滚补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300608.md): 登录华为云管理控制台界面，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。如果任务失败，选择“重试卸载”，只有当“状态”显示为“可用”时，
- [回滚补丁后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300609.md): 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级或者回退的操作。登录客户端所在节点并执行以下命令：cd /opt/{MRS补丁版本号}/clientsh upgrade_client.sh rollback{客户端安装目录}例如：sh upgrade_client.sh rollback /opt/client/若
- [补丁基本信息说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300610.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [Sqoop导入或导出数据时报错缺少MySQL驱动包](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300623.md): 执行sqoop import或sqoop export命令报错“Could not load db driver class: com.mysql.jdbc.Driver”，如图1所示，表示缺少MySQL驱动包。在MySQL官网（https://downloads.mysql.com/archives/c-j/）下载对应MySQL驱动包，
- [安装补丁前必读](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300637.md): MRS 3.5.0-LTS.0.2补丁基本信息及解决问题列表请参考表1。集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。集群有以下要求：请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组件服务正常、各实例正常、无故障、无退服的实例。请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组件服
- [配置SQL防御规则白名单](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300638.md): MRS当前支持配置从JobGateway提交的Hive、Spark作业维度的SQL防御规则跳过，配置完成后即可对该作业跳过在Manager界面上配置的SQL防御规则校验。该功能仅适用于MRS 3.6.0-LTS及之后版本集群。登录集群Manager具体操作，请参考访问MRS集群Manager。当前仅Hive、Spark组件支持配置。例如，
- [安装补丁前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300639.md): 安装补丁前需要手动进行以下相关检查。安装补丁前需要检查Spark作业在DataArts上配的作业OBS桶路径。用户委托中如果只配置了MRS作业业务桶，可能会导致安装补丁后SparkScript/SparkSubmit作业提交失败。登录MRS管理控制台前往MRS管控面作业管理，搜索作业列表中是否存在SparkScript/SparkSubm
- [安装补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300640.md): 请确保集群允许root登录，并且所有节点的root密码一致。如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。升级安装失败或者重试后仍然失败，不能直接回滚，请联系运维人员。不涉及。补丁安装完成后，需要手动重启相关大数据组件服务，使补丁生效。提供两种重启方式，请根据业务自行选择重启方式：滚动重启：影响小，
- [安装补丁后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300641.md): 安装完此补丁后，如果之前集群已经开启指标共享功能，需要先单击关闭指标共享，再重新开启指标共享功能。MRS节点的“/opt/Bigdata/client”为MRS集群默认的客户端，该客户端是给JobGateway组件提供相关组件的配置，不建议作为业务客户端使用。如果业务已使用该客户端，并修改了相关组件的配置。建议在其他目录重新安装客户端，并
- [配置Impala通过Guardian访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300642_0.md): 参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后，即可在Impala客户端创建存储在OBS并行文件系统中的表。如果参考配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS，还需参考Ranger权限配置在
- [回滚补丁前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300643.md): 卸载补丁前需要手动进行相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。登录集群Manager界面请参考访问MRS集群Manager。是，等待任务运行结束。否，检查结束。登录集群Manager界面请参考访问MRS集群Manager。是，需要关闭第
- [配置Impala通过IAM委托访问OBS](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300643_0.md): 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Hive客户端创建Location为OBS路径的表。Impala由Hive metastore管理元数据，Ranger权限管理复用Hive的权限策略。例如，创建一个表“test”，该表的Location为“obs://OBS并行文件系统名称/user/hive/war
- [回滚补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300644.md): 登录华为云管理控制台界面，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。如果任务失败，选择“重试卸载”，只有当“状态”显示为“可用”时，
- [回滚补丁后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300645.md): 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级或者回退的操作。登录客户端所在节点并执行以下命令：cd /opt/{MRS补丁版本号}/clientsh upgrade_client.sh rollback{客户端安装目录}例如：sh upgrade_client.sh rollback /opt/client/如
- [补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300646.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [运行FlinkSql作业](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300650.md): 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个FlinkSql作业。FlinkSql作业用于查询和分析数据，包括SQL语句和Script脚本两种形式。如果SQL语句涉及敏感信息，也可使用脚本文件方式提交。MRS 3.6.0及之后版本的集群支持通过MRS管理控制台提交FlinkSql作业。用
- [配置Hive对接LakeFormation授权管理](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300687.md): LakeFormation数据湖权限支持配置数据库、数据表、函数等维度的权限。云服务管理员可针对不同的管理对象配置不同IAM用户组的权限，统一对数据湖资源进行管理。MRS集群对接LakeFormation后，LakeFormation服务中的相关数据湖权限策略及角色信息会自动同步至MRS Ranger，对于MRS集群内的用户， 可通过关联
- [配置Spark对接LakeFormation授权管理](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300688.md): LakeFormation数据湖权限支持配置数据库、数据表、函数等维度的权限。云服务管理员可针对不同的管理对象配置不同IAM用户组的权限，统一对数据湖资源进行管理。MRS集群对接LakeFormation后，LakeFormation服务中的相关数据湖权限策略及角色信息会自动同步至MRS Ranger，对于MRS集群内的用户，可通过关联至
- [购买智能边缘云MRS集群](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300723.md): 迈入5G和AI时代，新型业务如增强现实AR、虚拟现实VR、互动直播、自动驾驶、智能制造等应运而生。以上这些业务场景对时延和网络带宽有着强烈诉求，而在传统的集中式云计算场景中，所有数据都集中存储在大型数据中心。由于地理位置和网络传输的限制，无法满足新型业务的低时延、高带宽等要求。网络高时延：传统云计算无法即时处理和分析新型业务产生的数据，导
- [配置对接LakeFormation概述](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300725.md): LakeFormation是企业级一站式湖仓构建服务，提供元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持无缝对接多种计算引擎及大数据云服务，使客户便捷高效地构建数据湖和运营相关业务，加速释放业务数据价值。您可以创建一个LakeFormation实例并与MRS集群对接，实现统一的数据湖元数据及权限管
- [配置LakeFormation数据连接前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300726.md): MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog。确认左上角实例是新创建的LakeFormation实例名称后，进入“元数据 > 数据目录”页面。（如果当前实例已包含名称为“hive”的Catalog，则跳过Catalog的创建操作。）在Catalog页面单击“创建”
- [创建集群时配置LakeFormation数据连接](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300727.md): 该章节指导用户在创建MRS 3.6.0-LTS或之后版本集群时配置LakeFormation数据连接，并在创建完成后配置MRS集群相关参数完成与LakeFormation的对接，实现统一的数据湖元数据及权限管理。登录集群Manager具体操作，请参考访问MRS集群Manager。在FusionInsight Manager界面，选择“集群
- [为已有集群配置LakeFormation数据连接](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300728.md): 该章节指导用户为当前已有的MRS 3.6.0-LTS及之后版本未开启Kerberos认证的集群对接LakeFormation。MRS集群已关闭Kerberos认证，且集群为MRS 3.6.0-LTS及之后版本。MRS集群已开启存算分离，数据存储在OBS中。集群的区域与LakeFormation实例保持一致。集群的虚拟私有云与LakeFor
- [对接后在LakeFormation配置MRS集群级操作权限](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300730.md): 在MRS集群普通模式下，MRS对接LakeFormation后，统一使用委托用户在LakeFormation上进行相关的操作鉴权，需要在LakeFormation服务端针对该委托用户进行相应的授权，否则MRS没有访问LakeFormation的权限。该授权是针对整个MRS集群级生效，即无论MRS客户端使用什么用户，在访问LakeForma
- [LakeFormation委托用户权限参考](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300731.md): 当MRS对接LakeFormation后，LakeFormation委托用户通过Spark、HetuEngine等执行SQL时所需的LakeFormation权限参考如下所示。DDL StatementsDDL StatementsDDL语句元数据LakeFormation鉴权所需权限ALTER DATABASEdatabase:desc
- [HetuEngine执行alter table xxx drop column语句失败，无法删除列](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300733.md): HetuEngine执行alter table xxx drop column语句，如果第一列和第二列的类型不能兼容，删除第一列会报错。HetuEngine执行alter table xxx drop column语句失败。使用HetuEngine管理员用户登录Manager，选择“集群 > 服务 > HetuEngine”，进入Hetu
- [Flink写Hudi，开启同步Hive失败，表无法同步](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300734.md): Flink写Hudi，开启同步Hive失败，表无法同步到LakeFormation。Hudi表元数据无法同步到LakeFormation。对接LakeFormation后，Flink写Hudi仅支持JDBC方式，且在执行SQL时需要添加LakeFormation相关参数：--LakeFormation开关和实例相关参数（可以登录MRS集群
- [Flink读Hive分区表，报错result超出数量限制](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300735.md): Flink读Hive分区表，报错result超出数量限制。Flink读Hive分区表失败。
- [配置HetuEngine对接LakeFormation数据连接](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300736.md): 配置LakeFormation数据连接操作及配置MRS集群组件的存算分离后，才可以正常使用HetuEngine对接LakeFormation统一的数据湖元数据及权限管理。LakeFormation实例运行正常，数据库、数据表、数据权限等页面加载正常。集群已启用Kerberos认证（安全模式），且运行正常，包含HetuEngine、Guar
- [安装补丁前必读](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300748.md): MRS 3.2.0-LTS.1.11补丁基本信息及解决问题列表请参考补丁基本信息说明。集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。集群有以下要求：请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组件服务正常、各实例正常、无故障、无退服的实例。请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。
- [安装补丁前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300749.md): 安装补丁前需要手动进行以下相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manage
- [安装补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300750.md): 请确保集群允许root登录，并且所有节点的root密码一致。如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。升级安装失败或者重试后仍然失败，不能直接回滚，请联系运维人员。MRS_3.2.0-LTS.1.6以及之后补丁，Spark支持视图表权限控制，开启方法（如果之前有设置，则跳过）：在JDBCServ
- [补丁安装后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300751.md): 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级操作。cd /opt/Bigdata/patches/{MRS补丁版本号}/download/scp patch.tar.gz{客户端机器IP}:/opt/例如：scp patch.tar.gz 127.0.0.1:/opt/mkdir /opt/{MRS补丁版本号}
- [回滚补丁前检查](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300753.md): 卸载补丁前需要手动进行相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manager。
- [回滚补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300754.md): 登录MRS管理控制台，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。如果任务失败，选择“重试卸载”，只有当“状态”显示为“可用”时，才能
- [回滚补丁后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300755.md): su - ommcd /opt/Bigdata/patches/{MRS补丁版本号}/client/source /opt/Bigdata/client/bigdata_env所有涉及{MRS补丁版本号}目录名称的操作，均以实际安装的补丁号为准。例如：cd /opt/Bigdata/patches/MRS_3.2.0-LTS.1.11/c
- [补丁基本信息说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300756.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [更换集群Knox证书](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300854.md): 存量集群证书将在2026年12月31日过期，证书过期将导致节点管理（扩容、缩容等）和组件管理相关功能不可用。如果集群侧存在即将过期的Knox证书，集群概览页会出现相关提示，请用户按照下面的指导进行证书替换。该功能为受限使用功能，需提交工单申请开通。集群需要处于“运行中”，主备OMS节点状态需要处于“运行中”。在证书更新过程中，需要对集群主
- [在CloudPond的边缘可用区购买MRS集群](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300891.md): CloudPond将云基础设施和云服务部署到企业现场，适合对应用访问时延、数据本地化留存及本地系统交互等有高要求的场景，可便捷地将云端丰富应用部署到本地。本章节为您介绍如何在CloudPond的边缘可用区购买一个MRS集群。EIP/带宽约束边缘可用区创建MRS集群时不能绑定中心云的EIP。中心云创建MRS集群时不能绑定边缘可用区的EIP。
- [安装补丁前必读](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300928.md): MRS 3.3.0-LTS.1.2补丁基本信息及解决问题列表请参考补丁基本信息说明。集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。集群有以下要求：请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组件服务正常、各实例正常、无故障、无退服的实例。请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集
- [MRS集群外节点通过hdfs命令访问OBS时偶现响应延迟](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300928_0.md): 在配置MRS集群存算分离功能后，使用MRS客户端的hdfs命令访问OBS时，偶现响应延迟或无响应，现象如下图所示：可能是因为主机熵值不足导致无法正常访问OBS。检查主机是否安装了haveged工具：/bin/rpm -qa | grep -w "haveged"检查主机是否安装了rng-tools工具：/bin/rpm -qa | gre
- [安装补丁前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300929.md): 安装补丁前需要手动进行以下相关检查。安装补丁前需要检查Spark作业在DataArts上配的作业OBS桶路径。用户委托中如果只配置了MRS作业业务桶，可能会导致安装补丁后SparkScript/SparkSubmit作业提交失败。登录MRS管理控制台前往MRS管控面作业管理，搜索作业列表中是否存在SparkScript/SparkSubm
- [安装补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300930.md): 请确保集群允许root登录，并且所有节点的root密码一致。如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。升级安装失败或者重试后仍然失败，不能直接回滚，请联系运维人员。针对存算分离且集群已配置委托场景，解决使用JobGateway组件提交Spark长稳任务偶现OBS 403问题：登录Manager页
- [补丁安装后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300931.md): 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级操作。cd /opt/Bigdata/patches/{MRS补丁版本号}/download/scp patch.tar.gz{客户端机器IP}:/opt/例如：scp patch.tar.gz 127.0.0.1:/opt/mkdir /opt/{MRS补丁版本号}
- [回滚补丁前检查](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300933.md): 卸载补丁前需要手动进行相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manager。
- [回滚补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300934.md): 登录华为云管理控制台界面，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。如果任务失败，选择“重试卸载”，只有当“状态”显示为“可用”时，
- [回滚补丁后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300935.md): su - ommcd /opt/Bigdata/patches/{MRS补丁版本号}/client/source /opt/Bigdata/client/bigdata_env所有涉及{MRS补丁版本号}目录名称的操作，均以实际安装的补丁号为准。例如：cd /opt/Bigdata/patches/MRS_3.3.0-LTS.1.2/cl
- [补丁基本信息说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300936.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [安装补丁前必读](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300937.md): MRS 3.3.0-LTS.0.2补丁基本信息及解决问题列表请参考补丁基本信息说明。集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。集群有以下要求：请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集群中各组件服务正常、各实例正常、无故障、无退服的实例。请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。集
- [安装补丁前准备](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300938.md): 安装补丁前需要手动进行以下相关检查。安装补丁前需要检查Spark作业在DataArts上配的作业OBS桶路径。用户委托中如果只配置了MRS作业业务桶，可能会导致安装补丁后SparkScript/SparkSubmit作业提交失败。登录MRS管理控制台前往MRS管控面作业管理，搜索作业列表中是否存在SparkScript/SparkSubm
- [安装补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300939.md): 安装MRS 3.3.0-LTS.0.2之前必须先安装MRS 3.3.0-LTS.0.0补丁，用以让该版本支持替换root权限文件的能力。MRS 3.3.0-LTS.0.0打补丁过程中，只会重启executor模块，会影响MRS管理面上的任务下发（弹性伸缩，日志共享等），整个过程持续3-5分钟。请确保集群允许root登录，并且所有节点的ro
- [补丁安装后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300940.md): 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级操作。例如：登录客户端所在节点，并执行以下命令：例如：该操作可以解决添加服务、添加实例、新下载客户端场景下的补丁安装。升级完补丁后需要重新打开弹性伸缩，操作如下：
- [回滚补丁前检查](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300942.md): 卸载补丁前需要手动进行相关检查。登录集群Manager界面请参考访问MRS集群Manager。是，节点间网络不互通，请联系运维人员修复。否，节点间网络互通，检查结束。否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。是，弹性伸缩关闭，检查结束。登录集群Manager界面请参考访问MRS集群Manager。
- [回滚补丁](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300943.md): 登录华为云管理控制台界面，在“现有集群”列表中单击需要卸载补丁的集群名称，单击“补丁管理”页签，找到需要卸载的补丁，单击“卸载”，等待补丁卸载成功后，需要按照该章节顺序依次执行相关操作。当“状态”显示为“卸载失败”时，在“失败任务”中查看错误提示信息，查找相应日志来定位处理。如果任务失败，选择“重试卸载”，只有当“状态”显示为“可用”时，
- [回滚补丁后操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300944.md): 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端回退的操作。登录客户端所在节点并执行以下命令：例如：如果安装时执行了升级组件安装包步骤，则卸载后需要回退。不涉及。如果卸载补丁前关闭了弹性伸缩，请卸载完成后重新打开。
- [补丁基本信息说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300945.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [MRS 2.1.0版本证书有效期延长补丁指导](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300987.md): MRS集群Manager和大数据组件证书即将过期（最晚将于2026.11.25过期），该补丁提供证书替换能力。需要获取Manager页面登录用户名和登录密码（登录用户需要有集群的操作权限，例如admin用户）。下载补丁工具至集群主oms节点补丁下载地址。OMS节点一般为master1和master2节点，主OMS节点判断方法，执行以下命令
- [配置弹性伸缩扩容规格](https://support.huaweicloud.com/usermanual-mrs/mrs_01_301037.md): 当集群需要弹性扩容其他规格节点或者因ECS资源不足而无法弹性扩容节点组默认规格的节点时，可以通过“配置规格”功能弹性扩容其他规格的节点。配置扩容规格后，触发弹性扩容时将根据规格优先级进行扩容，当高优先级规格数量不足时，依次使用次优先级规格进行扩容。配置弹性伸缩扩容规格为受限使用功能，需提交工单申请开通。包含默认规格在内，最多可配置5种规格
- [MRS 1.9.2版本证书有效期延长补丁指导](https://support.huaweicloud.com/usermanual-mrs/mrs_01_3010406.md): MRS集群Manager和大数据组件证书即将过期（最晚将于2026.11.25过期），该补丁提供证书替换能力。需要获取Manager页面登录用户名和登录密码（登录用户需要有集群的操作权限，例如admin用户）。下载补丁工具至集群主oms节点补丁下载地址。OMS节点一般为master1和master2节点，主OMS节点判断方法，执行以下命令
- [配置MRS对接CES](https://support.huaweicloud.com/usermanual-mrs/mrs_01_3010407.md): MRS集群在运行过程中，管理员需要持续监控集群组件运行状态和节点资源使用情况（如CPU、内存、磁盘利用率等）。MRS Manager提供了集群内的实时监控能力，但仅支持在集群内查看，无法实现跨集群统一监控、长期趋势分析和告警通知。华为云云监控服务（CES）是面向云资源的统一监控平台。MRS支持对接CES，开启指标共享后，MRS将集群组件和
- [MRS支持的基础监控指标](https://support.huaweicloud.com/usermanual-mrs/mrs_01_3010408.md): 云监控服务CES支持实时监控MRS集群的核心指标，方便用户掌握集群的指标信息，以便及时处理集群的异常状况。本文定义了MRS上报云监控服务的集群和节点监控指标的命名空间，监控指标列表和维度定义。用户可以通过云监控服务提供的管理控制台或API接口来检索云搜索服务产生的监控指标和告警信息。云监控服务最大支持4个层级维度，维度编号从0开始，编号3
- [用户的用户组和角色配置过多，导致请求IAM时请求体被截断](https://support.huaweicloud.com/usermanual-mrs/mrs_01_3010465.md): 用户的用户组和角色配置过多，会导致请求IAM时请求体被截断，发生如下报错：IAM的接口请求体policy参数字符个数超过限制，导致IAM时请求体被截断。Guardian会遍历用户所有的用户组和角色，遍历过程中会跳过“token.server.manager.internal.roles”配置的角色和“token.server.manage
- [MRS集群支持的云服务器规格](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9001.md): 针对不同的应用场景，MRS使用到如下类型的弹性云服务器。通用计算增强型：C3型、C3ne型、C6型、C6s型、C7型内存优化型：M3型、M6型、M7型超高I/O型：I3型、IR3型鲲鹏内存优化型：KM1型鲲鹏超高I/O型：KI1型鲲鹏通用计算增强型：KC1型通用计算型（S3型、S6型）通用计算增强型（C3型）通用计算增强型（C6型、C6s
- [MRS 1.7.1.3补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9009.md): 由于1.7.1 集群的健康检查中存在一项误报，而补丁安装前会进行集群的健康检查。从而导致客户第一次提交安装补丁后，提示集群异常，补丁安装终止。在确认报错是误报后，客户可以再次提交安装补丁请求，第二次安装补丁会跳过健康检查，进行补丁安装。误报内容可以通过如下方式确认：查看并导出健康检查报告，健康检查结果上只存在这两个主机报错：安装目录及数据
- [MRS 1.5.1.4补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9010.md): 安装补丁后需要重启服务才能生效，重启服务期间引起服务暂不可用。安装补丁后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。自行搭建的客户端全量安装方法，请参见安装客户端（2.x及之前
- [MRS 1.7.1.5补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9011.md): 由于1.7.1 集群的健康检查中存在一项误报，而补丁安装前会进行集群的健康检查。从而导致客户第一次提交安装补丁后，提示集群异常，补丁安装终止。在确认报错是误报后，客户可以再次提交安装补丁请求，第二次安装补丁会跳过健康检查，进行补丁安装。误报内容可以通过如下方式确认：查看并导出健康检查报告，健康检查结果上只存在这两个主机报错：安装目录及数据
- [MRS 1.7.1.6补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9012.md): MRS 1.7.1.6补丁安装之后，HBase和Hue的配置状态会变成过期状态，需要手动在MRS Manager页面执行滚动重启HBase服务和Hue服务。具体操作请参考重启MRS集群组件。HBase服务和Hue服务状态新增弹性公网IP访问MRS Manager功能，弹性公网IP使用及注意事项说明参考访问MRS集群Manager。普通集群
- [MRS 2.0.1.1补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9013.md): 安装MRS 2.0.1.1补丁期间会重启MRS Manager和Presto服务，重启服务期间会引起服务暂时不可用。
- [MRS 2.0.1.2补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9014.md): 安装MRS 2.0.1.2补丁期间会重启MRS Manager和Presto服务，重启服务期间会引起服务暂时不可用。
- [MRS 1.9.0.5补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9015.md): 安装MRS 1.9.0.5补丁期间会重启MRS Manager，滚动重启Hadoop、Hive、Spark、Kafka、Ranger以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。MRS 1.9.0.5补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他
- [MRS 2.0.1.3补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9017.md): 安装MRS 2.0.1.3补丁期间会重启MRS Manager和Presto服务，重启服务期间会引起服务暂时不可用。
- [MRS 1.8.10.1补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9018.md): 安装MRS 1.8.10.1补丁期间会重启MRS Manager和Kafka服务，重启服务期间会引起服务暂时不可用。
- [MRS 2.1.0.1补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9019.md): 安装MRS 2.1.0.1补丁期间会重启MRS Manager和Hive服务，重启服务期间会引起服务暂时不可用。MRS 2.1.0.1补丁安装完成后，需要先登录到MRS集群的Master1节点，删除HDFS上任务目录。未开启Kerberos认证的集群，执行如下命令删除HDFS上任务目录。hdfs dfs -rm -r /mrs/mrsjo
- [MRS 2.1.0.2补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9020.md): 安装MRS 2.1.0.2补丁期间会重启MRS Manager，滚动重启Hive、Spark、HDFS、yarn、Mapreduce、Presto、HBase以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。MRS 2.1.0.2补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原
- [MRS 2.1.0.3补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9021.md): 安装MRS 2.1.0.3补丁期间会重启MRS Manager，滚动重启Hive、Spark、HDFS、Yarn、Mapreduce、Presto、HBase以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。MRS 2.1.0.3补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原
- [MRS 1.8.10.6补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9022.md): 安装MRS 1.8.10.6补丁期间会重启MRS Manager，滚动重启Hadoop、Hive、Spark以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。MRS 1.8.10.6补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您
- [MRS 1.9.0.6补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9023.md): 安装MRS 1.9.0.6补丁期间会重启MRS Manager，滚动重启Hadoop、Hive、Spark、Kafka、Ranger以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。MRS 1.9.0.6补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他
- [MRS 2.1.0.5补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9024.md): 安装MRS 2.1.0.5补丁期间会重启MRS Manager，滚动重启Hive、Impala、Spark、HDFS、Yarn、Mapreduce、Presto、HBase以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。MRS 2.1.0.5补丁安装后，需要重新下载安装全量的客户端，包含Mas
- [MRS 2.1.0.6补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9025.md): 安装MRS 2.1.0.6补丁期间会重启MRS Manager，滚动重启Hive、Impala、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。MRS 2.1.0.6补丁安装后，需要重新下载安装全量的客户端，包
- [MRS 2.0.6.1补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9027.md): 安装MRS 2.0.6.1补丁期间会重启MRS Manager，滚动重启Hive以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。
- [MRS 2.1.0.7补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9028.md): 安装MRS 2.1.0.7补丁期间会重启MRS Manager，滚动重启Hive、Impala、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。MRS 2.1.0.7补丁安装后，需要重新下载安装全量的客户端，包
- [MRS 1.8.7.1补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9029.md): 安装MRS 1.8.7.1补丁期间会重启MRS Manager，滚动重启Presto、HBase以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。
- [MRS 2.1.0.8补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9030.md): 安装MRS 2.1.0.8补丁期间会重启MRS Manager，滚动重启Hive、Impala、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。MRS 2.1.0.8补丁安装后，需要重新下载安装全量的客户端，包
- [MRS 2.1.0.9补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9031.md): 安装MRS 2.1.0.9补丁期间会重启MRS Manager，滚动重启Hive、Impala、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。MRS 2.1.0.9补丁安装后，需要重新下载安装全量的客户端，包
- [MRS 1.9.3.1补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9032.md): 安装MRS 1.9.3.1补丁期间会重启MRS Manager，滚动重启Hadoop、HDFS、Hive、Spark及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。MRS 1.9.3.1补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（
- [MRS 2.1.0.10补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9034.md): 安装MRS 2.1.0.10补丁期间会重启MRS Manager，滚动重启Hive、Impala、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。MRS 2.1.0.10补丁安装后，需要重新下载安装全量的客户端
- [MRS 2.1.0.11补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9035.md): 安装MRS 2.1.0.11补丁期间会重启MRS Manager，滚动重启Hive、Impala、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。MRS 2.1.0.11补丁安装后，需要登录备Master节点（
- [MRS 1.9.3.3补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9036.md): 安装MRS 1.9.3.3补丁期间会重启MRS Manager，滚动重启Hadoop、HDFS、Hive、Spark及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。MRS 1.9.3.3补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（
- [MRS 1.9.0.7补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9037.md): 安装MRS 1.9.0.7补丁期间会重启MRS Manager，滚动重启Hadoop、Hive、Spark、Kafka、Ranger以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。MRS 1.9.0.7补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他
- [MRS 1.9.0.8、1.9.0.9、1.9.0.10补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9039.md): 安装MRS 1.9.0.10补丁期间会重启MRS Manager，滚动重启Hadoop、Hive、Spark、Presto以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。MRS 1.9.0.10补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用
- [MRS 1.9.2.2补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9041.md): 安装MRS 1.9.2.2补丁期间会重启MRS Manager，滚动重启Hadoop、Hive、Spark、Kafka、Ranger、Presto以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。MRS 1.9.2.2补丁安装后，需要重启OMS服务。使用root用户登录主备OMS节点，切换至om
- [MRS 3.0.5.1补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9042.md): MRS 3.0.5.1补丁安装过程中会自动重启Executor、Controller进程，安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能，请选择适当的时间进行补丁安装。MRS 3.0.5.1补丁安装完成后需要在FusionInsight Manager Web界面重启Spark2x、Hive、YARN、Impala、Kudu、
- [MRS 3.1.2-LTS.2补丁说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_9043.md): MRS 3.1.2-LTS.2.6补丁安装后，目录“/srv/BigData/data1/nm/localdir/filecache/”下的log4j旧版本的包，需要重新提交相关的yarn作业，才会加载新的log4j的包。MRS 3.1.2-LTS.2版本的补丁安装过程中会自动重启OMS，安装过程中将影响作业提交以及集群扩缩容等管控面集群
- [MRS集群Kerberos认证介绍](https://support.huaweicloud.com/usermanual-mrs/mrs_07_020001.md): Hadoop社区版本提供两种认证方式Kerberos认证（安全模式）和Simple认证（普通模式），在创建集群时，MRS支持配置是否启用Kerberos认证，集群创建完成后不支持修改。安全模式的MRS集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证，提高了安全性，可有效消除使用网络发送用
- [MRS集群管理概述](https://support.huaweicloud.com/usermanual-mrs/zh-cn_topic_0012799688.md): 用户可以在集群创建完成后，通过MRS管理控制台或MRS集群Manager查看集群基本信息并对集群进行管理和运维。MRS管理控制台：用户可以通过MRS管理控制台的集群管理页面，进行集群概览查看、节点管理、组件管理、告警管理、文件管理、作业管理等操作。MRS集群Manager：Manager是MRS的运维管理系统，为部署在集群内的服务提供统一
- [查看MRS集群运行状态](https://support.huaweicloud.com/usermanual-mrs/zh-cn_topic_0012808230.md): MRS支持创建多个集群，集群购买数量受弹性云服务器数量限制。用户可以通过管理控制台查看所有MRS集群运行状态。集群列表默认按创建时间顺序排列，集群列表参数说明如表1所示。现有集群：包括除了“失败”和“已删除”状态以外的所有集群。历史集群：仅包含“已删除”的集群，目前界面只显示6个月内创建且已删除的集群，若需要查看6个月以前删除的集群，请联
- [查看MRS集群基本信息](https://support.huaweicloud.com/usermanual-mrs/zh-cn_topic_0012808231.md): 集群创建完成后，可对集群进行监控和管理。在现有集群，选中一集群并单击集群名，进入集群详情页面，查看集群的基本配置信息、网络信息和部署的节点信息等。
- [查看MRS云服务操作日志](https://support.huaweicloud.com/usermanual-mrs/zh-cn_topic_0012808265.md): MRS管理控制台上记录了用户对MRS集群和作业的操作信息。日志信息常用于集群运行异常时的问题定位，帮助用户快速定位问题原因，以便及时解决问题。目前MRS记录以下操作类型的日志信息：集群操作在管理控制台创建集群、删除集群、扩容集群和缩容集群等。在管理控制台创建目录、删除目录和删除文件。在管理控制台创建集群、删除集群、扩容集群和缩容集群等。在
- [上传应用数据至MRS集群](https://support.huaweicloud.com/usermanual-mrs/zh-cn_topic_0019489057.md): MRS集群处理的数据源通常来源于OBS文件系统或集群内的HDFS文件系统，用户可以基于MRS管理控制台和OBS客户端对OBS数据进行浏览、管理和使用，也可以将OBS的数据导入集群的HDFS系统后进行处理。通常情况下，推荐将业务数据直接放置在OBS文件系统中。OBS文件系统的数据迁移至HDFS时，传输文件速率会随着文件大小的增大而变慢，适合
- [查看MRS集群告警](https://support.huaweicloud.com/usermanual-mrs/zh-cn_topic_0040980162.md): 在MRS集群中，告警和事件是保障系统稳定性、可靠性和性能的重要机制。告警是指系统基于事件分析后产生的异常通知，需人工干预或系统自动处理。用户可以通过管理控制台或者集群Manager界面查看组件上报的告警。用户也可以针对集群内的阈值类监控指标，自行定义阈值告警。对于自动恢复类告警，当系统满足恢复条件后，告警会自动清除。当告警不具备自动清除功
- [查看历史MRS集群信息](https://support.huaweicloud.com/usermanual-mrs/zh-cn_topic_0057514383.md): 用户可以通过MRS管理控制台查看当前账号下已删除或者退订的MRS集群，了解云服务集群创建情况。单击集群名称，进入集群基本信息页面，可查看集群的配置信息、部署的节点信息、弹性伸缩信息、组件信息、作业信息、引导操作信息和标签信息。

## 组件操作指南（LTS版）

- [访问Hue WebUI界面](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0132.md): MRS集群安装Hue组件后，用户可以通过Hue的WebUI，在图形化界面使用Hadoop生态相关组件。该任务指导用户在MRS集群中打开Hue的WebUI。Internet Explorer浏览器可能存在兼容性问题，建议更换兼容的浏览器访问Hue WebUI，例如Google Chrome浏览器50版本。第一次访问Manager和Hue W
- [Hue常用配置参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0133.md): 参数入口，请参考修改集群服务配置参数进入Hue服务“全部配置”页面。Hue常用参数请参见表1。Hue自定义参数请参见表2。以下自定义参数仅MRS 3.1.2及之后版本适用。
- [通过Hue执行HiveQL](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0134.md): Hue提供了Hive图形化管理功能，使用户可以通过界面的方式执行HiveQL语句、查询Hive的不同数据。Hive支持以下功能：执行HQL语句在左侧选中目标数据库，也可通过单击右上角的，输入目标数据库的名称以搜索目标数据库。在文本编辑框输入HQL语句，单击或者按Ctrl+Enter，运行HQL语句，执行结果将在结果页签显示。在左侧选中目标
- [通过Hue查看Hive元数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0135.md): 用户需要使用图形化界面在集群中管理Hive的元数据，可以通过Hue完成任务。访问Hue WebUI，请参考访问Hue WebUI界面。查看Hive表的元数据在左侧导航栏单击表，单击某一表名称，界面将显示Hive表的元数据信息。在左侧导航栏单击表，单击某一表名称，界面将显示Hive表的元数据信息。管理Hive表的元数据在Hive表的元数据信
- [通过Hue管理HDFS文件](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0136.md): Hue提供了文件浏览器功能，使用户可以通过界面图形化的方式使用HDFS。Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作，使用Hive客户端对Hive表进行操作。文件浏览器的“
- [通过Hue管理Oozie作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0137.md): 用户需要使用图形化界面查看集群中所有作业时，可以通过Hue完成任务。Hue提供了Oozie作业管理器功能，使用户可以通过界面图形化的方式使用Oozie。Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户
- [配置HDFS冷热数据迁移](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0140.md): 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集，则该工具将对该文件执行一组行为操作。冷热数据迁移工具支持以下规则和行为。迁移规则：根据文件的最后访问时间迁移数据根据年龄时间迁移数据（修改时间）无条件迁移数据规则条件标签条件标签描述<age operator="lt">定义年龄/修改时间
- [Hue日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0147.md): 日志路径：Hue相关日志的默认存储路径为“/var/log/Bigdata/hue”（运行日志），“/var/log/Bigdata/audit/hue”（审计日志）。日志归档规则：Hue的日志启动了自动压缩归档功能，默认情况下，当“access.log”、“error.log”、“runcpserver.log”和“hue-audits
- [使用Hue WebUI访问HDFS文件失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0156.md): 在使用Hue WebUI访问HDFS文件时，报如下图所示无法访问的错误提示，该如何处理？查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装HttpFS实例，需手动安装并重启Hue服务。
- [HBase客户端使用实践](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0340.md): 在MRS集群运维和业务开发中，管理员和开发人员需要通过HBase客户端执行数据读写、表结构管理、数据查询等操作。HBase客户端提供了hbase shell交互式命令行工具，支持通过类SQL命令对HBase表进行创建、删除、数据插入、查询等操作。了解HBase客户端的使用方法，能够帮助用户快速上手HBase数据操作，满足日常运维和业务开发
- [快速使用HBase进行离线数据分析](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0368.md): HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导，通过客户端实现创建表、往表中插入数据、修改表、读取表数据、删除表中数据以及删除表的功能。假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，使用HBase客户端实现A业务操作流程如下：创建用户信息表user_info。
- [查看Kafka Topic基本信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0377.md): 用户创建Topic后，可以在Manager查看主题的详细信息、主题的分区数和备份数等。也可以通过KafkaUI查看Kafka已创建的Topic的名称、状态、分区数量、创建时间和副本个数等信息。登录集群Manager具体操作，请参考访问MRS集群Manager。主题列表默认显示所有主题。可以查看主题的分区数和备份数。如果“KafkaTopi
- [Kafka用户权限说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0378.md): 当集群已启用Kerberos认证（安全模式）时，用户直接访问Kafka资源会因权限不足导致操作失败。MRS集群支持通过两种鉴权插件（Kafka开源自带鉴权插件和Ranger鉴权插件）进行精细化权限管理。Kafka开源自带鉴权插件：使用kafka-acl.sh脚本授予用户查看某Topic权限控制列表、操作Producer、操作Consume
- [使用Kafka生产消费数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0379.md): 用户可以通过MRS集群Kafka客户端在Kafka Topic中产生和消费消息。已安装客户端，例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。启用Kerberos认证的集群
- [Flume日志采集概述](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0391.md): Flume是一个分布式、可靠和高可用的海量日志聚合的系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方，用于收集数据。同时，提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume分为客户端和服务端，两者都是FlumeAgent。服务端对应着F
- [查看Flume客户端日志](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0393.md): ls -lR flume-client-*日志文件示例如下：其中FlumeClient.log即为Flume客户端的运行日志。
- [停止或卸载Flume客户端](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0394.md): 指导运维工程师停止、启动Flume客户端，以及在不需要Flume数据采集通道时，卸载Flume客户端。停止Flume角色的客户端。假设Flume客户端安装路径为/opt/FlumeClient，执行以下命令，停止Flume客户端：cd /opt/FlumeClient/fusioninsight-flume-Flume组件版本号/bin.
- [使用Flume客户端加密工具](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0395.md): 安装Flume客户端后，配置文件的部分参数可能需要填写加密的字符，Flume客户端中提供了加密工具。cd fusioninsight-flume-Flume组件版本号/bin./genPwFile.sh输入两次待加密信息。cat password.property如果加密参数是用于Flume Server，那么需要到相应的Flume Se
- [Flume常用配置参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0396.md): 部分参数可在Manager界面配置。使用Flume需要配置Source、Channel和Sink，各模块配置参数说明可通过本节内容了解。MRS 3.x及之后版本部分参数可通过Manager界面配置，选择“集群 > 服务 > Flume > 配置工具”，选择要使用的Source、Channel以及Sink，将其拖到右侧的操作界面中，双击对应
- [快速使用Flume采集节点日志](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0397.md): Flume支持将采集的日志信息导入到Kafka。已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。已配置网络，使日志生成节点与流集群互通。普通集群不需要执行2-6。可参考安装Flume客户端在日志生成节点安装Flume客户端，例如安装目录为“/opt/Flumeclient”。以下操作的客户
- [上传MySQL数据库连接驱动](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0407.md): Loader作为批量数据导出的组件，可以通过关系型数据库导入、导出数据。在连接关系型数据库前，需提前手动上传驱动。修改关系型数据库对应的驱动jar包文件权限。cd ${BIGDATA_HOME}/FusionInsight_Porter_xxx/install/FusionInsight-Sqoop-1.99.3/FusionInsigh
- [管理Loader数据连接](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0409.md): Loader页面支持创建、查看、编辑和删除连接。登录FusionInsight Manager，具体请参见访问集群Manager，选择“集群 > 服务”。参数介绍具体可参见Loader连接配置说明。如果连接配置，例如IP地址、端口、访问用户等信息不正确，将导致验证连接失败无法保存。用户可以直接单击测试立即检测连接是否可用。如果显示测试成功
- [基于binlog的MySQL数据同步到MRS集群中](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0441.md): 本章节为您介绍使用Maxwell同步工具将线下基于binlog的数据迁移到MRS Kafka集群中的指导。Maxwell是一个开源程序（https://maxwells-daemon.io），通过读取MySQL的binlog日志，将增删改等操作转为JSON格式发送到输出端（如控制台/文件/Kafka等）。Maxwell可部署在MySQL机
- [快速使用Hive进行数据分析](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0442.md): 在企业数据仓库场景中，业务系统积累了大量的用户信息数据（如用户编号、姓名、性别、年龄、地址等），管理员或开发人员需要使用SQL语句对这些结构化数据进行统计分析。但传统的MapReduce开发需要编写Java代码，开发周期长且门槛较高。如何在不需要开发专门MapReduce应用的前提下，通过类SQL语句快速实现数据统计分析？Hive作为基于
- [Flink客户端使用实践](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0473.md): 在使用Flink客户端之前，需要先安装Flink客户端并完成相关配置。本章节提供使用Flink运行wordcount作业的操作指导，帮助您快速掌握Flink客户端的使用方法。MRS集群中已安装Flink组件。集群正常运行，已安装集群客户端，例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例，请根据实际安装目
- [启用集群间拷贝功能备份集群数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0502.md): 在HDFS数据运维场景中，管理员需要将数据从当前集群备份到另一个集群，以实现数据容灾或跨集群数据迁移。HBase集群间拷贝功能基于DistCp（分布式拷贝）工具实现，DistCp通过MapReduce作业并行拷贝大量数据，适用于大规模数据迁移场景。但DistCp工具依赖于集群间复制功能，该功能默认未启用，需要在对端两个集群上都进行配置才能
- [HBase本地二级索引介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0506.md): HBase是基于Key-Value的分布式存储数据库，基于rowkeys对表中的数据按照字典进行排序。如果您根据指定的rowkey查询数据，或者扫描指定rowkey范围内的数据，HBase可以快速查找到需要读取的数据，从而提高效率。在大多数实际情况下，会需要查询列值为XXX的数据。HBase提供了Filter功能来查询具有特定列值的数据，
- [批量加载HBase数据并生成本地二级索引](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0507.md): 在HBase数据导入场景中，当需要将大量结构化数据（如CSV文件、日志文件）批量导入HBase时，传统的Put方式逐条写入效率低下，无法满足大规模数据导入的性能要求。同时，如果业务需要对非RowKey列进行高效查询，还需要在数据导入时同步生成本地二级索引。如何在保证数据导入性能的同时，自动完成索引数据的生成？HIndexImportTsv
- [使用TableIndexer工具生成HBase本地二级索引](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0508.md): 为了快速对数据创建索引，HBase提供了可通过MapReduce功能创建索引的TableIndexer工具，该工具可实现添加、构建和删除索引。具体使用场景如下：在表中预先存在大量数据的情况下，可能希望在某个列上添加索引。但是使用addIndicesWithData() API添加索引会生成与相关数据对应的索引数据，这将花费大量时间。另一方
- [配置HBase主备集群数据自动备份](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0510.md): 在HBase集群容灾场景中，管理员需要将主集群的数据实时同步到备集群，以实现数据容灾和故障切换。当主集群出现故障时，备集群可以快速接管业务，保障业务连续性。HBase提供基于Replication机制的主备集群数据自动备份功能，通过WAL（Write Ahead Log）将主集群的数据变更实时同步到备集群，实现数据增量同步。当主集群故障时
- [Hive常用配置参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0582.md): Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。本章节主要介绍Hive常用参数。
- [Flink常用配置参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0592.md): Flink所有的配置参数都可以在客户端侧进行配置，建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置，如果通过Manager界面修改Flink服务参数，配置完成之后需要重新下载安装客户端：配置文件路径：客户端安装路径/Flink/flink/conf/flink-conf.yaml。文件的配置格式为key:valu
- [Flink日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0596.md): 在Flink作业运行和问题排查过程中，日志是定位问题的重要依据。Flink涉及多种日志类型（运行日志、服务日志、审计日志、HA日志等），且日志存储路径、归档规则、级别配置各不相同。本章节介绍Flink各类日志的存储路径、归档规则、级别和格式，帮助您快速找到所需日志。日志存储路径：Flink作业运行日志：“${BIGDATA_DATA_HO
- [Flink客户端常见命令说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0598.md): Flink提供了多种Shell命令用于作业管理，包括启动集群、提交作业、查看作业状态、停止作业等操作。在使用Flink的Shell脚本前，首先需要执行以下操作，详细使用场景可参考Flink客户端使用实践运行wordcount作业：source /opt/client/bigdata_env
- [访问Impala WebUI界面](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0600.md): 用户可以通过Impala的WebUI，在图形化界面查看Impala作业的相关信息。Impala的WebUI根据实例不同分为如下三种：StateStore WebUI：用于管理节点。Catalog WebUI：用于查看元数据。Impalad WebUI：用于查看每个SQL执行的详细信息。已安装Impala服务的集群。MRS 3.3.1-LT
- [访问Kudu的WebUI](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0601.md): 用户可以通过Kudu的WebUI，在图形化界面查看Kudu作业的相关信息。已安装Kudu服务的集群。
- [从零开始使用Kudu](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0638.md): Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性：可水平扩展，并支持高可用性操作。已安装集群客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。执行su - omm命令，切换到omm用户。cd /opt/
- [Impala客户端使用实践](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0639.md): Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。 它是一个用C++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比，它拥有高性能和低延迟的特点。假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，使用Impala客户端实现A业务操作流程如下：普通表的操作：创建用户
- [访问Spark WebUI界面](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0767.md): MRS集群安装Spark组件后，用户可以通过Spark WebUI界面查看Spark应用程序运行情况。本章节指导用户在MRS集群中访问Spark WebUI界面。MRS集群已安装Spark组件，并且正常运行。已创建具有Spark管理操作权限的用户，用户组添加hadoop、hive、supergroup，主组添加hadoop。页面包括了应用
- [DBService日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0789.md): 日志存储路径：DBService相关日志的默认存储路径为“/var/log/Bigdata/dbservice”。gaussDB：“/var/log/Bigdata/dbservice/DB”（gaussDB运行日志目录），“/var/log/Bigdata/dbservice/scriptlog/gaussdbinstall.log”（
- [配置NameNode内存参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0791.md): 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。登录集群Manager具体操作，请参考访问MRS集群Manager。
- [使用distcp命令跨集群复制HDFS数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0794.md): distcp是一种在集群间或集群内部拷贝大量数据的工具。它利用MapReduce任务实现大量数据的分布式拷贝。在使用distcp复制文件到OBS上时，目录层级不能超过45。在使用distcp从HDFS复制文件到OBS或者从OBS复制到HDFS时，需增加命令行参数-skipcrccheck，否则distcp命令会执行失败。集群间复制数据时，
- [HDFS文件系统目录简介](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0795.md): HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件之后的添加操作。HDFS保证一个文件在一个时刻只被一个调用者执行写操作，而可以
- [配置HDFS用户访问HDFS文件权限](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0797.md): 默认情况下，某些HDFS的文件目录权限为777或者750，存在安全风险。建议您在客户端安装完成后修改对应HDFS目录的权限，增加用户的安全性。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。export HADOOP_USER_NA
- [规划HDFS容量](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0799.md): HDFS DataNode以Block的形式，保存用户的文件和目录，同时在NameNode中生成一个文件对象，对应DataNode中每个文件、目录和Block。NameNode文件对象需要占用一定的内存，消耗内存大小随文件对象的生成而线性递增。DataNode实际保存的文件和目录越多，NameNode文件对象总量增加，需要消耗更多的内存，
- [设置HBase和HDFS的句柄数限制](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0801.md): 当打开一个HDFS文件时，句柄数限制导出，出现如下错误：此时可以参考该章节设置HBase和HDFS的句柄数。联系集群管理员增加各用户的句柄数。该配置为操作系统的配置，并非HBase或者HDFS的配置。建议集群管理员根据HBase和HDFS的业务量及各操作系统用户的权限进行句柄数设置。如果某一个用户需对业务量很大的HDFS进行很频繁且很多的
- [配置DataNode节点容量不一致时的副本放置策略](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0804.md): 默认情况下，NameNode会随机选择DataNode节点写入文件。当集群内某些数据节点的磁盘容量大小不一致，会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时的磁盘选择策略为“节点磁盘可用空间块放置策略”，可提高将块数据写到磁盘可用空间较大节点的概率，解决因为数据节点磁盘容量不一致导致的节点使用率不均衡的情况，显
- [配置HDFS单目录文件数量](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0805.md): 通常一个集群上部署了多个服务，且大部分服务的存储都依赖于HDFS文件系统。当集群运行时，不同组件（例如Spark、Yarn）或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的，因此用户需要提前做好规划，防止单个目录下的文件数目超过阈值，导致任务出错。HDFS提供了dfs.namenode.fs-l
- [配置HDFS文件回收站机制](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0806.md): HDFS的回收站机制是一种数据保护机制，它允许用户在删除文件或目录后，将其暂时存储在一个特定的位置，而不是立即永久删除。当用户误删除重要数据时，可以从回收站中恢复数据，避免数据永久丢失。被删除的文件会被移动到用户主目录下的“.Trash”目录中，路径通常为“hdfs://<nameservice>/user/<username>/.Tra
- [配置HDFS Token的最大存活时间](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0808.md): 集群已启用Kerberos认证（安全模式）场景下，如果HDFS Token过期，HDFS已提交的作业将因认证失败而中断，导致数据读写异常。本章节介绍如何通过调整Token最大存活时间和续期时间间隔，确保长周期作业在运行期间Token始终有效，避免因Token过期导致的业务中断。登录集群Manager具体操作，请参考访问MRS集群Manag
- [HDFS网络不稳定场景调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0811.md): 在网络不稳定的情况下，可以通过调整如下参数，降低客户端应用运行异常概率。登录集群Manager具体操作，请参考访问MRS集群Manager。
- [HDFS日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0828.md): 日志存储路径：HDFS相关日志的默认存储路径为“/var/log/Bigdata/hdfs/角色名”。NameNode：“/var/log/Bigdata/hdfs/nn”（运行日志），“/var/log/Bigdata/audit/hdfs/nn”（审计日志）。DataNode：“/var/log/Bigdata/hdfs/dn”（运行
- [配置MapReduce任务日志归档和清理机制](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0836.md): 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内容被HistoryServer解析以后用于查看作业执行的详细信息。任务日志记录了每个运行在Container中的任务输
- [降低MapReduce客户端运行任务失败率](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0837.md): 当网络不稳定或者集群IO、CPU负载过高的情况下，通过调整如下参数值，降低客户端应用的失败率，保证应用的正常运行。在客户端的mapred-site.xml配置文件中调整如下参数。mapred-site.xml配置文件在客户端安装路径的conf目录下，例如“/opt/client/Yarn/config”。
- [通过Windows系统提交MapReduce任务](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0838.md): 用户将MapReduce任务从Windows上提交到Linux上运行，则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数，或参数值为“false”，则表示集群不支持此功能，需要按照如下操作增加该参数或修改参数值进行开启。本章节操作适用于MRS 3.x及之后版本。在
- [配置使用分布式缓存执行MapReduce任务](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0839.md): 本章节操作适用于MRS 3.x及之后版本。分布式缓存在两种情况下非常有用。滚动升级在升级过程中，应用程序必须保持文字内容（jar文件或配置文件）不变。而这些内容并非基于当前版本的Yarn，而是要基于其提交时的版本。一般情况下，应用程序（例如MapReduce、Hive、Tez等）需要进行完整的本地安装，将库安装至所有的集群机器（客户端及服
- [配置MapReduce shuffle address](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0840.md): 当MapReduce shuffle服务启动时，它尝试基于localhost绑定IP。如果需要MapReduce shuffle服务连接特定IP，可以参考该章节进行配置。当需要MapReduce shuffle服务绑定特定IP时，需要在NodeManager实例所在节点的配置文件mapred-site.xml中（例如路径为：${BIGDA
- [配置MapReduce集群管理员列表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0841.md): 该功能主要用于指定MapReduce集群管理员。其中，集群管理员列表由参数mapreduce.cluster.administrators指定，集群管理员admin具有所有可以操作的权限。进入Mapreduce服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。
- [MapReduce日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0842.md): 日志默认存储路径：JobhistoryServer：“/var/log/Bigdata/mapreduce/jobhistory”（运行日志），“/var/log/Bigdata/audit/mapreduce/jobhistory”（审计日志）Container：“/srv/BigData/hadoop/data1/nm/contain
- [多CPU内核下MapReduce调优配置](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0844.md): 当CPU内核数很多时，如CPU内核为磁盘数的3倍时的调优配置。以下参数有如下两个配置入口：服务器端配置进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。客户端配置直接在客户端中修改相应的
- [配置MapReduce Job基线](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0845.md): 确定Job基线是调优的基础，一切调优项效果的检查，都是通过和基线数据做对比来获得。Job基线的确定有如下三个原则：充分利用集群资源Reduce阶段尽量放在一轮每个Task的执行时间要合理原则一：充分利用集群资源。Job运行时，会让所有的节点都有任务处理，且处于繁忙状态，这样才能保证资源充分利用，任务的并发度达到最大。可以通过调整处理的数据
- [MapReduce Shuffle调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0846.md): Shuffle阶段是MapReduce性能的关键部分，包括了从Map task将中间数据写到磁盘一直到Reduce task复制数据并最终放到reduce函数的全部过程。这部分Hadoop提供了大量的调优参数。Map阶段的调优判断Map使用的内存大小判断Map分配的内存是否足够，一个简单的办法是查看运行完成的job的Counters中，对
- [MapReduce大任务的AM调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0847.md): 当运行一个大任务（map总数达到了10万的规模），但是一直没有运行成功。经过查询发现是ApplicationMaster（以下简称AM）反应缓慢，最终超时失败。此任务的问题是，task数量变多时，AM管理的对象也线性增长，因此就需要更多的内存来管理。AM默认分配的内存堆大小是1GB。通过调大如下的参数来进行AM调优。参数入口：在Yarn客
- [配置MapReduce任务推测执行](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0848.md): 当集群规模很大时（如几百上千台节点的集群），个别节点出现软硬件故障的概率会增大，并且会因此延长整个任务的执行时间（运行完成的任务会等待异常设备运行完成）。推测执行通过将一个task分给多台机器运行，取首先运行完成的节点。对于小集群，可以将该功能关闭。参数入口：进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改
- [通过Slow Start调优MapReduce任务](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0849.md): Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动，过早启动Reduce任务会导致资源占用，影响任务运行效率，但适当地提早启动Reduce任务会提高Shuffle阶段的资源利用率，提高任务运行效率。例如：某集群可启动10个Map任务，MapReduce作业共15个Map任务，那么在一轮Map任务执行完成后只剩5个
- [MapReduce任务commit阶段优化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0850.md): 默认情况下，如果一个MR任务会产生大量的输出结果文件，那么该job在最后的commit阶段，会耗费较长的时间将每个task的临时输出结果commit到最终的结果输出目录。特别是在大集群中，大Job的commit过程会严重影响任务的性能表现。针对以上情况，可以通过将以下参数mapreduce.fileoutputcommitter.algo
- [Yarn常用配置参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0852.md): Yarn服务提供队列给用户使用，用户分配对应的系统资源给各队列使用。完成配置后，您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。参数入口：用户可在Manager系统中，选择“租户资源 > 动态资源计划 > 队列配置”。参数说明以修改Superior调度器的default租户为例，其他队列的配置类似，单击“修改”编辑。默认情况下，
- [创建Yarn权限角色](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0853.md): 该任务指导MRS集群管理员创建并设置Yarn的角色。Yarn角色可设置Yarn管理员权限以及Yarn队列资源管理。如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理。具体操作可参考添加Yarn的Ranger访问权限策略。针对MRS 3.6.0及之后版本，如果一个用户绑定了多个拥有默认队列的角色或租户，用
- [使用Yarn客户端提交任务](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0854.md): 该任务指导用户在运维场景或业务场景中使用Yarn客户端。各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。普通模式不需要下载keytab文件及修改密码操作。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。下
- [配置NodeManager角色实例使用的资源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0855.md): 如果部署NodeManager的各个节点的硬件资源（如CPU核数、内存总量）不同，但是NodeManager可用硬件资源设置为相同的值，可能造成性能浪费或状态异常。为了使节点的硬件资源得到充分利用，可以参考该章节操作修改各个NodeManager角色实例的虚拟CPU核数、可使用的物理内存大小。保存新的配置需要重启NodeManager角色
- [更改NodeManager的存储目录](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0856.md): Yarn NodeManager定义的存储目录不正确或Yarn的存储规划变化时，MRS集群管理员需要在Manager中修改NodeManager的存储目录，以保证Yarn正常工作。NodeManager的存储目录包含本地存放目录“yarn.nodemanager.local-dirs”和日志目录“yarn.nodemanager.log-
- [配置Yarn权限控制开关](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0857.md): 在安全模式的多租户场景下，一个集群可以支持多个用户同时使用，并支持多个用户同时提交、运行任务。用户之间是不可见，MRS提供权限控制机制，使用户的任务信息不被其他用户获取。例如，用户A提交的应用正在运行，此时用户B登录系统并查看应用列表，用户B不应该访问到A用户的应用信息。该章节参数配置会影响restful API和shell命令结果，即以
- [配置Container日志聚合功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0858.md): Yarn提供了Container日志聚合功能，可以将各节点Container产生的日志收集到HDFS，释放本地磁盘空间。日志收集的方式有两种：应用完成后将Container日志一次性收集到HDFS。应用运行过程中周期性收集Container输出的日志片段到HDFS。应用完成后将Container日志一次性收集到HDFS。应用运行过程中周期
- [启用Yarn CGroups功能限制Container CPU使用率](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0859.md): CGroups是一个Linux内核特性。它可以将任务集及其子集聚合或分离成具备特定行为的分层组。在YARN中，CGroups特性对容器（container）使用的资源（例如CPU使用率）进行限制。本特性大大降低了限制容器CPU使用的难度。当前CGroups仅用于限制CPU使用率。有关如何配置CPU隔离与安全的CGroups功能的详细信息，
- [配置Yarn数据访问通道协议](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0862.md): 服务端配置了web访问为https通道，如果客户端没有配置，默认使用http访问，客户端和服务端的配置不同，就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数，可以防止客户端访问结果显示乱码。安全模式下配置为“HTTPS_ONLY”。普通模式下配置为“HTTP_ONLY”。cd/opt/clien
- [检测Yarn内存使用情况](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0863.md): 针对所提交应用的内存使用无法预估的情况，可以通过修改服务端的配置项控制是否对内存使用进行检测。如果不检测内存使用，Container会占用内存直到内存溢出；如果检测内存使用，当内存使用超过配置的内存大小时，相应的Container会被kill掉。参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。
- [配置Yarn实例重启后自动加载Container信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0865.md): YARN Restart特性包含两部分内容：ResourceManager Restart和NodeManager Restart。当启用ResourceManager Restart时，备ResourceManager升主后，ResourceManager就可以通过加载之前的主ResourceManager的状态信息，并通过接收所有No
- [配置AM作业自动保留及内存分配](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0866.md): 每个应用程序（如MapReduce作业、Spark作业等）在YARN上运行时，都会启动一个独立的ApplicationMaster（AM）。AM的主要职责是与YARN的ResourceManager通信，以获取资源，并协调应用程序的任务执行。在YARN中，AM与Container类似，都运行在NodeManager（NM）上（本文中忽略未
- [配置Yarn本地化日志级别](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0867.md): container本地化默认的日志级别是INFO。用户可以通过配置yarn.nodemanager.container-localizer.java.opts来改变日志级别。在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”，选择全部配置，在NodeManager的配置文件yarn-site.xm
- [手动指定运行Yarn任务的用户](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0868.md): 目前YARN支持启动NodeManager的用户运行所有用户提交的任务，也支持以提交任务的用户运行任务。在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”，选择全部配置。在搜索框中输入参数名称。yarn.nodemanager.linux-container-executor.user配置运行co
- [Yarn日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0870.md): Yarn相关日志的默认存储路径如下：ResourceManager：“/var/log/Bigdata/yarn/rm”（运行日志），“/var/log/Bigdata/audit/yarn/rm”（审计日志）NodeManager：“/var/log/Bigdata/yarn/nm”（运行日志），“/var/log/Bigdata/au
- [调整Yarn任务抢占机制](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0872.md): Capacity调度器抢占原理：抢占任务可精简队列中的job运行并提高资源利用率，由ResourceManager的capacity scheduler实现，其简易流程如下：假设存在两个队列A和B。其中队列A的capacity为25%，队列B的capacity为75%。初始状态下，任务1发送给队列A，此任务需要75%的集群资源。之后任务2
- [手动配置Yarn任务优先级](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0873.md): 集群的资源竞争场景如下：提交两个低优先级的应用Job 1和Job 2。正在运行中的Job 1和Job 2有部分task处于running状态，但由于集群或队列资源容量有限，仍有部分task未得到资源而处于pending状态。提交一个较高优先级的应用Job 3，此时会出现如下资源分配情况：当Job 1和Job 2中running状态的tas
- [Yarn节点配置调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0874.md): 合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。具体包括以下配置项：可用内存CPU虚拟核数物理CPU使用百分比内存和CPU资源的协调本地磁盘如果您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。可用内存除了分配给操作系统、其他服务的内存外，剩余的资源应尽量分配给YARN。通
- [Hive用户权限说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0948.md): Hive是建立在Hadoop上的数据仓库框架，提供类似SQL的HQL操作结构化数据。MRS提供用户、用户组和角色，集群中的各类权限需要先授予角色，然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组，才能获得权限。更多Hive授权相关信息请参考https://cwiki.apache.org/confluence/di
- [创建Hive用户并绑定角色](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0949.md): 该任务指导MRS集群管理员在Manager创建Hive用户并绑定角色。Hive角色可设置Hive管理员权限以及Hive表的数据操作权限。用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表拥有完整权限，可直接创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问表与对应H
- [配置Hive表、列或数据库的用户权限](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0950.md): 使用Hive表或者数据库时，如果用户访问别人创建的表或数据库，需要授予对应的权限。为了实现更严格权限控制，Hive也支持列级别的权限控制。如果要访问别人创建的表上某些列，需要授予列权限。以下介绍使用Manager角色管理功能在表授权、列授权和数据库授权三个场景下的操作。集群已启用Kerberos认证（安全模式）支持配置Hive表、列或数据
- [配置Hive业务使用其他组件的用户权限](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0951.md): Hive业务还可能需要关联使用其他组件，例如HQL语句触发MapReduce任务需要设置Yarn权限，或者Hive over HBase的场景需要HBase权限。以下介绍Hive关联Yarn和Hive over HBase两个场景下的权限配置操作。集群已启用Kerberos认证（安全模式）的Yarn和HBase的权限管理默认是开启的，因此
- [Hive客户端使用实践](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0952.md): 该任务指导用户在运维场景或业务场景中使用Hive客户端。已安装客户端，具体请参考安装客户端章节。例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。本视频为您演示开启Kerberos认证的MRS集群创建成功并安装客户端后，通过Hive客户端创建存储在HDFS中的外表、插入数据、查询数
- [使用HDFS Colocation存储Hive表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0953.md): 在企业数据仓库场景中，多张业务表经常需要进行关联查询（如订单表与用户表关联），如果这些表的数据分布在不同的DataNode上，关联查询时需要跨节点传输大量数据，导致网络开销大、查询性能低。如何在数据写入阶段就预先规划数据分布，使相关联的表数据存储在相同的节点上，从而减少关联查询时的数据传输开销？HDFS Colocation（同分布）功能
- [配置Hive列加密功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0954.md): 在数据安全和合规性要求日益严格的背景下，企业中许多敏感数据需要进行加密存储，以防止数据泄露。Hive作为数据仓库，存储了大量业务数据，如果敏感列以明文形式存储，一旦HDFS被非法访问，敏感数据将直接暴露。如何在不影响业务查询的前提下，对Hive表中的敏感列进行加密存储？Hive提供列级加密功能，支持在创建表时指定加密列和加密算法，数据写入
- [自定义Hive表行分隔符](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0955.md): 通常情况下，Hive以文本文件存储的表会以回车作为其行分隔符，即在查询过程中，以回车符作为一行表数据的结束符。但某些数据文件并不是以回车分隔的规则文本格式，而是以某些特殊符号分隔其规则文本。MRS Hive支持指定不同的字符或字符组合作为Hive文本数据的行分隔符，即在创建表的时候，指定inputformat为SpecifiedDelim
- [删除Hive on HBase表中的单行记录](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0956.md): 由于底层存储系统的原因，Hive并不能支持对单条表数据进行删除操作，但在Hive on HBase功能中，MRS Hive提供了对HBase表的单条数据的删除功能，通过特定的语法，Hive可以将自己对应的HBase表中符合条件的一条或者多条数据清除。切换到客户端安装目录：加载环境变量认证用户，如果集群未启用Kerberos认证（普通模式）
- [配置基于HTTPS/HTTP协议的REST接口](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0957.md): 在Hive数据仓库的应用开发场景中，业务系统需要通过REST接口与Hive进行交互，执行查询、提交作业等操作。WebHCat为Hive提供了对外可用的REST接口，开源社区版本默认使用HTTP协议实现与Hive的交互。然而，HTTP协议以明文方式传输数据，在网络环境不安全的情况下，可能导致敏感数据（如查询结果、认证信息）被窃取或篡改。如何
- [配置Hive Transform功能开关](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0958.md): Hive的Transform功能允许用户在Hive查询中嵌入外部脚本（如Python、Java等），对数据进行复杂的转换和处理。这使得用户能够执行无法通过标准Hive函数实现的自定义数据处理逻辑。Transform操作将数据传递给外部脚本进行处理，然后将处理后的结果返回给Hive，从而实现数据的清洗、转换、丰富等操作。这一功能扩展了Hiv
- [配置Hive单表动态视图的访问控制权限](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0959.md): 在多租户数据管理场景中，不同用户需要访问同一张表中的不同数据子集。传统的访问控制方式需要为每个用户创建独立的视图，管理复杂且维护成本高。如何在保证数据安全的前提下，简化多用户访问控制的配置？MRS Hive提供基于动态视图的访问控制机制，通过current_user()函数实现单表动态视图，一个视图即可为不同用户自动过滤出对应的数据子集。
- [配置创建临时函数的用户不需要具有ADMIN权限](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0960.md): 在Hive数据处理场景中，用户经常需要创建自定义函数（UDF）来扩展Hive的SQL功能，满足特定的计算需求。Hive中的函数分为永久函数和临时函数两种类型。永久函数创建后永久保存在Hive元数据中，所有用户都可以使用；临时函数仅在当前会话中有效，会话结束后自动删除。Hive开源社区版本要求创建临时函数的用户必须具备ADMIN权限，这在多
- [配置Hive读取关系型数据库](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0961.md): Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据，并与Hive的其他表进行Join操作。目前支持使用Hive读取DB2和Oracle两种关系型数据库的数据。已安装Hive客户端。下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。例如安装目录为“/opt/client”，则执行以下命令：是，
- [Hive支持的传统关系型数据库语法说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0962.md): 本章节为您介绍Hive支持的如下传统关系型数据库语法：GroupingEXCEPT、INTERSECT当group by语句带with rollup/cube选项时，Grouping才有意义。CUBE生成的结果集显示了所选列中值的所有组合的聚合。ROLLUP生成的结果集显示了所选列中值的某一层次结构的聚合。Grouping：当用CUBE或
- [创建Hive用户自定义函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0963.md): 当Hive的内置函数不能满足需要时，可以通过编写用户自定义函数UDF（User-Defined Functions）插入自己的处理代码并在查询中使用它们。本文为您介绍自定义函数的开发和运行。按使用方法，UDF有如下分类：临时函数，只能在当前会话使用，重启会话后需要重新创建。永久函数，可以在多个会话中使用，不需要每次创建。用户自定义函数需要
- [配置Hive Beeline高可靠性](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0965.md): 在批处理任务运行过程中，beeline客户端由于网络异常等问题断线时，Hive能支持beeline在断线前已经提交的任务继续运行。当再次运行该批处理任务时，已经提交过的任务不再重新执行，直接从下一个任务开始执行。在批处理任务运行过程中，HiveServer服务由于某些原因导致故障时，Hive能支持当再次运行该批处理任务时，已经成功执行完成
- [配置具备表select权限的用户可查看表结构](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0966.md): 在 Hive默认权限控制逻辑中，仅拥有表的SELECT权限的用户，只能查询表数据，却无法通过直接获取表结构信息（例如表定义、存储格式、分区信息等详细元数据）。在数据开发、分析调试等场景中可能带来不便，例如数据分析师需参考表结构设计编写查询语句时，需额外申请更高的权限。本章节指导用户在集群已启用Kerberos认证（安全模式）的ACL鉴权场
- [配置Hive目录旧数据自动移除至回收站](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0967.md): 在Hive数据管理中，执行insert overwrite操作会覆盖目标目录的数据，默认情况下旧数据会被直接删除。但在实际业务中，旧数据可能因误操作或业务需求变更而需要恢复，直接删除会导致数据无法找回。如何在使用insert overwrite覆盖数据时保留旧数据，以便在需要时进行恢复？Hive提供目录旧数据自动移除至回收站功能，开启该功
- [配置Hive插入数据到不存在的目录中](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0968.md): 在Hive数据处理场景中，使用INSERT OVERWRITE DIRECTORY语句将查询结果写入指定的HDFS目录时，默认情况下如果目标目录不存在，语句会执行失败。这在自动化数据处理流程中可能导致任务中断，需要预先创建目录或修改脚本逻辑。如何让Hive在写入数据时自动创建不存在的目录，简化数据处理流程？MRS Hive提供自动创建目录
- [配置仅Hive管理员用户能创建库和在default库建表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0969.md): 默认情况下，具有创建Hive表权限的用户，能在Hive客户端创建数据库及在default库中建表。Hive支持配置仅有Hive管理员可以创建库和在default库中建表，其他用户需通过Hive管理员授权才可使用库。本章节操作不适用于集群未启用Kerberos认证（普通模式）且Hive未启用Ranger鉴权的场景。开启本功能之后，会限制普通
- [配置创建Hive内部表时不能指定Location](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0970.md): 创建Hive表时，支持指定表的Location为HDFS或OBS目录（存算分离场景），如果需要实现创建Hive内部表时，不支持指定Location，可通过配置“hive.internaltable.notallowlocation”参数进行控制。即表创建成功之后，表的Location路径会被创建在当前默认warehouse目录下（默认wa
- [配置用户在具有读和执行权限的目录中创建外表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0971.md): 创建Hive外部表时，当前用户需为外表Location目录的属主，Hive提供“hive.restrict.create.grant.external.table”参数，用于配置允许有目录读权限和执行权限的用户和用户组创建Hive外部表，而不必检查用户是否为该目录的属主，并且禁止外表的Location目录在当前默认warehouse目录下
- [配置Hive支持创建超过32个角色](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0972.md): 因为集群节点操作系统用户组个数限制，最多允许用户同时属于32个组，从而影响Hive的角色数量（Hive角色通常映射为系统用户组）。默认情况下，MRS集群中Hive不能创建超过32个角色，可能无法满足多组织、多租户、精细化数据权限管控等复杂场景的权限配置需求。本章节指导用户通过添加自定义参数的方式，配置Hive支持创建超过32个角色。开启本
- [配置Hive任务的最大Map数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0973.md): 在Hive任务中，Map数量直接影响查询性能，通常Hive根据输入数据大小和HDFS块大小自动计算Map任务数，但在某些场景下需要手动调整：数据倾斜：大文件导致单个Map任务处理时间过长。资源优化：集群资源紧张时，限制并发Map任务数。任务调度：控制Map任务粒度，避免过多小任务消耗资源。本章节指导用户通过自定义参数从服务端限定Hive任
- [配置用户租约隔离访问指定节点的HiveServer](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0974.md): Hive用户租约隔离即可以限定指定用户访问指定节点上的HiveServer服务，实现对用户访问HiveServer服务的资源隔离。以对用户hiveuser设置租约隔离为例，选取Hive当前已有的或者新添加一个或者多个实例，此处选择已有的HiveServer实例：切换到客户端安装目录：加载环境变量：认证用户，如果集群未启用Kerberos认
- [Hive日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0976.md): 在Hive集群运维和问题排查中，管理员和开发人员需要查看组件日志来定位故障原因、监控系统运行状态和审计用户操作行为。Hive作为MRS集群中的数据仓库服务，提供完整的日志体系覆盖HiveServer、MetaStore、WebHCat等多个角色的运行日志、审计日志和GC日志。了解Hive的日志存储路径、归档规则、日志级别和日志格式，有助于
- [建立Hive表分区提升查询效率](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0978.md): Hive在做Select查询时，一般会扫描整个表内容，会消耗较多时间去扫描不关注的数据。此时，可根据业务需求及其查询维度，建立合理的表分区，从而提高查询效率。静态分区：静态分区是指手动输入分区名称，在创建表时使用关键字PARTITIONED BY指定分区列名及数据类型。应用开发时，使用ALTER TABLE ADD PARTITION语句
- [Hive Join数据优化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0979.md): 使用Join语句时，如果数据量大，可能造成命令执行速度和查询速度慢，此时可进行Join优化。Join优化可分为以下方式：Map JoinSort Merge Bucket Map JoinJoin顺序优化Hive的Map Join适用于能够在内存中存放下的小表（指表大小小于25000000 BYTES），通过hive.mapjoin.sm
- [Hive Group By语句优化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0980.md): 优化Group by语句，可提升命令执行速度和查询速度。执行Group by操作的时候， Map端会先进行分组， 分组完后分发到Reduce端， Reduce端再进行分组。可采用Map端聚合的方式来进行Group by优化，开启Map端初步聚合，减少Map的输出数据量。在Hive客户端进行如下设置，开启Map端初步聚合操作：Group B
- [Hive ORC数据存储优化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0981.md): ORC是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。建议使用ORC作为Hive表默认的存储格式。已登录Hive客户端，具体操作请参见Hive客户端使用实践。推荐：使用SNAPPY压缩，适用于压缩比和读取效率要求均衡场景。create tablexx (col_name data_type)stored as orc tbl
- [Hive SQL逻辑优化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0982.md): 在Hive上执行SQL语句查询时，如果语句中存在(a&b) or (a&c)逻辑时，建议将逻辑改为a & (b or c)。假设条件a为p_partkey = l_partkey，优化前样例如下所示：优化后样例如下所示：
- [使用Hive CBO功能优化多表查询效率](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0983.md): 在Hive中执行多表Join时，Hive支持开启CBO（Cost Based Optimization），系统会自动根据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。CBO优化器会基于统计信息和查询条件，尽可能地使Join顺序达到更优。但是也可能存在特殊情况
- [配置Region Transition恢复线程](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1010.md): 在HBase集群运维中，Region的状态转换（Region Transition）是关键操作，包括Region的分配、迁移、拆分等。然而，在故障环境中，由于Region服务器响应慢、网络不稳定、ZooKeeper节点版本不匹配等原因，可能导致Region长时间处于Transition状态（RIT状态）。当Region处于RIT状态时，该
- [提升HBase Put和Scan数据性能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1016.md): HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下，配置参数需要进行相应的调整，本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。登录FusionInsight Manager界面，选择“集群 > 服务 > HBase > 配置”，配置以下相关参数以提升HBase数据读写性能。JVM GC参数Re
- [提升HBase实时写数据效率](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1017.md): 在业务系统运行过程中，需要将数据实时写入HBase，或存在大批量连续Put操作的场景。然而HBase的WAL同步策略、MemStore大小、Compaction策略等参数默认配置可能导致写入性能瓶颈，出现写入延迟增大、RegionServer频繁GC、写操作阻塞等问题。本章节从写数据服务端调优、客户端调优和表设计调优三个维度，指导用户优化
- [提升HBase实时读数据效率](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1018.md): 在大数据处理场景中，当业务系统需要从HBase读取海量数据时，可能因网络延迟或数据分布不均导致性能瓶颈。可通过优化服务端参数配置、调整Scan操作参数等方案实现性能提升。调用HBase的get或scan接口，从HBase中实时读取数据。读数据服务端调优登录FusionInsight Manager，选择“集群 > 服务 > 配置 > 全部
- [创建Kafka权限角色](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1032.md): 在启用Kerberos认证（安全模式）的Kafka集群中，不同用户对Kafka的权限需求不同。如果不进行精细化的权限控制，所有用户将拥有相同的操作权限，存在安全风险和数据误操作隐患。该任务指导MRS集群管理员在Manager创建一个角色并为用户绑定该角色，绑定该角色的用户将拥有对应角色的权限。Kafka角色可设置对Topic的创建、删除权
- [Kafka常用配置参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1033.md): MRS提供可视化的参数查看及修改界面，用户可根据实际业务的需求修改相关参数。登录集群Manager具体操作，请参考访问MRS集群Manager。如果当前为滚动重启且当前Topic存在多副本，则对业务无影响。否则重启期间会导致Kafka服务不可用，依赖该服务的上层服务也将受到影响。
- [配置Kafka数据安全传输协议](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1035.md): 在企业级Kafka集群部署中，数据传输安全是核心关注点。默认情况下，Kafka使用明文传输数据，存在数据被窃听、篡改的风险。特别是在跨网络、跨数据中心传输敏感数据时，需要启用加密传输协议来保障数据安全。本文介绍如何配置Kafka的安全传输协议，实现数据的加密传输和身份认证。SSL（Secure Sockets Layer）：安全套接字层，
- [Kafka业务规格说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1036.md): 本章节内容适用于MRS 3.x及后续版本。支持Topic的个数，受限于进程整体打开的文件句柄数（实际场景主要为数据文件和索引文件占用比较多）。可通过以下命令查看进程最多打开的文件句柄数。ulimit -n执行以下命令，查看当前单节点上Kafka进程打开的文件句柄（会继续增加）。lsof -p <Kafka PID>评估当前需要创建的Top
- [配置Kafka高可用和高可靠](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1037.md): Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。配置高可用、高性能模式后，数据可靠性会降低。在磁盘故障、节点故障等场景下存在数据丢失风险。配置高可靠性的影响：性能降低：在生产数据时，配置了高可靠参数ack=-1之后，需要多个副本均写入成功之后
- [更改Kafka Broker的存储目录](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1038.md): 增加Broker的存储目录时，MRS集群管理员需要在Manager中修改Broker的存储目录（由参数“log.dirs”控制），以保证Kafka正常工作，新创建的主题分区将在分区最少的目录中生成。该操作适用于以下场景：更改Broker角色的存储目录，所有Broker实例的存储目录将同步修改。更改Broker单个实例的存储目录，只对单个实
- [配置Kafka数据均衡工具](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1040.md): 该任务指导管理员根据业务需求，在客户端中执行Kafka均衡工具来均衡Kafka集群的负载，一般用于节点的退服、入服以及负载均衡的场景。MRS集群管理员已明确业务需求，并准备一个Kafka管理员用户（属于kafkaadmin组，集群未启用Kerberos认证（普通模式）时不涉及）。创建用户相关操作请参考创建Kafka用户并绑定角色。创建用户
- [配置Kafka用户Token认证信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1041.md): 用户可以通过登录Kafka客户端，使用kafka-delegation-tokens.sh脚本来生成Token、查询特定用户下的Token信息、刷新Token有效期、销毁Token等操作。已安装客户端，例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。下载并安装集群客户端的具体操作，请参考安装
- [Kafka日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1042.md): 日志路径：Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”，审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。Broker：“/var/log/Bigdata/kafka/broker”（运行日志）KafkaUI：“/var/log/Bigdata/kafka/ui”（
- [Kafka性能调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1044.md): 当Kafka集群数据量持续增长时，Broker可能面临启动缓慢、副本同步延迟、吞吐量不足及内存瓶颈等性能问题。本章节介绍Broker核心参数的调优方法：通过增加数据恢复线程数缩短启动时间，调大后台任务线程数提升任务处理效率，增大副本同步线程数加快数据同步，设置I/O处理线程数以提升吞吐量，并根据数据负载合理调整JVM堆内存等。各项参数需综
- [HBase日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1056.md): 在HBase集群运维和问题排查中，管理员和开发人员需要查看组件日志来定位故障原因、监控系统运行状态和审计用户操作行为。HBase作为MRS集群中的核心NoSQL数据库，提供完整的日志体系覆盖HMaster、RegionServer、ThriftServer、MetricController、RESTServer、PhoenixQueryS
- [Flume业务模型配置说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1057.md): 本任务旨在提供Flume常用模块的性能差异，用于指导用户进行合理的Flume业务配置，避免出现前端Source和后端Sink性能不匹配进而导致整体业务性能不达标的场景。本任务只针对于单通道的场景进行比较说明。Flume业务配置及模块选择过程中，一般要求Sink的极限吞吐量需要大于Source的极限吞吐量，否则在极限负载的场景下，Sourc
- [如何在Flume配置文件中使用环境变量](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1058.md): cdFlume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf格式：export 变量名=变量值示例：JAVA_OPTS="-Xms2G -Xmx4G -XX:CMSFullGCsBeforeCompaction=1 -XX:+UseConcMarkSweepGC -XX:+CMSParallelRe
- [生成Flume服务端和客户端的配置文件](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1060.md): 该操作指导安装工程师在集群及Flume服务安装完成后，分别配置Flume服务的服务端和客户端参数，使其可以正常工作。本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色客户端
- [使用Flume服务端从本地采集静态日志保存到Kafka](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1061.md): 该任务指导用户使用Flume服务端从本地采集静态日志保存到Kafka的Topic列表（test1）。本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Spooldir Source+Memory Channel+Kafka S
- [使用Flume服务端从本地采集静态日志保存到HDFS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1063.md): 该任务指导用户使用Flume服务端从本地采集静态日志保存到HDFS上/flume/test目录下。本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Spooldir Source+Memory Channel+HDFS Sin
- [使用Flume服务端从本地采集动态日志保存到HDFS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1064.md): 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上/flume/test目录下。本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Taildir Source+Memory Channel+HDFS Sink
- [使用Flume服务端从Kafka采集日志保存到HDFS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1065.md): 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上/flume/test目录下。本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Kafka Source+Memory Cha
- [使用Flume客户端从Kafka采集日志保存到HDFS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1066.md): 该任务指导用户使用Flume客户端从Kafka客户端的Topic列表(test1)采集日志保存到HDFS上/flume/test目录下。本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。已安装Flume客户端。已成功安装集群，包含HDFS、Kafka及Flume服
- [使用多级agent串联从本地采集静态日志保存到HBase](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1067.md): 该任务指导用户使用Flume客户端从本地采集静态日志保存到HBase表：flume_test。该场景介绍的是多级agent串联操作。本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置可以只用一个Flume场景，例如Server：Spooldir Source
- [使用多级agent串联从本地采集静态日志保存到HDFS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1070.md): 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录/flume/test。已成功安装集群、HDFS及Flume服务、Flume客户端。已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。以omm用户登录Flume服务端所在节点。进入“${BIGDATA_HOME}/FusionInsight_Por
- [配置Flume对接安全模式Kafka](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1071.md): 使用Flume客户端对接安全kafka。其中keyTab和principal的值请按照实际情况配置，所配置的principal需要有相应的kafka的权限。
- [如何查看Flume日志](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1074.md): Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功，在日志里都可以看到提示。可以直接输入以下命令查看：tailf /var/log/Bigdata/flume/flume/flumeServer.log问题：当配置文件上传后，发现异常，重新
- [Flume日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1081.md): 日志路径：Flume相关日志的默认存储路径为“/var/log/Bigdata/角色名”。FlumeServer：“/var/log/Bigdata/flume/flume”FlumeClient：“/var/log/Bigdata/flume-client-n/flume”MonitorServer：“/var/log/Bigdata/
- [如何开发Flume第三方插件](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1083.md): 进入“Flume客户端安装目录/fusionInsight-flume-*/plugins.d”路径下，使用以下命令建立目录，可根据实际业务进行命名，无固定名称：cd /opt/flumeclient/fusioninsight-flume-1.9.0/plugins.dmkdir thirdPlugincd thirdPluginmkd
- [创建Loader角色](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1085.md): 该任务指导MRS集群管理员在FusionInsight Manager创建并设置Loader的角色。Loader角色可设置Loader管理员权限、作业连接、作业分组以及Loader作业的操作和调度权限。MRS集群管理员已明确业务需求。已登录FusionInsight Manager，具体请参见访问集群Manager。设置角色的权限时，不能
- [Loader数据导入导出概述](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1087.md): Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具，支持将数据或文件从关系型数据库或文件系统导入到MRS系统中。Loader支持如下数据导入方式：从关系型数据库导入数据到HDFS/OBS从关系型数据库导入数据到HBase从关系型数据库导入数据到Phoenix表从关系型数据库导入数
- [使用Loader导入数据至MRS集群](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1088.md): 该任务指导用户完成将数据从外部的数据源导入到MRS的工作。一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS/OBS目录、HB
- [使用Loader从SFTP服务器导入数据到HDFS/OBS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1089.md): 该任务指导用户使用Loader将数据从SFTP服务器导入到HDFS/OBS。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器上源文件的读取权限。如果源文件在导入后文件名要增加后缀，则该用户还需具备源文件的写入
- [使用Loader从SFTP服务器导入数据到HBase](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1090.md): 该任务指导用户使用Loader将数据从SFTP服务器导入到HBase。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HBase表或phoenix表。获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器上源文件的读取权限。如果源文件在导入后文件名要增加后缀，则该用户还需具备源文件的写入权
- [使用Loader从SFTP服务器导入数据到Hive](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1091.md): 该任务指导用户使用Loader将数据从SFTP服务器导入到Hive。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业中指定的Hive表的权限。获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器上源文件的读取权限。如果源文件在导入后文件名要增加后缀，则该用户还需具备源文件的写入权限。检查磁盘空间，确
- [使用Loader从FTP服务器导入数据到HBase](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1093.md): 该任务指导用户使用Loader将数据从FTP服务器导入到HBase。创建或获取该任务中创建Loader作业的业务用户和密码。获取FTP服务器使用的用户和密码，且该用户具备FTP服务器上源文件的读取权限。如果源文件在导入后文件名要增加后缀，则该用户还需具备源文件的写入权限。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。使用L
- [使用Loader从关系型数据库导入数据到HDFS/OBS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1094.md): 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。获取关系型数据库使用的用户和密码。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的作业需要使用指定YARN队列功能，该用户需
- [使用Loader从关系型数据库导入数据到HBase](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1095.md): 该任务指导用户使用Loader将数据从关系型数据库导入到HBase。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HBase表或phoenix表。获取关系型数据库使用的用户和密码。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的作业需要使用指定YARN队列功能，该用户需要
- [使用Loader从关系型数据库导入数据到Hive](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1096.md): 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的Hive表。获取关系型数据库使用的用户和密码。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队
- [使用Loader从HDFS/OBS导入数据到HBase](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1098.md): 该任务指导用户使用Loader将文件从HDFS/OBS导入到HBase。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。确保用户已授权访问作业执行时操作的HBase表或phoenix表。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。使用Loader从HD
- [使用Loader导出MRS集群内数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1102.md): 该任务指导用户完成将数据从MRS导出到外部的数据源的工作。一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的目录、HBase表和数据。
- [使用Loader从HDFS/OBS导出数据到SFTP服务器](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1103.md): 该任务指导用户使用Loader将数据从HDFS/OBS导出到SFTP服务器。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器数据导出目录的写入权限。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小
- [使用Loader从HBase导出数据到SFTP服务器](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1104.md): 该任务指导用户使用Loader将数据从HBase导出到SFTP服务器。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HBase表或phoenix表。获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器数据导出目录的写入权限。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。
- [使用Loader从Hive导出数据到SFTP服务器](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1105.md): 该任务指导用户使用Loader将数据从Hive导出到SFTP服务器。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业中指定的Hive表的权限。获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器数据导出目录的写入权限。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的任务需要使
- [使用Loader从HDFS/OBS导出数据到关系型数据库](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1107.md): 该任务指导用户使用Loader将数据从HDFS/OBS导出到关系型数据库。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。获取关系型数据库使用的用户和密码。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的作业需要使用指定YARN队列功能，该用户需
- [使用Loader从HBase导出数据到关系型数据库](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1108.md): 该任务指导用户使用Loader将数据从HBase导出到关系型数据库。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HBase表或phoenix表。获取关系型数据库使用的用户和密码。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的作业需要使用指定YARN队列功能，该用户需要
- [使用Loader从Hive导出数据到关系型数据库](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1109.md): 该任务指导用户使用Loader将数据从Hive导出到关系型数据库。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的Hive表。获取关系型数据库使用的用户和密码。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队
- [使用Loader从HBase导出数据到HDFS/OBS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1111.md): 该任务指导用户使用Loader将数据从HBase导出到HDFS/OBS。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。确保用户已授权访问作业执行时操作的HBase表或phoenix表。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的作业需要使用
- [批量迁移Loader作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1114.md): Loader支持将作业批量从一个分组（源分组）迁移到另一个分组（目标分组）。源分组和目标分组均存在。当前用户具备源分组和目标分组的编辑Group Edit权限。当前用户具备源分组的作业编辑Jobs Edit权限或待迁移作业的编辑Edit权限。登录FusionInsight Manager系统，具体请参见访问集群Manager。选择“集群 
- [批量删除Loader作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1115.md): Loader支持批量删除已有作业。当前用户具备待删除作业的编辑Edit权限或作业所在分组的编辑Jobs Edit权限。登录FusionInsight Manager系统，具体请参见访问集群Manager。选择“集群 > 服务 > Loader”。单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。Load
- [批量导入Loader作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1116.md): Loader支持批量导入某个配置文件中的所有作业。当前用户具备待导入作业所在分组的编辑Jobs Edit权限。如果作业所在的分组不存在，则会自动先创建该分组。当前用户就是该分组的创建者，拥有该分组的编辑Jobs Edit权限。登录FusionInsight Manager系统，具体请参见访问集群Manager。选择“集群 > 服务 > L
- [批量导出Loader作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1117.md): Loader支持批量导出已有作业。当前用户具备待导出作业的编辑Edit权限或作业所在分组的编辑Jobs Edit权限。登录FusionInsight Manager系统，具体请参见访问集群Manager。选择“集群 > 服务 > Loader”。单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。Load
- [查看Loader作业历史信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1118.md): 该任务指导您在日常运维中，查看某个Loader作业的历史执行状态以及每次执行时长，同时提供该作业两种操作：脏数据：查看作业执行过程中处理失败的数据、或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。日志：查看作业在MapReduce执行的日志信息。本章节适用于MRS 3.x及后续版本。获取登录“Loader 
- [Loader算子说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1120.md): Loader读取源端数据，通过输入算子将数据按规则逐一转换成字段，再通过转换算子，对这些字段做清洗或转换，最后通过输出算子将处理后的字段，输出到目标端。每个作业，如果进行数据转换操作，有且只能有一个输入算子，有且只能有一个输出算子。不符合转换规则的数据，将成为脏数据跳过。从关系型数据库导入数据到HDFS/OBS，可以不用配置数据转换，数据
- [CSV文件输入](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1122.md): CSV文件输入算子，用于导入所有能用文本编辑器打开的文件。输入：文本文件输出：多个字段将每行数据按照指定的分隔符，分隔成多个字段，供之后的转换算子使用。当字段的值与实际的类型不匹配时，该行数据会成为脏数据。输入字段列数不等于原始数据实际包含字段列数，该行数据会保存为脏数据。源文件如下图：配置CSV文件输入算子，分隔符为,，生成两个字段A、
- [固定宽度文件输入](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1123.md): 固定宽度文件输入算子，将文件的每一行，按可配置长度的字符或字节，转换成多个输入字段。输入：文本文件输出：多个字段按照输入字段的长度依次截取源文件，生成字段。当字段的值与实际的类型不匹配时，该行数据会成为脏数据。配置字段分割长度，大于原字段值的长度，则数据分割失败，当前行成为脏数据。源文件如下图：配置固定宽度文件输入算子，生成三个字段A、B
- [表输入](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1124.md): 表输入算子，将关系型数据库表的指定列按顺序转换成同等数量的输入字段。输入：表列输出：字段将指定的列按顺序生成字段。具体的表列是在作业配置的第二步输入设置中指定，当配置了表列名时，就是配置的值；当没配置表列名时，默认该表的所有列或者是SQL语句配置项里配置的查询条件中指明的列。配置的输入字段个数不能大于实际指定的列数，否则全部数据成为脏数据
- [HBase输入](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1125.md): HBase输入算子，将HBase表的指定列转换成同等数量的输入字段。输入：HBase表列输出：字段当配置HBase表名不存在时，作业提交失败。当配置的列名与HBase表列名不匹配时，读取不到数据，导入数据条数会为0。配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。当字段的值与实际的类型不匹配时，该行数据会成为脏数据。以
- [HTML输入](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1126.md): HTML输入算子，导入有规则的HTML文件，并将HTML文件中的元素转换成输入字段。输入：HTML文件输出：多个字段首先配置父标签，限定搜索范围，父标签要存在，否则取到的内容为空。配置输入字段，子标签用于精确定位字段所在的标签，相同的标签再通过关键字来精确匹配。关键字用于匹配字段的内容，配置方法类似于输入设置中的文件过滤器字段，支持*通配
- [Hive输入](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1128.md): Hive输入算子，将Hive表的指定列转换成同等数量的输入字段。输入：Hive表列输出：字段当配置Hive表名不存在时，作业提交失败。当配置的列名与Hive表列名不匹配时，读取不到数据，导入数据条数会为0。当字段的值与实际的类型不匹配时，该行数据会成为脏数据。以Hive导出到sqlserver2014数据库为例。在sqlserver201
- [Spark输入](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1129.md): Spark输入算子，将SparkSQL表的指定列转换成同等数量的输入字段。输入：SparkSQL表列输出：字段当配置SparkSQL表名不存在时，作业提交失败。当配置的列名与SparkSQL表列名不匹配时，读取不到数据，导入数据条数会为0。当字段的值与实际的类型不匹配时，该行数据会成为脏数据。以SPARK导出到sqlserver2014数
- [长整型时间转换](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1131.md): 长整型时间转换算子，用于配置长整型数值与日期的转换。输入：需要转换的字段输出：转换后的新字段原始数据包含null值，不做转换处理。配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。遇到类型转换错误，当前数据保存为脏数据。通过CSV文件输入算子，生成两个字段A和B。源文件如下图：配置长整型时间转换算子，生成四个新字段C、D
- [空值转换](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1132.md): 空值转换算子，用于将空值替换成指定值。输入：空值字段输出：原字段，但值已经被替换字段原值为null时，替换成指定的值。通过CSV文件输入算子，生成两个字段A和B。源文件如下图：配置空值转换算子，如下图：转换后，将A和B的值输出后的结果如下：
- [增加常量字段](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1133.md): 增加常量字段算子，用于直接生成常量字段。输入：无输出：常量字段生成指定类型的常量字段。通过CSV文件输入算子，生成两个字段A和B。源文件如下图：配置增加常量字段算子，增加两个字段C和D：转换后，将A、B、C和D按顺序输出，结果如下：
- [随机值转换](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1134.md): 随机值转换算子，用于配置新增值为随机数的字段。输入：无输出：随机值字段生成指定类型的随机值。通过CSV文件输入算子，生成两个字段A和B。源文件如下图：配置随机值转换算子，生成C、D、E三个字段：转换后，按顺序输入这五个字段：可以发现，每次生成的随机值都不一样。
- [拼接转换](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1135.md): 拼接转换算子，将已有字段的值通过连接符拼接，生成新的字段。输入：需要拼接的字段输出：拼接后的字段按顺序将被拼接字段名中配置的字段的值，通过连接符拼接后，赋给输出字段名。当有字段的值为null时，会转化为空字符串，再与其他字段值拼接。通过CSV文件输入算子，生成三个字段A、B和C。源文件如下图：配置拼接转换算子，分隔符为空格，生成新字段D：
- [分隔转换](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1136.md): 分隔转换算子，将已有字段的值按指定的分隔符分隔后生成新字段。输入：需要分隔的字段输出：分隔后的字段将输入字段的值按指定的分隔符分隔后，依次赋给配置的新字段。配置分割后字段列数，大于原始数据实际可分割出来的字段列数，当前行成为脏数据。通过CSV文件输入算子，生成一个字段A。源文件如下：配置分隔转换算子，分隔符为空格，生成三个字段B、C和D：
- [取模转换](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1137.md): 取模转换算子，对整数字段取模，生成新字段。输入：整数字段输出：模数字段生成新字段，值为取模后的值。字段的值须为整数，否则当前行会成为脏数据。通过CSV文件输入算子，生成两个字段A和B。源文件如下图：配置取模转换算子，生成两个新字段C和D：转换后，依次输出A、B、C和D，结果如下：
- [剪切字符串](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1138.md): 剪切字符串算子，截取已有字段的值，生成新的字段。输入：需要截取的字段输出：截取后生成的新字段用开始位置和结束位置去截取原字段的值，生成新字段。结束位置为-1时，表示字段的末尾。其他情况下，结束位置不能小于开始位置。字符截取的开始位置或结束位置，大于输入字段的长度时，当前行成为脏数据。通过CSV文件输入算子，生成两个字段A和B。源文件如下：
- [EL操作转换](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1139.md): EL操作转换算子，对字段值进行运算后生成新的字段，目前支持的算子有：md5sum、sha1sum、sha256sum和sha512sum等。输入：需要转换的字段输出：经过EL表达式转换后的字段对字段值进行运算后生成新的字段。当前新字段的类型只能为VARCHAR。通过CSV文件输入算子，生成两个字段A和B。源文件见下图：配置EL操作转换算子
- [字符串大小写转换](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1140.md): 字符串大小写转换算子，用于配置已生成的字段通过大小写变换，转换出新的字段。输入：需要转换大小写的字段输出：转换后的字段对字符串值做大小写转换。传入数据为NULL值，不做转换处理。通过CSV文件输入算子，生成两个字段A和B。源文件如下：配置字符串大小写转换算子后，生成两个新字段C和D：转换后，依次输出四个字段，结果如下：
- [字符串逆序转换](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1141.md): 字符串逆序转换算子，用于配置已生成的字段通过逆序，转换出新的字段。输入：需要逆序的字段输出：逆序转换后的字段对字段的值做逆序操作。传入数据为NULL值，不做转换处理。配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。通过CSV文件输入算子，生成两个字段A和B。源文件如下：配置字符串逆序转换算子后，生成两个新字段C和D：转
- [字符串空格清除转换](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1142.md): 字符串空格清除转换算子，用于配置已生成的字段通过清除空格，转换出新的字段。输入：需要清除空格的字段输出：转换后的字段清空值两边的空格，支持只清除左边、只清除右边和同时清除左右空格。传入数据为NULL值，不做转换处理。配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。通过CSV文件输入算子，生成三个字段A、B和C。源文件如
- [过滤行转换](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1143.md): 过滤行转换算子，用于配置逻辑条件过滤掉含触发条件的行。输入：用来做过滤条件的字段输出：无条件逻辑为AND，如果未添加过滤条件，全部数据成为脏数据；或者原始数据满足添加的全部过滤条件，当前行成为脏数据。条件逻辑为OR，如果未添加过滤条件，全部数据成为脏数据；或者原始数据满足任意添加的过滤条件，当前行成为脏数据。通过CSV文件输入算子，生成两
- [更新域](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1144.md): 更新域算子，当满足某些条件时，更新字段的值。目前支持的类型有BIGINT、DECIMAL、DOUBLE、FLOAT、INTEGER、SMALLINT、VARCHAR。当类型为VARCHAR时，运算符为+时，表示在字符串后追加串，不支持-，当为其他类型时，+、-分别表示值的加和减。针对支持的所有类型，运算符=都表示直接赋新值。输入：字段输出
- [Hive输出](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1146.md): Hive输出算子，用于配置已生成的字段输出到Hive表的列。输入：需要输出的字段输出：Hive表将字段值输出到Hive表中。如果指定了一个或多个列为分区列，则在作业配置第四步输出设置页面上，会显示分割程序属性，该属性表示使用多少个处理器去对分区数据进行处理。如果没有指定任何列为分区列，则表示不需要对输入数据进行分区处理，分割程序属性默认隐
- [Spark输出](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1147.md): Spark输出算子，用于配置已生成的字段输出到SparkSQL表的列。输入：需要输出的字段输出：SparkSQL表将字段值输出到SparkSQL表中。如果指定了一个或多个列为分区列，则在作业配置第四步输出设置页面上，会显示分割程序属性，该属性表示使用多少个处理器去对分区数据进行处理。如果没有指定任何列为分区列，则表示不需要对输入数据进行分
- [表输出](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1148.md): 表输出算子，用于配置输出的字段对应到关系型数据库的指定列。输入：需要输出的字段输出：关系型数据库表将字段值输出到表中。以HBase导出到sqlserver2014数据库为例。在sqlserver2014上创建一张空表test_1用于存储HBase数据。执行以下语句：create table test_1 (id int, name tex
- [文件输出](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1149.md): 文件输出算子，用于配置已生成的字段通过分隔符连接并输出到文件。输入：需要输出的字段输出：文件将字段值输出到文件。通过CSV文件输入算子，生成两个字段A和B。源文件如下：配置文件输出算子，分隔符为,，将A和B输出到文件中：输出后的结果如下：
- [HBase输出](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1150.md): HBase输出算子，用于配置已生成的字段输出到HBase表的列。输入：需要输出的字段输出：HBase表将字段值输出到HBase表中。原始数据包含NULL值，如果NULL值处理方式选中单选框时，将转换为空字符串并保存。如果NULL值处理方式不选中单选框时，不保存数据。以表输入为例，生成字段后，由HBase输出到对应的HBase表中，数据存放
- [管理Loader算子的字段配置信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1152.md): 该任务指导用户在创建或编辑Loader作业时关联、导入或导出算子的字段配置信息。关联操作将输入算子的字段配置信息关联到输出算子中。将输入算子的字段配置信息关联到输出算子中。编辑操作编辑算子配置参数中的字段信息。编辑算子配置参数中的字段信息。导入操作通过算子导出文件或算子模板文件将字段配置信息导入到算子中。通过算子导出文件或算子模板文件将字
- [Loader算子配置项中使用宏定义](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1153.md): 用户在创建或者编辑Loader作业时，在配置参数时可以使用宏，在执行作业任务时会自动替换为宏对应的值。宏定义只在该作业范围内生效。宏定义支持随作业导入导出，如果作业中有使用宏定义，则导出的作业包括宏定义。导入作业时默认也导入宏定义。时间宏dataformat中的第一个参数的日期格式定义可参考java.text.SimpleDateForm
- [Loader算子数据处理规则](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1154.md): 在Loader导入或导出数据的任务中，每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则；在算子中无法正确处理的数据，将成为脏数据，无法导入或导出。在转换步骤中，算子数据处理规则请参见下表。数据处理规则一览表转换步骤规则描述CSV文件输入分隔符在原始数据中连续出现两次，将生成空字符串字段。配置输入字段列数，大于原始数据实际包含
- [使用客户端运行Loader作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1156.md): 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。Loader不兼容旧版本客户端，如果重新安装集群或Loader服务，请重新下载并安装客户端，然后正常使用客户端。完成Loader客户端的安装。使用非root用户安装Loade
- [loader-tool工具使用指导](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1157.md): loader-tool工具是Loader客户端工具之一，包括lt-ucc、lt-ucj、lt-ctl三个工具。Loader支持通过参数选项或作业模板这两种方式，对连接器进行创建、更新、查询和删除，以及对Loader作业进行创建、更新、查询、删除、启动和停止等操作。loader-tool工具是异步接口，命令提交后其结果不会实时返回到控制台，
- [loader-tool工具使用示例](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1158.md): loader-tool工具支持通过作业模板或参数选项的方式，对连接器或者作业进行创建、更新、查询、删除等操作。本文将以“从SFTP服务器导入数据到HDFS”的作业为例，通过引用作业模板的方式，介绍loader-tool工具的使用方法。已安装并配置Loader客户端，具体操作请参见使用客户端运行Loader作业。cd /opt/client
- [schedule-tool工具使用指导](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1159.md): schedule-tool工具，用于提交数据源为SFTP的作业。提交作业前可以修改输入路径、文件过滤条件，当目标源为HDFS时，可以修改输出路径。schedule-tool工具支持同时配置多个作业。配置多个作业时，表2中job.jobName、file.fileName.prefix、file.fileName.postfix参数需配置多
- [schedule-tool工具使用示例](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1160.md): 通过Loader WebUI或客户端工具Loader-tool创建好作业后，可使用schedule-tool工具执行作业。完成了Loader客户端的安装与配置，具体操作请参见使用客户端运行Loader作业。cd /opt/client/Loader/loader-tools-1.99.3/schedule-tool/confvi sche
- [使用loader-backup工具备份作业数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1161.md): 通过Loader WebUI或客户端工具loader-tool创建好作业后，可使用loader-backup工具进行数据备份。仅有数据导出的Loader作业才支持数据备份。此工具为Loader的内部接口，供上层组件HBase调用，只支持HDFS到SFTP的数据备份。完成了Loader客户端的安装与配置，具体操作请参见使用客户端运行Load
- [开源sqoop-shell工具使用指导](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1162.md): sqoop-shell是一个开源的shell工具，其所有功能都是通过执行脚本sqoop2-shell来实现的。sqoop-shell工具提供了如下功能：支持创建和更新连接器支持创建和更新作业支持删除连接器和作业支持以同步或异步的方式启动作业支持停止作业支持查询作业状态支持查询作业历史执行记录支持复制连接器和作业支持创建和更新转换步骤支持指
- [使用sqoop-shell工具导入数据到HDFS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1163.md): 本文将以从SFTP服务器导入数据到HDFS的作业为例，介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。已安装并配置Loader客户端，具体操作请参见使用客户端运行Loader作业。cd /opt/client/Loader/loader-tools-1.99.3/sqoop-shell/co
- [使用sqoop-shell工具导入数据到HBase](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1164.md): 本文将以从Oracle导入数据到HBase的作业为例，介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。已安装并配置Loader客户端，具体操作请参见使用客户端运行Loader作业。cd /opt/client/Loader/loader-tools-1.99.3/sqoop-shell/co
- [Loader日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1165.md): 日志存储路径：Loader相关日志的默认存储路径为“/var/log/Bigdata/loader/日志分类”。runlog：“/var/log/Bigdata/loader/runlog”（运行日志）scriptlog：“/var/log/Bigdata/loader/scriptlog/”（脚本的执行日志）catalina：“/var
- [Flink安全认证机制说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1579.md): 在大数据集群环境中，Flink作业通常需要访问HDFS、YARN、ZooKeeper等多个组件，作业数据在网络中传输并持久化存储。如果集群未启用Kerberos认证（普通模式），恶意用户可能冒充合法身份提交恶意作业、窃取或篡改数据。MRS集群默认启用Kerberos安全认证，Flink作为MRS集群中的计算组件，提供了完整的安全认证和加密
- [配置Flink对接Kafka安全认证](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1580.md): Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。用户使用Linux命令行创建topic，执行命令前需要使用kinit命令进行人机认证，如kinit flinkuser。flinkuser需要用户自己创建，并拥有创建Kafka的topic权限。创建topic的
- [配置Flink认证和加密](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1583.md): Flink整个系统存在三种认证方式：使用kerberos认证：Flink yarn client与Yarn Resource Manager、JobManager与Zookeeper、JobManager与HDFS、TaskManager与HDFS、Kafka与TaskManager、TaskManager和Zookeeper。使用sec
- [优化Flink内存GC参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1588.md): Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大，可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。GC的配置：在客户端的conf/flink-
- [配置Flink任务并行度](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1589.md): 并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力。任务的并行度可以通过以下四种层次（
- [配置Flink任务进程参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1590.md): Flink on YARN模式下，有JobManager和TaskManager两种进程。在任务调度和运行的过程中，JobManager和TaskManager承担了很大的责任。因而JobManager和TaskManager的参数配置对Flink应用的执行有着很大的影响，用户可通过如下操作对Flink集群性能做优化。JobManager
- [优化Flink Netty网络通信参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1592.md): Flink通信主要依赖netty网络，所以在Flink应用执行过程中，netty的设置尤为重要，网络通信的好坏直接决定着数据交换的速度以及任务执行的效率。以下配置均可在客户端的conf/flink-conf.yaml配置文件中进行修改适配，默认已经是相对较优解，请谨慎修改，防止性能下降。taskmanager.network.netty.
- [安装Flume客户端](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1595.md): 使用Flume搜集日志时，需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。已创建包含Flume组件的集群。日志主机需要与MRS集群在相同的VPC和子网。已获取日志主机的登录方式。安装目录可以不存在，会自动创建。但如果存在，则必须为空。目录路径不能包含空格。登录FusionInsight Manage
- [查看Flume客户端监控信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1596.md): 集群外的Flume客户端也是端到端数据采集的一环，与集群内Flume服务端一起都需要监控，用户通过FusionInsight Manager可以对Flume客户端进行监控，可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。
- [如何配置Flume定制脚本](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1597.md): Flume支持定制脚本，支持在传输前或者传输后执行指定的脚本，用于执行准备工作。登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Flume”进入Flume服务界面，在右上角选择“更多 > 下载客户端”，选择“选择客户端类型”为“完整客户端”，下载Flume服务客户端文件。客户端文件名称为“F
- [创建HBase用户并绑定角色](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1608.md): 该任务指导MRS集群管理员在Manager创建并设置HBase的角色。HBase角色可设置HBase管理员权限以及HBase表和列族的读（R）、写（W）、创建（C）、执行（X）或管理（A）权限。用户需要在HBase中对指定的数据库或表设置权限，才能够创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问HBase表。仅开启了Ker
- [配置HBase主备集群容灾](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1609.md): HBase集群容灾作为提高HBase集群系统高可用性的一个关键特性，为HBase提供了实时的异地数据容灾功能。对外提供了基础的运维工具，包含灾备关系维护、重建、数据校验、查看数据同步进展等功能。为了实现数据的实时容灾，可以把本HBase集群中的数据备份到另一个集群，支持HBase表普通写数据与Bulkload批量写数据场景下的容灾。主备集
- [HBase容灾集群业务切换指导](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1610.md): MRS集群管理员可配置HBase集群容灾功能，以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时，需要为HBase上层应用配置备集群信息，才可以使得该应用在备集群上运行。切换业务后，写入备集群的数据默认不会同步到主集群。主集群故障修复后，备集群新增的数据需要通过备份恢复的方式同步到主集群。如果需要自动同步数据，需要切
- [HBase容灾集群主备倒换](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1611.md): 当前环境HBase已经是容灾集群，因为某些原因，需要将主备集群互换，即备集群变成主集群，主集群变成备集群。主备集群互换后，原先主集群将不能再写入数据，原先备集群将变成主集群，接管上层业务。确保上层业务已经停止。关闭主集群写功能。具体请参考安装MRS客户端章节。切换至客户端安装目录：cd客户端安装目录配置环境变量：source bigdat
- [使用BulkLoad工具向HBase迁移数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1612.md): HBase的数据都是存储在HDFS中的，数据导入即是加载存放在HDFS中的数据到HBase表中。Apache HBase提供了“Import”和“ImportTsv”工具用于批量导入HBase数据。“Import”通过“org.apache.hadoop.hbase.mapreduce.Import”方法导入已导出至HDFS中的HBase
- [使用BulkLoad工具批量导入HBase数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1615.md): 您可以按照自定义的方式，通过命令批量导入数据到HBase中并创建索引。也可以在“configuration.xml”文件中定义多个方式来批量导入数据，但导入数据时可以不创建索引。列的名称不能包含特殊字符，只能由字母、数字和下划线组成。BulkLoad支持的数据源格式为带分隔符的文本文件。如果批量导入数据时创建二级索引，还需注意：当将列的类
- [HBase BulkLoad工具配置文件说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1616.md): 该章节主要介绍使用BulkLoad工具的其他配置操作以获取需要查看的数据。列的名称不能包含特殊字符，只能由字母、数字和下划线组成。使用BulkLoad工具批量导入HBase数据时，支持用户自定义组合rowkey。BulkLoad组合rowkey即通过一些规则将多个列名经过一些自定义处理，组合生成新的rowkey。关于组合rowkey在“c
- [使用BulkLoad工具批量更新HBase数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1628.md): HBase BulkLoad工具支持根据RowKey的命名规则、RowKey的范围、字段名以及字段值进行批量更新数据。执行如下命令更新从“row_start”到“row_stop”的行，并且把输出结果定向到“/output/destdir/”。hbase com.huawei.hadoop.hbase.tools.bulkload.Upd
- [使用BulkLoad工具批量删除HBase数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1629.md): BulkLoad工具支持根据rowkey的取值模式、范围、字段名、字段值对HBase数据做批量删除。执行如下命令删除从“row_start”到“row_stop”的行，并且把输出结果定向到“/output/destdir/”。hbase com.huawei.hadoop.hbase.tools.bulkload.DeleteData-D
- [使用BulkLoad工具查询HBase表的行统计数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1630.md): HBase BulkLoad工具支持根据rowkey的命名规则、rowkey的范围、字段名以及字段值统计符合条件的行数。直接执行如下命令统计满足如下条件的行数。rowkey在从“row_start”到“row_stop”的范围，字段“f3:age”的值为“25”，rowkey的前两个字符为“mi”的行数。hbase com.huawei.
- [创建HBase索引进行数据查询](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1635.md): HBase是一个Key-Value类型的分布式存储数据库，在海量数据存储场景中，用户使用HBase进行数据查询时HIndex为HBase提供了按照某些列的值进行索引的能力，缩小搜索范围并缩短时延，可显著提升查询效率。本章节将指导您创建HBase HIndex索引并基于索引进行数据查询。列族应以“;”分隔。列和数据类型应包含在“[]”中。列
- [提升HBase BulkLoad工具批量加载效率](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1636.md): 在大数据处理场景中，当需要将海量数据高效导入HBase时，通过HBase API逐条写入的方式会消耗大量CPU和网络资源。HBase BulkLoad批量加载功能通过MapReduce jobs直接生成符合HBase内部数据格式的StoreFiles文件，并加载到正在运行的集群，相比直接使用HBase API可显著节约资源。ImportT
- [提升HBase连续Put数据场景性能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1637.md): 在大数据写入场景中，业务系统需要向HBase持续写入大批量数据。然而默认配置下HBase的WAL文件和HFile写入均会执行磁盘同步（fsync）操作，每次写入都会等待数据持久化到磁盘后才返回，导致连续Put场景下数据写入性能受限、吞吐量难以提升。通过将“hbase.wal.hsync”和“hbase.hfile.hsync”参数设置为“
- [结束BulkLoad客户端程序，导致作业执行失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1640.md): 执行BulkLoad程序导入数据时，如果结束客户端程序，为什么有时会导致已提交的作业执行失败？BulkLoad程序在客户端启动时会生成一个partitioner文件，用于划分Map任务数据输入的范围。此文件在BulkLoad客户端退出时会被自动删除。一般来说当所有Map任务都启动运行以后，退出BulkLoad客户端也不会导致已提交的作业失
- [如何修复长时间处于RIT状态的Region](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1644.md): 在HBase WebUI界面看到有长时间处于RIT状态的Region，如何修复？登录HMaster WebUI，在导航栏选择“Procedure & Locks”，查看是否有处于Waiting状态的process id。如果有，需要执行以下命令将procedure lock释放：查看State是否处于Bypass状态，如果界面上的proc
- [HMaster等待NameSpace表上线时超时退出](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1645.md): 为什么在等待namespace表上线时超时HMaster退出？在HMaster主备倒换或启动期间，HMaster为先前失败/停用的RegionServer执行WAL splitting及region恢复。在后台运行有多个监控HMaster启动进程的线程：TableNamespaceManager这是一个帮助类，用于在HMaster主备倒换
- [客户端查询HBase出现SocketTimeoutException异常](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1646.md): 使用HBase客户端操作表数据的时候客户端出现类似如下异常：同时，在RegionServer上出现类似如下日志：出现该问题的主要原因为RegionServer分配的内存过小、Region数量过大导致在运行过程中内存不足，服务端对客户端的响应过慢。在RegionServer的配置文件hbase-site.xml中需要调整如下对应的内存分配参
- [在启动HBase shell时报错“java.lang.UnsatisfiedLinkError: Permission denied”](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1648.md): 在启动HBase shell时，为什么会发生“java.lang.UnsatisfiedLinkError: Permission denied”异常？在执行HBase shell期间，JRuby会在java.io.tmpdir路径下创建一个临时文件，该路径的默认值为/tmp。如果为/tmp目录设置NOEXEC权限，然后HBase she
- [停止运行的RegionServer，在HMaster WebUI中显示的“Dead Region Servers”信息什么时候会被清除掉](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1649.md): 在HMaster Web UI中显示处于“Dead Region Servers”状态的RegionServer什么时候会被清除掉？当一个在线的RegionServer突然运行停止，会在HMaster Web UI中显示处于“Dead Region Servers”状态。当停止运行的RegionServer重启并且向HMaster上报成功
- [访问HBase Phoenix提示权限不足如何处理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1657.md): 使用租户访问Phoenix提示权限不足。创建租户的时候需要关联HBase服务和Yarn队列。租户要操作Phoenix还需要额外操作的权限，即Phoenix系统表的RWX权限。例如：创建好的租户为hbase，使用admin用户登录hbase shell，执行scan 'hbase:acl'命令查询租户对应的角色为hbase_14507611
- [使用HBase BulkLoad功能提示权限不足如何处理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1658.md): 租户使用HBase bulkload功能提示权限不足。创建租户的时候需要关联HBase服务和Yarn队列。例如：新建用户user并绑定租户同名的角色。用户user需要使用bulkload功能还需要额外权限。以下以用户user为例：参见“批量导入数据”章节举例，以下是一些差异点。将数据文件目录建在“/tmp”目录下，执行以下命令：hdfs 
- [如何修复Overlap状态的HBase Region](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1660.md): 使用hbck工具检查Region状态，如果日志中存在“ERROR: (regions region1 and region2) There is an overlap in the region chain.”或者“ERROR: (region region1) Multiple regions have the same startke
- [创建HDFS权限角色](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1662.md): 本章节指导MRS集群管理员在MRSManager创建一个角色并为用户绑定该角色，绑定该角色的用户将拥有对应角色的权限。HDFS角色可设置HDFS目录或文件的读、写和执行权限。用户在HDFS中对自己创建的目录或文件拥有完整权限，可直接读取、写入以及授权他人访问此HDFS目录与文件。安全模式支持创建HDFS角色，普通模式不支持创建HDFS角色
- [HDFS客户端使用实践](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1663.md): 该任务指导用户在运维场景或业务场景中使用HDFS客户端对HDFS文件系统进行操作，例如读文件、写文件等操作。已安装客户端。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。各组件业务用户由MRS集群
- [更改DataNode的存储目录](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1664.md): HDFS DataNode定义的存储目录不正确或HDFS的存储规划变化时，MRS集群管理员需要在FusionInsight Manager中修改DataNode的存储目录，以保证HDFS正常工作。适用于以下场景：更改DataNode角色的存储目录，所有DataNode实例的存储目录将同步修改。更改DataNode单个实例的存储目录，只对单
- [配置NFS服务器存储NameNode元数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1665.md): 用户在部署集群前，可根据需要规划Network File System（简称NFS）服务器，用于存储NameNode元数据，以提高数据可靠性。在生产环境中，NameNode元数据仅存储在本地磁盘存在单点故障风险，通过将元数据同步存储到NFS服务器，可实现元数据冗余备份，当本地磁盘故障时仍可从NFS恢复数据，提升HDFS整体可靠性。如果您已
- [配置HDFS DataNode数据均衡](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1667.md): HDFS集群可能出现DataNode节点间磁盘利用率不平衡的情况，比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况，可能导致多种问题，比如MapReduce应用程序无法很好地利用本地计算的优势、数据节点之间无法达到更好的网络带宽使用率或节点磁盘无法利用等等。所以MRS集群管理员需要定期检查并保持DataNode数据平衡。H
- [调整DataNode磁盘坏卷信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1669.md): 在开源版本中，如果为DataNode配置多个数据存放卷，默认情况下其中一个卷损坏，则DataNode将不再提供服务。用户可以通过MRS修改配置项dfs.datanode.failed.volumes.tolerated的值，指定失败的个数，小于该个数，DataNode可以继续提供服务。登录集群Manager具体操作，请参考访问MRS集群M
- [配置客户端NameNode黑名单功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1670.md): 在系统缺省场景中，一旦某进程中的一个NameNode发生故障，在同一进程中的所有HDFS客户端实例都会尝试再次连接NameNode，导致上层应用长时间等待超时。当位于同一JVM进程中的客户端对无法访问的NameNode进行连接时，会对系统造成负担。为了避免以上问题，MRS集群提供了NameNode黑名单功能（BlackListingFai
- [优化HDFS NameNode RPC的服务质量](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1672.md): 如果多个Hadoop集群由于NameNode超负荷运行并失去响应而发生故障，这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中，NameNode作为单独的机器，在其namespace内协调HDFS的各种操作，这些操作包括获取数据块位置、列出目录及创建文件。NameNode接受HDFS的操作，将其视作RPC调用并置入FIFO调
- [优化HDFS DataNode RPC的服务质量](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1673.md): 当客户端写入HDFS的速度大于DataNode的硬盘带宽时，硬盘带宽会被占满，导致DataNode失去响应。客户端只能通过取消或恢复通道进行规避，这会导致写入失败及不必要的通道恢复操作。MRS引入配置参数dfs.pipeline.ecn。当该配置启用时，DataNode会在写入通道超出负荷时从其中发出信号。客户端可以基于该阻塞信号进行退避
- [使用LZC压缩算法存储HDFS文件](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1674.md): 文件压缩可以减少存储文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格式增强了Hadoop压缩能力。有关Snappy的详细信息，请参阅https://google.github
- [配置DataNode预留磁盘百分比](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1675.md): 当Yarn本地目录和DataNode目录配置在同一个磁盘时，具有较大容量的磁盘可以运行更多的任务，因此将有更多的中间数据存储在Yarn本地目录。目前DataNode支持通过配置dfs.datanode.du.reserved来配置预留磁盘空间大小（默认值为“0”）。配置较小的数值不能满足更大的磁盘要求，但对于更小的磁盘配置更大的数值将浪费
- [配置HDFS文件目录标签策略（NodeLabel）](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1676.md): 用户需要通过数据特征灵活配置HDFS文件数据块的存储节点。通过设置HDFS目录/文件对应一个标签表达式，同时设置每个DataNode对应一个或多个标签，从而给文件的数据块存储指定了特定范围的DataNode。当使用基于标签的数据块摆放策略，为指定的文件选择DataNode节点进行存放时，会根据文件的标签表达式选择出DataNode节点范围
- [配置HDFS Mover迁移数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1677.md): Mover是一个数据迁移工具，工作方式与HDFS的Balancer接口工作方式类似。Mover能够基于设置的数据存储策略，将集群中的数据重新分布。通过运行Mover，周期性地检测HDFS文件系统中用户指定的HDFS文件或目录，判断该文件或目录是否满足设置的存储策略，如果不满足，则进行数据迁移，使目标目录或文件满足设定的存储策略。本章节适用
- [配置HDFS DiskBalancer磁盘均衡](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1678.md): DiskBalancer是一个在线磁盘均衡器，旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似，其区别如下：HDFS Balancer工具用于DataNode节点间的数据均衡。HDFS DiskBalancer用于单个DataNode节点上各磁盘之间的数据均衡。长时间运行的集群会
- [执行HDFS文件并发操作命令](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1684.md): MRS提供集群内并发修改文件和目录的权限及访问控制的工具，可以通过该工具多并发设置目录中所有文件的副本数、属主、权限、ACL信息等。本章节适用于MRS 3.x及后续版本。因为集群内使用文件并发修改命令会对集群性能造成较大负担，所以在集群空闲时使用文件并发操作命令。已安装包含HDFS的客户端。例如安装目录为“/opt/client”。各组件
- [提升HDFS写数据性能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1687.md): HDFS写数据性能直接影响整个系统的效率。提升写性能可以减少数据写入时间，加快数据处理流程，提高系统的整体响应速度。通过全面提升HDFS的写数据性能，可以使得HDFS集群更适应自身的业务情况，从而提升HDFS的写性能。本章节适用于MRS 3.x及后续版本。登录集群Manager具体操作，请参考访问MRS集群Manager。
- [配置HDFS客户端元数据缓存提高读取性能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1688.md): 通过使用客户端缓存元数据块的位置，可以减少对NameNode的元数据查询次数，降低网络开销，提高客户端操作的响应速度，提高HDFS读取性能。本章节适用于MRS 3.x及后续版本。此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改，对于高速缓存的客户端将是不可见的，这可能导致从缓存中拿到的元数据是过期的。登录集群
- [使用活动缓存提升HDFS客户端连接性能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1689.md): HDFS部署在具有多个NameNode实例的HA（High Availability）模式中，HDFS客户端需要依次连接到每个NameNode，以确定当前活动的NameNode，并将其用于客户端操作。一旦识别出活动的NameNode，该NameNode的详细信息就可以被缓存并共享给在客户端机器中运行的所有客户端。此时，每个新客户端可以首先
- [为什么DataNode无法正常上报数据块](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1693.md): DataNode正常，但无法正常上报数据块，导致存在的数据块无法使用。当某个数据目录中的数据块数量超过4倍的数据块限定值“1M”时，可能会出现该错误。DataNode会产生相应的错误日志记录，如下所示：数据目录中数据块的数量会显示为Metric。用户可以通过以下URL对该值进行监视http://<datanode-ip>:<http-po
- [HDFS WebUI无法正常刷新损坏数据的信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1694.md): 当DataNode的dfs.datanode.data.dir所配置的目录因权限或者磁盘损坏发生错误时，HDFS Web UI没有显示损坏数据的信息。当此错误被修复后，HDFS Web UI没有及时移除损坏数据的相关信息。DataNode只有在执行文件操作发生错误时，才会去检查磁盘是否正常，若发现数据损坏，则将此错误上报至NameNode
- [执行distcp命令报错如何处理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1695.md): 为何distcp命令在安全集群上执行失败并发生异常？客户端出现异常：服务器端出现异常：当用户在distcp命令中使用webhdfs://时，会发生上述异常，是由于集群所使用的HTTP策略为HTTPS，即配置在“hdfs-site.xml”（文件路径为“客户端安装目录/HDFS/hadoop/etc/hadoop”）的dfs.http.po
- [DataNode的容量计算出错如何处理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1697.md): 当多个data.dir被配置在一个磁盘分区内，DataNode的容量计算将会出错。目前容量计算是基于磁盘的，类似于Linux里面的df命令。理想状态下，用户不会在同一个磁盘内配置多个data.dir，否则所有的数据都将写入一个磁盘，在性能上会有很大的影响。因此配置如下：例如，如果机器有如下磁盘：建议的配置方式：不建议的配置方式：
- [为什么存储小文件过程中，缓存中的数据会丢失](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1699.md): 在存储小文件过程中，系统断电，缓存中的数据丢失。由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site.xml”中的dfs.datanode.synconclose设置为true。默认情况下，df
- [当分级存储策略为LAZY_PERSIST时为什么文件的副本的存储类型为DISK](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1701.md): 当文件的存储策略为LAZY_PERSIST时，文件的第一副本的存储类型应为RAM_DISK，其余副本为DISK。为什么文件的所有副本的存储类型都是DISK？当用户写入存储策略为LAZY_PERSIST的文件时，文件的三个副本会逐一写入。第一副本会优先选择客户端所在的DataNode节点，在以下情况下，当文件的存储策略为LAZY_PERSI
- [NameNode节点长时间满负载导致客户端无响应](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1702.md): 当NameNode节点处于满负载、NameNode所在节点的CPU 100%耗尽时，导致NameNode无法响应，对于新连接到该NameNode的HDFS客户端，能够主备切换连接到另一个NameNode，进行正常的操作，而对于已经连接到该NameNode节点的HDFS客户端可能会长时间无响应，无法进行下一步操作。目前出现上述问题时使用的是
- [是否可以手动调整DataNode数据存储目录](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1703.md): 数据块在DataNode上的存储目录由dfs.datanode.data.dir配置项指定，是否可以修改该配置项来修改数据存储目录？是否可以手动拷贝数据存储目录下的文件？dfs.datanode.data.dir配置项用于指定数据块在DataNode上的存储目录，在系统安装时需要指定根目录，并且可以指定多个根目录。请谨慎修改该配置项，可以
- [为什么NameNode UI上显示有一些块缺失](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1704.md): 回滚成功后，为什么NameNode UI上显示有一些块缺失？原因：具有新id/genstamps的块可能存在于DataNode上。DataNode中的块文件可能具有与NameNode的回滚image中不同的生成标记和长度，所以NameNode会拒绝DataNode中的这些块，并将文件标记为已损坏。场景如下：升级前：客户端A - >将一些数
- [为什么主NameNode重启后系统出现双备现象](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1706.md): 为什么主NameNode重启后系统出现双备现象？出现该问题时，查看ZooKeeper和ZKFC的日志，发现ZooKeeper服务端与客户端（ZKFC）通信时所使用的session不一致，ZooKeeper服务端的sessionId为0x164cb2b3e4b36ae4，ZKFC的sessionId为0x144cb2b3e4b36ae4。这
- [HDFS执行Balance时被异常停止如何处理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1707.md): 在HDFS客户端启动一个Balance进程，该进程被异常停止后，再次执行Balance操作，操作会失败。通常，HDFS执行Balance操作结束后，会自动释放/system/balancer.id文件，可再次正常执行Balance。但在上述场景中，由于第一次的Balance操作是被异常停止的，所以第二次进行Balance操作时，/syst
- [访问HDFS WebUI时，界面提示无法显示此页](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1708.md): 通过IE 9、IE 10和IE 11等浏览器访问HDFS的原生UI界面，偶尔出现访问失败情况。访问页面失败，浏览器无法显示此页，如下图所示：IE 9、IE 10、IE 11浏览器的某些版本在处理SSL握手有问题导致访问失败。重新刷新页面即可。
- [快速使用HetuEngine访问Hive数据源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1711.md): 本章节指导用户从零开始使用HetuEngine对接Hive数据源，并通过HetuEngine查询本集群Hive数据源的数据库表。集群已安装HetuEngine、Hive服务及其所依赖的服务（DBService、KrbServer、Zookeeper、HDFS、Yarn、MapReduce）且运行正常。如果集群已启用Kerberos认证（安
- [创建HetuEngine权限角色](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1714.md): 集群已启用Kerberos认证（安全模式）时，在使用HetuEngine服务前，需由集群管理员创建用户并指定其操作权限以满足业务使用需求。HetuEngine用户分为管理员用户和普通用户，系统默认的HetuEngine管理员用户组为hetuadmin，HetuEngine普通用户对应的用户组为hetuuser。关联了hetuadmin用户
- [添加跨集群HetuEngine数据源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1719.md): 本章节指导用户在集群已启用Kerberos认证（安全模式）的情况下通过HSConsole界面添加另一个HetuEngine数据源。登录他域HetuEngine集群Manager页面。选择“系统 > 权限 > 用户”。选择对应的数据源用户，在“操作”列中选择“更多 > 下载认证凭据”。从下载的文件中解压出来的user.keytab文件就是用
- [HetuEngine用户权限说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1722.md): 在集群未启用Kerberos认证（普通模式）时提供了Ranger权限模型，默认未开启Ranger权限模型，MRS 3.2.0-LTS.1（须安装3.2.0.1.10及以上补丁）及之后版本支持开启Ranger鉴权。HetuEngine在集群已启用Kerberos认证（安全模式）时提供了以下两种权限管控方式，默认使用Ranger权限模型。Ra
- [创建HetuEngine计算实例](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1731.md): 本章节指导用户创建新的HetuEngine计算实例。计算实例创建成功后，停止集群前需手动先停止计算实例。重启集群后，如果要使用集群中的计算实例，需要手动启动计算实例。已创建用于访问HetuEngine WebUI界面的用户，如hetu_user，用户创建具体操作请参考创建HetuEngine权限角色。已在待操作集群创建所需租户。具体操作请
- [配置HetuEngine资源组](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1732.md): 资源组机制从资源分配的角度控制实例的整体查询负载，并可以对查询实施排队策略。可以在一个计算实例资源下创建多个资源组，并且每个提交的查询将分配给一个特定的资源组执行。在资源组执行新查询之前，将检查当前资源组的资源负载是否超过实例分配给它的资源量。如果超过，则将阻止新到达的查询，使其处于排队状态，甚至直接拒绝它。通过资源组可以实现计算实例内的
- [导入导出HetuEngine计算实例配置](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1733.md): 在HetuEngine的WebUI界面，可以导入/导出实例配置文件、下载实例配置模板。导入实例配置文件：单击“导入”，在本地选择JSON格式的实例配置文件后，单击“打开”。导入导出功能，仅保存计算实例的配置，不保存实例ID、名称、开始时间、结束时间、状态等信息，重新导入后，这些信息将会重新生成。导入导出功能，仅保存计算实例的配置，不保存实
- [查看HetuEngine实例监控页面](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1734.md): 在HetuEngine的WebUI界面，可以查看指定业务的详细信息，包括每个SQL的执行情况。登录集群Manager具体操作，请参考访问MRS集群Manager。
- [查看HetuEngine Coordinator和Worker日志](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1735.md): 在HetuEngine的WebUI界面，可以通过单击LogUI链接跳转至Yarn WebUI界面查看Coordinator和Worker日志。
- [调整Yarn资源分配](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1740.md): HetuEngine依赖Yarn服务提供的资源分配、控制等能力，需要根据实际业务和集群的服务器配置情况调整Yarn服务配置，以获得最佳的性能效果。登录集群Manager具体操作，请参考访问MRS集群Manager。
- [调整HetuEngine集群节点资源配置](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1741.md): HetuEngine默认的内存大小参数和硬盘溢出路径参数并非最佳，需要根据实际业务和集群的服务器配置情况调整集群节点资源配置，以获得最佳的性能效果。登录集群Manager具体操作，请参考访问MRS集群Manager。HetuEngine使用JDK 17运行时，默认关闭偏向锁特性(BiasedLocking)，在大数据场景开启偏向锁特性可提
- [开发和部署对接HetuEngine的Hive UDF](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1743.md): HetuEngine是一个高性能实时分析数据库，支持用户自定义一些函数，用于扩展SQL以满足个性化的需求，这类函数称为UDF。本章节主要介绍开发和应用Hive UDF的具体步骤。MRS 3.2.1及以后版本，需要基于JDK17.0.4及以上版本开发。本章节以MRS 3.3.0版本为例。本样例实现一个Hive UDF，说明见下表。一个普通H
- [HetuEngine日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1744.md): 在MRS集群运维和问题排查中，管理员和开发人员需要查看组件日志来定位故障原因、监控系统运行状态和审计用户操作行为。HetuEngine作为MRS集群中的高性能交互式分析引擎，提供完整的日志体系覆盖安装启停、运行状态、接口调用、健康检查、审计操作等多个维度。了解HetuEngine的日志存储路径、归档规则、日志级别和日志格式，有助于快速获取
- [调整HetuEngine元数据缓存](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1746.md): 当HetuEngine访问Hive数据源时，需要访问Hive Metastore获取元数据信息。HetuEngine提供了元数据缓存功能，当首次访问Hive数据源的库或表时，会将该库或表的元数据信息（数据库名、表名、表字段、分区信息、权限信息等）缓存起来，后续访问时不需要再次访问Hive Metastore，在Hive数据源的表数据变化不
- [切换Hive执行引擎](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1750.md): Hive的执行引擎是负责处理和执行HQL查询的核心组件，它将查询转换为底层计算框架的任务，并协调这些任务的执行，以实现高效的数据处理。Hive支持MapReduce、 Tez、 Spark作为执行引擎，默认为Tez（MRS 3.1.2-LTS之前版本默认为MapReduce），通过选择不同的执行引擎，用户可以优化查询性能，满足不同的业务需
- [如何删除所有HiveServer中的永久函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1753.md): 如果需要删除永久函数（Permanent UDF），如何在多个HiveServer之间同步删除？因为多个HiveServer之间共用一个MetaStore存储数据库，所以MetaStore存储数据库和HiveServer的内存之间数据同步有延迟。如果在单个HiveServer上删除永久函数，操作结果将无法同步到其他HiveServer上。
- [为什么已备份的Hive表无法执行drop操作](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1754.md): 为什么已备份的Hive表执行drop操作会失败？由于已备份Hive表对应的HDFS目录创建了快照，导致HDFS目录无法删除，造成Hive表删除失败。Hive表在执行备份操作时，会创建表对应的HDFS数据目录快照。而HDFS的快照机制有一个约束：如果一个HDFS目录已创建快照，则在快照完全删除之前，该目录无法删除或修改名称。Hive表（除E
- [如何在Hive自定义函数中操作本地文件](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1755.md): 在Hive自定义函数中需要操作本地文件，例如读取文件的内容，需要如何操作？默认情况下，可以在UDF中用文件的相对路径来操作文件，如下示例代码：在Hive中使用时，将UDF中用到的文件foo.txt上传到HDFS上，如上传到hdfs://hacluster/tmp/foo.txt，使用以下语句创建UDF，在UDF中就可以直接操作foo.tx
- [如何强制停止Hive执行的MapReduce任务](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1756.md): 在Hive执行MapReduce任务长时间卡住的情况下想手动停止任务，需要如何操作？
- [Hive不支持复杂类型字段名称中包含哪些特殊字符](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1757.md): Hive复杂类型字段名称中包含特殊字符，导致建表失败。Hive不支持复杂类型字段名称中包含特殊字符。特殊字符是指英文大小写字母、阿拉伯数字、中文字符、葡萄牙文字符以外的其他字符。用户在创建相关字段时，应避免使用相关特殊字符。
- [如何对Hive表大小数据进行监控](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1758.md): 如何对Hive中的表大小数据进行监控？当用户要对Hive表大小数据进行监控时，可以通过HDFS的精细化监控对指定表目录进行监控，从而到达监控指定表大小数据的目的。Hive、HDFS组件功能正常HDFS精细化监控功能正常
- [如何防止insert overwrite语句误操作导致数据丢失](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1759.md): 如何对重点目录进行保护，防止“insert overwrite”语句误操作导致数据丢失？当用户要对Hive重点数据库、表或目录进行监控，防止“insert overwrite”语句误操作导致数据丢失时，可以利用Hive配置中的hive.local.dir.confblacklist进行目录保护。该配置项已对/opt/，/user/hive
- [未安装HBase时Hive on Spark任务卡顿如何处理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1760.md): 未安装HBase时Hive on Spark任务卡顿如何处理？Hive on Spark任务的Spark内核版本已经升级到Spark2x，可以支持在不安装Spark2x的情况下，执行Hive on Spark任务。如果没有安装HBase，默认在执行Spark任务时，会尝试去连接Zookeeper访问HBase，直到超时，这样会造成任务卡顿
- [Hive使用WHERE条件查询超过3.2万分区的表报错](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1761.md): Hive创建超过3.2万分区的表，执行带有WHERE分区的条件查询时出现异常。metastore.log中打印的异常信息包含以下信息：Caused by: java.io.IOException: Tried to send an out-of-range integer as a 2-byte value: 32970
        
- [使用IBM的JDK访问beeline客户端出现连接HiveServer失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1762.md): 查看客户端使用的jdk版本，如果是IBM JDK，则需要对Beeline客户端进行改造，否则会造成连接HiveServer失败。viHive客户端安装目录/Hive/component_env在变量“export CLIENT_HIVE_URI”所在行后面添加如下内容：\;user.principal=用户名@HADOOP.COM\;us
- [Hive表的Location支持跨OBS和HDFS路径吗](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1763.md): Hive表的Location支持跨OBS和HDFS路径吗？Hive存储在OBS上的普通表，支持表Location配置为HDFS路径。同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。Hive存储在OBS上的分区表，不支持将分区Location配置为HDFS路径（存储在HDFS上的分区表也不支持修改分区Locatio
- [使用IE浏览器在Hue中执行HQL失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1765.md): 遇到使用IE浏览器在Hue中访问Hive Editor并执行所有HQL失败，界面提示如下报错，如何解决并正常执行HQL？IE浏览器存在功能问题，不支持在307重定向中处理含有form data的AJAX POST请求。建议更换兼容的浏览器，例如Google Chrome浏览器。
- [使用Hive输入use database语句失效](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1766.md): 使用Hive的时候，在输入框中输入了use database的语句切换数据库，重新在输入框内输入其他语句，为什么数据库没有切换过去？在Hue上使用Hive有区别于用Hive客户端使用Hive，Hue界面上有选择数据库的按钮，当前SQL执行的数据库以界面上显示的数据库为准。与此相关的还有设置参数等session级别的一次性操作，都应该使用界
- [Kafka客户端使用实践](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1767.md): 该任务指导用户在运维场景或业务场景中使用Kafka客户端，实现对Kafka主题的创建、查看、修改、删除等操作。已安装客户端，例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。
- [Loader常用参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1784.md): 参数入口，请参考修改集群服务配置参数。由于容错率的统计需要时间，为保证使用效果，建议在作业运行时间在2分钟以上时使用“loader.fault.tolerance.rate”参数。此处参数设置的为Loader全局的默认分隔符，如果作业的转换步骤中配置了分隔符，则以转换步骤为准，转换步骤中没有配置分隔符则以此处的默认分隔符为准。
- [使用IE浏览器配置Loader作业时无法保存数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1786.md): 通过IE 10&IE 11浏览器访问Loader界面，提交数据后，会报错。现象保存提交数据，出现类似报错：Invalid query parameter jobgroup id. cause: [jobgroup]。保存提交数据，出现类似报错：Invalid query parameter jobgroup id. cause: [job
- [将Oracle数据库中的数据导入HDFS时各连接器的区别](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1787.md): 使用Loader将Oracle数据库中的数据导入到HDFS中时，可选择的连接器有generic-jdbc-connector、oracle-connector、oracle-partition-connector三种，要怎么选？有什么区别？generic-jdbc-connector使用JDBC方式从Oracle数据库读取数据，适用于支持
- [ResourceManager进行主备切换后，任务中断后运行时间过长](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1789.md): 在MapReduce任务运行过程中，ResourceManager发生主备切换，切换完成后，MapReduce任务继续执行，此时任务的运行时间过长。因为ResourceManager HA已启用，但是Work-preserving RM restart功能未启用。如果Work-preserving RM restart功能未启用，Reso
- [MapReduce任务长时间无进展](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1790.md): MapReduce任务长时间无进展。一般是因为内存太少导致的。当内存较小时，任务中拷贝map输出的时间将显著增加。为了减少等待时间，您可以适当增加堆内存空间。任务的配置可根据mapper的数量和各mapper的数据大小来进行优化。根据输入数据的大小，优化“客户端安装路径/Yarn/config/mapred-site.xml”文件中的如下
- [为什么运行任务时客户端不可用](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1791.md): 当运行任务时，将MR ApplicationMaster或ResourceManager移动为D状态，为什么此时客户端会不可用？当运行任务时，将MR ApplicationMaster或ResourceManager移动为D状态（不间断睡眠状态）或T状态（停止状态），客户端会等待返回任务运行的状态，由于AM无返回，客户端会一直处于等待状态
- [在缓存中找不到HDFS_DELEGATION_TOKEN如何处理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1792.md): 安全模式下，为什么在缓存中找不到HDFS_DELEGATION_TOKEN？在MapReduce中，默认情况下，任务完成之后，HDFS_DELEGATION_TOKEN将会被删除。因此如果在下一个任务中再次使用HDFS_DELEGATION_TOKEN，缓存中将会找不到HDFS_DELEGATION_TOKEN。为了能够在随后的工作中再次
- [如何在提交MapReduce任务时设置任务优先级](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1793.md): 如何在提交MapReduce任务时设置任务优先级？当您在客户端提交MapReduce任务时，可以在命令行中增加-Dmapreduce.job.priority=<priority>参数来设置任务优先级。格式如下：yarn jar <jar> [mainClass] -Dmapreduce.job.priority=<priority> [
- [MapReduce任务运行失败，ApplicationMaster出现物理内存溢出异常](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1794.md): HBase bulkload任务有210000个map和10000个reduce，MapReduce任务运行失败，ApplicationMaster出现物理内存溢出异常。这是性能规格的问题，MapReduce任务运行失败的根本原因是由于ApplicationMaster的内存溢出导致的，即物理内存溢出导致被NodeManager kill
- [MapReduce作业信息无法通过ResourceManager Web UI页面的Tracking URL打开](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1797.md): MapReduce JobHistoryServer服务地址变更后，为什么运行完的MapReduce作业无法通过ResourceManager Web UI页面打开？JobHistoryServer地址（mapreduce.jobhistory.address / mapreduce.jobhistory.webapp.<https.>a
- [多个NameService环境下运行MapReduce任务失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1799.md): 多个NameService环境下，运行使用viewFS功能的MapReduce或YARN任务失败。当使用viewFS时，只有在viewFS中挂载的目录才能被访问到。所以最可能的原因是配置的路径没有在viewFS的挂载点上。例如：对于依赖HDFS的MR配置中，需要使用已挂载的目录。错误示例：根目录（/）在viewFS中是无法访问的。正确示例
- [基于分区的任务黑名单异常如何处理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1800.md): Map&Reduce任务失败，并且故障节点数与集群总节点数的比值低于“yarn.resourcemanager.am-scheduling.node-blacklisting-disable-threshold”配置的黑名单阈值，为什么Map&Reduce任务故障节点没有加入黑名单？当集群中有超过阈值的节点都被加入黑名单时，黑名单会释放这
- [Oozie客户端配置说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1810.md): 该任务指导用户在运维场景或业务场景中使用Oozie客户端。Oozie支持提交多种类型任务，例如Hive、Spark2x、Loader、Mapreduce、Java、DistCp、Shell、HDFS、SSH、SubWorkflow、Streaming、定时任务等。已安装客户端，具体请参考安装客户端。例如安装目录为“/opt/client”
- [使用Oozie客户端提交Hive任务](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1813.md): 该任务指导用户在使用Oozie客户端提交Hive任务Hive任务有如下类型：Hive作业使用JDBC方式连接的Hive作业。使用JDBC方式连接的Hive作业。Hive2作业使用Beeline方式连接的Hive作业。使用Beeline方式连接的Hive作业。本文以使用Oozie客户端提交Hive作业为例介绍。使用Oozie客户端提交Hiv
- [使用Oozie客户端提交Spark2x任务](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1814.md): 该任务指导用户在使用Oozie客户端提交Spark2x任务。请下载使用最新版本的客户端。Spark2x和Oozie组件安装完成且运行正常，客户端安装成功。如果当前客户端为旧版本，需要重新下载和安装客户端。如果当前客户端为旧版本，需要重新下载和安装客户端。已创建或获取访问Oozie服务的人机用户账号及密码。该用户需要从属于hadoop、su
- [使用Oozie客户端提交Loader任务](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1815.md): 该任务指导用户在使用Oozie客户端提交Loader任务。请下载使用最新版本的客户端。Loader和Oozie组件及客户端已经安装，并且正常运行。已创建或获取访问Oozie服务的人机用户账号及密码。该用户需要从属于hadoop、supergroup、hive组，同时添加Oozie的角色操作权限。如果使用Hive多实例，该用户还需要从属于具
- [使用Oozie客户端提交其他任务](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1816.md): 除了Hive、Spark2x、Loader任务，也支持使用Oozie客户端提交MapReduce、Java、Shell、HDFS、SSH、SubWorkflow、Streaming、定时等任务。请下载使用最新版本的客户端。Oozie组件及客户端已经安装，并且正常运行。已创建或获取访问Oozie服务的人机用户账号及密码。Shell任务：该用
- [使用Hue创建工作流](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1818.md): 用户通过Hue管理界面可以进行提交Oozie作业，提交作业之前，首先需要创建一个工作流。使用Hue提交Oozie作业之前，需要提前配置好Oozie客户端，并上传样例配置文件和jar至HDFS指定目录，具体操作请参考Oozie客户端配置说明章节。例如：使用admin用户登录FusionInsight Manager，选择“系统 > 用户 >
- [使用Hue提交Oozie Hive2作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1820.md): 该任务指导用户通过Hue界面提交Hive2类型的Oozie作业。例如输入参数为INPUT=/user/admin/examples/input-data/table，输出参数为OUTPUT=/user/admin/examples/output-data/hive2_workflow。如果以上的参数和值在使用过程中发生了修改，可在Oozi
- [使用Hue提交Oozie Spark2x作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1821.md): 该任务指导用户通过Hue界面提交Spark2x类型的Oozie作业。例如添加：“hdfs://hacluster/user/admin/examples/input-data/text/data.txt”“hdfs://hacluster/user/admin/examples/output-data/spark_workflow”此处版
- [使用Hue提交Oozie Java作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1822.md): 该任务指导用户通过Hue界面提交Java类型的Oozie作业。保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Java-Workflow”。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。
- [使用Hue提交Oozie Loader作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1823.md): 该任务指导用户通过Hue界面提交Loader类型的Oozie作业。Job id是需要编排的Loader作业的ID值，可从Loader页面获取。创建需要调度的Loader作业，并获取该作业ID，具体操作请参见使用Loader相关章节。保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Loade
- [使用Hue提交Oozie Mapreduce作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1824.md): 该任务指导用户通过Hue界面提交Mapreduce类型的Oozie作业。例如配置mapred.input.dir的值为“/user/admin/examples/input-data/text”，配置mapred.output.dir的值为“/user/admin/examples/output-data/map-reduce_workf
- [使用Hue提交Oozie Sub workflow作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1825.md): 该任务指导用户通过Hue界面提交Sub Workflow类型的Oozie作业。保存前如果需要修改作业名称（默认为My Workflow），可以直接单击该名称进行修改，例如“Subworkflow-Workflow”。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。
- [使用Hue提交Oozie Shell作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1826.md): 该任务指导用户通过Hue界面提交Shell类型的Oozie作业。如果文件存储在HDFS上，选择“.sh”文件所在路径即可，例如“user/hueuser/shell/oozie_shell.sh”。如果选择本地文件，则需在“选择文件”界面，单击“上传文件”，上传本地文件，文件上传成功后，选择该文件即可。传递参数的顺序需要和Shell脚本中
- [使用Hue提交Oozie HDFS作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1827.md): 该任务指导用户通过Hue界面提交HDFS类型的Oozie作业。如果单击了“DELETE PATH+”添加待删除的HDFS路径，该参数不能为空，否则会默认删除HDFS的“/user{提交用户名}”目录，可能会导致其他任务运行异常。保存前如果需要修改作业名称（默认为My Workflow），可以直接单击该名称进行修改，例如“HDFS-Work
- [使用Hue提交Oozie Streaming作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1828.md): 该任务指导用户通过Hue界面提交Streaming类型的Oozie作业。例如“/user/oozie/share/lib/mapreduce-streaming/hadoop-streaming-xxx.jar”和“/user/oozie/share/lib/mapreduce-streaming/oozie-sharelib-strea
- [使用Hue提交Oozie Distcp作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1829.md): 该任务指导用户通过Hue界面提交Distcp类型的Oozie作业。是，执行4。否，执行7。source_ip：源集群的HDFS的NameNode的业务地址。source_port：源集群的HDFS的NameNode的端口号。target_ip：目标集群的HDFS的NameNode的业务地址。target_port：目标集群的HDFS的Na
- [配置Oozie节点间用户互信](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1830.md): 在使用Oozie节点通过SSH作业执行外部节点的Shell，需要单向免密互信时，可以参考此示例。已经安装Oozie，而且能与外部节点（SSH连接的节点）通信。是，执行3。否，执行以下命令生成公私钥：ssh-keygen -t rsassh-keygen -t rsassh-copy-id -i  ~/.ssh/id_rsa.pub运行SS
- [使用Hue提交Oozie SSH作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1831.md): 该任务指导用户通过Hue界面提交SSH类型的Oozie作业。由于有安全攻击的隐患，所以默认是无法提交SSH作业的，如果想使用SSH功能，需要手动开启。在FusionInsight Manager界面，选择“集群 > 服务 > Oozie > 配置 > 全部配置 > oozie（角色） > 安全”，修改“oozie.job.ssh.enab
- [使用Hue提交Coordinator定时调度作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1840.md): 该任务指导用户通过Hue界面提交定时调度类型的作业。提交Coordinator任务之前需要提前配置好相关的workflow作业。因时区转化的原因，此处时间有可能会与当地系统实际时间差异数个小时。比如在中国，此处的时间则会比当地时间晚8个小时。如果需要统一同步配置为上海时间，操作如下：在Manager页面，选择集群 > 服务 > Oozie
- [使用Hue提交Bundle批处理作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1841.md): 当同时存在多个定时任务的情况下，用户可以通过Bundle任务进行批量管理作业。该任务指导用户通过Hue界面提交批量类型的作业。提交Bundle批处理之前需要提前配置好相关的Workflow和Coordinator作业。因时区转化的原因，此处时间有可能会与当地系统实际时间差异数个小时。比如在中国，此处的时间则会比当地时间晚8个小时。
- [在Hue界面中查询Oozie作业结果](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1842.md): 提交作业后，可以通过Hue界面查看具体作业的执行情况。默认显示当前集群的所有作业。作业浏览器显示的数字表示集群中所有作业的总数。作业浏览器显示的数字表示集群中所有作业的总数。“作业浏览器”将显示作业以下信息：如果MRS集群安装了Spark组件，则默认会启动一个作业Spark-JDBCServer，用于执行任务。
- [Oozie日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1843.md): 日志路径：Oozie相关日志的默认存储路径为：运行日志：“/var/log/Bigdata/oozie”。审计日志：“/var/log/Bigdata/audit/oozie”。日志归档规则：Oozie的日志分三类：运行日志、 脚本日志和审计日志。运行日志每个文件最大20M，最多20个。审计日志每个文件最大20M，最多20个。“oozie
- [Oozie定时任务没有准时运行如何处理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1846.md): 在Hue或者Oozie客户端设置执行Coordinator定时任务，但没有准时执行。设置任务时，需要使用UTC时间。例如在job.properties中配置start=2016-12-20T09:00Z。修改配置后重新启动定时任务即可。
- [HDFS上更新了Oozie的share lib目录但没有生效](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1847.md): 在HDFS的/user/oozie/share/lib目录上传了新的jar包，但执行任务时仍然报找不到类的错误。在客户端执行如下命令刷新目录：oozie admin -oozie https://xxx.xxx.xxx.xxx:21003/oozie -sharelibupdate
- [登录Ranger WebUI界面](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1850.md): Ranger服务提供了集中式的权限管理框架，可以对HDFS、HBase、Hive、Yarn等组件进行细粒度的权限访问控制，并且提供了Web UI方便Ranger管理员进行操作。WebUI是用户操作的核心入口，主要用于统一管理各类组件（如HDFS、Hive、HBase、Kafka等）的权限策略、安全配置、审计日志等，无需在各个组件中单独配置
- [添加Ranger权限策略](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1851.md): 新安装的MRS集群默认安装Ranger服务并启用了Ranger鉴权模型，Ranger管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。本视频为您介绍如何为MRS集群用户添加Ranger权限策略。因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。各组件的策略列表中，系统默认会生成部分条目，用于保证集群内的
- [查看Ranger审计信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1852.md): Ranger审计信息查看功能适用于需要监控集群权限操作行为、追溯安全事件和满足合规审计要求的MRS集群管理员和安全审计人员。在MRS集群多用户协作环境中，用户的每一次数据访问和权限操作都需要被记录和可追溯。当发生数据泄露、越权访问或权限异常变更等安全事件时，管理员需要通过审计日志快速定位事件发生的时间、操作者和操作内容。Ranger提供了
- [配置Ranger安全区信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1853.md): Ranger支持配置安全区，Ranger管理员可将各组件的资源切分为多个安全区，由对应Ranger管理员用户为区域的指定资源设置安全策略，以便更好的细分资源管理。安全区中定义的策略仅适用于区域中的资源，服务的资源被划分到安全区后，非安全区针对该资源的访问权限策略将不再生效。安全区的管理员只能在其作为管理员的安全区中设置策略。例如针对HDF
- [查看Ranger用户权限同步信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1854.md): 查看Ranger相关权限设置信息，例如查看用户、用户组、Role。Users：显示Ranger从LDAP或者OS同步的所有用户信息。Groups：显示Ranger从LDAP或者OS同步的所有用户组、角色信息。Roles：显示Ranger中创建的Role信息。在FusionInsight Manager上创建的用户、角色、用户组会定期自动同
- [添加HDFS的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1856.md): 在企业集群运维过程中，HDFS作为核心分布式文件存储系统，承载着海量业务数据，不同部门、不同角色需要访问HDFS中的不同目录或文件。传统的HDFS原生权限控制无法满足细粒度管控需求，若直接在HDFS节点配置权限，不仅操作繁琐、易遗漏，还难以统一追溯权限变更记录，一旦出现数据越权访问或权限故障，排查难度极大。通过Ranger的WebUI界面
- [添加HBase的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1857.md): HBase通常存储着大量结构化业务数据，不同业务团队及角色对HBase表、列族、列的访问需求存在差异。HBase原生权限控制机制分散且精细化不足，通过原生命令配置权限繁琐易出错，还难以实现集中管理与审计，存在数据安全风险。为此，Ranger管理员可通过Ranger为HBase用户配置表、列族及列的权限。本场景适用于Ranger管理员、Ha
- [添加Hive的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1858.md): 在企业大数据平台中，Hive作为核心的数据仓库工具，承载着数据存储、查询与分析等关键业务，不同角色的用户需基于业务需求访问Hive中的不同库表资源。Ranger作为大数据生态的权限管理框架，可通过WebUI直观配置Hive用户的权限策略。本文档将指导您在Ranger WebUI中完成Hive用户相关权限配置策略的添加操作，助力实现Hive
- [添加Yarn的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1859.md): Yarn作为核心的资源调度框架，承担着集群计算资源的分配与任务调度核心职责，平台内存在多个角色的Yarn用户（如开发人员提交业务计算任务、运维人员管理集群资源、不同业务部门用户抢占队列资源）。若缺乏精细化的Yarn权限管控，普通用户可能随意占用大量集群资源，导致核心业务任务调度延迟；无权限用户误操作修改Yarn集群配置，引发服务稳定性风险
- [添加Spark的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1860.md): Spark SQL是MRS集群中常用的数据处理引擎，默认情况下Spark SQL继承Hive的权限体系。在多用户共享集群的场景下，默认权限无法满足精细化管控需求——例如需要限制特定用户只能查询某些表、对敏感字段进行脱敏处理、或限制用户只能查看本部门数据。Ranger提供了统一的权限管理能力，Ranger管理员可通过Ranger为Spark
- [添加Kafka的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1861.md): Kafka作为核心的分布式消息队列组件，承载着业务数据的实时传输与分发任务，广泛应用于日志采集、数据同步、流式计算等关键业务流程。不同角色的用户（如数据开发工程师需向Kafka主题写入业务数据、分析师需读取主题数据进行统计分析、运维人员需管理集群主题与配置）均需基于职责访问Kafka资源。Ranger提供了完善的Kafka权限配置方案，管
- [添加HetuEngine的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1862.md): 在企业大数据平台的数据分析场景中，HetuEngine作为高性能SQL查询引擎，承担着跨数据源快速查询分析的核心职责，分析师需通过HetuEngine查询多源数据库的表和列数据生成业务报表，开发人员需调试SQL语句验证数据处理逻辑。若直接开放全量数据源的数据库、表、列访问权限，可能导致敏感列数据泄露，或非授权用户误操作修改数据表结构；若仅
- [Ranger日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1865.md): Ranger作为MRS集群的统一权限管理组件，其运行日志和审计日志是排查权限问题和服务异常的重要依据。当集群中出现鉴权失败、用户同步异常、策略下发延迟或Ranger服务启动失败等问题时，管理员需要通过查看Ranger各组件的日志来定位根因。本文适用于MRS集群管理员和运维工程师，介绍Ranger各组件的日志类型、存储路径、日志级别、日志格
- [安装集群过程中Ranger启动失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1867.md): 安装集群过程中，Ranger启动失败，Manager进程任务列表里打印“ERROR：cannot drop sequence X_POLICY_REF_ACCESS_TYPE_SEQ”等关于数据库信息，如何解决并正常安装Ranger？该现象可能出现在安装两个RangerAmdin实例的场景下。安装失败后，您可以登录Manager页面，先手
- [如何判断某个服务是否使用了Ranger鉴权](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1868.md): 如何判断某个支持使用Ranger鉴权的服务当前是否启用了Ranger鉴权？登录FusionInsight Manager，选择“集群 > 服务 > 服务名称”，在服务详情页上继续单击“更多”，查看“启用Ranger鉴权”是否为可单击？是，表示当前本服务未启用Ranger鉴权插件，可单击“启用Ranger鉴权”启用该功能。否，表示当前本服务
- [Spark使用说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1927.md): MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。Spark是一个开源的，并行数据处理框架，能够帮助用户简单、快速的开发大数据应用，对数据进行离线处理、流式处理、交互式分析等
- [Spark客户端使用实践](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1929.md): 本章节提供从零开始使用Spark，提交Spark应用程序，包括Spark Core及Spark SQL。其中，Spark Core为Spark的内核模块，主要负责任务的执行，用于编写Spark应用程序；Spark SQL为执行SQL的模块。假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下要
- [快速配置Spark参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1930.md): 本节介绍Spark使用过程中快速配置常用参数和不建议修改的配置参数。其他参数在安装集群时已进行了适配，以下参数需要根据使用场景进行调整。以下参数除特别指出外，一般在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”文件中配置。以下参数在安装集群时已进行了适配，不建议用户进行修
- [Spark常用配置参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1931.md): 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节，以便用户快速搜索到相应的配置项。如果用户使用MRS集群，本节介绍的参数大部分已经适配好，用户无需再进行配置。少数需要用户根据实际场景配置的参数，请参见快速配置Spark参数。Spark任务在遇到FetchFailedException时会触发Stage重试。为了防止Stag
- [配置Spark读取HBase表数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1933.md): Spark on HBase为用户带来了强大的数据处理与存储交互能力。借助这一技术，用户能够在Spark SQL环境下对HBase表开展查询操作，借助其强大的分布式计算能力和灵活的SQL查询语法，高效地从HBase分布式列存储系统中获取所需数据。在数据存储方面，用户可以通过Beeline工具，方便快捷地向HBase表中存储数据。Beeli
- [SparkSQL用户权限介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1936.md): 类似于Hive，SparkSQL也是建立在Hadoop上的数据仓库框架，提供类似SQL的结构化数据。MRS提供用户、用户组和角色，集群中的各类权限需要先授予角色，然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组，才能获得权限。如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具
- [创建SparkSQL角色](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1937.md): 该任务指导MRS集群管理员在Manager创建并设置SparkSQL的角色。SparkSQL角色可设置Spark管理员权限以及数据表的数据操作权限。用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表拥有完整权限，可直接创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访
- [配置Spark表、列和数据库的用户权限](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1938.md): 使用SparkSQL操作表或者数据库时，如果用户访问别人创建的表或数据库，需要授予对应的权限。为了实现更严格权限控制，SparkSQL也支持列级别的权限控制。如果要访问别人创建的表上某些列，需要授予列权限。以下介绍使用Manager角色管理功能在表授权、列授权和数据库授权三个场景下的操作。SparkSQL表授权、列授权、数据库授权与Hiv
- [配置SparkSQL业务用户权限](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1939.md): 在进行SparkSQL业务开发时，还可能需要关联使用其他组件，例如在使用Spark on HBase时，还需要HBase的相关权限。接下来将详细介绍如何配置SparkSQL与HBase服务之间的关联操作。完成Spark客户端的安装，例如安装目录为“/opt/client”。获取一个拥有MRS集群管理员权限的用户，例如admin。用户如果需
- [Spark客户端和服务端权限参数配置说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1940.md): SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。spark-defaults.conf配置文件参数说明（1）参数描述配置示例spark.sql.authorization.enabled是否开启datasource语句的权限认证功能。建议将此参数修改为true，
- [配置多主实例模式](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1942.md): 基于社区已有的JDBCServer基础上，采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个ThriftServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个ThriftServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的ThriftServer服务。多主实例模式相比主备
- [配置Spark多租户模式](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1943.md): JDBCServer多主实例方案中，JDBCServer的实现使用YARN-Client模式，但YARN资源队列只有一个，为了解决这种资源局限的问题，引入了多租户模式。多租户模式是将JDBCServer和租户绑定，每一个租户对应一个或多个JDBCServer，一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队
- [配置多主实例与多租户模式切换](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1944.md): 在使用集群中，如果需要在多主实例模式与多租户模式之间切换，可以通过修改Spark服务的配置参数来实现。多主实例模式与多租户模式使用场景主要区别如下：多主实例模式：实现了高可用性方案，集群中支持同时共存多个ThriftServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个ThriftServer服务停止
- [配置Spark事件队列大小](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1945.md): Spark中的UI、EventLog、动态资源调度等功能都是通过事件传递实现的。事件有SparkListenerJobStart、SparkListenerJobEnd等，记录了每个重要的过程。每个事件在发生后都会保存到一个队列中，Driver在创建SparkContext对象时，会启动一个线程循环地从该队列中依次拿出一个事件，然后发送给
- [配置Spark Executor堆内存参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1947.md): 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。详细操作请参考安装MRS客户端。在客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中调整如下参数，或者在应用提交时通过--conf设置这些参数。
- [配置WebUI上查看Container日志](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1949.md): 当Yarn配置yarn.log-aggregation-enable为true时，就开启了container日志聚合功能。日志聚合功能是指：当应用在Yarn上执行完成后，NodeManager将本节点中所有container的日志聚合到HDFS中，并删除本地日志。详情请参见配置Container日志聚合功能。然而，开启container日
- [配置YARN-Client和YARN-Cluster不同模式下的环境变量](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1951.md): YARN-Client模式：Spark应用的Driver运行在提交任务的客户端机器上，ApplicationMaster仅负责向YARN申请资源。该模式下用户可在客户端实时查看Driver输出，适合交互式调试和开发阶段使用。YARN-Cluster模式：Spark应用的Driver运行在YARN分配的ApplicationMaster容器
- [配置SparkSQL的分块个数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1952.md): SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误：例如，SparkSQL运行TPCDS 500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当地调整该参数
- [配置parquet表的压缩格式](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1953.md): 在Spark中，Parquet表是一种非常常用的数据存储和处理方式。Parquet表在设计上通过压缩和编码优化，极大地减少了数据的存储空间并提高了数据的读取速度。当前对于parquet表的压缩格式分以下两种情况进行配置：对于分区表，需要通过parquet本身的配置项parquet.compression设置parquet表的数据压缩格式。
- [配置WebUI上显示的Lost Executor信息的个数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1954.md): Spark WebUI中Executor页面支持展示Lost Executor的信息，对于JDBCServer长任务来说，Executor的动态回收是常态，Lost Executor个数太多，会撑爆Executor页面，因此需要控制页面显示的Lost Executor个数。详细操作请参考安装MRS客户端。在Spark客户端的“{客户端安装
- [调整Spark日志级别](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1957.md): 在某些场景下，当任务已经启动后，用户想要修改日志级别以定位问题或者查看想要的信息。用户可以在进程启动前，在进程的JVM参数中增加参数-Dlog4j.configuration.watch=true来打开动态设置日志级别的功能。进程启动后，就可以通过修改进程对应的log4j配置文件，来调整日志打印级别。目前支持动态设置日志级别功能的有：Dr
- [配置Spark任务不获取HBase Token信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1958.md): 使用Spark提交任务时，Driver默认会去HBase获取Token，访问HBase则需要配置文件jaas.conf进行安全认证。此时如果用户未配置jaas.conf文件，会导致应用运行失败。因此，根据应用是否涉及HBase进行以下处理：当应用不涉及HBase时，即无需获取HBase Token。此时，将spark.yarn.secur
- [配置Spark Streaming对接Kafka时数据后进先出功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1959.md): 当Spark Streaming应用与Kafka对接，Spark Streaming应用异常终止并从checkpoint恢复重启后，对于进入Kafka数据的任务，系统默认优先处理应用终止前（A段时间）未完成的任务和应用终止到重启完成这段时间内（B段时间）进入Kafka数据生成的任务，最后再处理应用重启完成后（C段时间）进入Kafka数据生
- [配置Spark Streaming对接Kafka可靠性](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1960.md): Spark Streaming对接Kafka时，当Spark Streaming应用重启后，应用根据上一次读取的topic offset作为起始位置和当前topic最新的offset作为结束位置从Kafka上读取数据的。Kafka服务的topic的leader异常后，如果Kafka的leader和follower的offset相差太大，用
- [配置流式读取Spark Driver执行结果](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1961.md): Spark在执行查询语句时，返回结果有可能会很大（10万数量以上），在这种情况下，极易引发JDBCServer出现内存溢出（Out of Memory，简称 OOM）。为有效解决这一难题，我们提供了数据汇聚功能特性。该特性能够在基本不影响系统性能的前提下，最大程度地避免OOM情况的发生。提供两种不同的数据汇聚功能配置选项，两者在Spark
- [配置过滤掉分区表中路径不存在的分区](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1962.md): 在MRS集群中使用Spark SQL查询Hive分区表是常见的数据分析操作。Hive分区表的分区元数据存储在MetaStore中，每个分区对应HDFS上的一个物理目录。当HDFS上的分区目录被手动删除、分区数据迁移后元数据未同步、或HDFS磁盘故障导致数据丢失时，分区元数据与HDFS物理路径会出现不一致，此时执行select查询会触发Fi
- [配置Spark Web UI ACL](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1963.md): 访问控制列表（ACLs）是一种安全机制，用于控制用户或用户组对资源的访问权限。启用ACLs可以限制用户对应用程序历史记录的访问，确保敏感数据的安全性。当Spark Web UI中有一些不允许其他用户看到的数据时，用户可能想对UI进行安全防护。用户一旦登录，Spark可以比较与这个用户相对应的视图ACLs来确认是否授权用户访问 UI。Spa
- [配置矢量化读取ORC数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1964.md): ORC文件格式是一种Hadoop生态中的列式存储格式，它最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet文件格式类似，ORC并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内按列进行存储，并且文件中的数据尽可能地压缩来降低存储空间的消耗。在Spark 2.3
- [Hive分区修剪的谓词下推增强](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1965.md): 分区裁剪是一种优化技术，它通过在执行查询时仅扫描满足查询条件的分区，而不是扫描整个表的所有分区，来减少数据扫描量，从而提高查询性能。在旧版本中，对Hive表的分区修剪的过滤条件（即谓词）下推，只支持列名与整数或者字符串的比较表达式的下推，在2.3版本中，增加了对null、in、and、or表达式的下推支持。详细操作请参考访问集群Manag
- [配置Hive表分区动态覆盖](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1966.md): Hive的分区表将数据按照指定的分区字段（如日期、地域等）存储在不同的目录下。动态分区覆盖功能允许用户在插入数据时，基于查询结果动态确定要覆盖的分区，无需提前静态指定所有分区值。当执行insert overwrite语句时，Hive会根据查询结果中的分区字段值，找到对应的分区目录，先删除该目录下原有数据，再写入新数据，从而实现分区数据的更
- [配置列统计值直方图Histogram用以增强CBO准确度](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1967.md): Spark优化SQL的执行，一般的优化规则都是启发式的优化规则，启发式的优化规则，仅仅根据逻辑计划本身的特点给出优化，没有考虑数据本身的特点，也就是未考虑算子本身的执行代价。Spark在2.2中引入了基于代价的优化规则（CBO）。CBO会收集表和列的统计信息，结合算子的输入数据集来估计每个算子的输出条数以及字节大小，这些就是执行一个算子的
- [配置JobHistory本地磁盘缓存](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1969.md): JobHistory可使用本地磁盘缓存Spark应用的历史数据，以防止JobHistory内存中加载大量应用数据，减少内存压力，同时该部分缓存数据可以复用以提高后续对相同应用的访问速度。详细操作请参考访问集群Manager。在Spark服务概览页面，选择“更多 > 重启服务/滚动重启服务”，验证管理员密码后，等待服务重启成功。组件重启期间
- [配置Spark SQL开启Adaptive Execution特性](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1970.md): Spark SQL Adaptive Execution特性用于使Spark SQL在运行过程中，根据中间结果优化后续执行流程，提高整体执行效率。当前已实现的特性如下：自动设置shuffle partition数。在启用Adaptive Execution特性前，Spark SQL根据spark.sql.shuffle.partition
- [Spark日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1971.md): 日志存储路径：Executor运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”运行中的任务日志存储在以上路径中，运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中，详情请参见Ya
- [获取运行中Spark应用的Container日志](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1972.md): 在运行Spark应用时，用户可能遇到任务执行失败、数据倾斜、Container异常退出等问题，需要通过查看Container日志来定位原因。然而，Spark应用的Container日志分散在集群的多个节点上，手动逐台登录节点收集日志效率低下，尤其当集群规模较大时，定位问题Container的日志更加困难。YARN提供了yarn logs命
- [Spark Core数据序列化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1976.md): Spark支持两种方式的序列化 ：Java原生序列化JavaSerializerKryo序列化KryoSerializer序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性能可以达到JavaSerializer的10倍以上，而对于一些Int之类的基本类型数据，性能的提升就几乎可以
- [Spark Core内存调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1977.md): Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。监控节点进程的GC情况（在客户端的conf/spark-default.conf配置文件中，在spark.driver.extraJavaO
- [设置Spark Core并行度](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1978.md): 并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群
- [配置Spark Core广播变量](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1979.md): Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。每个任务分片在执行中都需要同一份数据集合时，就可以把公共数据集Broadc
- [使用External Shuffle Service提升Spark Core性能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1980.md): Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据以及给其他Executor提供shuffle数据。当Executor进程任务过重，导致触发GC（Garbage  Collection）而不能为其他Executor提供shuffle数据时，会影响任务运行。External 
- [配置Yarn模式下Spark动态资源调度](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1981.md): 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），如果分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Execu
- [调整Spark Core进程参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1982.md): Spark on Yarn模式下，有Driver、ApplicationMaster、Executor三种进程。在任务调度和运行的过程中，Driver和Executor承担了很大的责任，而ApplicationMaster主要负责container的启停。因而Driver和Executor的参数配置对Spark应用的执行有着很大的影响，用
- [Spark DAG设计规范说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1983.md): 合理的设计程序结构，可以优化执行效率。在程序编写过程中要尽量减少shuffle操作，合并窄依赖操作。以“同行车判断”例子讲解DAG设计的思路。数据格式：通过收费站时间、车牌号、收费站编号......逻辑：以下两种情况下判定这两辆车是同行车：如果两辆车都通过相同序列的收费站，通过同一收费站之间的时间差小于一个特定的值。如果两辆车都通过相同序
- [经验总结](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1984.md): 如果每条记录的开销太大，例：则可以使用MapPartitions，按每个分区计算结果，如：使用mapPartitions可以更灵活地操作数据，例如对一个很大的数据求TopN，当N不是很大时，可以先使用mapPartitions对每个partition求TopN，collect结果到本地之后再做排序取TopN。这样相比直接对全量数据做排序取
- [Spark SQL join优化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1986.md): Spark SQL中，当对两个表进行join（inner join）操作时，利用Broadcast特性（见配置Spark Core广播变量章节），将被广播的表BroadCast到各个节点上，从而转变成非shuffle操作，提高任务执行性能。在Spark SQL中进行Join操作时，可以按照以下步骤进行优化。为了方便说明，设表A和表B，且A
- [优化数据倾斜场景下的Spark SQL性能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1987.md): 在Spark SQL多表Join的场景下，会存在关联键严重倾斜的情况，导致Hash分桶后，部分桶中的数据远高于其他分桶。最终导致部分Task过重，运行很慢；其他Task过轻，运行很快。一方面，数据量大Task运行慢，使得计算性能低；另一方面，数据量少的Task在运行完成后，导致很多CPU空闲，造成CPU资源浪费。通过如下配置项可开启自动进
- [优化小文件场景下的Spark SQL性能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1988.md): Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响性能。在小文件场景下，您可以通过如下配置手动指定每个Task的数据
- [Spark INSERT SELECT语句调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1989.md): 在以下几种情况下，执行INSERT...SELECT操作可以进行一定的调优操作。查询的数据是大量的小文件。查询的数据是较多的大文件。在Beeline/JDBCServer模式下使用非Spark用户操作。可对INSERT...SELECT操作做如下的调优操作。如果建的是Hive表，将存储类型设为Parquet，从而减少执行INSERT...
- [配置多并发客户端连接JDBCServer](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1990.md): JDBCServer支持多用户多并发接入，但当并发任务数量较高的时候，默认的JDBCServer配置将无法支持，因此需要进行优化来支持该场景。设置JDBCServer的公平调度策略。Spark默认使用FIFO（First In First Out）的调度策略，但对于多并发的场景，使用FIFO策略容易导致短任务执行失败。因此在多并发的场景下
- [Spark动态分区插入场景内存优化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1992.md): SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Garbage Collection）严重，甚至发生OOM（Out of Memory）。经测试证明：10240个Task，2000个分区，在执行HDFS文件从临时目录rename到目标目录动作前，Fil
- [小文件优化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1995.md): Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。针对小文件很多的场景，DataSource在创建RDD时
- [聚合算法优化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1996.md): 在Spark SQL中支持基于行的哈希聚合算法，即使用快速聚合hashmap作为缓存，以提高聚合性能。hashmap替代了之前的ColumnarBatch支持，从而避免拥有聚合表的宽模式（大量key字段或value字段）时产生的性能问题。详细操作请参考安装MRS客户端。在Spark客户端的“{客户端安装目录}/Spark/spark/co
- [Datasource表优化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1997.md): 将datasource表的分区消息存储到Metastore中，并在Metastore中对分区消息进行处理。优化datasource表，支持对表中分区执行增加、删除和修改等语法，从而增加与Hive的兼容性。支持在查询语句中，把分区裁剪并下压到Metastore上，从而过滤掉不匹配的分区。示例如下：select count(*) from t
- [合并CBO优化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1998.md): Spark SQL默认支持基于规则的优化，但仅仅基于规则优化不能保证Spark选择合适的查询计划。CBO（Cost-Bsed Optimizer）是一种为SQL智能选择查询计划的技术。通过配置开启CBO后，CBO优化器可以基于表和列的统计信息，进行一系列的估算，最终选择出合适的查询计划。要使用CBO优化，可以按照以下步骤进行优化。需要先执
- [多级嵌套子查询以及混合Join的SQL调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2000.md): 本章节介绍在多级嵌套以及混合Join SQL查询的调优建议。例如有一个复杂的查询样例如下：从业务入手分析是否可以简化SQL，例如可以通过合并表去减少嵌套的层级和Join的次数。使用spark-submit或者spark-sql运行SQL语句，执行3。使用spark-beeline运行SQL语句，执行4。/spark-sql --maste
- [Spark Streaming性能调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2001.md): Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是：秒级时延和高吞吐量。因此Streaming调优的目标：在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。本章节适用于输入数据源为Kafka的使用场景。一个简单的流处理系统由以下三部分组件组成：数据源 + 接收器 + 处理器。
- [日志聚合下，如何查看Spark已完成应用日志](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2004.md): 当YARN开启了日志聚合功能时，如何在页面看到聚合后的container日志？当Yarn配置yarn.log-aggregation-enable为true时，就开启了container日志聚合功能。日志聚合功能是指：当应用在Yarn上执行完成后，NodeManager将本节点中所有container的日志聚合到HDFS中，并删除本地日志
- [Driver返回码和RM WebUI上应用状态显示不一致](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2005.md): ApplicationMaster与ResourceManager之间通信发生长时间异常时，为什么Driver返回码和RM WebUI上应用状态显示不一致？在yarn-client模式下，Spark的Driver和ApplicationMaster作为两个独立的进程在运行。当Driver完成任务退出时，会通知ApplicationMast
- [为什么Driver进程不能退出](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2006.md): 运行Spark Streaming任务，然后使用yarn application -kill applicationID命令停止任务，为什么Driver进程不能退出？使用yarn application -kill applicationID命令后Spark只会停掉任务对应的SparkContext，而不是退出当前进程。如果当前进程中存在
- [网络连接超时导致FetchFailedException](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2007.md): 在380节点的大集群上，运行29T数据量的HiBench测试套中ScalaSort测试用例，使用以下关键配置（--executor-cores 4）出现如下异常：在运行应用程序时，使用Executor参数--executor-cores 4，单进程中并行度高导致IO非常繁忙，以至于任务运行缓慢。单个任务运行时间超过6分钟，从而导致连接超时
- [当事件队列溢出时如何配置事件队列的大小](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2008.md): 当Driver日志中出现如下的日志时，表示事件队列溢出了。当事件队列溢出时如何配置事件队列的大小？普通应用Dropping SparkListenerEvent because no remaining room in event queue. 
This likely means one of the SparkListeners is
- [Spark应用执行过程中，日志中一直打印getApplicationReport异常且应用较长时间不退出](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2009.md): Spark应用执行过程中，当driver连接RM失败时，会报下面的错误，且较长时间不退出。在Spark中有个定期线程，通过连接RM监测AM的状态。由于连接RM超时，就会报上面的错误，且一直重试。RM中对重试次数有限制，默认是30次，每次间隔默认为30秒左右，每次重试时都会报上面的错误。超过次数后，driver才会退出。RM中关于重试相关的
- [Spark执行应用时上报“Connection to ip:port has been quiet for xxx ms while there are outstanding requests”并导致应用结束](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2010.md): Spark执行应用时上报如下类似错误并导致应用结束。当配置channel过期时间（spark.rpc.io.connectionTimeout） < RPC响应超时时间（spark.rpc.askTimeout），在特殊条件下（Full GC，网络延时等）消息响应时间较长，消息还没有反馈，channel又达到了过期时间，该channel就
- [NodeManager关闭导致Executor(s)未移除](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2011.md): 在Executor动态分配打开的情况下，如果在任务执行过程中，执行NodeManager关闭动作，NodeManager关闭节点上的Executor(s)在空闲超时之后，在driver页面上未被移除。这是因为ResourceManager感知到NodeManager关闭时，Executor(s)已经因空闲超时而被driver请求结束掉，但
- [Password cannot be null if SASL is enabled异常](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2012.md): 运行Spark的应用启用了ExternalShuffle，应用出现了Task任务丢失，原因是由于java.lang.NullPointerException: Password cannot be null if SASL is enabled异常，部分关键日志如下图所示：造成该现象的原因是NodeManager重启。使用External
- [向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2013.md): 向动态分区表中插入数据时，shuffle过程中大面积shuffle文件损坏（磁盘掉线、节点故障等）后，为什么会在重试的task中出现"Failed to CREATE_FILE"异常？动态分区表插入数据的最后一步是读取shuffle文件的数据，再写入到表对应的分区文件中。当大面积shuffle文件损坏后，会引起大批量task失败，然后进行
- [使用Hash shuffle出现任务失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2014.md): 使用Hash shuffle运行1000000（map个数）*100000（reduce个数）的任务，运行日志中出现大量的消息发送失败和Executor心跳超时，从而导致任务失败。对于Hash shuffle，在shuffle的过程中写数据时不做排序操作，只是将数据根据Hash的结果，将各个reduce分区的数据写到各自的磁盘文件中。这样
- [访问Spark应用的聚合日志页面报“DNS查找失败”错误](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2015.md): 采用http(s)://<spark ip>:<spark port>的方式直接访问Spark JobHistory页面时，如果当前跳转的Spark JobHistory页面不是FusionInsight代理的页面（FusionInsight代理的URL地址类似于：https://<oms ip>:20026/Spark2x/JobHis
- [由于Timeout waiting for task异常导致Shuffle FetchFailed](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2016.md): 使用JDBCServer模式执行100T的TPCDS测试套，出现Timeout waiting for task异常导致Shuffle FetchFailed，Stage一直重试，任务无法正常完成。JDBCServer方式使用了ShuffleService功能，Reduce阶段所有的Executor会从NodeManager中获取数据，当
- [Executor进程Crash导致Stage重试](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2017.md): 在执行大数据量的Spark任务（如100T的TPCDS测试套）过程中，有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志，出现“Executor 532 is lost rpc with driver,but is still alive, going to kill it”所示信息，表明Executo
- [执行大数据量的shuffle过程时Executor注册shuffle service失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2018.md): 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示：由于当前数据量较大，有50T数据导入，超过了shuffle的规格，shuffle负载过高，shuffle service服务处于过载状态，可能无法及时响应Executor的注册请求，从而
- [在Spark应用执行过程中NodeManager出现OOM异常](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2019.md): 当开启Yarn External Shuffle服务时，在Spark应用执行过程中，如果当前shuffle连接过多，Yarn External Shuffle会出现“java.lang.OutofMemoryError: Direct buffer Memory”的异常，该异常说明内存不足。错误日志如下：对于Yarn的Shuffle Se
- [Spark SQL在不同DB都可以显示临时表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2024.md): 切换数据库之后，为什么还能看到之前数据库的临时表？创建一个DataSource的临时表，例如以下建表语句。create temporary table ds_parquet
using org.apache.spark.sql.parquet
options(path '/tmp/users.parquet');切换到另外一个数据库，执行
- [如何在Spark命令中指定参数值](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2025.md): 如果用户不希望在界面上或配置文件设置参数值，如何在Spark命令中指定参数值？Spark的配置项，不仅可以在配置文件中设置，也可以在命令中指定参数值。在Spark客户端，应用执行命令添加如下内容设置参数值，命令执行完成后立即生效。在--conf后添加参数名称及其参数值，例如：
- [SparkSQL建表时的目录权限](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2026.md): 新建的用户，使用SparkSQL建表时出现类似如下错误：Spark SQL建表底层调用的是Hive的接口，其建表时会在/user/hive/warehouse目录下新建一个以表名命名的目录，因此要求用户具备/user/hive/warehouse目录的读写、执行权限或具有Hive的group权限。/user/hive/warehouse目
- [为什么不同服务之间互相删除UDF失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2027.md): 不同服务之间互相删除UDF失败，例如，Spark SQL无法删除Hive创建的UDF。当前可以通过以下3种方式创建UDF：在Hive端创建UDF。通过JDBCServer接口创建UDF。用户可以通过Spark Beeline或者JDBC客户端代码来连接JDBCServer，从而执行SQL命令，创建UDF。通过spark-sql创建UDF。
- [Spark SQL无法查询到Parquet类型的Hive表的新插入数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2028.md): 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据？主要有以下两种场景存在这个问题：对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。对于分区表，在Spark SQL中执行插入数据的操作后，如果分区信息未改变，会出现Spark SQL无
- [cache table使用指导](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2029.md): cache table的作用是什么？cache table时需要注意哪些方面？Spark SQL可以将表cache到内存中，并且使用压缩存储来尽量减少内存压力。通过将表cache，查询可以直接从内存中读取数据，从而减少读取磁盘带来的内存开销。但需要注意的是，被cache的表会占用executor的内存。尽管在Spark SQL采用压缩存储
- [Repartition时有部分Partition没数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2030.md): 在repartition操作时，分块数spark.sql.shuffle.partitions设置为4500，repartition用到的key列中有超过4000个的不同key值。期望不同key对应的数据能分到不同的partition，实际上却只有2000个partition里有数据，不同key对应的数据也被分到相同的partition里
- [16T的文本数据转成4T Parquet数据失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2031.md): 使用默认配置时，16T的文本数据转成4T Parquet数据失败，报如下错误信息。使用的默认配置如表1所示。由于当前数据量较大，有16T，而分区数只有200，造成每个task任务过重，才会出现上面的问题。为了解决上面问题，需要对参数进行调整。增大partition数，把任务切分的更小。增大任务执行过程中的超时时间。在客户端的“{客户端安装
- [当表名为table时，执行相关操作时出现异常](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2033.md): 当创建了表名为table的表后，执行drop table table上报以下错误，或者执行其他操作也会出现类似错误。table为Spark SQL的关键词，不能用作表名使用。建议您在创建表时，不要使用table用作表的名字。
- [执行analyze table语句，因资源不足出现任务卡住](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2034.md): 使用spark-sql执行analyze table语句，任务一直卡住，打印的信息如下：执行analyze table hivetable2 compute statistics语句时，由于该sql语句会启动MapReduce任务。从YARN的ResourceManager Web UI页面看到，该任务由于资源不足导致任务没有被执行，表现
- [为什么有时访问没有权限的parquet表时，在上报“Missing Privileges”错误提示之前，会运行一个Job？](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2035.md): 为什么有时访问没有权限的parquet表时，在上报“Missing Privileges”错误提示之前，会运行一个Job？Spark SQL对用户SQL语句的执行逻辑是：首先解析出语句中包含的表，再获取表的元数据信息，然后对权限进行检查。当表是parquet表时，元数据信息包括文件的Split信息。Split信息需要调用HDFS的接口去读
- [spark-sql退出时打印RejectedExecutionException异常栈](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2037.md): 执行大数据量的Spark任务（如2T的TPCDS测试套），任务运行成功后，在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息，相关日志如下所示：出现上述问题的原因是：当spark-sql退出时，应用退出关闭消息通道，如果当前还有消息未处理，需要做连接关闭异常的处理，此时，如果scala内部
- [健康检查时，误将JDBCServer Kill](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2038.md): 健康检查方案中，在并发执行的语句达到线程池上限后依然会导致健康检查命令无法执行，从而导致健康检查程序超时，然后把Spark JDBCServer进程Kill。当前JDBCServer中存在两个线程池HiveServer2-Handler-Pool和HiveServer2-Background-Pool，其中HiveServer2-Hand
- [日期类型的字段作为过滤条件时匹配'2016-6-30'时没有查询结果](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2039.md): 为什么日期类型的字段作为过滤条件时匹配'2016-6-30'时没有查询结果，匹配'2016-06-30'时有查询结果。如下图所示：“select count(*)from trxfintrx2012 a where trx_dte_par='2016-6-30'”，其中trx_dte_par为日期类型的字段，当过滤条件为“where tr
- [执行复杂SQL语句时报“Code of method ... grows beyond 64 KB”的错误](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2042.md): 当执行一个很复杂的SQL语句时，例如有多层语句嵌套，且单层语句中对字段有大量的逻辑处理（如多层嵌套的case when语句），此时执行该语句会报如下所示的错误日志，该错误表明某个方法的代码超出了64KB。在开启钨丝计划（即tungsten功能）后，Spark对于部分执行计划会使用codegen的方式来生成Java代码，但JDK编译时要求J
- [在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2043.md): 在Driver内存配置为10G时，Beeline/JDBCServer模式下连续运行10T的TPCDS测试套，会出现因为Driver内存不足导致SQL语句执行失败的现象。当前在默认配置下，在内存中保留的Job和Stage的UI数据个数为1000个。当前大集群优化已增加将UI数据溢出到磁盘的优化，其溢出条件是每个Stage中的UI数据大小达
- [连上不同的JDBCServer，function不能正常使用](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2044.md): 场景一：通过add jar的方式建立永久函数，当Beeline连上不同的JDBCServer或者JDBCServer重启后都需要重新add jar。场景二：show functions能够查到相应的函数，但是无法使用，这是由于连接上的JDBC节点上没有相应路径的jar包，添加上相应的jar包能够查询成功。场景一：add jar语句只会将j
- [用add jar方式创建function，执行drop function时出现问题](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2045.md): 问题一：用户没有drop function的权限，能够drop成功。具体场景如下：在FusionInsight Manager页面上添加user1用户，给予用户admin权限，执行下列操作：set role admin;add jar /home/smartcare-udf-0.0.1-SNAPSHOT.jar;create databa
- [Spark2x无法访问Spark1.5创建的DataSource表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2046.md): 在Spark2x中访问Spark1.5创建的DataSource表时，报无法获取schema信息，导致无法访问表。原因分析：这是由于Spark2x与Spark1.5存储DataSoure表信息的格式不一致导致的。Spark1.5会将schema信息分成多个part，使用path.park.0作为key进行存储，读取时再将各个part都读取
- [Streaming任务打印两次相同DAG日志](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2049.md): 在使用Spark Streaming时，使用以下命令运行程序：在没有Kafka数据输入的情况下，日志中显示的RDD的DAG结构会在一个Batch中打印两次，相关日志如下所示：该应用程序中使用了DStream中的print算子来显示结果，该算子会调用RDD中的take算子来实现底层的计算。Take算子会以Partition为单位多次触发计算
- [Spark Streaming任务一直阻塞](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2050.md): 运行一个Spark Streaming任务，确认有数据输入后，发现没有任何处理的结果。打开Web界面查看Spark Job执行情况，发现如下图所示：有两个Job一直在等待运行，但一直无法成功运行。继续查看已经完成的Job，发现也只有两个，说明Spark Streaming都没有触发数据计算的任务（Spark Streaming默认有两个尝
- [运行Spark Streaming任务参数调优的注意事项](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2051.md): 运行Spark Streaming任务时，随着executor个数的增长，数据处理性能没有明显提升，对于参数调优有哪些注意事项？在executor核数等于1的情况下，遵循以下规则对调优Spark Streaming运行参数有所帮助。Spark任务处理速度和Kafka上partition个数有关，当partition个数小于给定execut
- [为什么提交Spark Streaming应用超过token有效期，应用失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2052.md): 修改kerberos的票据和HDFS token过期时间为5分钟，设置dfs.namenode.delegation.token.renew-interval小于60秒，提交Spark Streaming应用，超过token有效期，提示以下错误，应用失败。问题原因：ApplicationMaster进程中有1个Credential Ref
- [为什么Spark Streaming应用创建输入流，但该输入流无输出逻辑时，应用从checkpoint恢复启动失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2053.md): Spark Streaming应用创建1个输入流，但该输入流无输出逻辑。应用从checkpoint恢复启动失败，报错如下：Streaming Context启动时，如果应用设置了checkpoint，则需要对应用中的DStream checkpoint对象进行序列化，序列化时会用到dstream.context。dstream.conte
- [Spark Streaming应用运行过程中重启Kafka，Web UI界面部分batch time对应Input Size为0 records](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2054.md): 在Spark Streaming应用执行过程中重启Kafka时，应用无法从Kafka获取topic offset，从而导致生成Job失败。如图1所示，其中2017/05/11 10:57:00~2017/05/11 10:58:00为Kafka重启时间段。2017/05/11 10:58:00重启成功后对应的Input Size的值显示为
- [Tez常用配置参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2069.md): 在Manager系统中，选择“集群> 服务 > Tez > 配置”，选择“全部配置”。在搜索框中输入参数名称。
- [访问Tez WebUI查看任务执行结果](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2070.md): Tez WebUI界面提供Tez任务执行过程图形化展示功能，使用户可以通过界面的方式查看Tez任务执行细节。当前MRS集群已安装Yarn服务的TimelineServer实例。登录Manager系统，具体请参见访问集群Manager，在Manager界面选择“集群 >服务 > Tez”，在“基本信息”中单击Tez WebUI右侧的链接，打
- [Tez日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2071.md): 日志路径：Tez相关日志的默认存储路径为“/var/log/Bigdata/tez/角色名”。TezUI：“/var/log/Bigdata/tez/tezui”（运行日志），“/var/log/Bigdata/audit/tez/tezui”（审计日志）。日志归档规则：Tez的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过20M
- [Tez WebUI界面无法展示Tez任务详情](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2073.md): 登录Manager界面，跳转Tez WebUI界面，已经提交的Tez任务未展示，如何解决。Tez WebUI展示的Tez任务数据，需要Yarn的TimelineServer支持，确认提交任务之前TimelineServer已经开启且正常运行。在设置Hive执行引擎为Tez的同时，需要设置参数“yarn.timeline-service.e
- [访问Tez WebUI界面异常](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2074.md): 登录Manager界面，跳转Tez WebUI界面，显示404异常或503异常。Tez WebUI依赖Yarn的TimelineServer实例，需要预先安装TimelineServer，且处于良好状态。
- [Tez WebUI界面无法查看Yarn日志](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2075.md): 登录Tez WebUI界面，单击Logs跳转yarn日志界面失败，无法加载数据。Tez WebUI跳转Yarn Logs界面时，目前是通过hostname进行访问，需要在Windows机器中配置hostname到IP地址的映射。修改Windows机器的“C:\Windows\System32\drivers\etc\hosts”文件，增加
- [TezUI HiveQueries界面表格数据为空](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2076.md): 登录Manager界面，跳转Tez WebUI界面，已经提交的任务，Hive Queries界面未展示数据，如何解决。Tez WebUI展示的Hive Queries任务数据，需要设置以下3个参数：在FusionInsight Manager页面，选择“集群> 服务 > Hive > 配置 > 全部配置 > HiveServer > 自定
- [任务完成后Container挂载的文件目录未清除](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2078.md): 使用了CGroups功能的场景下，任务完成后Container挂载的文件目录未清除。即使任务失败，Container挂载的目录也应该被清除。上述问题是由于删除动作超时导致的。完成某些任务所使用的时间已远超过删除时间。为避免出现这种场景，您可以参考以下操作修改删除时间的时长。登录集群Manager具体操作，请参考访问MRS集群Manager
- [作业执行失败时会发生HDFS_DELEGATION_TOKEN到期的异常](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2079.md): 安全模式下，为什么作业执行失败时会发生HDFS_DELEGATION_TOKEN到期的异常？HDFS_DELEGATION_TOKEN到期的异常是由于token没有更新或者超出了最大生命周期。可以参考以下步骤修改token的最大存活期，并确保token的最大存活期大于作业的运行时间。登录集群Manager具体操作，请参考访问MRS集群Ma
- [重启YARN，如何设置本地日志不被删除](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2080.md): 在以下两种情况下重启YARN，本地日志不会被定时删除，将被永久保留。在任务运行过程中，重启YARN，本地日志不被删除。在任务完成，日志归集失败后定时清除日志前，重启YARN，本地日志不被删除。NodeManager支持重启恢复机制，详情请参见：MRS 3.2.0之前版本：https://hadoop.apache.org/docs/r3.
- [执行任务时AppAttempts重试次数超过2次还没有运行失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2081.md): 系统默认的AppAttempts运行失败的次数为2，为什么在执行任务时，AppAttempts重试次数超过2次还没有运行失败？在执行任务过程中，如果ContainerExitStatus的返回值为ABORTED、PREEMPTED、DISKS_FAILED、KILLED_BY_RESOURCEMANAGER这四种状态之一时，系统不会将其计
- [ResourceManager重启后，应用程序会移回原来的队列](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2082.md): 将应用程序从一个队列移到另一个队列时，为什么在RM（ResourceManager）重启后，应用程序会被移回原来的队列？这是RM的使用限制，应用程序运行过程中移动到别的队列，此时RM重启，RM并不会在状态存储中存储新队列的信息。假设用户提交一个MR任务到叶子队列test11上。当任务运行时，删除叶子队列test11，这时提交队列自动变为l
- [YARN资源池的所有节点都被加入黑名单，任务一直处于运行状态](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2083.md): 为什么YARN资源池的所有节点都被加入黑名单，而YARN却没有释放黑名单，导致任务一直处于运行状态？在YARN中，当一个APP的节点被AM（ApplicationMaster）加入黑名单的数量达到一定比例（默认值为节点总数的34%）时，该AM会自动释放黑名单，从而不会出现由于所有可用节点都被加入黑名单而任务无法获取节点资源的现象。在资源池
- [ResourceManager持续主备倒换](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2084.md): RM（ResourceManager）在多个任务（比如2000个任务）正常并发运行时出现持续的主备倒换，导致YARN服务不可用。产生上述问题的原因是，full GC（GarbageCollection）时间过长，超出了RM与ZK（ZooKeeper）之间定期交互时长的阈值，导致RM与ZooKeeper失联，从而造成RM主备倒换。在多任务情
- [当一个NodeManager处于unhealthy的状态10分钟时，新应用程序失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2085.md): 当一个NM（NodeManager）处于unhealthy的状态10分钟时，新应用程序失败。当nodeSelectPolicy为SEQUENCE，且第一个连接到RM的NM不可用时，RM会在yarn.nm.liveness-monitor.expiry-interval-ms属性中指定的周期内，一直尝试为同一个NM分配任务。可以通过两种方式
- [Superior通过REST接口查看已结束或不存在的applicationID，页面提示Error Occurred](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2087.md): Superior通过REST接口查看已结束或不存在的applicationID，返回的页面提示Error Occurred。用户提交查看applicationID的请求，访问REST接口https://<SS_REST_SERVER>/ws/v1/sscheduler/applications/{application_id}。由于Sup
- [Superior调度模式下，单个NodeManager故障可能导致MapReduce任务失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2088.md): 在Superior调度模式下，如果出现单个NodeManager故障，可能会导致Mapreduce任务失败。正常情况下 ，当一个application的单个task的attempt连续在一个节点上失败3次，那么该application的AppMaster就会将该节点加入黑名单，之后AppMaster就会通知调度器不要继续调度task到该节
- [当应用程序从lost_and_found队列移动到其他队列时，应用程序不能继续执行](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2089.md): 当删除一个有部分应用程序正在运行的队列，这些应用程序会被移动到“lost_and_found”队列上。当这些应用程序移回运行正常的队列时，某些任务会被挂起，不能正常运行。如果应用程序没有设置标签表达式，那么该应用程序上新增的container/resource将使用其所在队列默认的标签表达式。如果队列没有默认的标签表达式，则将其标签表达设
- [如何限制存储在ZKstore中的应用程序诊断消息的大小](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2090.md): 如何限制存储在ZKstore中的应用程序诊断消息的大小？在某些情况下，已经观察到诊断消息可能无限增长。由于诊断消息存储在状态存储中，不建议允许诊断消息无限增长。因此，需要有一个属性参数用于设置诊断消息的最大大小。如果您需要设置“yarn.app.attempt.diagnostics.limit.kc”参数值，可以参考以下步骤进行操作。登
- [使用ZooKeeper客户端](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2093.md): ZooKeeper是一个开源的，高可靠的，分布式一致性协调服务。ZooKeeper设计目标是用来解决那些复杂，易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用，十分适合高可用服务保持数据一致性。在使用客户端前，除主管理节点以外的客户端，需要下载并更新客户端配置文件。MRS集群中默认安装的ZooKeeper组件会为集群内部多个
- [ZooKeeper常用配置参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2094.md): 参数入口：请参考修改集群服务配置参数，进入ZooKeeper“全部配置”页面。在搜索框中输入参数名称。ZooKeeper内部时间由参数ticktime和参数synclimit控制，如需调大ZooKeeper内部超时时间，需要调大客户端连接ZooKeeper的超时时间。
- [配置ZooKeeper ZNode ACL](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2097.md): 该操作指导用户对ZooKeeper的znode设置权限。ZooKeeper通过访问控制列表（ACL）来对znode进行访问控制。ZooKeeper客户端为znode指定ACL，ZooKeeper服务器根据ACL列表判定某个请求znode的客户端是否有对应操作的权限。ACL设置涉及如下四个方面。查看ZooKeeper中znode的ACL。增
- [ZooKeeper日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2106.md): 日志存储路径：“/var/log/Bigdata/zookeeper/quorumpeer”（运行日志），“/var/log/Bigdata/audit/zookeeper/quorumpeer”（审计日志）日志归档规则：ZooKeeper的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过30MB的时候，会自动压缩。最多保留20个压
- [创建大量znode后ZooKeeper Server启动失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2108.md): 创建大量znode后，ZooKeeper集群处于故障状态不能自动恢复，尝试重启失败，ZooKeeper Server日志显示如下内容：follower：leader：创建大量节点后，follower与leader同步时数据量大，在集群数据同步限定时间内不能完成同步过程，导致超时，各个ZooKeeper Server启动失败。参考修改集群服
- [为什么ZooKeeper Server出现java.io.IOException: Len的错误日志](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2109.md): 在父目录中创建大量的znode之后，当ZooKeeper客户端尝试在单个请求中获取该父目录中的所有子节点时，将返回失败。客户端日志，如下所示：Leader节点的日志，如下所示：在单个父目录中创建大量的znode后，当客户端尝试在单个请求中获取所有子节点时，服务端将无法返回，因为结果将超出可存储在znode上的数据的最大长度。为了避免这个问
- [为什么ZooKeeper节点上netcat命令无法正常运行](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2110.md): 为什么在Zookeeper服务器上启用安全的netty配置时，四个字母的命令不能与linux的netcat命令一起使用？例如：echo stat |netcat host portLinux的netcat命令没有与Zookeeper服务器安全通信的选项，所以当启用安全的netty配置时，它不能支持Zookeeper四个字母的命令。为了避免
- [如何查看哪个ZooKeeper实例是Leader](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2111.md): 如何查看ZooKeeper实例的角色是Leader还是Follower？登录集群Manager管理界面，选择“集群 > 服务 > ZooKeeper > 实例”。单击相应的quorumpeer实例名称，进入对应实例的详情页面。查看该实例的服务器状态。
- [如何使用IBM JDK连接ZooKeeper](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2112.md): 使用IBM的JDK的情况下客户端连接ZooKeeper失败。可能原因为IBM的JDK和普通JDK的jaas.conf文件格式不一样。在使用IBM JDK时，建议使用如下jaas.conf文件模板，其中useKeytab中的文件路径必须以file://开头，后面为绝对路径。
- [ZooKeeper客户端刷新TGT失败如何处理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2113.md): ZooKeeper客户端刷新TGT失败，无法连接ZooKeeper。报错内容如下：ZooKeeper使用系统命令kinit -R对票据进行刷新，当前MRS版本已经取消了该命令的功能，如需运行长任务，建议使用keytab方式完成鉴权功能。在“客户端安装路径/ZooKeeper/zookeeper/conf/jaas.conf”配置文件中设置
- [使用deleteall命令删除大量znode时偶现报错“Node does not exist”](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2114.md): 客户端连接非Leader实例，使用deleteall命令删除大量znode时，报错Node does not exist，但是stat命令能够获取到node状态。由于网络问题或者数据量大导致leader和follower数据不同步。解决方法是客户端连接到Leader实例进行删除操作。具体过程是首先根据如何查看哪个ZooKeeper实例是L
- [访问集群Manager](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2124.md): MRS集群使用FusionInsight Manager对集群进行监控、配置和管理，用户在集群安装完成后即可登录FusionInsight Manager。如果创建MRS集群时暂未绑定弹性公网IP，在“弹性公网IP”下拉框中选择可用的弹性公网IP。如果用户创建集群时已经绑定弹性公网IP，直接执行3.b。如果没有弹性公网IP，可先单击管理弹
- [修改集群服务配置参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2125.md): 用户可通过MRS管理控制台的集群组件配置页面修改各组件的配置参数。下拉列表默认显示“基础配置”，如果需要修改更多参数，请选择“全部配置”，界面上将显示该服务的全部配置参数导航树，导航树从上到下的一级节点分别为服务名称和角色名称。不确定参数的具体位置时，也可在右上角输入参数名进行搜索。查看集群是否存在配置过期的服务，如果存在，需重启对应服务
- [安装MRS客户端](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2127.md): MRS客户端是用来与集群进行交互的工具。用户可以通过客户端提交作业、管理集群资源、查看作业状态等。客户端与集群之间通过紧密的协作，实现了用户对大规模数据处理和分析的需求。客户端负责将用户的作业请求发送给集群，集群则负责高效地执行作业，并将结果和状态反馈给客户端。MRS集群创建成功后，用户可自行安装集群客户端，用于连接集群内组件服务端，进行
- [更新MRS客户端](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2129.md): 集群提供了客户端，可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务，已安装的客户端需要重新下载并安装，或者使用配置文件更新客户端。方法一：此时生成的压缩文件包含所有服务的配置文件。是，勾选“仅保存到如下路径”，单击“确定”开始生成客户端文件，文件生成后默认保存在主管理节点“/tm
- [Phoenix BulkLoad Tool使用限制说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2211.md): 当更新索引字段数据时，如果用户表已经存在一批数据，则BulkLoad工具不能更新全局和局部可变索引。问题分析创建表：CREATE TABLE TEST_TABLE(
DATE varchar not null,
NUM integer not null,
SEQ_NUM integer not null,
ACCOUNT1 varchar
- [CTBase对接Ranger权限插件，提示权限不足](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2212.md): CTBase访问启用Ranger插件的HBase服务时，如果创建聚簇表，提示权限不足。报错信息如下：确认当前使用的账号是否具有足够的权限。需要CTBase用户在Ranger界面配置权限策略，赋予CTBase元数据表_ctmeta_、聚簇表和索引表RWCAE（READ，WRITE，EXEC，CREATE，ADMIN）权限。Ranger界面配
- [为什么新创建用户修改完密码后无法登录Ranger](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2300.md): 使用新建用户登录Ranger页面，为什么在修改完密码后登录报401错误？由于UserSync同步用户数据有时间周期，默认是5分钟，因此在Manager上新创建的用户在用户同步成功前无法登录Ranger，因为Ranger的DB里暂时还没有该用户信息，需要等待同步周期所设置的时间后再尝试登录。非安全模式下，由于Ranger并不从Manager
- [MapReduce引擎无法查询Tez引擎执行union语句写入的数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2309.md): Hive通过Tez引擎执行union相关语句写入的数据，切换到Mapreduce引擎后进行查询，发现数据没有查询出来。由于Hive使用Tez引擎在执行union语句时，生成的输出文件会存在HIVE_UNION_SUBDIR目录。切回Mapreduce引擎后默认不读取目录下的文件，所以没有读取到HIVE_UNION_SUBDIR目录下的数据
- [Hive是否支持对同一张表或分区进行并发写数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2310.md): MRS 3.1.2版本，为什么通过接口并发对Hive表进行写数据会导致数据不一致？Hive不支持对同一张表或同一个分区进行并发数据插入，这样会导致多个任务操作同一个数据临时目录，一个任务将另一个任务的数据移走，导致任务数据异常。解决方法是修改业务逻辑，单线程插入数据到同一张表或同一个分区。
- [Kafka相关特性说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2312.md): 特性说明：Kafka从0.11.0.0版本引入了创建幂等性Producer的功能，开启此特性后，Producer自动升级成幂等性Producer，当Producer发送了相同字段值的消息后，Broker会自动感知消息是否重复，继而避免数据重复。需要注意的是，这个特性只能保证单分区上的幂等性，即一个幂等性Producer能够保证某个主题的一
- [HetuEngine交互查询引擎概述](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2315.md): HetuEngine能够支持多种数据源的快速联合查询并提供可视化的数据源配置、管理页面，用户可通过HSConsole界面快速添加数据源。当前版本HetuEngine支持对接的数据源如下表所示。HetuEngine数据源的添加、配置、删除等操作支持动态生效，无需重启集群。目前动态生效不支持关闭，数据源动态生效时间默认为60秒。如需修改动态生
- [使用Ranger时适配第三方JDK](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2317.md): 当使用Ranger作为spark sql的权限管理服务时，访问RangerAdmin需要使用集群中的证书。如果用户未使用集群中的JDK或者JRE，而是使用第三方JDK时，会出现访问RangerAdmin失败，进而Spark应用程序启动失败的问题。在这个场景下，需要进行以下操作，将集群中的证书导入第三方JDK或者JRE中。安装集群客户端，具
- [配置HetuEngine Worker节点数量](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2320.md): 在HetuEngine的WebUI界面，可以对计算实例的Worker节点个数进行调整，实现计算实例在资源不够时扩充资源，资源空闲时释放资源。其中包含手动扩缩容和自动扩缩容两种方式进行Worker个数调整。实例在扩缩容中时，原有业务不受影响，实例仍可以正常使用。实例动态扩缩容存在一定滞后性，旨在实现长时间周期内资源消耗的平滑调整，不能实时响
- [HetuEngine域名修改后需要做什么](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2321.md): 用户修改域名后，会导致已安装的客户端配置和数据源配置失效，且新创建的集群不可用。对接不同域的数据源时，HetuEngine会自动地合并krb5.conf文件。域名修改后，Kerberos认证的域名会发生变化，所以此前对接的数据源信息会失效。登录MRS集群Manager。登录集群Manager具体操作，请参考访问MRS集群Manager。登
- [通过客户端启动HetuEngine集群超时如何处理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2322.md): 通过客户端启动集群，集群启动时间过长会等待超时并退出等待界面。通过客户端启动HetuEngine集群超时，可参考以下操作进行处理：如果集群启动超时，系统将自动退出等待界面，用户可以在集群启动成功后重新登录。用户可以在HSConsole页面上查看集群的运行状态，当集群处于“运行中”状态时重新登录。如果集群启动失败，用户可以通过启动日志定位失
- [如何处理HetuEngine数据源丢失问题](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2323.md): 登录客户端查看HSConsole界面对接的数据源，数据源丢失。数据源丢失的可能原因是DBservice主备倒换或数据库连接数使用率超过阈值。登录MRS集群Manager界面。登录集群Manager具体操作，请参考访问MRS集群Manager。登录集群Manager具体操作，请参考访问MRS集群Manager。选择“运维 > 告警 > 告警
- [Hive是否支持向量化查询](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2325.md): 当设置向量化参数“hive.vectorized.execution.enabled”为“true”时，为什么执行Hive on Tez/Mapreduce/Spark时会偶现一些空指针或类型转化异常？当前Hive不支持向量化执行。向量化执行有很多社区问题引入目前没有稳定修复，“hive.vectorized.execution.enab
- [Hive SQL扩展语法说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2330.md): Hive SQL支持Hive-3.1.0版本中的所有特性，详情请参见https://cwiki.apache.org/confluence/display/hive/languagemanual。MRS系统提供的扩展Hive语句如表1所示。
- [配置RSGroup管理RegionServer资源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2331.md): HBase服务的数据节点较多，需要根据不同的业务规模将数据节点资源分配给特定的业务，从而达到资源独占使用的目的。当AZ容灾特性被开启时，为了保证AZ容灾生效，保障业务可靠性，在为RSGroup分配RegionServer时，需遵循分配结果能使该RSGroup在每个AZ下都存在RegionServer实例的规则。登录Manager的用户所绑
- [开发和部署HetuEngine Function Plugin](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2339.md): HetuEngine是一个高性能实时分析数据库，支持用户自定义一些函数，用于扩展SQL以满足个性化的需求，这类函数称为UDF。本章节主要介绍开发和应用HetuEngine Function Plugin的具体步骤。MRS 3.2.1及以后版本，需要基于JDK 17.0.4及以上版本开发。本章节以MRS 3.3.0版本为例。本样例实现两个F
- [使用HetuEngine跨源跨域访问数据源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2342.md): 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境，导致跨源查询开发成本高，跨源复杂查询耗时长。HetuEngine提供了统一标准SQL实现跨源协同分析，简化跨源分析操作。HetuEngine跨源功能示意计算下推：在通过HetuEngi
- [Hive表的HDFS目录被误删，但是元数据仍然存在，导致执行任务报错](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2343.md): Hive表HDFS数据目录被误删，但是元数据仍然存在，导致执行任务报错。这是一种误操作的异常情况，需要手动删除对应表的元数据后重试。例如：执行以下命令登录Hive元数据库：source ${BIGDATA_HOME}/FusionInsight_BASE_xxx/install/FusionInsight-dbservice-2.7.0/
- [ClickHouse客户端使用实践](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2345.md): ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。ClickHouse依靠ReplicatedMergeTree引擎与ZooKeeper实现了复制表机制，用户在创建表时可以通过指定引擎选择该表是否高可用，每张表的分片与副本都是互
- [配置DBService HA模块的SSL](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2346.md): 本任务将对安装DBService的集群进行手动配置DBService服务HA模块SSL的操作。执行该操作后，如需还原，请执行还原DBService HA模块的SSL配置。MRS集群内主、备DBService节点的“$BIGDATA_HOME/FusionInsight_BASE_x.x.x/install/FusionInsight-db
- [还原DBService HA模块的SSL配置](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2347.md): 本任务将对安装DBService的集群进行还原DBService服务HA模块SSL的操作。DBService服务HA模块已开启SSL配置。检查DBService服务HA模块是否开启SSL配置：查看“$BIGDATA_HOME/FusionInsight_BASE_x.x.x/install/FusionInsight-dbservice-
- [添加Hive数据源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2348.md): 在数据分析场景中，用户需要通过HetuEngine同时访问集群内部和外部的Hive表进行跨源分析。由于集群外部的Hive数据源无法被直接识别，导致查询任务无法执行。本章节指导用户在HSConsole界面添加集群外部的Hive类型数据源，可实现HetuEngine对Hive表的统一访问和跨源分析。HetuEngine服务在安装时已经将共部署
- [添加HBase数据源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2349.md): 本章节指导用户在HSConsole界面添加HBase数据源。数据源所在集群域名与HetuEngine集群域名不能相同。数据源所在集群与HetuEngine集群节点网络互通。在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集群的主机名称和对应的IP映射（数据源集群新扩容主机后，需要同步添加至He
- [添加GAUSSDB数据源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2351.md): 本章节指导用户在HSConsole界面添加GaussDB类型的JDBC数据源，以实现对GaussDB数据源的查询与分析。数据源所在集群与HetuEngine集群节点网络互通。在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集群的主机名称和对应的IP映射（数据源集群新扩容主机后，需要同步添加至H
- [配置HBase权限策略时无法使用通配符搜索已存在的HBase表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2355.md): 添加HBase的Ranger访问权限策略时，在策略中使用通配符搜索已存在的HBase表时，搜索不到已存在的表，并且在/var/log/Bigdata/ranger/rangeradmin/ranger-admin-*log中报以下错误Ranger界面上HBase服务插件的“hbase.rpc.protection”参数值和HBase服务端
- [添加Hudi数据源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2363.md): HetuEngine支持查询COW/MOR类型表数据。本章节指导用户在HSConsole界面配置Hudi类型数据源。本章节仅适用于MRS 3.3.0-LTS及之后版本。HetuEngine不支持Hudi的bootstrap表的读取。MRS 3.6.0-LTS及之后版本，HetuEngine支持查询Hudi MOR的changelog表。创
- [在Hue页面上传大文件失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2367.md): 通过Hue页面上传大文件时，上传失败。不建议使用Hue文件浏览器上传大文件，大文件建议使用客户端通过命令上传。如果必须使用Hue上传，参考以下步骤修改Httpd的参数：以omm用户登录主管理节点。执行以下命令编辑“httpd.conf”配置文件。vi $BIGDATA_HOME/om-server/Apache-httpd-*/conf/
- [集群未安装Hive服务时Hue原生页面无法正常显示](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2368.md): 集群没有安装Hive服务时，Hue服务原生页面显示空白。MRS 3.x及之后版本，Hue依赖Hive组件，当集群没有安装Hive服务时，登录Hue服务原生页面会显示空白。如果出现此情况，首先需要检查当前集群是否安装了Hive组件，如果没有，需要安装Hive组件。
- [通过Hue执行SparkSQL](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2370.md): 用户需要使用图形化界面在集群中执行SparkSql语句时，可以通过Hue完成任务。使用SparkSql编辑器之前需要先修改Spark2x配置。SparkSql支持以下功能：执行和管理SparkSql语句。在“保存的查询”中查看当前访问用户已保存的SparkSql语句。在“查询历史记录”中查看当前访问用户执行过的SparkSql语句。系统将
- [通过Hue管理HBase表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2371.md): 用户需要使用图形化界面在集群中创建或查询HBase表时，可以通过Hue完成任务。如需在Hue WebUI中操作HBase，当前MRS集群中必须部署HBase的Thrift1Server实例。Thrift1Server实例默认不会安装，用户可在创建自定义类型的MRS集群时，选择HBase组件并通过调整集群自定义拓扑，添加Thrift1Ser
- [使用Hue提交Oozie HQL脚本](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2372.md): 该任务指导用户通过Hue界面提交Hive脚本作业。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。
- [使用Oozie客户端提交DistCp任务](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2392.md): 该任务指导用户在使用Oozie客户端提交DistCp任务。请下载使用最新版本的客户端。HDFS和Oozie组件安装完成且运行正常，客户端安装成功。如果当前客户端为旧版本，需要重新下载和安装客户端。如果当前客户端为旧版本，需要重新下载和安装客户端。已创建或获取访问Oozie服务的人机用户账号及密码。该用户需要从属于hadoop、superg
- [配置集群组件启用Ranger鉴权](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2393.md): Ranger组件通过PBAC（policy-based access control，基于策略的权限控制）方式进行权限管理，可对HDFS、Hive、HBase等组件进行更加细粒度的数据访问控制。MRS集群内的组件同时只支持一种权限控制机制，当组件启用Ranger权限控制策略后，通过Manager创建的角色中关于该组件的权限将失效（HDFS
- [普通集群修改Ranger数据源为Ldap](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2394.md): 在MRS普通模式集群中，Ranger数据源默认为集群Unix用户，即Ranger的用户同步来源为操作系统本地用户。当企业需要使用统一的LDAP用户管理体系时，管理员可以将Ranger数据源从Unix修改为LDAP，使Ranger能够从LDAP目录服务同步用户和用户组信息，实现用户权限的集中管理。安全集群Ranger数据源默认为Fusion
- [配置ClickHouse默认用户密码（MRS 3.1.2-LTS版本）](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2395.md): ClickHouse集群创建成功后，可以通过ClickHouse客户端访问连接ClickHouse服务端，默认的用户名为“default”。该操作指导ClickHouse集群创建成功后，设置ClickHouse的用户名密码。“default”为ClickHouse默认系统用户，仅普通模式（未开启kerberos认证）下可使用的ClickH
- [ClickHouse日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2399.md): 在ClickHouse服务运行过程中，可能出现服务启动失败、查询报错、数据迁移异常、磁盘空间不足等问题。运维人员需要通过查看对应日志定位问题原因。本文介绍ClickHouse各组件日志的存储路径、归档规则、日志级别及修改方法，帮助您快速找到所需日志进行问题排查与定位。日志路径：ClickHouse相关日志的默认存储路径为“${BIGDAT
- [FlinkServer作业引擎概述](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24016.md): FlinkServer提供基于Web的可视化开发平台，用户只需要编写SQL即可开发作业，极大降低作业开发门槛。同时通过作业平台能力开放，支持业务人员自行编写SQL开发作业来快速应对需求，大大减少Flink作业开发工作量。FlinkServer WebUI功能仅MRS 3.1.0及之后版本支持。MRS 3.6.0-LTS.1及之后版本，系统
- [访问FlinkServer WebUI界面](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24019.md): MRS集群安装Flink组件后，用户可以通过Flink的WebUI，在图形化界面进行集群连接、数据连接、流表管理和作业管理等。该任务指导用户在MRS集群中访问Flink WebUI。第一次访问Manager和Flink WebUI，需要在浏览器中添加站点信任以继续访问Flink WebUI。登录集群Manager具体操作，请参考访问MRS
- [创建FlinkServer应用](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24020.md): 在企业级应用开发中，当多个上层业务需要共享同一套基础设施时，会存在资源争用和配置冲突。可以通过应用来隔离不同的上层业务，实现资源分配、权限控制和故障隔离，确保各业务系统独立运行。应用创建成功后，在Flink WebUI左上角即可切换待操作的应用，然后进行相关的作业开发。FlinkServer管理员权限说明请参考Flink用户权限说明。创建
- [创建FlinkServer集群连接](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24021.md): 通过集群连接配置访问不同的集群。集群客户端配置文件获取方法：MRS 3.3.0之前版本，登录FusionInsight Manager，选择“集群 > 概览”。在概览页面，选择“更多 > 下载客户端 > 仅配置文件”，选择平台类型后单击“确定”。MRS 3.3.0及之后版本，登录FusionInsight Manager，选择“主页 > 
- [创建FlinkServer数据连接](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24022.md): 通过数据连接，访问不同的数据服务，当前FlinkServer支持HDFS、Kafka、Redis类型的数据连接。
- [创建FlinkServer流表源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24023.md): 通过数据表，定义源表、维表、输出表的基本属性和字段信息。
- [集群连接模式创建Flink SQL作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24024.md): 创建Flink SQL作业。在FlinkServer提交的SQL作业，其SQL文本会保存到DBServer中，在MRS 3.5.0及以后版本，FlinkServer默认提供了SQL加密存储的能力，保护用户的SQL信息安全。FlinkServer界面回显FlinkSQL时，SQL中的“password”字段将显示为空，在回显状态下需要将密码
- [Hudi常见参数配置](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24032.md): Hudi作为Apache开源的数据湖表格式，支持ACID事务、增量查询和时间旅行等能力，广泛应用于大数据场景下的近实时数据入湖与分析。在MRS（MapReduce Service）大数据平台中，Hudi的写入性能、存储效率和查询速度受多个关键参数影响。当默认配置无法满足特定业务场景的需求时，开发人员和运维工程师需要根据数据量规模、写入频率
- [使用Spark Shell创建Hudi表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24033.md): 在数据湖开发场景中，用户需要通过编程方式灵活地操作Hudi表，包括写入、更新、删除和增量查询数据。Spark SQL方式适用于标准SQL操作，但对于需要更细粒度控制写入参数、实现复杂数据处理逻辑的场景，SQL方式灵活性不足。那么，如何通过编程API方式灵活操作Hudi表？本节介绍如何在spark-shell中通过Spark DataSou
- [批量写入Hudi表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24035.md): Hudi提供多种写入方式，具体见hoodie.datasource.write.operation配置项，这里主要介绍UPSERT、INSERT和BULK_INSERT。INSERT（插入）： 该操作流程和UPSERT基本一致，但是不需要通过索引去查询具体更新的文件分区，因此它的速度比UPSERT快。当数据源不包含更新数据时建议使用该操作
- [流式写入Hudi表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24036.md): 流式写入Hudi表分为HoodieDeltaStreamer流式写入和HoodieMultiTableDeltaStreamer流式写入。HoodieDeltaStreamer流式写入：Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStre
- [Hudi性能调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24039.md): 当前版本Hudi写入操作主推Spark，因此Hudi的调优和Spark比较类似。由于其本质上是写增量文件，调优可以直接根据Hudi的数据大小（dataSize）进行调整。单节点运行：如果dataSize只有几GB，建议在单节点上运行Spark，或者在Yarn模式下只分配一个container。并行度设置：建议并行度p设置为dataSize
- [配置Hive读取Hudi表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24040.md): 在数据湖场景中，Hudi（Hadoop Upserts Deletes and Incrementals）作为流式数据湖存储格式，支持高效的数据更新和增量查询。业务系统通过Spark或Flink将数据写入Hudi表后，可能需要使用Hive进行复杂的数据分析查询。然而，Hudi表的数据格式与Hive原生表格式不同，直接在Hive中查询Hud
- [Hue WebUI中Oozie编辑器的时区设置问题](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24045.md): 在Hue设置Oozie工作流调度器的时区时，部分时区设置会导致任务提交失败。部分时区存在适配问题，建议时区选择“Asia/Shanghai”，如图1所示。支持的时区可以参考Oozie WebUI页面“Settings”页签的“Timezone”，如图2。
- [Flink用户权限说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24048.md): 集群已启用Kerberos认证（安全模式），访问并使用Flink WebUI进行业务操作需为用户赋予FlinkServer相关权限，Manager的admin用户没有FlinkServer的业务操作权限。FlinkServer中应用（租户）是最大管理范围，包含集群连接管理、数据连接管理、应用管理、流表和作业管理等。FlinkServer中
- [创建FlinkServer权限角色](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24049.md): 该任务指导MRS集群管理员在Manager创建并设置FlinkServer的角色。FlinkServer角色可设置FlinkServer管理员权限以及应用的编辑和查看权限。用户需要在FlinkServer中对指定的用户设置权限，才能够更新数据、查询数据和删除数据等。集群管理员已根据业务需要规划权限。登录集群Manager具体操作，请参考访
- [开启Native Task特性后，Reduce任务在部分操作系统运行失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24051.md): 运行包含Reduce的Mapreduce任务时，通过-Dmapreduce.job.map.output.collector.class=org.apache.hadoop.mapred.nativetask.NativeMapOutputCollectorDelegator命令开启Native Task特性，任务在部分操作系统运行失败，
- [Spark on OBS性能调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24056.md): Spark on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。详细操作请参考安装MRS客户端。在Spark客户端的“{客户端安装目录}/Spark/spark/conf/core-site.xml”配置文件中修改配置。参数介绍参数描述默认值fs.obs.metrics.switch上报OBS监控指标开关：true
- [创建具有ClickHouse权限的用户](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24057.md): 该任务指导MRS集群管理员在Manager创建并设置ClickHouse的角色并绑定用户。ClickHouse角色可设置ClickHouse管理员权限以及ClickHouse表和数据库的读写权限。ClickHouse服务运行正常，Zookeeper服务运行正常。用户在集群中创建数据库或者表时需使用ON CLUSTER语句，保证各个Clic
- [使用Impala操作Kudu表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24058.md): 您可以使用Impala的SQL语法插入、查询、更新和删除Kudu中的数据，作为使用Kudu API构建自定义Kudu应用程序的替代方案。已安装集群完整客户端。例如安装目录为“/opt/Bigdata/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。source /opt/Bigdata/client/bigdata_
- [管理HetuEngine数据源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24061.md): 在HetuEngine的WebUI界面，用户可以对已添加的数据源进行查看、编辑和删除等操作。HetuEngine服务在安装时已经将共部署的Hive数据源默认实现对接，数据源名称为“hive”，不可删除。HetuEngine可通过HSConsole界面快速添加数据源，可参考添加HetuEngine数据源。
- [将Hudi表数据同步到Hive](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24064.md): Hudi表中的数据能够在Hive中进行高效的查询和分析。通过执行run_hive_sync_tool.sh脚本，可以将Hudi表的数据同步到Hive中，从而充分利用Hive的查询能力和生态工具，提高数据处理的效率和查询性能。Hive Sync时会判断表不存在时建外表并添加分区，表存在时对比表的schema是否存在差异，存在则替换，对比分区
- [写入更新数据时报错Parquet/Avro schema](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24071.md): 数据写入时报错：建议在使用Hudi时，schema应该以向后兼容的方式演进。此错误通常发生在使用向后不兼容的演进方式删除某些列如“col1”后，更新parquet文件中以旧的schema写入的列“col1”，在这种情况下，parquet尝试在传入记录中查找所有当前字段，当发现“col1”不存在时，发生上述异常。解决这个问题的办法是使用所有
- [写入更新数据时报错UnsupportedOperationException](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24072.md): 数据写入时报错：因为schema演进以非向后兼容的方式进行，此错误将再次发生。基本上，如果已经写入Hudi数据集parquet文件的记录R有一些更新U。R包含字段F，该字段包含某类数据类型，也就是LONG。U具有相同的字段F，该字段的数据类型是INT。Parquet FS不支持这种不兼容的数据类型转换。对于此类错误，请从源头数据采集的位置
- [写入更新数据时报错SchemaCompatibilityException](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24073.md): 数据写入时报错：如果schema包含non-nullable字段但是值是不存在或者null，则可能会发生这种情况。建议以使用向后兼容的演进schema。本质上，这意味着要么将每个新添加的字段设置为空值，要么为每个新字段设置为默认值。从Hudi版本0.5.1起，如果依赖字段的默认值，则该故障处理对此无效。
- [Hudi在upsert时占用了临时文件夹中大量空间](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24074.md): Hudi在upsert时占用了临时文件夹中大量空间。当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。如果有足够的内存，请增加spark executor的内存和添加“hoodie.memory.merge.fraction”选项，如： option("hoodie.memory.merge.
- [使用kafka采集数据时报错IllegalArgumentException](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24077.md): 线程“main”报错org.apache.kafka.common.KafkaException，构造kafka消费者失败，报错如下：当试图从启用SSL的kafka数据源采集数据时，而安装程序无法读取jars.conf文件及其属性时，可能会发生这种情况。要解决此问题，需要将所需的属性作为通过Spark提交的命令的一部分传递。如：--fil
- [Hive同步数据报错SQLException](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24081.md): Hive同步数据时报错：这种情况通常会发生当您试图使用HiveSyncTool.java类向现有hive表添加新列时。数据库通常不允许将列数据类型按照从高到低的顺序修改，或者数据类型可能与表中已存储/将要存储的数据冲突。如果要修复相同的问题，请尝试设置以下参数：设置hive.metastore.disallow.in compatible
- [Hive同步数据报错HoodieHiveSyncException](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24082.md): Hive同步数据时报错：出现这种情况是因为HiveSyncTool目前只支持很少的兼容数据类型转换。进行任何其他不兼容的更改都会引发此异常。请检查相关字段的数据类型演进，并验证它是否确实可以被视为根据Hudi代码库的有效数据类型转换。
- [Hive同步数据报错SemanticException](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24083.md): Hive同步数据时报错：这种情况通常在试图对Hudi数据集执行Hive同步，但配置的hive_sync数据库不存在时发生。请在Hive集群上创建对应的数据库后重试。
- [Hudi Clustering操作说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24088.md): 在Hudi数据湖中，随着数据持续写入，底层会产生大量小文件，导致查询引擎需要扫描更多文件、元数据管理开销增大，从而引起查询性能下降。同时，数据按写入顺序分布，缺乏基于查询模式的布局优化，导致数据局部性差，影响查询效率。Clustering即数据布局优化服务，可重新组织数据以提高查询性能，也不会影响摄取速度。通过将小文件合并为大文件、按指定
- [Hudi Cleaning操作说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24089.md): Hudi是一个开源框架，用于在Hadoop兼容的存储系统上实现高效的数据管理和增量处理。Hudi支持多种操作，包括插入、更新、删除和增量处理。其中，Cleaning操作是Hudi的一个重要功能，用于清理过时的数据文件，以优化存储和查询性能。优化存储：随着时间的推移，Hudi表中会积累大量的小文件和过时的数据文件。这些文件会占用大量的存储空
- [Hudi Compaction操作说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24090.md): 随着MOR（Merge-On-Read，读时合并）表持续写入更新数据，增量日志文件（Log文件，Avro行式格式）不断累积，查询时需要合并大量Log文件与Base文件（Parquet列存文件），导致查询性能逐渐下降。为解决此问题，Hudi提供Compaction操作，将Log文件与Base文件合并为新的Base文件，从而提升查询性能。Co
- [Hudi Savepoint操作说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24091.md): Savepoint用于在数据处理过程中创建一个快照点，以便在需要还原自定义的版本数据。Savepoint 操作的用途：数据恢复：在数据处理过程中，如果出现错误或需要回滚到某个状态，可以通过Savepoint快速恢复。版本管理：Savepoint可以用于管理数据的不同版本，方便进行版本对比和回滚。备份：定期创建Savepoint可以作为数据
- [读取Hudi cow表视图](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24098.md): 写时复制表（Copy On Write）也简称cow表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。优点：读取时，只读取对应分区的一个数据文件即可，较为高效。缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。Hu
- [读取Hudi mor表视图](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24099.md): 读时合并表（Merge On Read）也简称mor表，使用列格式parquet和行格式Avro两种方式混合存储数据。其中parquet格式文件用于存储基础数据，Avro格式文件（也可叫做log文件）用于存储增量数据。优点：由于写入数据先写delta log，且delta log较小，所以写入成本较低。缺点：需要定期合并整理compact
- [Hudi表概述](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24103.md): 在大数据场景中，传统HDFS文件系统以只读方式存储数据，难以直接支持数据的更新和删除操作。当用户需要对数据湖中的数据进行频繁的增删改查时，传统方案需要重写整个文件，效率较低。Hudi（Hadoop Upserts Deletes and Incrementals）是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的
- [ClickHouse引擎概述](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24105.md): 表引擎在ClickHouse中的作用十分关键，不同的表引擎决定了：数据存储和读取的位置支持哪些查询方式能否并发式访问数据能不能使用索引是否可以执行多线程请求数据复制使用的参数其中MergeTree和Distributed是ClickHouse表引擎中最重要，也是最常使用的两个引擎，本文将重点进行介绍。其他表引擎详细可以参考官网链接：htt
- [Impala对接外部LDAP](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24108.md): 本操作适用于MRS 3.1.0及之后版本。
- [配置ClickHouse对接OpenLDAP认证系统](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24109.md): ClickHouse支持和OpenLDAP进行对接，通过在ClickHouse上添加OpenLDAP服务器配置和创建用户，实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。本章节仅适用于MRS 3.1.0及之后版本。MRS集群及ClickHouse实例运行正常，已安装C
- [配置HBase数据压缩格式和编码](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24112.md): 在HBase数据存储场景中，管理员需要优化存储空间和读写性能。HBase提供两种数据压缩方式：data block encoding和压缩算法。data block encoding通过减少Key-Value中Key的重复部分来压缩数据，目前支持NONE、PREFIX、DIFF、FAST_DIFF和ROW_INDEX_V1编码方式，其中N
- [配置ClickHouse对接RDS for MySQL](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24113.md): ClickHouse面向OLAP场景提供高效的数据分析能力，支持通过兼容的数据库引擎（如MySQL）将远程数据库服务器中的表映射至ClickHouse集群中，从而可以在ClickHouse环境中直接执行高效的数据分析任务。本章节通过以ClickHouse集群和RDS for MySQL实例对接进行举例说明。已提前准备好对接的RDS数据库实
- [Hive SQL常见配置类问题](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24117.md): Hive SQL执行报错：java.lang.OutOfMemoryError: Java heap space.解决方案：对于MapReduce任务，增大下列参数：set mapreduce.map.memory.mb=8192;set mapreduce.map.java.opts=-Xmx6554M;set mapreduce.re
- [配置Hive分区元数据冷热存储](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24118.md): 为了减轻集群元数据库压力，将长时间未使用过的指定范围的分区相关元数据移动到备份表，这一过程称为分区数据冻结，冻结的分区数据称为冷分区，未冻结的分区称为热分区，存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表中，这一过程称为分区数据解冻。一个分区从热分区变成冷分区，仅仅是在元数据中进行标识，其HDFS业务侧分区路径、数据文件内容并
- [FlinkServer作业对接HBase表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24120.md): 本章节适用于MRS 3.1.2及之后的版本。FlinkServer支持对接HBase，详情如下：支持对接Sink表、Source表和维表。当HBase与Flink为同一集群或互信的集群，支持FlinkServer对接HBase，对接方式相同。当HBase与Flink不在同一集群或不互信的集群，则只支持Flink和HBase均为普通模式集群
- [创建ZSTD压缩格式的Hive表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24121.md): 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度，Hive支持创建表时配置SNAPPY、ZLIB、Gzip、Bzip2、ZSTD等压缩格式。ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式，本章节介绍如何创建ZSTD压缩格式的Hive表。Hi
- [CDL数据集成概述](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24124.md): CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取Data Change事件，然后推送至Kafka中，最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中，从而实现数据的实时入湖。CDL服务包含了两个重要的角色：CDLConnector和CDLService。CDLConnector是
- [CDL日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24129.md): 日志路径：CDL默认的日志存储路径为“/var/log/Bigdata/cdl/角色名简写”。CDLService：“/var/log/Bigdata/cdl/service”（运行日志），“/var/log/Bigdata/audit/cdl/service”（审计日志）。CDLConnector：“/var/log/Bigdata/c
- [登录KafkaUI界面](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24135.md): MRS集群安装Kafka组件后，通过KafkaUI，用户能够便捷查询集群信息、节点状态、topic分区、数据的生产、消费详情等多维度信息。KafkaUI将Topic创建、删除、配置修改、扩展分区、分区迁移等复杂易出错的管理操作界面化，降低用户使用门槛，提高运维效率。KafkaUI界面支持以下功能：集群内部分区重分布创建、查看和删除Topi
- [创建Kafka Topic](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24136.md): 用户可以根据业务需要，使用集群客户端或KafkaUI创建Kafka的主题。启用Kerberos认证的集群，需要拥有管理Kafka主题的权限。已安装客户端，例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。下载并安装集群客户端的具体操作
- [增加Kafka Topic分区](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24137.md): 用户可以通过访问KafkaUI界面，修改Kafka Topic分区。集群已启用Kerberos认证（安全模式）时，执行分区迁移操作的用户需属于kafkaadmin用户组，否则将会由于鉴权失败导致操作失败。创建用户相关操作请参考创建Kafka用户并绑定角色。创建用户相关操作请参考创建Kafka用户并绑定角色。集群未启用Kerberos认证（
- [查看Kafka数据生产消费详情](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24138.md): 在Kafka运行过程中，运维人员需监控消息生产速率和消费进度，以排查消费延迟或消息积压问题。用户可以根据业务需求，通过Kafka客户端查看当前消费情况，或通过KafkaUI实时查看不同时段的生产数据条数。集群已启用Kerberos认证（安全模式）时，KafkaUI对查看Topic详情操作不做鉴权处理，即任何用户都可以查询Topic信息；对
- [IoTDB用户权限说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24141.md): MRS提供用户、用户组和角色，集群中的各类权限需要先授予角色，然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组，才能获得权限。IoTDB在安全模式下需要进行权限管理，将创建的用户加入iotdbgroup用户组。在普通模式下无需进行权限管理。表1中“权限名称”列为IoTDB开源支持的相关权限，如果MRS用户需要使用对
- [创建IoTDB权限角色](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24142.md): 该任务指导MRS集群管理员在Manager创建并设置IoTDB的角色。IoTDB角色可设置IoTDB管理员权限以及普通用户对数据的读、写或删除等权限。MRS集群管理员已明确业务需求。已安装好IoTDB客户端。IoTDB权限：普通用户权限：具有数据操作权限，可选择性地对IoTDB根目录、存储组及存储组到时间序列之间任意节点路径授权，最小可支
- [添加ClickHouse数据源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24146.md): ClickHouse数据源中同一个Schema（或Database）下不能存在名字内容相同但大小写格式不同的Table，例如：cktable（小写）、CKTABLE（大写）和CKtable（大小写混合），该内容的Table只能有一个，否则HetuEngine无法使用该Schema（或Database）下的表。本章节指导用户在集群的HSCo
- [FlinkServer作业对接ClickHouse表（JDBC Connector）](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24148.md): 本章节适用于MRS 3.1.2及之后的版本。Flink通过对接ClickHouse的ClickHouseBalancer实例进行读写，有效避免ClickHouse流量分发问题。FlinkSQL与ClickHouse数据类型对应关系如下表所示。MRS 3.2.0及以后版本，根据安全需求，FlinkServer界面回显FlinkSQL时，SQ
- [快速使用IoTDB](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24157.md): IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，支持对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。假定某某集团旗下有3个生产线，每个生产线上有5台设备，传感器会实时采集这些设备的指标数据（例如温度、速度、运行状态等），如图1所示。
- [IoTDB客户端使用实践](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24158.md): 该任务指导用户在运维场景或业务场景中使用IoTDB客户端。已安装客户端。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。cd /opt/clientsour
- [IoTDB常用配置参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24159.md): IoTDB通过多副本的部署架构实现了集群的高可用，每个Region（DataRegion和SchemaRegion）默认具有3个副本，也可配置3个以上。当某节点故障时，Region副本的其他主机节点上的副本可替代工作，保证服务能正常运行，提高集群的稳定性。本章节主要介绍IoTDB数据操作时常用的配置参数。修改ConfigNode配置：单击
- [IoTDB日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24161.md): 日志路径：IoTDB相关日志的默认存储路径为“/var/log/Bigdata/iotdb/iotdbserver”（运行日志）、“/var/log/Bigdata/audit/iotdb/iotdbserver”（审计日志）。日志归档规则：IoTDB的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过20MB的时候（此日志文件大小可
- [IoTDB性能调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24162.md): IoTDB主要利用堆内存完成读写操作。提高IoTDB内存可以有效提高IoTDB读写性能。登录集群FusionInsight Manager页面，选择“集群 > 服务 > IoTDB > 配置 > 全部配置”，进入IoTDB配置界面搜索并修改参数。配置方法如表1所示。
- [配置Spark Eventlog日志回滚](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24170.md): 事件日志滚动是一种日志管理技术，通过将日志文件按时间或大小分割成多个文件，来避免单个日志文件过大。滚动日志文件可以提高日志的管理和分析效率，特别是在处理大量日志数据时。事件日志记录了Spark应用程序的执行过程中的各种事件，如任务的启动和完成、阶段的提交和完成等。当程序长时间运行，会导致job和task过多，造成日志文件很大，如JDBCS
- [使用Loader从关系型数据库导入数据到ClickHouse](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24172.md): 该任务指导用户使用Loader将数据从关系型数据库导入到ClickHouse，本章节以MySQL为例进行操作。创建或获取该任务中创建Loader作业的业务用户和密码。ClickHouse表已创建，确保用户已授权访问作业执行时操作该表的权限。获取MySQL数据库使用的用户和密码。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。
- [使用Loader从HDFS导入数据到ClickHouse](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24173.md): 该任务指导用户使用Loader将文件从HDFS导入到ClickHouse。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS目录和数据。ClickHouse相关表已创建，并确保用户已授权访问作业执行时操作该表的权限。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。使用Loade
- [ClickHouse输出](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24177.md): ClickHouse输出算子，用于配置已生成的字段输出到ClickHouse表的列。输入：需要输出的字段输出：ClickHouse表将字段值输出到ClickHouse表中。通过CSV文件输入算子，生成十二个字段。源文件如下：创建ClickHouse表的语句如下：CREATE TABLE IF NOT EXISTS testck4 ON C
- [FlinkServer作业对接Hive表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24179.md): 本章节适用于MRS 3.1.2及之后的版本。目前FlinkServer对接Hive使用对接metaStore的方式，所以需要Hive开启MetaStore功能。Hive可以作为source、sink和维表。本示例以安全模式Kafka为例。FlinkServer不支持跨集群访问Hive。集群已安装HDFS、Yarn、Kafka、Flink和
- [FlinkServer作业对接Hudi表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24180.md): 本章节适用于MRS 3.1.2及之后的版本。MRS大数据平台中，Hudi作为数据湖表格式支持流批一体读写，而Flink是主流的流计算引擎。当用户需要将Kafka实时数据流式写入Hudi表，或从Hudi表流式读取数据进行实时分析时，需要通过FlinkServer的FlinkSQL接口实现对接。本指南通过使用FlinkServer写Flink
- [将DWS表数据迁移至ClickHouse](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24197.md): ClickHouse支持CSV、JSON等格式文件的数据导入导出操作。本章节主要介绍怎么把DWS数据仓库服务中的表数据导出到CSV文件，再把CSV文件数据导入到ClickHouse表中。ClickHouse集群和实例状态正常。DWS集群已创建，已获取到相关表所在的数据库用户名和密码。已安装MRS客户端，例如安装目录为“/opt/clien
- [集群内ClickHouseServer节点间数据迁移](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24198.md): ClickHouse数据迁移工具可以将某几个ClickHouseServer实例节点上的一个或多个MergeTree引擎分区表的部分分区迁移至其他ClickHouseServer节点上相同的表中。随着业务数据量持续增长，集群可能面临扩容后数据不均衡、节点故障需临时转移数据等场景，此时需要使用数据迁移工具在节点间迁移数据，以确保集群数据的均
- [CREATE DATABASE创建数据库](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24200.md): 本章节主要介绍ClickHouse创建数据库的SQL基本语法和使用说明。CREATE DATABASE [IF NOT EXISTS]database_name [ON CLUSTERClickHouse集群名]ON CLUSTERClickHouse集群名的语法，使得该DDL语句执行一次即可在集群中所有实例上都执行。集群名信息可以使用以
- [CREATE TABLE创建表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24201.md): 本章节主要介绍ClickHouse创建表的SQL基本语法和使用说明。方法一：在指定的“database_name”数据库中创建一个名为“table_name ”的表。如果建表语句中没有包含“database_name”，则默认使用客户端登录时选择的数据库作为数据库名称。CREATE TABLE [IF NOT EXISTS][databa
- [INSERT INTO插入表数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24202.md): 本章节主要介绍ClickHouse插入表数据的SQL基本语法和使用说明。方法一：标准格式插入数据。INSERT INTO [database_name.]table [(c1, c2, c3)] VALUES(v11, v12, v13), (v21, v22, v23), ...INSERT INTO [database_name.]t
- [SELECT查询表数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24203.md): 本章节主要介绍ClickHouse查询表数据的SQL基本语法和使用说明。SELECT [DISTINCT] expr_list[FROM[database_name.]table| (subquery) | table_function] [FINAL][SAMPLE sample_coeff][ARRAY JOIN...][GLOBAL
- [ALTER TABLE修改表结构](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24204.md): 本章节主要介绍ClickHouse修改表结构的SQL基本语法和使用说明。ALTER TABLE [database_name].name[ON CLUSTER cluster] ADD|DROP|CLEAR|COMMENT|MODIFYCOLUMN...ALTER仅支持 *MergeTree ，Merge以及Distributed等引擎表
- [DESC查询表结构](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24205.md): 本章节主要介绍ClickHouse查询表结构的SQL基本语法和使用说明。DESC|DESCRIBETABLE[database_name.]table[INTOOUTFILE filename] [FORMAT format]查询表t1的表结构：
- [使用ClickHouse Client手动导入导出数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24206.md): 本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。CSV格式数据导入clickhouse client --host主机名/ClickHouse实例IP地址 --database数据库名--port端口号 --secure --format_csv_delimiter="csv文件数据分隔符" --quer
- [SHOW显示数据库和表信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24207.md): 本章节主要介绍ClickHouse显示数据库和表信息的SQL基本语法和使用说明。show databasesshow tables
- [DROP删除表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24208.md): 本章节主要介绍ClickHouse删除表的SQL基本语法和使用说明。DROP[TEMPORARY] TABLE[IF EXISTS] [database_name.]name[ON CLUSTER cluster] [SYNC]在删除复制表时，因为复制表需要在Zookeeper上建立一个路径，存放相关数据。ClickHouse默认的库引擎
- [配置FlinkServer作业中使用UDF](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24211.md): 在使用Flink SQL作业进行数据处理时，内置函数往往无法满足复杂业务加工、字段处理、聚合分析等定制化场景的需求。如果每次遇到这类需求都修改集群底层配置或重新开发作业，开发成本高且效率低。那么，如何在不修改集群底层配置的前提下，灵活扩展Flink的SQL计算能力？用户可根据业务个性化计算逻辑，自行开发自定义函数，用来扩展 Flink原生
- [配置通过ELB访问ClickHouse](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24228.md): 当前ClickHouse不管是多分片还是多副本都是以集群方式部署，如果对外直接提供服务，将暴露多个节点服务，没有统一的访问入口。ClickHouse官方虽然提供了BalancedClickhouseDataSource的驱动方案，可以支持多节点的随机分配，提供了一定程度的负载均衡能力，但其故障检测能力不足，而且在扩缩容时，需要客户端感知集
- [查看ClickHouse慢查询语句](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24230.md): 在ClickHouse上执行SQL语句查询时，常因为SQL语句的分区、where条件以及索引等设置不合理问题，导致SQL查询很慢，影响数据库的整体性能。针对该场景，MRS提供了ClickHouse慢查询语句的监控功能。请勿在业务高峰期查看慢查询语句，否则容易造成业务阻塞的问题。当前还在执行没有返回结果的慢SQL语句信息可以通过该界面查询。
- [查看ClickHouse复制表数据同步监控](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24231.md): 在ClickHouse中，Replicated*MergeTree系列引擎表用于实现数据的高可用性和分布式的数据存储。这些表在同一个分片（shard）下可以有多个副本（replica），这些副本之间会自动进行数据同步，以确保数据的一致性和可靠性。为了帮助用户更好地管理和监控数据同步过程，MRS在Manager页面提供了可视化的监控工具，详
- [快速使用CDL创建数据同步作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24232.md): CDL支持多种场景的数据同步或比较任务，本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从PgSQL导入数据到Kafka，更多CDL作业示例请参见创建CDL作业。集群已安装CDL、Kafka服务且运行正常。PostgreSQL数据库需要修改预写日志的策略，操作步骤请参考PostgreSQL数据库修改预
- [开启Oozie HA机制](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24233.md): Oozie多个节点同时提供服务的时候，通过ZooKeeper来提供高可用（HA）功能，防止单节点故障以及多节点同时处理一个任务。MRS 3.3.1及之后版本Oozie默认开启HA机制，无需执行该章节操作。操作过程中需要重启Oozie服务。重启过程中，Oozie服务无法提供服务。已安装Oozie、ZooKeeper服务，且服务正常运行。没有
- [CDL用户权限管理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24234.md): 在使用CDL服务前，需集群管理员创建用户并指定其操作权限以满足业务使用需求。CDL用户分为管理员用户和普通用户，系统默认的CDL管理员用户组为cdladmin，CDL普通用户对应用户组为cdl。关联了cdladmin用户组的用户可以执行CDL的任何操作。关联了cdl用户组的用户可以执行CDL的创建和查询操作。启用了Ranger鉴权时，如果
- [登录CDLService WebUI界面](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24236.md): MRS集群安装CDL组件后，用户可以通过CDL的图形化界面进行数据连接管理和可视化作业编排等。本任务指导用户在MRS集群中访问CDL WebUI。Internet Explorer浏览器可能存在兼容性问题，建议使用Google Chrome浏览器访问CDLService UI。CDL不支持抓取表名包含$或者中文等特殊字符的表。MRS集群已
- [上传数据库驱动文件](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24237.md): CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取事件推送至Kafka。通过CDLService WebUI创建数据库连接时，可将数据库对应的驱动文件通过界面上传，方便统一管理。已获取待连接数据库对应的驱动Jar包。仅数据源MySQL、Oracle（MRS 3.3.0及之后版本支持）需要上传相应的驱动，驱动对应的版本
- [创建CDL数据库连接](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24238.md): 通过CDLService WebUI创建数据库连接时，可参考该章节进行CDL作业编排。已获取待连接数据对应的驱动Jar包并上传。开启Kerberos认证的集群需已参考CDL用户权限管理创建具有CDL管理操作权限的用户。连接校验通过后，单击“确定”完成数据连接创建。
- [创建CDL数据同步任务作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24239.md): CDLService WebUI提供可视化的作业编排页面，用户可快速创建CDL作业，实现实时数据入湖。开启Kerberos认证的集群需已创建具有CDL管理操作权限的用户。MRS 3.2.0版本：MRS 3.3.0及之后版本：双击数据连接元素，并配置对应参数。如需删除数据连接元素，选择该目标并单击界面右下角的“删除”。观察数据传输是否生效，
- [添加CDL的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24245.md): Ranger管理员可通过Ranger为CDL用户配置创建、执行、查询、删除权限。已安装Ranger服务且服务运行正常。已创建需要配置权限的用户、用户组或Role。如需禁用某条策略，可单击按钮编辑策略，设置策略开关为“Disabled”。如果不再使用策略，可单击按钮删除策略。
- [开发和部署HetuEngine UDF](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24246.md): HetuEngine是一个高性能实时分析数据库，支持用户自定义一些函数，用于扩展SQL以满足个性化的需求，这类函数称为UDF。本章节主要介绍开发和应用HetuEngine UDF。本章节仅适用于MRS 3.6.0-LTS之前的版本。MRS 3.2.1及以后版本，需要基于JDK17.0.4及以上版本开发。本章节以MRS 3.3.0版本为例。
- [FlinkServer作业对接HDFS文件系统](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24247.md): 本章节适用于MRS 3.1.2及之后的版本。本章节介绍HDFS作为sink表的DDL定义，以及创建sink表时使用的WITH参数和代码示例，并指导如何在FlinkServer作业管理页面操作。本示例以安全模式Kafka为例。集群中已安装HDFS、Yarn、Flink服务。包含HDFS服务的客户端已安装，安装路径如：/opt/client。
- [FlinkServer作业对接Kafka消息队列](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24248.md): 本章节适用于MRS 3.1.2及之后的版本。本章节介绍Kafka作为source表或者sink表的DDL定义，以及创建表时使用的WITH参数和代码示例，并指导如何在FlinkServer作业管理页面操作。本示例以安全模式Kafka为例。集群中已安装HDFS、Yarn、Kafka和Flink服务。包含Kafka服务的客户端已安装，例如安装路
- [使用CDL从PgSQL同步数据到Kafka](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24254.md): 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从PgSQL导入数据到Kafka。集群已安装CDL、Kafka服务且运行正常。PostgreSQL数据库需要修改预写日志的策略，操作步骤请参考PostgreSQL数据库修改预写日志的策略。在FusionInsight Manage
- [管理CDL ENV变量](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24255.md): 如果需要将数据抓取至Hudi或者从Hudi抓取数据时，请执行该章节操作创建Hudi环境变量并进行管理。开启Kerberos认证的集群需已参考CDL用户权限管理创建具有CDL管理操作权限的用户。创建完成后可以在“操作”列单击“编辑”进行修改，或者单击“删除”删除该ENV。
- [配置FlinkServer作业运行残留信息自动清理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24256.md): Flink任务异常停止时会在ZooKeeper、HDFS中残留目录，开启FlinkServer目录残留清理功能可以清理残留目录。登录集群Manager具体操作，请参考访问MRS集群Manager。该特性只会清理ZooKeeper的“/flink_base”目录和HDFS的“/flink/recovery”目录下的残留目录，用户自定义修改的
- [配置HetuEngine Coordinator运行的节点范围](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24260.md): 默认情况下，Coordinator和Worker节点会随机启动在Yarn的NodeManager节点上，如果需要开放特定的网络端口，必须开放所有NodeManager节点的这些端口，以确保无论节点启动在哪个NodeManager上，都能正常工作。为了提高安全性和资源管理的灵活性，HetuEngine利用Yarn的资源标签提供了限制Coor
- [Hudi SQL使用约束](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24262.md): Hudi支持使用Spark SQL操作Hudi的DDL（数据定义语言）和DML（数据操作语言）语法，这使得所有用户（非工程师、分析师等）都能更轻松地访问和操作 Hudi。通过这种集成，用户可以利用熟悉的 SQL 语法来执行各种数据管理和操作任务，而无需深入了解复杂的底层技术细节。典型使用场景包括：通过Spark SQL创建Hudi表并写入
- [CREATE TABLE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24264.md): MRS 3.6.0-LTS.1版本简化了Hudi建表的相关参数，详情请参考Hudi创建表参数简化指导章节。CREATE TABLE命令通过指定带有表属性的字段列表来创建Hudi Table。CREATE TABLE [ IF NOT EXISTS]  [database_name.]table_name[ (columnTypeList)
- [CREATE TABLE AS SELECT](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24265.md): CREATE TABLE As SELECT命令通过指定带有表属性的字段列表来创建Hudi Table。CREATE TABLE [ IF NOT EXISTS]  [database_name.]table_nameUSING hudi[ COMMENT table_comment ][ LOCATION location_path ]
- [DROP TABLE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24266.md): DROP TABLE的功能是用来删除已存在的Hudi表。DROP TABLE [IF EXISTS] [db_name.]table_name;在该命令中，IF EXISTS和db_name是可选配置。Table将被删除。
- [SHOW TABLES](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24267.md): SHOW TABLES命令用于显示所有在当前database中的table，或所有指定database的table。SHOW TABLES [IN db_name];显示所有Table。
- [TRUNCATE TABLE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24271.md): 该命令将会把Hudi表中的数据清空。清空操作不可回退，执行前请务必确认数据不再需要。TRUNCATE TABLEtableIdentifier通过运行QUERY语句查看表中数据已被删除。
- [INSERT INTO](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24273.md): INSERT命令用于将SELECT查询结果加载到Hudi表中。INSERT INTOtableIndentifier select query;写入模式：Hudi对于设置了主键的表支持三种写入模式，用户可以设置参数hoodie.sql.insert.mode来指定Insert模式，默认为upsert。strict模式，Insert语句将保
- [UPDATE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24275.md): UPDATE命令根据列表达式和可选的过滤条件更新Hudi表。UPDATE tableIdentifier SET column = EXPRESSION(,column = EXPRESSION) [ WHERE boolExpression]可在driver日志和客户端中查看命令运行成功或失败。
- [DELETE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24276.md): DELETE命令从Hudi表中删除记录。该命令根据指定的过滤条件删除符合条件的记录，支持基于条件表达式和子查询的删除方式。DELETE from tableIdentifier [ WHERE boolExpression]示例1：delete from h0 where column1 = 'country';示例2：delete fr
- [COMPACTION](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24277.md): 压缩( compaction)用于在MergeOnRead表将基于行的log日志文件转化为parquet列式数据文件，用于加快记录的查找。SCHEDULE COMPACTION on tableIdentifier|tablelocation;SHOW COMPACTION on tableIdentifier|tablelocation
- [SET/RESET](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24278.md): 此命令用于在运行时动态添加（Add）、更新（Update）、显示（Display）或重置（Reset）Hudi的会话参数，而无需重新启动Spark Driver。Add或Update参数值：SET parameter_name=parameter_value此命令用于添加或更新parameter_name的值。SET parameter_
- [配置DBService备份任务超时时间](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24283.md): 针对DBService备份任务执行的默认超时时间为2小时，在DBService中数据量过大时，任务执行时间会超过2小时导致备份任务执行失败。该操作指导用户调整DBService备份任务的超时时间。DBService服务运行正常。jps|grep -i BackupRecoveryPluginProcesskill -9查询到的PIDjps
- [通过数据文件备份恢复ClickHouse数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24292.md): 本章节主要介绍通过把ClickHouse中的表数据导出到CSV文件进行备份，后续可以通过备份的CSV文件数据再进行恢复操作。已安装ClickHouse客户端。在Manager已创建具有ClickHouse相关表权限的用户。已准备好备份服务器。cd /opt/clientsource bigdata_env如果是MRS 3.1.0版本集群，
- [配置Hive访问跨集群的HBase数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24293.md): Hive on HBase即是允许用户通过Hive的SQL接口查询和操作存储在HBase中的数据，将HBase的高效存储和实时读写能力与Hive的SQL查询能力相结合，提供了一种灵活且高效的数据处理方式。Hive支持访问和处理存储在同一集群内的HBase中的数据，也支持访问和处理跨集群互信中的HBase数据。即在两个开启Kerberos认
- [同步Kafka数据至ClickHouse](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24377.md): 本章节指导用户通过创建Kafka引擎表将Kafka数据自动同步至MRS ClickHouse集群。已创建Kafka集群。已安装Kafka客户端，详细可以参考安装客户端。已创建ClickHouse集群，并且ClickHouse集群和Kafka集群在同一VPC下，网络可以互通，并安装ClickHouse客户端。当前ClickHouse不支持和
- [配置ClickHouse表为只读表模式](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24451.md): 在数据迁移、一键均衡和退服缩容等操作中，确保表处于只读状态是非常重要的，以防止意外的写操作。ClickHouse提供了only_allow_select_statement 表级参数，可以对MergeTree系列表引擎配置该参数，以限制ALTER、RENAME、DROP和INSERT操作，仅允许SELECT操作。本章节仅适用于MRS 3.
- [配置组件隔离访问Hive MetaStore](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24467.md): MRS 3.2.0及之后的版本支持此功能，此功能用于限制集群内组件连接指定的Hive MetaStore实例，组件默认可连接所有MetaStore实例。目前集群中支持连接MetaStore的组件有HetuEngine、Hive、Loader、Spark2x、Flink，此功能适用于限制各组件服务端连接的MetaStore实例，支持在Met
- [配置Hive表不同分区分别存储至OBS和HDFS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24470.md): 在存算分离场景下，企业需要灵活管理数据存储，将热点数据存储在高性能的HDFS上以保障查询性能，将冷数据存储在低成本的OBS上以降低存储成本。Hive分区表支持不同的分区分别指定不同的存储源，可以指定一个分区表中不同分区的存储源为OBS或者HDFS。例如，将最近7天的热点分区数据存储在HDFS上，保障查询性能；将历史冷数据分区存储在OBS上
- [Oozie作业执行失败常用排查手段](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24479.md): 根据任务在Yarn上的任务日志排查，首先把实际的运行任务，比如Hive SQL通过beeline运行一遍，确认Hive无问题。出现“ClassNotFoundException”等报错，排查“/user/oozie/share/lib”路径下各组件有没有报错的类的Jar包，如果没有，添加Jar包并执行HDFS上更新了Oozie的share
- [使用Hive异常文件定位定界工具](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24480.md): 在Hive数据仓库运维中，由于异常操作（如任务中断、并发写入冲突）或硬件故障（如磁盘损坏、节点宕机）等原因，可能导致Hive存储的数据文件出现损坏或格式异常。异常的数据文件会导致后续查询任务运行失败或返回不正确的数据结果，且问题定位困难。如何快速排查和定位Hive数据文件中的异常？Hive异常文件定位定界工具正是为解决这一问题而设计的。该
- [导入导出FlinkServer作业信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24481.md): FlinkServer WebUI页面支持作业、UDF、流表的导入导出，不支持集群管理、数据连接、应用管理、CheckPoint的导入导出。当导入时，同一集群内不支持导入同名的作业、同名的流表、同名的UDF。作业导出时，需手动勾选作业依赖的流表、UDF等信息，如果未勾选，校验时会弹出提示框提示需要勾选的依赖数据。作业的应用信息不会导出。流
- [如何关闭Hive客户端日志](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24482.md): 如何关闭Hive客户端的运行日志？cd/opt/clientsource bigdata_env安全模式，则执行以下命令，完成用户认证并登录Hive客户端。kinit组件业务用户beelinekinit组件业务用户beeline普通模式，则执行以下命令，登录Hive客户端。使用指定组件业务用户登录Hive客户端。beeline -n 组件
- [配置HDFS细粒度锁](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24484.md): 历史版本的HDFS使用了全局锁，读-写互斥，写-写互斥，即全局一把锁。但是实际上并非所有的读-写，写-写操作都会产生资源竞争。因此在该版本汇总引入了细粒度锁特性（FGL）。FGL对全局锁按照目录以及操作类型进行拆分，只有会产生资源竞争的操作才会使用同一个锁。因此极大地提升了写性能。例如Client1和Client2同时对不相关的目录A、B
- [配置HDFS快速关闭文件功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24485.md): 默认情况下关闭HDFS文件时需要等待所有的Block都上报成功（处于COMPLETED状态）。因此HDFS的一部分写性能消耗为等待DataNode块上报以及NameNode处理块上报。对于一个负载较大的集群，等待的消耗对集群影响较大。HDFS可以通过配置NameNode参数dfs.namenode.file.close.num-commi
- [为什么在Hive自定义配置中添加OBS快删目录后不生效](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24486.md): 在配置MRS多用户访问OBS细粒度权限的场景中，在Hive自定义配置中添加OBS快删目录的配置后，删除Hive表。执行结果为成功，但是OBS目录没有删掉。由于没有给用户配置快删目录的权限，导致数据不能被删除。需要修改用户对应的委托的IAM自定义策略，在策略内容上，配置Hive快删目录的权限。
- [Spark SQL无法查询到ORC类型的Hive表的新插入数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24491.md): 为什么通过Spark SQL无法查询到存储类型为ORC的Hive表的新插入数据？主要有以下两种场景存在这个问题：对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。对于分区表，在Spark SQL中执行插入数据的操作后，如果分区信息未改变，会出现Spark SQL无法查询到
- [Schema演进介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24493.md): 随着业务发展，数据模型需要不断迭代调整。如果数据表不支持Schema演进，任何结构变更都需要重建表和迁移数据，这在大规模数据场景下成本极高。Hudi提供的Schema演进能力允许用户在表的生命周期中灵活修改表结构，无需重建表即可适应业务变化。Schema演进（Schema Evolution）是指在数据表的生命周期中，允许用户能够方便地修
- [配置Spark支持Hudi Schema演进](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24496.md): 在Spark中配置Hudi以支持Schema演进，可以让您在不重新创建整个数据表的情况下，动态地修改表的结构。Schema演进开启后不能关闭。本章节仅适用于MRS 3.2.0-LTS及之前版本。使用spark-beeline配置Hudi Schema演进：登录Manager页面，具体请参见访问集群Manager。选择“集群 > 服务 > 
- [ADD COLUMNS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24498.md): ADD COLUMNS命令用于为现有表添加新列，添加列不会影响已有数据，新列在已有记录中的值默认为null。ALTER TABLEtableNameADD COLUMNS(col_spec[, col_spec ...])通过运行DESCRIBE命令，可显示新添加的列。
- [ALTER COLUMN](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24499.md): ALTER TABLE ... ALTER COLUMN语法用于修改当前Hudi表中列属性，包括列类型、列位置。ALTER TABLEtableName ALTER[COLUMN]col_old_name TYPEcolumn_type[FIRST|AFTER]column_name列类型修改ALTER TABLE table1 ALTE
- [DROP COLUMN](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24500.md): ALTER TABLE ... DROP COLUMN语法用于删除一个或多个列。删除列后，该列的数据不再可访问，但历史版本数据中仍保留。ALTER TABLEtableName DROP COLUMN|COLUMNScolsa.b.c表示嵌套列全路径，嵌套列具体规则见ADD COLUMNS。通过运行DESCRIBE命令，可查看删除列。
- [RENAME](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24501.md): ALTER TABLE ... RENAME语法用于修改Hudi表名称。ALTER TABLEtableNameRENAME TOnewTableName以下示例中，table1为原表名，table2为新表名，均需替换为实际值。通过运行SHOW TABLES查看新的表名。
- [SET](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24502.md): ALTER TABLE ... SET|UNSET语法用于修改表属性。ALTER TABLEtableNameSET|UNSET tblproperties通过运行DESCRIBE命令查看表属性修改。
- [RENAME COLUMN](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24503.md): ALTER TABLE ... RENAME COLUMN语法用于修改Hudi表中已有列的名称。ALTER TABLEtableNameRENAME COLUMNold_columnNameTOnew_columnNamea.b.c表示嵌套列全路径，嵌套列具体规则见ADD COLUMNS。修改列名后自动同步到列comment中，comme
- [Hudi写入小精度Decimal数据失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24504.md): Hudi表初始入库采用BULK_INSERT方式入库含有Decimal类型的数据，之后执行upsert，数据写入时报错：原因：Hudi表数据含有Decimal类型数据。初始入库BULK_INSERT方式会使用Spark内部parquet文件的写入类进行写入，Spark对不同精度的Decimal类型处理是不同的。UPSERT操作时，Hudi
- [查看HetuEngine物化视图自动化任务](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24505.md): 本章节指导用户在HSConsole页面查看HetuEngine自动化任务的任务状态和任务执行结果等信息。用户可定期查看任务执行情况，帮助评估集群运行健康状况。
- [调整HetuEngine INSERT写入优化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24506.md): HetuEngine向Hive数据源分区表写入数据时，需要根据实际业务的查询结果中分区列数量添加相关自定义配置，以获得最佳的性能效果。登录集群Manager具体操作，请参考访问MRS集群Manager。distinct的count值举例：结果表“t2”有“col1”，“col2”和“col3”三列，查询结果数据如下所示：col1     
- [使用ZSTD_JNI压缩算法压缩Hive ORC表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24507.md): ZSTD_JNI是ZSTD压缩算法的native实现，相较于ZSTD而言，压缩读写效率和压缩率更优，并允许用户设置压缩级别，以及对特定格式的数据列指定压缩方式。目前仅ORC格式的表支持ZSTD_JNI压缩方式，而普通的ZSTD压缩算法支持全量存储格式而不仅限于ORC，所以建议用户对数据压缩有特殊要求的场景下再使用此特性。该章节内容仅适用M
- [手动导入IoTDB数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24510.md): 该任务指导用户使用“import-csv.sh”将CSV格式的数据导入到IoTDB。已安装客户端，请参见。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。各组件业务用户由MRS集群管理员根据业务需要创建，具体操作请参见。安全模式下，“机机”用户需要下载keytab文件，具体操作请参见。“人机
- [手动导出IoTDB数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24511.md): 该任务指导用户使用“export-csv.sh”将数据从IoTDB导出为CSV格式的文件。导出CSV格式的数据文件，可能存在注入风险，请谨慎使用。已安装客户端，请参见。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。各组件业务用户由MRS集群管理员根据业务需要创建，具体操作请参见。安全模式下
- [IoTDB UDF概述](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24513.md): UDF（User Defined Function）即用户自定义函数。IoTDB提供多种内建函数及自定义函数来满足用户的计算需求。IoTDB支持的UDF函数的类型如表1所示。编写一个UDTF需要继承“org.apache.iotdb.db.query.udf.api.UDTF”类，并至少实现“beforeStart”方法和一种“trans
- [运行IoTDB UDF样例程序](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24514.md): 可以参考IoTDB UDF样例代码章节。注册一个全类名为“com.xxx.bigdata.iotdb.UDTFExample”的UDF可以按如下流程进行：将项目打成Jar包，如果使用Maven管理项目，可参考以下章节的“构建Jar包”部分：开启Kerberos认证的集群请参考注册UDF。关闭Kerberos认证的集群请参考注册UDF。开启
- [迁移Kafka节点内数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24534.md): 用户可以根据业务需求，通过Kafka客户端命令，在不停止服务的情况下，进行节点内磁盘间的分区数据迁移。也可以通过KafkaUI进行分区迁移。MRS集群管理员已明确业务需求，并准备一个Kafka用户（属于kafkaadmin组，普通模式不需要）。创建用户相关操作请参考创建Kafka用户并绑定角色。创建用户相关操作请参考创建Kafka用户并绑
- [配置HetuEngine维护实例](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24535.md): 维护实例是承担自动化任务的一种特殊的计算实例，主要负责物化视图的自动刷新、自动创建和自动删除。一个集群只能有一个计算实例被设置为维护实例，也可以同时承担计算实例的业务。一个租户存在多个计算实例时，仅有一个计算实例用作维护实例。配置已存在计算实例为维护实例时，其状态需为“已停止”。登录集群Manager具体操作，请参考访问MRS集群Mana
- [HetuEngine物化视图概述](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24541.md): HetuEngine物化视图功能适用于MRS 3.2.0及以后版本。HetuEngine具备物化视图能力。在实际运用中，将高频访问的SQL查询和有高耗时的算子（连接， 聚合等算子）的SQL通过建立物化视图进行预计算，然后在查询的SQL中将能匹配到物化视图的查询或者子查询转换为物化视图，避免了数据的重复计算，这种情况下往往能较大地提高查询的
- [配置HetuEngine物化视图改写能力](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24543.md): HetuEngine支持在System级别或者Session级别开启物化视图改写能力，开启方法如下所示：Session级别：参考快速使用HetuEngine访问Hive数据源在HetuEngine客户端执行set session materialized_view_rewrite_enabled=true参考快速使用HetuEngine访
- [配置HetuEngine物化视图缓存能力](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24544.md): 对于一条SQL，创建了对应的物化视图后，执行这条SQL时，将被改写为通过物化视图查询。如果开启了物化视图的“重写缓存”功能，那么多次执行这条SQL后，改写后的SQL将会保存到缓存中（默认最多保存10000条），在缓存有效时间（默认24小时）内，执行这条SQL时会直接从缓存中获取改写后的SQL，而不是重新对SQL进行改写。可在计算实例中添加
- [HetuEngine物化视图SQL示例](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24545.md): 物化视图SQL示例请参考表1。创建物化视图的“AS SELECT”的子句不能包含calcite SQL解析和改写功能中的保留关键词，如“default”。如果想要在创建物化视图的“AS SELECT”子句中使用保留关键词，需要遵循以下的任一解决方案：在创建MV和执行原始查询时，需给默认模式名称添加双引号以在“AS SELECT”子句中使用
- [配置HetuEngine物化视图的有效期与数据刷新能力](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24546.md): 创建物化视图的“mv_validity”字段为物化视图的有效期，HetuEngine只会使用有效期内的物化视图进行自动改写。如果需要数据定期更新，需要定时刷新物化视图，可以使用如下两种方式实现：手动刷新物化视图参考快速使用HetuEngine访问Hive数据源在HetuEngine客户端执行refresh materialized vie
- [Hudi Schema演进并发说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24550.md): 建表时需要指定hoodie.cleaner.policy.failed.writes = 'LAZY'，否则并发提交时会触发rollback。对同一列并发执行DDL操作需要注意以下两点：不能对同一列并发执行drop，否则只能成功执行第一个drop随后发生异常“java.lang.UnsupportedOperationException:
- [Impala常见配置参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24562.md): 本章节适用于MRS 3.x及后续版本。在Manager系统中，选择“集群 > 服务 > Impala > 配置”，选择“全部配置”。在搜索框中输入参数名称。下表仅列举了部分常用参数，实际参数以Manager页面为准，参数详情请参见官网https://docs.cloudera.com/documentation/enterprise/6/
- [Impala启用并配置动态资源池](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24563.md): 准入控制是Impala的一项功能，它对并发SQL查询施加限制，以避免繁忙集群上的资源使用高峰和内存不足情况。准入控制功能允许设置并发Impala查询数量以及这些查询使用的内存的上限。任何其他查询都会排队直到较早的查询完成，而不是被取消或运行缓慢并导致争用。当其他查询完成时，排队的查询就可以继续进行，当然，也可能是等待超时而返回异常给到客户
- [调整HetuEngine动态过滤](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24564.md): HetuEngine提供了动态过滤的功能，在Join场景中开启动态过滤往往有较大的性能提升。本章节介绍如何开启HetuEngine动态过滤功能。登录集群Manager具体操作，请参考访问MRS集群Manager。
- [开启HetuEngine自适应查询执行](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24572.md): 本章节适用于MRS 3.2.0及以后版本。一般来说，大任务的SQL语句（例如在从整个表中扫描大量数据的情况）会占用大量的资源，在资源紧张的情况下，会影响其他任务的负载。这不仅导致用户体验不佳，也会提高运维成本。为了解决上述问题，HetuEngine提供了自适应查询执行的功能，该功能会自适应地调度执行查询。本章节介绍如何开启自适应查询执行功
- [配置ClickHouse对接HDFS源文件（MRS 3.2.0-LTS）](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24573.md): 本章节主要介绍使用ClickHouse对接HDFS组件进行文件读写。本章节仅适用于MRS 3.2.0-LTS版本。已安装ClickHouse客户端，例如客户端安装目录为“/opt/client”。在FusionInsight Manager已创建具有ClickHouse相关表权限和访问HDFS的权限的用户，例如：clickhouseuse
- [配置外网客户端访问Kafka Broker](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24576.md): 外网环境Kafka客户端访问部署在内网的Kafka Broker，需参考该章节操作开启Kafka内外网分流访问。本章节适用于MRS 3.2.0及之后版本。Broker所在节点同时具有内网IP和外网IP，Broker绑定在内网IP上，外网无法访问。或者Broker所在节点只具有内网IP，外部服务通过网闸机映射访问内网。ZooKeeper服务
- [配置BulkloadTool工具支持解析自定义分隔符](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24580.md): Phoenix提供了批量数据导入工具CsvBulkloadTool，在此特性基础上，支持导入自定义分隔符文件，即用户可以采用限定长度内的任意可见字符进行组合作为分隔符来导入数据文件。该章节内容仅适用于MRS 3.2.0及之后版本。自定义分隔符不能为空字符串。自定义分隔符长度必须小于等于16个字符。自定义分隔符过长会影响解析效率，降低数据导
- [配置HiveMetaStore客户端连接负载均衡](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24738.md): 在大规模数据处理场景中，Hive MetaStore服务通常部署多个实例以提供高可用和负载均衡能力。当客户端连接MetaStore时，如果采用固定节点连接方式，可能导致某些MetaStore实例负载过高，而其他实例处于空闲状态，影响整体性能。Hive的MetaStore客户端连接支持负载均衡功能，通过服务端在ZooKeeper记录的连接数
- [CHANGE_TABLE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24740.md): 本章节仅适用于MRS 3.2.0-LTS及之后版本。CHANGE_TABLE命令用于修改Hudi表的类型以及索引类型。由于Hudi表本身不支持直接修改表类型及索引等关键参数，该命令实际是将表数据按照新的配置重新写入，操作期间表数据会被重写一遍。此操作耗时与表数据量成正比，请在业务低峰期执行。如修改的索引类型有其对应的其他配置参数，同样需要
- [导入导出Hive表/分区数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24741.md): 在大数据应用场景中，往往存在将Hive中的数据表迁移到另一个集群上，使用Hive的导入导出命令可以实现表级别数据迁移，即可使用Export命令将源集群的Hive表导出到目标集群的HDFS中，再在目标集群使用Import命令将导出的数据导入到相应的Hive表中。本章节内容适用于MRS 3.2.0及之后版本。Hive表导入导出功能目前不支持对
- [导入导出Hive数据库](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24742.md): 在大数据应用场景中，企业可能需要将Hive中的数据库及数据库下的所有表迁移到另一个集群上，例如从测试环境迁移到生产环境、从旧集群迁移到新集群、或进行跨地域数据同步等。传统的迁移方式需要逐个导出和导入表，操作繁琐且容易出错。如何快速、完整地将整个数据库（包括表结构、表数据、权限信息等）迁移到目标集群？Hive提供数据库导入导出功能（Dump
- [添加IoTDB数据源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24743.md): 本章节指导用户在集群已启用Kerberos认证（安全模式）的HSConsole界面添加IoTDB类型的JDBC数据源。数据源所在集群域名与HetuEngine集群域名不能相同。数据源所在集群与HetuEngine集群节点网络互通。已创建HetuEngine计算实例，可参考创建HetuEngine计算实例。安全集群的IoTDB默认开启了SS
- [配置Drop Partition命令支持批量删除](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24745.md): Drop Partition主要针对表的分区进行操作。会删除一个或多个分区内的全部数据。Drop Partition适用于需要批量删除大量具有相同分区特征的数据，例如按时间周期删除历史数据，或者当某个分区的数据不再需要时，可以直接删除整个分区。例如，若按日期对表进行分区，执行Drop Partition操作删除某个月份的分区，那么该月份对
- [使用CDL从PgSQL同步数据到Hudi](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24752.md): 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从PgSQL导入数据到Hudi。集群已安装CDL、Hudi服务且运行正常。PgSQL数据库需要开启前置要求，操作步骤请参考PostgreSQL数据库修改预写日志的策略。在FusionInsight Manager中创建一个人机用户
- [使用CDL从Hudi同步数据到DWS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24753.md): 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从Hudi导入数据到DWS。集群已安装CDL、Hudi服务且运行正常。DWS数据库需要开启前置要求，操作步骤请参考DWS数据库前置准备。在FusionInsight Manager中创建一个人机用户，例如cdluser，加入用户组
- [使用CDL从Hudi同步数据到ClickHouse](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24754.md): 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从Hudi导入数据到ClickHouse。集群已安装CDL、Hudi和ClickHouse服务且运行正常。用户需要有操作ClickHouse的权限，相关操作请参见创建具有ClickHouse权限的用户。在FusionInsight
- [HDFS常用配置参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24758.md): 查看集群是否存在配置过期的服务，如果存在，需重启对应服务或角色实例使配置生效。
- [使用CDL同步openGauss数据到Hudi（ThirdKafka）](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24763.md): 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从ThirdKafka导入openGauss数据到Hudi。集群已安装CDL、Hudi服务且运行正常。ThirdKafka数据库的Topic需要能被MRS集群消费，操作步骤请参考ThirdPartyKafka前置准备。在Fusio
- [IoTDB支持的数据类型和编码](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24764.md): IoTDB支持如下几种数据类型和编码方式，参见表1。
- [规划IoTDB容量](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24765.md): IoTDB自身有多副本机制，region（schema region和data region）默认是3副本。ConfigNode上保存region和IoTDBServer的映射关系，IoTDBServer保存region数据，直接使用操作系统自身的文件系统来管理元数据和数据文件。ConfigNode容量规格当创建新的存储组时，IoTDB默
- [Ranger性能调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24767.md): Ranger作为MRS集群中的统一权限管理组件，负责为HDFS、HBase、Hive、Kafka、Yarn等组件提供统一的权限策略管理。随着集群规模扩大和使用Ranger鉴权的服务实例增多，RangerAdmin需要加载和管理的策略数量也随之增长，可能导致RangerAdmin JVM堆内存不足，出现策略下发延迟、鉴权请求超时、Range
- [创建CDL数据比较任务作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24775.md): 数据比对即是对源端数据库中的数据和目标端Hive中的数据做数据一致性校验，如果数据不一致，CDL可以尝试修复不一致的数据。当前数据对比任务支持手动全量任务比对。数据比对任务采用On Yarn的运行形态，比对结果会上传到HDFS目录。数据比对目前仅支持基本数据类型比对， 不支持日期、时间戳、decimal、numeric、json等特殊数据
- [配置HetuEngine物化视图推荐能力](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24776.md): HetuEngine QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务，开启物化视图推荐能力后，系统能自动学习并推荐对业务最有价值的物化视图SQL，使HetuEngine具备自动预计算加速能力，在相关场景下在线查询效率获得倍数提升，同时有效降低系统负载压力。集群运行正常并至少安装一个QAS实例。已创建用于访问He
- [在System.disks表中查询到磁盘状态异常如何处理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24778.md): 在System.disks表中查询到磁盘状态（status）是fault或者abnormal。这种情况是由于磁盘存在IO错误，处理方法如下：方法一：登录集群Manager界面。详细操作请参考访问集群Manager。详细操作请参考访问集群Manager。选择“运维 > 告警”，检查是否存在磁盘IO异常的告警，如果有，参考对应的告警帮助文档，
- [CLEAN_FILE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24781.md): 用于清理Hudi表目录下的无效数据文件。call clean_file(table => '[table_name]', mode=>'[op_type]', backup_path=>'[backup_path]', start_instant_time=>'[start_time]', end_instant_time=>'[end_
- [SHOW_TIME_LINE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24782.md): 查看当前生效或者被归档的Hudi time line以及某个指定instant time的详细内容。查看某个表生效的time line列表：call show_active_instant_list(table => '[table_name]');call show_active_instant_list(table => '[tabl
- [ARCHIVELOG](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24783.md): 本章节仅适用于MRS 3.2.0-LTS及之后版本。用于根据配置对Timeline上的Instant进行归档，并从Timeline上将已归档的Instant删除，以减少Timeline的操作压力。RUN ARCHIVELOG ON tableIdentifier;RUN ARCHIVELOG ON tablelocation;以下示例中，
- [修改ClickHouse服务级别内存限制](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24786.md): 为保证ClickHouseServer实例所在节点其他服务实例的正常使用，ClickHouseServer支持修改在当前节点占用的最大内存。本章节仅适用于MRS 3.2.0-LTS及之后版本。详细操作请参考访问集群Manager。修改该参数不需要重启即可生效。参数取值范围为-1或0~1，表示可用于ClickHouse的服务器的总物理RAM
- [开启ClickHouse租户CPU优先级配置](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24789.md): ClickHouse租户支持CPU优先级，即不同的租户设置不同的CPU优先级，从而在多租户环境下更高效地分配和利用CPU资源。该特性依赖OS的CAP_SYS_NICE能力，需要开启该能力才可以生效。本章节仅适用于MRS 3.2.0-LTS及之后版本。所有的ClickHouseServer节点都需要执行该命令。详细操作请参考访问集群Mana
- [ClickHouse多租户介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24790.md): 本章节仅适用于MRS 3.2.0-LTS及之后版本。ClickHouse多租户特性通过“用户 > 租户角色 > 资源profiles管理”的模型，使用户拥有对集群资源的管理能力，目前支持内存和CPU优先级管理。多租户设计模型如下图所示：通过FusionInsight Manager服务配置和租户管理页面的操作，用户可以实现设置服务内存限额
- [创建ClickHouse租户](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24791.md): 在多租户大数据集群环境中，不同业务团队共享同一ClickHouse集群资源时，需要通过租户机制实现资源的隔离与分配。ClickHouse租户可以将集群的计算资源（CPU、内存）和存储资源（HDFS配额）按业务需求划分给不同租户，避免某个业务的高负载查询影响其他业务的正常运行。集群管理员通过FusionInsight Manager页面可以
- [为什么CDL任务执行后Hudi中没有接收到数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24793.md): 抓取数据到Hudi中的CDL任务运行后，Kafka中有相关数据，Spark的RDD处理中无记录，Hudi中没有相关数据，并且Yarn日志报错：TopicAuthorizationException: No authorized to access topics当前用户没有消费Kafka数据的权限。
- [CDL任务运行一段时间后发生“104”或“143”报错](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24794.md): CDL任务运行一段时间后，Yarn任务失败，并返回状态码“104”或“143”。下图为返回状态码“143”：抓取到Hudi中的一批数据量过大，导致任务内存不足。
- [启动从PgSQL中抓取数据到Hudi任务报错](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24795.md): 启动从PgSQL中抓取数据到Hudi任务报错：Record key is emptyHudi表主键参数“table.primarykey.mapping”未配置。
- [停止CDL任务时报“403”错误](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24796.md): 在CDLService WebUI界面停止CDL任务时报错：parameter exception with code: 403当前用户没有停止该任务的权限。使用创建该任务的用户停止该任务，创建该任务的用户可登录CDLService WebUI界面，在作业管理列表的“创建者”列查看。
- [配置HetuEngine智能物化视图能力](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24798.md): 基于智能物化视图，HetuEngine可以提供智能预计算与缓存加速能力。HetuEngine QAS角色能够自动提取历史SQL语句进行分析学习，基于收益最大化原则自动生成高价值物化视图的候选SQL。在实际运用中，HetuEngine管理员可选择通过配置“维护实例”等，开启物化视图的自动创建与自动刷新功能。业务用户可以通过配置客户端Sess
- [SHOW_HOODIE_PROPERTIES](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24799.md): 查看指定Hudi表的hoodie.properties文件中的配置。call show_hoodie_properties(table => '[table_name]');可在客户端中查看查询结果。
- [SAVE_POINT](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24800.md): 管理Hudi表的savepoint。Hudi提供Savepoint机制，在指定commit处创建保存点，该commit及之前的文件不会被Clean清理。当需要恢复数据时，可通过回滚Savepoint将表恢复到该commit状态。创建savepoint：call create_savepoint('[table_name]', '[comm
- [CLEAN](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24801.md): 本章节仅适用于MRS 3.2.0-LTS及之后版本。用于根据配置对Timeline上的Instant进行clean，删除老旧的历史版本文件，以减少Hudi表的数据存储及读写压力。RUN CLEAN ON tableIdentifier;RUN CLEAN ON tablelocation;以下示例中，h1为待操作的Hudi表名，需替换为实
- [CLUSTERING](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24802.md): 本章节仅适用于MRS 3.2.0-LTS及之后版本。对Hudi表进行clustering操作，具体作用可以参考Hudi Clustering操作说明章节。执行clustering：call run_clustering(table=>'[table]', path=>'[path]', predicate=>'[predicate]', 
- [ROLL_BACK](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24803.md): ROLL_BACK用于回滚指定的commit，将指定的commit及其之后的所有commit回滚，使表数据恢复到目标commit之前的状态。call rollback_to_instant(table => '[table_name]', instant_time => '[instant]');只能依次回滚最新的commit时间戳。可在
- [配置Spark Executor退出时执行自定义代码](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24805.md): 在Spark中，Executor是负责在集群的工作节点上执行具体任务的进程。当Executor关闭时，通常要进行一系列的清理操作，例如释放内存、关闭文件句柄、断开网络连接等。这些清理操作可能会因为各种原因而耗时较长。为了避免清理操作无限期阻塞，可以设置一个最大超时时间。当清理操作超过这个时间时，系统会采取相应的措施，强制终止清理进程，确保
- [HetuEngine计算实例启动失败报错Python不存在](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24807.md): 启动HetuEngine计算实例失败，查看coordinator Container下的“stderr.txt”日志文件，报错如下：HetuEngine计算实例的启动依赖Python文件，需确保各节点“/usr/bin/”路径下存在Python文件。登录集群Manager具体操作，请参考访问MRS集群Manager。
- [读取Hudi数据概述](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24809.md): Hudi的读操作能够作用于其提供的三种视图之上，这三种视图分别是实时视图、增量视图和读优化视图。用户可以根据不同的需求选择合适的视图进行查询。实时视图：实时视图提供了最新的数据状态，适用于需要快速访问最新数据的场景。它通过合并基础文件和增量日志文件来提供最新的数据记录，确保用户能够获取到最新的数据更新。增量视图：增量视图用于捕获自上次查询
- [配置源数据心跳表实现数据判齐功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24811.md): 心跳和数据判齐功能用于统计CDL同步任务的全链路信息， 包括从数据库管理系统RDBMS到Kafka的数据耗时、从Kafka消费数据写入到Hudi的数据耗时和数据条数等一系列信息，并将其写入到特定的Topic（cdl_snapshot_topic）中，用户可自行消费Topic中的数据并写入到某个特定Hudi表作数据判齐使用。心跳判齐数据不仅
- [清理Loader作业残留历史数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24813.md): 本章节适用于MRS 3.2.0及之后版本。在业务不断运行中，Loader会积累大量的历史数据，这些历史数据可能会对作业提交、作业运行、作业状态获取等产生影响，严重时可能导致页面访问卡顿，作业运行失败等，所以需要根据具体Loader业务数据量，合理配置历史数据清理机制。
- [配置TimelineServer支持HA](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24814.md): TimelineServer作为Yarn服务的一个角色，负责存储和管理Yarn应用的历史信息，MRS 3.2.0-LTS.1及之后版本支持TimelineServerHA模式。TimelineServer单节点部署时，一旦发生故障将导致Yarn历史信息服务不可用。开启HA模式后，通过多实例部署消除单点故障，保障服务持续可用。在大型生产集群
- [如何迁移Hive或HDFS的数据到ClickHouse](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24831.md): 如何迁移Hive/HDFS的数据到ClickHouse。可以将Hive中的数据导出为CSV文件，再将CSV文件导入到ClickHouse。从Hive中导出数据为CSV：hive -e "select * from db_hive.student limit 1000"| tr "\t" "," > /data/bigdata/hive/s
- [如何迁移OBS的数据到ClickHouse](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24832.md): 如何迁移OBS/S3的数据到MRS ClickHouse。查询S3中的数据：select * from s3(path[,access_key_id, secret_access_key] [,format] [,structure])path：带有文件路径的Bucket URL地址。format：文件的格式。access_key_id,
- [使用辅助ZooKeeper或者副本数据同步表数据时报错如何处理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24837.md): 使用辅助ZooKeeper或者副本数据同步表数据时，日志报错如下：复制表副本版本不一致存在兼容性问题，表结构中有TTL语句，ClickHouse 20.9之后版本新加了TTL_DELETE，之前的版本不识别，高版本复制表副本被选作leader时会出现该问题。可修改高版本ClickHouse配置文件“config.xml”文件做规避，需尽可
- [配置HetuEngine SQL诊断功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24838.md): HetuEngine QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务，提升在线SQL运维能力，自动加速在线SQL分析任务，开启SQL诊断能力后，系统可实现如下能力：自动感知并向集群管理员展现不同时间周期范围内的租户级、用户级的SQL任务统计，帮助集群管理员快速预判业务运行状态和潜在风险。自动诊断出大SQL、慢S
- [配置ClickHouse对接OBS源文件](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24843.md): 在大数据分析场景中，OBS作为海量数据的存储底座，ClickHouse需要直接读取OBS上的数据文件进行分析处理，避免数据搬迁带来的时间成本和存储冗余。当您需要在ClickHouse中查询存储在OBS上的数据文件，或将ClickHouse查询结果写入OBS时，可通过S3协议实现ClickHouse与OBS的对接。ClickHouse通过兼
- [如何为ClickHouse用户赋予数据库级别的Select权限](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24846.md): 如何为ClickHouse用户赋予数据库级别的Select权限。su - ommsource{客户端安装目录}/bigdata_envkinit组件用户（普通集群无需执行kinit命令）clickhouse client  --hostclickhouse实例节点IP--port 9000 -m --user clickhouse –pa
- [ClickHouse数据表分区过多调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24849.md): 磁盘或其他存储介质问题导致merge过慢或者中止。登录Manager页面，检查是否存在磁盘容量不足或其他磁盘告警，如果存在，请按照告警指导处理。如果是磁盘容量不足，也可以联系客户删除部分过期数据，释放空间，快速恢复业务。登录Manager页面，检查是否存在磁盘容量不足或其他磁盘告警，如果存在，请按照告警指导处理。如果是磁盘容量不足，也可以
- [ClickHouse加速Merge调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24853.md): 加速后台任务，需要优先调整ZooKeeper服务配置，否则ZooKeeper会因为znode等资源不足，导致ClickHouse服务异常，后台任务异常。调整Zookeeper配置：登录FusionInsight Manager界面，选择“集群 > Zookeeper > 配置 > 全部配置 > quorumpeer > 系统”，修改参数“
- [ClickHouse加速TTL操作调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24855.md): ClickHouse触发TTL的时候，对CPU和内存会存在较大消耗和占用。登录FusionInsight Manager界面，选择“集群 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 自定义 > clickhouse-config-customize”，添加如下配置，保存配置，重启服务。当集群
- [Flink作业RocksDB状态后端调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24867.md): 本章节适用于MRS 3.3.0及以后版本。当启用RocksDB作为作业的状态后端时，大量的状态数据会导致RocksDB的读写性能差。可通过如下方法排查算子性能是否受RocksDB影响：在TaskManager页面的ThreadDump查看算子是否长时间执行在RocksDB的操作接口上，多次刷新后出现如下所示即长时间执行在RocksDB的操
- [使用代理用户提交Spark作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24868.md): 提交Spark任务时，用户可以使用当前实际运行用户提交任务，也可以使用代理用户提交任务。本章节介绍如何开启代理用户提交任务。本章节仅适用MRS 3.3.0-LTS及之后版本。创建用户，登录Manager页面，选择“系统 > 权限 > 用户”，单击“添加用户”，创建用户test（实际运行用户）和test1（被代理用户）用户，用户组选择had
- [CLEANARCHIVE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24869.md): 本章节内容仅适用于MRS 3.2.1-LTS至MRS 3.3.1-LTS版本。用于对Hudi表的归档文件进行清理，以减少Hudi表的数据存储及读写压力。set hoodie.archive.file.cleaner.policy = KEEP_ARCHIVED_FILES_BY_SIZE;set hoodie.archive.file.c
- [HetuEngine计算实例启动后状态为故障](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24870.md): 启动HetuEngine计算实例后，大约过了30秒，计算实例直接进入故障状态。HetuEngine启动计算实例时，会给Yarn发送命令启动对应的application，若30秒内没有接收到Yarn的响应消息，则因超时结束此次请求。如果由于机器性能或网络环境问题，无法在30秒内接收到Yarn启动application的响应消息时，可适当延长
- [使用Loader从HDFS导出数据到ClickHouse](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24874.md): 本章节适用于MRS 3.3.0及以后版本。该任务指导用户使用Loader将文件从HDFS导出到ClickHouse。在FusionInsight Manager创建一个角色，添加ClickHouse逻辑集群的管理权限以及Loader作业分组权限。创建Loader作业的业务用户，关联该角色和并添加用户组yarnviewgroup。Click
- [从零开始使用JobGateway](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24884.md): JobGateway是模拟大数据（Mapreduce、Spark、Flink、Hive等）客户端用于大数据业务提交功能的网关，是一个具备HTTPS的REST系统服务，支持提交Mapreduce、Spark、Flink、Hive等类型的大数据作业， 同时具有管理作业的能力，用户可以查询、终止已提交的作业。它具备高性能、易使用、高可用、高扩展
- [JobGateway日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24885.md): 日志路径：JobGateway相关日志的存储路径为：“/var/log/Bigdata/job-gateway/”。日志归档规则：JobGateway的运行日志启动了自动压缩归档功能，当日志大小超过20MB的时候（此日志文件大小可进行配置），会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd>.[编号].log
- [配置Hudi历史数据清理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24888.md): 随着时间的推移，Hudi表中的数据越来越多，表中的老数据价值逐渐变弱，并且还会占用大量的存储空间。为了有效管理存储资源并节约成本，Hudi需要支持对这些老数据的删除操作。本章节仅适用于MRS 3.3.0-LTS及之后版本。使用delete/drop partition命令可以用来清理历史数据。delete语句用于删除表中的特定记录。在Hu
- [JobGateway常见参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24891.md): 请参考修改集群服务配置参数进入JobGateway服务配置页面。
- [为什么在Ranger中删除用户权限后，该用户仍能够操作自己创建的任务](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248921.md): 在启用Ranger鉴权场景下，取消用户所有权限后，该用户仍能够操作自己创建的任务。例如：在Ranger WebUI界面取消用户admintest的所有权限：使用admintest用户登录CDL WebUI界面后，该用户可以在“作业管理界面”操作自己创建的任务：用户未删除Ranger策略上的“{OWNER}”权限。
- [配置ClickHouse副本间数据强一致](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248923.md): ClickHouse支持多副本能力，进行本地表写入的时候，当前节点的数据会立即更新成功，但其他副本之间的数据同步是异步的。本章节主要介绍如何配置ClickHouse保证副本间数据强一致。本章节仅适用于MRS 3.3.0-LTS及之后版本。配置ClickHouse副本间数据强一致优先级别：单条语句设置 > 会话级别设置 > 全局默认设置。副
- [配置ClickHouse支持事务能力](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248928.md): 原子性是指事务是一个不可分割的工作单元，一个事务可以包含多个操作，这些操作要么全部执行，要么全都不执行。但是由于事务在执行过程中，可能出现一些意外，例如用户回滚了事务、连接断开、断电等，导致事务被中断执行。ClickHouse支持原子性写入能力，支持事务能力。实现事务的原子性，在事务的某个操作失败后，支持回滚到事务执行之前的状态。本章节主
- [查看HBase慢请求和超大请求信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248929.md): 该章节主要介绍如何在HBase Shell命令行查询慢请求或超大请求信息。慢请求是指通过hbase shell命令查询服务端时，RPC请求响应时长超过阈值（即HBase服务端配置参数“hbase.ipc.warn.response.time”，默认值为“3000”ms）的请求；超大请求是指通过hbase shell命令查询服务端时，RPC
- [配置Hive表级联授权功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248930.md): 传统授权模式下，Hive表的权限与底层存储源（HDFS/OBS）的权限是相互独立的，用户若需访问某张Hive 表，不仅要获取该表的访问权限，还需单独申请表对应的存储源路径权限，二次授权流程繁琐且易遗漏，极大增加了运维成本；同时，当Hive表的存储源路径发生变更时，需手动重新配置存储源权限，否则会导致授权失效，影响业务连续性。Ranger的
- [Cleaning](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248931.md): 本章节仅适用于MRS 3.3.0-LTS及之后版本。对Hudi表进行cleaning操作，具体作用可以参考Hudi Cleaning操作说明章节。call run_clean(table=>'[table]', clean_policy=>'[clean_policy]', retain_commits=>'[retain_commits
- [Compaction](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248932.md): 本章节仅适用于MRS 3.3.0-LTS及之后版本。对Hudi表进行compaction操作，具体作用可以参考Hudi Compaction操作说明章节。call run_compaction(op => '[op]', table=>'[table]', path=>'[path]', timestamp=>'[timestamp]')
- [SHOW_COMMIT_FILES](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248933.md): 本章节仅适用于MRS 3.3.0-LTS及之后版本。Hudi提供SHOW_COMMIT_FILES命令，查看指定Instant（即某次写入操作在Timeline上的记录）对应的文件更新和插入详情。以便了解某次Commit操作具体更新或插入了哪些文件，排查数据问题或确认写入结果。call show_commit_files(table=>'
- [SHOW_FS_PATH_DETAIL](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248934.md): 本章节仅适用于MRS 3.3.0-LTS及之后版本。查看指定的FS路径的统计数据。call show_fs_path_detail(path=>'[path]', is_sub=>'[is_sub]', sort=>'[sort]');可在客户端中查看查询结果。
- [SHOW_LOG_FILE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248935.md): 本章节仅适用于MRS 3.3.0-LTS及之后版本。查看log文件的meta和record信息。查看meta：call show_logfile_metadata(table => '[table]', log_file_path_pattern => '[log_file_path_pattern]', limit => '[limit
- [SHOW_INVALID_PARQUET](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248936.md): 本章节仅适用于MRS 3.3.0-LTS及之后版本。查看执行路径下损坏的parquet文件。call show_invalid_parquet(path => 'path')可在客户端中查看查询结果。
- [查看FlinkServer作业健康状况](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248937.md): 当集群运行大量Flink作业时，为方便用户对每个作业进行健康状态评估，FlinkServer WebUI提供Flink作业健康度管理功能，用户可直接在页面查看当前作业的健康情况，并可一键导出所有作业的健康度信息。作业状态分如下情况：健康：作业运行正常，作业状态健康。亚健康：出现“ALM-45637 Flink作业task持续背压”告警，根
- [添加OBS文件的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248939.md): 在MRS存算分离架构中，OBS（对象存储服务）作为数据湖存储组件，承载着HDFS、Hive等多个组件的数据。默认情况下，OBS通过IAM策略进行粗粒度的权限控制，无法满足不同用户对同一OBS目录的差异化访问需求——例如需要限制特定用户只能读取某些OBS目录、禁止写入敏感数据目录等。Ranger管理员可以通过Ranger为OBS用户配置OB
- [使用Spark SQL删除MOR表后重新建表写入数据无法同步ro、rt表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248941.md): 使用Spark SQL删除MOR表后重新建表写入数据不能实时同步ro、rt表，报错如下：原因：Hudi表为减少访问Hive Metastore的频率，增加了缓存机制，默认缓存1小时，所以使用Spark SQL删除MOR表后重新建表写入数据无法同步ro、rt表。解决方案：执行SQL时设置参数：hoodie.datasource.hive_s
- [配置Hudi数据列默认值](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248942.md): 配置Hudi数据列默认值允许用户在给表新增列时，设置列的默认值。在查询历史数据时，新增列将返回默认值，从而确保数据的一致性和完整性。通过配置Hudi数据列的默认值，可以在多种场景下确保数据的一致性和完整性。这不仅简化了数据处理和查询逻辑，还提高了数据的质量和业务的稳定性。在实际应用中，根据具体需求选择合适的默认值，可以更好地满足业务需求。
- [Flink SQL语法增强](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248949.md): FlinkSQL是开发实时流处理作业的主要方式，但标准FlinkSQL在数据分区控制、迟到数据处理和Source并发调节方面存在一些限制：数据分区控制：默认的Forward分区策略可能导致下游算子的数据倾斜和背压。迟到数据处理：在窗口计算中，EventTime落后于Watermark的迟到数据默认被丢弃，无法单独处理。Source并发调节
- [FlinkSQL OVER窗口支持超期退窗](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248951.md): FlinkSQL OVER窗口新增数据超期退窗功能，当已有数据过期且没有新数据到来时，OVER聚合结果刷新并向下游算子发送最新的计算结果，可通过over.window.interval配置该功能，配置如下：本章节仅适用于MRS 3.5.0及之后版本。配置Flink作业时，可通过在FlinkServer Web UI的作业开发界面添加自定义
- [调整Hive元数据超时](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248953.md): 大分区表包含过多分区，导致任务超时，同时大量分区可能需要更多时间来加载与元存储缓存同步。因此，为了在更大规模存储中获得更好的性能，建议相应地调整加载元数据缓存最大超时时间和加载元数据连接池最大等待时间。登录集群Manager具体操作，请参考访问MRS集群Manager。HetuEngine权限说明请参考HetuEngine用户权限说明。创
- [Guardian日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248955.md): 日志路径：Guardian相关日志的存储路径为：“/var/log/Bigdata/guardian/token-server”。日志归档规则：Guardian的运行日志启动了自动压缩归档功能，当日志大小超过50MB的时候（此日志文件大小可进行配置），会自动压缩，压缩后的日志文件名规则为：“token-server.log.[编号]”。最
- [SQLServer全数据类型导入HDFS数据跳过](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248959.md): SQLServer全数据类型导入HDFS，数据全部跳过。数据中包含SQLServer中特有的Timestamp类型，该数据类型与时间和日期无关，需要替换为Datetime类型。
- [开启Kafka高可靠功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248960.md): 如果需执行表1中的CDL数据同步任务时，需开启Kafka高可靠性功能，防止当Kafka发生故障或者Kafka重启时传输的数据丢失。MRS集群已安装CDL组件，并且正常运行。CDL数据同步任务使用到Kafka组件。
- [使用CDL同步drs-oracle-json数据到Hudi（ThirdKafka）](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248961.md): 本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从ThirdKafka导入Oracle数据库数据到Hudi。该章节内容适用于MRS 3.3.0及之后版本。集群已安装CDL、Hudi服务且运行正常。ThirdKafka数据库的Topic需要能被MRS集群消费，操作步骤请参考ThirdPartyKafka
- [使用CDL同步drs-oracle-avro数据到Hudi（ThirdKafka）](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248962.md): 本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从ThirdKafka导入drs-avro-oracle数据库数据到Hudi。该章节内容适用于MRS 3.3.0及之后版本。集群已安装CDL、Hudi服务且运行正常。ThirdKafka数据库的Topic需要能被MRS集群消费，操作步骤请参考ThirdP
- [ALTER TABLE修改表数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248971.md): 建议慎用delete、update的mutation操作标准SQL的更新、删除操作是同步的，即客户端要等服务端返回执行结果（通常是int值）；而ClickHouse的update、delete是通过异步方式实现的，当执行update语句时，服务端立即返回执行成功还是失败结果，但是实际上此时数据还没有修改完成，而是在后台排队等着进行真正的修
- [配置Structured Streaming使用RocksDB做状态存储](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_248981.md): 状态信息存储在默认的HDFS BackedStateStore，随着状态数据的增多，垃圾回收器需要处理更多的对象，从而增加了垃圾回收的时间和开销，导致JVM GC占用大量时间。可以通过配置参数spark.sql.streaming.stateStore.providerClass，选择RocksDB作为状态后端。RocksDB是一个嵌入式
- [清除ClickHouse默认用户密码](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249002.md): 本章节指导用户在创建ClickHouse集群（普通模式）后，清除ClickHouse的默认用户“default”和“clickhouse”的密码。“default”和“clickhouse”用户为普通模式（未开启kerberos认证）集群下ClickHouse默认内部管理员用户。本章节仅适用于MRS 3.3.0-LTS及之后版本。su -
- [多流Join场景支持配置表级别的TTL时间](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249151.md): 在Flink双流Join场景下，如果Join的左表和右表其中一个表数据变化快，需要较短时间的过期时间，而另一个表数据变化较慢，需要较长时间的过期时间。目前Flink只有表级别的TTL（Time To Live：生存时间），为了保证Join的准确性，需要将表级别的TTL设置为较长时间的过期时间，此时状态后端中保存了大量的已经过期的数据，给状
- [添加MySQL数据源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249154.md): HetuEngine支持配置MySQL数据源实现对MySQL数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加MySQL类型的JDBC数据源。数据源与HetuEngine集群节点网络互通。集群已启用Kerberos认证（安全模式）创建HetuEngine管理员用户，集群未启用Kerberos认证（普通模式）创建Het
- [MySQL链路任务启动时如何从指定位置抓取数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249155.md): MySQL链路任务启动时，可以从指定位置抓取数据，本章节主要介绍如何获取指定位置参数。SHOW MASTER STATUS例如在Navicat工具选择“File > New Query”新建查询，输入SHOW MASTER STATUS，执行结果如下：如果2查询到的“Executed_Gtid_Set”存在两个值且以逗号分隔，则记录第一个
- [从ogg同步数据到Hudi时，ogg Source配置的Task值与任务实际运行的Task数量不一致](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249156.md): 执行从ogg同步数据到Hudi的CDL任务时，源端（ThirdKafka）中指定的“tasks.max”值与任务实际运行的Task数量不一致。例如，在CDL WebUI界面查看源端作业ThirdKafka配置的“tasks.max”值为“3”：但查看任务实际运行的Task只有“id: 0, state: xxx”，即Task数量为1：当o
- [Flink作业大小表Join能力增强](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249157.md): 本章节适用于MRS 3.3.0及以后版本。Flink作业双流Join时存在大小表数据，通过内核broadcast策略确保小表数据发送到Join的task中，通过rebalance策略将大表数据打散到Join中，提高Flink SQL易用性，增强作业稳定性。在使用Flink SQL时，该特性通过hints方法指定Join的左表或右表为广播表
- [配置HetuEngine使用代理用户鉴权](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249160.md): HetuEngine支持使用Manager用户认证时通过客户自有用户（代理用户）使用Ranger鉴权的能力，即在使用HetuEngine客户端时，通过--session-user来指定代理用户。创建认证用户或代理用户请参考创建HetuEngine权限角色。启用Ranger鉴权并为代理用户配置操作数据源的数据库、表、列的管理权限，具体操作请
- [配置ClickHouse通过用户密码对接Kafka](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249162.md): 本章节主要介绍ClickHouse通过用户名和密码的方式连接Kafka，消费Kafka的数据。本章节仅适用于MRS 3.3.0-LTS及之后版本。已创建Kafka集群，且为安全模式（开启Kerberos认证）。已安装集群客户端。如果ClickHouse与Kafka不在同一个集群需要建立跨集群互信，具体请参考配置跨Manager集群互信。以
- [DELETE轻量化删除表数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249164.md): 本章节主要介绍轻量化DELETE删除表数据的SQL基本语法和使用说明。本章节仅适用于MRS 3.3.0及之后版本。DELETE FROM[db.]table[ON CLUSTER cluster]WHEREexpr建表：CREATE TABLE default.test_lightweight_delete
(
`id`    Int32
- [Upsert数据写入](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249165.md): 本章节主要介绍ClickHouse数据写入时数据去重写入功能的SQL基本语法和使用说明。本章节仅适用于MRS 3.3.0及之后版本。方法一：使用INSERT VALUES方式进行数据写入。UPSERT INTO [database_name.]table [(c1, c2, c3)] VALUES(v11, v12, v13), (v21
- [提升HBase非业务高峰期的Compaction执行速度](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249168.md): HBase支持设置非业务高峰期和非高峰期的Compaction吞吐量，通过在非高峰期设置较大的吞吐量，加快Compaction的执行速度，减小高峰期Compaction对业务的影响。该操作仅MRS 3.3.0及之后版本支持。登录FusionInsight Manager，选择“集群 > 服务 > HBase > 配置”，在搜索框中搜索表1
- [配置ClickHouse通过Kerberos认证对接Kafka](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249172.md): 本章节介绍ClickHouse通过Kerberos认证的方式连接Kafka，消费Kafka的数据。本章节仅适用于MRS 3.3.0-LTS及之后版本。已创建Kafka集群，且为安全模式（开启Kerberos认证）。已安装集群客户端。如果ClickHouse与Kafka不在同一个集群需要建立跨集群互信，具体请参考配置跨Manager集群互信
- [收集ClickHouse系统表转储日志](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249173.md): 在日常使用ClickHouse时，如果出现一些异常故障，需要紧急重启恢复业务，在紧急重启之前，需要及时转储ClickHouse各系统表状态信息，用于问题定位，提升ClickHouse问题定位的效率。当ClickHouse出现查询超时、节点异常、数据同步失败等故障且需要紧急重启恢复时，重启操作会清除内存中的运行状态数据。因此在重启前必须先转
- [批量导入本地数据文件至ClickHouse集群](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249174.md): 当本地存在较多数据文件需要导入ClickHouse时，用户可以使用多线程导入工具批量导入ClickHouse。多线程导入工具通过并行处理多个任务，显著提高数据导入的速度和效率。提高处理速度：多线程可以充分利用多核CPU的计算能力，同时处理多个数据文件，从而显著减少数据导入的总时间。资源高效利用：通过并行处理，可以更高效地利用系统资源，提高
- [配置Spark Native引擎](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249175.md): Spark Native引擎是通过使用向量化的C++加速库，实现对Spark算子性能加速的一种技术方案。传统的SparkSQL是基于行式数据，通过JVM的codegen来实现查询加速的，由于JVM对生成的java代码存在各种约束，比如方法长度，参数个数等，以及行式数据对内存带宽的利用率不足，因此存在性能提升空间。使用成熟的向量化的c++加
- [配置HBase冷热数据分离存储](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249177.md): 在海量大数据场景下，HBase表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，如果降低这部分数据的存储成本将会极大地节省企业的成本。HBase支持冷热分离功能，将数据分类存储在不同介质上，即冷数据存储在OBS，热数据存储在HDFS中，能有效降低存储成本。OBS读IOP
- [HBase冷热分离相关命令介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249179.md): 此章节主要介绍HBase冷热分离相关命令的使用，包括Shell命令和Java API命令。Shell命令在HBase客户端执行，需提前安装HBase客户端，详情请参见安装MRS客户端。Shell创建冷热分离表。create 'hot_cold_table', {NAME=>'f', COLD_BOUNDARY=>'86400'}相关参数说
- [通过Hue执行HetuEngine SQL](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249180.md): 用户需要使用图形化界面在集群中执行HetuEngine语句时，可以通过Hue完成任务。本章节适用于MRS 3.3.0及之后版本。需要MRS集群已安装HetuEngine组件并添加HSFabric实例。HSFabric实例的新增，删除，迁移和端口的修改，都需要重启Hue服务。已在集群中创建HetuEngine管理员“人机”用户，如hetu_
- [配置FlinkServer作业中添加第三方依赖jar](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249181.md): Flink支持通过第三方依赖包来运行自定义Flink作业。可以在Flink WebUI界面中上传并管理依赖jar包，然后在运行作业时调用对应依赖。依赖管理暂不支持“语义”校验功能，依赖jar包名称需以字母、数字或下划线开头，且不超过32个字符。支持如下两种第三方依赖：自定义connector依赖：用户自定义connector jar包，上
- [配置Flink作业状态后端冷热数据分离存储](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249183.md): 本章节适用于MRS 3.3.0及以后版本。在宽表关联计算场景中，每张表字段较多，Flink作业的状态数据量随字段数量和窗口时长线性增长。当状态数据量超过RocksDB内存缓存容量时，数据被频繁写入磁盘，导致状态后端数据量较大，严重影响状态后端性能。Flink提供了状态后端冷热分级存储功能，将频繁访问的热数据存储在RocksDB本地磁盘上，
- [快速使用Doris](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249185.md): 在企业数据分析场景中，业务系统积累了海量的结构化数据，需要对这些数据进行快速查询和分析以支持业务决策。传统的关系型数据库在面对大规模数据分析时，查询性能往往无法满足实时性要求，而大数据方案又过于复杂，部署和维护成本高。如何在保证查询性能的同时，降低数据分析的复杂度？Doris正是为解决这一问题而设计的高性能实时分析数据库。Doris基于M
- [创建Doris权限角色](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249186.md): Doris权限管理系统实现了行级别细粒度的权限控制，和基于角色的权限访问控制。仅MRS 3.3.0及之后版本开启Kerberos认证的集群支持通过FusionInsight Manager创建角色进行赋权，如果集群为MRS 3.3.0之前的版本，无论是否开启Kerberos认证，都需要通过root用户（默认密码为空）来连接数据库。MRS 
- [Doris数据模型概述](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249187.md): 在Doris中，数据以表（Table）的形式进行逻辑上的描述。 一张表包括行（Row）和列（Column），Row即用户的一行数据，Column用于描述一行数据中不同的字段。Column可以分为Key和Value两大类，从业务角度看，Key和Value可以分别对应维度列和指标列。Doris的数据模型主要分为以下三类：AggregateUn
- [使用Broker Load方式导入数据至Doris](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249190.md): Broker Load是一个异步的导入方式，支持的数据源取决于Broker进程支持的数据源。Doris表中的数据是有序的，Broker Load在导入数据时要利用Doris集群资源对数据进行排序，对Doris的集群资源占用比较大。用户需要通过MySQL协议创建Broker Load导入，并通过查看导入命令检查导入结果。适用以下场景：源数据
- [使用Stream Load方式导入数据至Doris](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249191.md): Stream Load是一个同步的导入方式，用户通过HTTP协议发送请求将本地文件或数据流导入到Doris中。Stream Load同步执行导入并返回导入结果，用户可直接通过请求的返回体判断本次导入是否成功。Stream Load主要适用于导入本地文件，或通过程序导入数据流中的数据，支持导入CSV、Parquet、ORC格式的数据，默认支
- [Doris用户权限说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249192.md): Doris目前支持的权限如表1所示。根据权限适用范围的不同，将库表的权限分为以下四个层级：CATALOG LEVEL：数据目录（Catalog）级权限。被授予的权限适用于指定Catalog中的任意库表。DATABASE LEVEL：数据库级权限。被授予的权限适用于指定数据库中的任意表。TABLE LEVEL：表级权限。被授予的权限适用于指
- [导出Doris数据至HDFS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249193.md): 数据导出（Export）功能可以将用户指定的表或分区的数据，以文本的格式通过Broker进程导出到远端存储上，如HDFS/对象存储（支持S3协议） 等。Export是一个异步执行的命令，命令执行成功后立即返回结果，可以通过SHOW EXPORT;命令查看该Export任务的详细信息。不建议一次性导出大量数据。一个Export作业建议的导出
- [导出Doris查询结果集](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249194.md): 本章节主要介绍如何使用SELECT INTO OUTFILE命令，将Doris查询结果集使用指定的文件格式导出到指定的存储系统中。导出命令不会检查文件及文件路径是否存在、是否会自动创建路径、或是否会覆盖已存在文件，由远端存储系统的语义决定。如果在导出过程中出现错误，可能会有导出文件残留在远端存储系统上，Doris不会清理这些文件，需要手动
- [CREATE DATABASE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249196.md): 在Doris数据管理场景中，数据库（Database）是数据组织和管理的顶层容器，用于对表、视图等数据库对象进行逻辑分组和权限管理。在实际业务中，不同部门、项目或业务线的数据需要进行隔离管理，通过创建独立的数据库可以实现数据隔离和权限控制。CREATE DATABASE语句用于在Doris集群中创建新的数据库，是数据管理的基础操作。本文介
- [CREATE TABLE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249197.md): 本章节主要介绍Doris创建表的SQL基本语法和使用说明。CREATE TABLE [IF NOT EXISTS][database.]table(column_definition_list,[index_definition_list])[engine_type][keys_type][table_comment][partition
- [INSERT INTO](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249198.md): 本章节主要介绍Doris插入表数据的SQL基本语法和使用说明。INSERT INTO table_name[ PARTITION (p1, ...) ][ WITH LABEL label][ (column [, ...]) ][ [ hint [, ...] ] ]{ VALUES ( { expression | DEFAULT }
- [ALTER TABLE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249199.md): 修改表结构时，针对聚合模型和非聚合模型的修改方式不同；针对Key列和Value列的修改方式也不同。其中：建表时指定AGGREGATE KEY时，为聚合模型；其他场景为非聚合模型。建表语句中的关键字'unique key'或'aggregate key'或'duplicate key'后面的列就是Key列，剩下的就是Value列。聚合列不支
- [DROP TABLE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249200.md): 本章节主要介绍Doris删除表的SQL基本语法和使用说明。DROP TABLE [IF EXISTS] [db_name.]table_name[FORCE];删除表my_table：DROP TABLE IF EXISTS example_db.my_table;
- [手动备份Doris数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249202.md): 在企业数据管理中，数据备份是保障数据安全的重要手段。Doris集群在运行过程中可能面临硬件故障、人为误操作、软件缺陷等风险，导致数据丢失或损坏。通过定期备份Doris数据，可以在发生故障时快速恢复数据，保障业务连续性。Doris支持将数据以文件形式备份到远端存储系统（如HDFS），实现数据快照备份和迁移。本文介绍如何手动备份Doris数据
- [手动恢复Doris数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249203.md): Doris支持将当前数据以文件的形式，通过Broker备份到远端存储系统中。再通过恢复命令，从远端存储系统中将数据恢复到任意Doris集群中。可实现将Doris数据定期进行快照备份及数据迁移操作。Doris数据恢复操作需指定一个远端仓库中已存在的备份数据，再将备份数据恢复到本地集群中。当提交Restore请求后，系统内部会做如下操作：在本
- [Doris多源数据能力概述](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249205.md): 多源数据目录旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。多源数据目录功能在原有的元数据层级上，新增一层Catalog，构成Catalog -> Database -> Table的三层元数据层级。其中，Catalog可以直接对应到外部数据目录。Internal CatalogDoris原有的Databa
- [配置Doris对接Hive数据源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249206.md): 通过连接Hive Metastore，或者兼容Hive Metastore的元数据服务，Doris可以自动获取Hive的库表信息，并进行数据查询。除Hive外，很多其他系统也会使用Hive Metastore存储元数据。通过Hive Catalog，不仅能访问Hive，也能访问使用Hive Metastore作为元数据存储的系统，例如Ic
- [配置Spark读写Doris数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249208.md): Spark Doris Connector可以支持通过Spark读取Doris中存储的数据，也支持通过Spark写入数据到Doris中。支持从Doris中读取数据支持Spark DataFrame批量/流式写入Doris。可以将Doris表映射为DataFrame或者RDD，推荐使用DataFrame。支持在Doris端完成数据过滤，减少
- [配置Flink读写Doris数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249209.md): Flink Doris Connector支持通过Flink操作（读取、插入、修改、删除）Doris中存储的数据。只能对Unique Key模型的表进行修改和删除操作。该章节仅适用于MRS 3.5.0及之后版本。已创建包含Doris服务的集群，集群内各服务运行正常。待连接Doris数据库的节点与MRS集群网络互通。创建具有Doris管理权
- [Doris日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249216.md): 在MRS集群运维和问题排查中，管理员和开发人员需要查看组件日志来定位故障原因、监控系统运行状态和审计用户操作行为。Doris作为MRS集群中的高性能实时分析数据库，提供完整的日志体系覆盖安装启停、运行状态、GC信息、审计操作等多个维度。了解Doris的日志存储路径、归档规则、日志级别和日志格式，有助于快速获取关键信息进行故障定位和安全审计
- [HBase全局二级索引介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249218.md): 使用HBase二级索引可以加速带Filter的条件查询，支持HIndex（本地索引，即Local Secondary Index，简称为LSI）和全局二级索引（Global Secondary Index，简称为GSI）。全局二级索引相较于本地索引（HIndex），查询性能更好，适合读时延要求高的场景。HBase全局二级索引，使用独立的索
- [创建HBase全局二级索引](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249221.md): 在HBase数据查询场景中，当数据表存在大量数据时，基于非RowKey列的查询需要全表扫描，查询效率低下。如何在已有数据表上快速创建索引以加速条件查询？HBase全局二级索引功能允许用户在指定列上创建索引，将全表扫描转换为索引表的精确范围查询，大幅提升查询性能。本文介绍如何创建和删除HBase全局二级索引。全局二级索引（Global Se
- [查询HBase全局二级索引信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249222.md): 用户可以使用全局二级索引工具批量查看某个数据表相关索引的定义及状态。在HBase客户端执行以下命令可查看索引的定义及状态：hbase org.apache.hadoop.hbase.hindex.global.mapreduce.GlobalTableIndexer -Dtablename.to.show='数据表名称'查询结果如图1所示
- [修改HBase全局二级索引状态](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249224.md): 索引状态反映了索引当前的使用情况，全局二级索引支持以下五种状态：ACTIVE：索引正常，可以正常读写。UNUSABLE：索引被禁用，索引数据会正常写入，查询时无法使用这个索引。INACTIVE：索引异常，索引数据与数据表不一致，跳过生成该索引的索引数据，查询数据时无法使用该索引。BUILDING：索引数据正常批量生成，索引数据生成工具执行
- [批量构建HBase全局二级索引数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249225.md): 在用户的表中预先存在大量数据的情况下，可基于MapReduce任务，批量构建已有数据的索引数据。只有处于INACTIVE状态的索引才能进行批量构建，如需重建索引数据，请先修改索引状态。数据表中存在大量数据时，构建耗时较长，建议将nohup命令放在后台执行，避免操作被意外中断。在HBase客户端执行以下命令可批量构建已有数据的索引数据：hb
- [检查HBase全局二级索引数据一致性](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249226.md): 可使用全局二级索引工具检查用户数据和索引数据的一致性，如果索引数据与用户数据不一致，该工具可用于重新构建索引数据。在HBase客户端执行以下命令可检查数据一致性，如果不一致，将重新构建索引数据。一致性检查结果会保存到“{数据表所在的NameSpace}:GSI_INCONSISTENCY_TABLE”表中。hbase org.apache
- [HBase全局二级索引API介绍说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249227.md): 使用全局索引的API都在类“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中，相关接口介绍如下：
- [基于全局二级索引查询HBase表数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249228.md): 在具有索引的用户表中，可以使用SingleColumnValueFilter来查询数据。当查询条件可以命中索引时，查询速度远快于原表查询。索引的命中规则如下：多个AND条件查询当用于查询的列至少包含索引的一个列时，使用索引会提高查询性能。例如，为C1、C2和C3创建组合索引。该索引在以下情况下生效：Filter_Condition（Ind
- [使用Share Lib工具检查Oozie依赖Jar包正确性](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249237.md): Oozie任务运行需要依赖Share Lib中的原生Jar包，Share Lib由Oozie内核启动时自动上传到HDFS的“/user/oozie”目录下，当HDFS上的Share Lib损坏、缺失或Jar包冲突可能导致Oozie任务运行失败。当用户提交的Oozie作业运行失败时，可以通过该工具对Share Lib进行检查。该操作仅适用于
- [配置ClickHouse对接普通模式Kafka](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249239.md): 本章节主要介绍ClickHouse连接普通模式的Kafka，消费Kafka的数据。本章节仅适用于MRS 3.3.0-LTS及之后版本。已创建Kafka集群，且为普通模式（关闭Kerberos认证）。已创建ClickHouse集群，并且ClickHouse集群和Kafka集群网络可以互通，并安装ClickHouse客户端。以Kafka客户端
- [使用CDL从Opengauss同步数据到Hudi](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249240.md): 本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从Opengauss导入数据到Hudi。该章节内容适用于MRS 3.3.0及之后版本支持。集群已安装CDL、Hudi服务且运行正常。Opengauss数据库需要开启预写日志功能，操作步骤请参考Opengauss数据库开启预写日志功能。在FusionIns
- [CDL同步任务名对应的Topic分区过多](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249241.md): CDL任务启动后，在Kafka WebUI的“Topic List”列表中查看到该CDL任务的名称的“Partitions Num”值过大。CDL任务配置了Topic Table Mapping，未配置WhiteList参数，该任务所配置的Schema的CDL任务未同步的表过多，导致CDL任务名称创建时分区过多。
- [HBase过载调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249242.md): 当HBase业务突然出现峰值，短时间内大量请求发送到一个RegionServer/HMaster时，超过其可接受的范围，就会造成过载。过载会导致应用侧读写性能下降，HBase服务侧频繁GC，严重时会导致服务实例重启等。当前HBase具有防过载能力，可以实现拒绝超大请求、保护内部请求、记录不合理请求等功能，减少过载场景下对HBase服务的影
- [执行CDL同步数据到Hudi任务报错当前用户无权限创建表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249243.md): 执行CDL同步数据到Hudi任务后，在Manager界面，选择“集群 > 服务 > Yarn”，单击“ResourceManager Web UI”后的超链接进入Yarn WebUI界面，在任务列表中单击该任务ID，单击“Logs”，报错当前用户无权限创建表，具体报错如下：CDL业务运行用户无权限在其他用户创建的数据库中创建表。
- [Loader作业导入大量数据至HDFS时报错](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249244.md): 大量数据写入HDFS时偶现“NotReplicatedYet Exception: Not replicated yet”错误。以下原因可能造成该报错：HDFS客户端向NameNode发送新Block申请，由于NameNode来不及处理导致超时。DataNode增量上报太慢，NameNode无法及时分配新的Block。出现该报错作业不会立
- [Hudi Payload操作说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249245.md): Payload是Hudi实现数据增量更新和删除的关键，它可以帮助Hudi在数据湖中高效地管理数据变更。Hudi Payload的格式是基于Apache Avro的，它使用了Avro的schema来定义数据的结构和类型。Payload可以被序列化和反序列化，以便在Hudi中进行数据的读取和写入。总之，Hudi Payload是Hudi的一个
- [sftp-connector连接器相关作业运行失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249247.md): 使用sftp-connector连接器相关作业运行失败，出现如下类似报错：“获取Sftp通道失败。xxx(原因是: failed to send channel request)”。SFTP服务出现如下报错：“subsystem request failed on channel 0. Connection closed”。SFTP服务报
- [CDL作业数据DDL变更说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249249.md): DDL变更操作包括创建数据库/表、变更表字段类型、变更表字段名称、表列增/删等数据表结构变化操作。当前CDL仅支持从PgSQL同步数据到Hudi的DDL变更，所有DDL变更操作顺序为：停止CDL任务。Hudi侧执行DDL变更。源端库进行DDL变更。本章节适用于MRS 3.3.0及之后版本，提供了新增字段、修改字段类型、修改字段名称、删除字
- [Spark客户端设置回收站version不生效](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249261.md): Spark客户端设置fs.obs.hdfs.trash.version=1不生效，drop table后文件在回收站的存放路径不改变。通常，默认情况：当fs.obs.hdfs.trash.version=2时，回收站路径为：/user/.Trash/${userName}/Current当fs.obs.hdfs.trash.version
- [配置Spark小文件自动合并](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249263.md): 小文件自动合并特性开启后，Spark将数据先写入临时目录，再去检测每个分区的平均文件大小是否小于16MB（默认值）。如果发现平均文件大小小于16MB，则认为分区下有小文件，Spark会启动一个Job合并这些小文件，并将合并后的大文件写入到最终的表目录下。写入表的类型为：Hive、Datasource写入表为Hive表时，需要给defaul
- [Spark yarn-client模式下如何修改日志级别为INFO](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249265.md): Spark yarn-client模式下如何修改日志级别为INFO？登录Spark客户端节点，修改“{客户端安装目录}Spark/spark/conf/log4j2.properties”配置文件，修改参数“rootLogger.level”值为“INFO”，如下所示：重新启动spark-sql客户端。
- [FlinkSQL Client提交作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249266.md): 本章节提供一个使用FlinkSQL Client提交作业的操作入门指导。本章节仅适用于MRS 3.3.0-LTS及之后版本。MRS集群中已安装Flink组件且集群内各组件正常运行。已安装集群客户端，例如安装目录为“/opt/hadoopclient”。参考Flink客户端使用实践启动yarn-session，并记录yarn-session
- [访问Doris WebUI页面](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249267.md): 在MRS集群运维中，管理员需要直观查看Doris组件的运行状态、集群概览信息以及执行SQL查询，以验证Doris服务的健康情况和验证业务查询逻辑。Doris提供WebUI界面，管理员可以在WebUI中查看FE节点状态、集群容量、表信息，并执行查询SQL语句验证业务逻辑。本文介绍如何访问Doris WebUI页面查看组件状态。用户已具有Ma
- [使用MySQL客户端连接Doris](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249271.md): Doris支持MySQL协议，所以大部分支持MySQL协议的客户端都可以访问Doris，包括命令行或者IDE，例如MariaDB、DBeaver、Navicat for MySQL等。本操作以安装MySQL 8.0.22客户端连接Doris为例进行演示。待安装MySQL客户端的节点与MRS集群网络互通。rpm -qa | grep ncu
- [修改ClickHouse默认用户密码（MRS 3.3.0-LTS及之后版本）](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249272.md): ClickHouse集群创建成功后，默认用户"default"和"clickhouse"使用系统预设的默认密码。在生产环境中，使用默认密码存在严重安全隐患，可能导致未授权访问和数据泄露。根据安全合规要求，集群交付后应尽快修改默认用户密码，确保数据访问安全。本章节指导用户创建ClickHouse集群（普通模式）后，设置ClickHouse的
- [Doris集群高可用方案概述](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249285.md): 支持MySQL协议的客户端通过FE与Doris集群建立连接，为了防止单点故障通常需要部署多个FE节点，并在多个FE上部署负载均衡来实现Doris的高可用。根据不同业务的使用场景，可以选择如下的方式配置Doris高可用功能：业务侧代码实现SDKELB负载均衡在业务应用层通过代码进行重试和负载均衡，当发现某个连接中断，就自动在其他FE上建立连
- [配置通过ELB访问Doris集群](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249286.md): Doris支持使用基于MySQL协议的客户端访问单个FE节点进行业务操作，当FE故障时，无法对外提供服务。因此，MRS服务提供了基于弹性负载均衡ELB的部署架构如图1所示。基于ELB的部署架构，可以将用户访问流量自动均匀分发到多台后端节点，扩展系统对外的服务能力，实现更高水平的应用容错。当其中一台Doris后端节点发生故障时，ELB通过故
- [访问Hue原生页面时间长，文件浏览器报错Read timed out](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249290.md): 访问Hue原生页面时页面加载时间较长，访问Hue的HDFS文件浏览器报错Read timed out，如何解决。检查HDFS服务中是否安装Httpfs实例。否，请联系运维人员处理。是，重启HttpFS实例解决。
- [Impala服务是否支持磁盘热插拔](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249291.md): MRS集群中Impala服务是否支持磁盘热插拔？Impala服务的数据一般是存储在HDFS或者OBS（对象存储服务）中，无需直接使用本地节点的磁盘。仅Impalad实例在业务查询执行过程中由于内存空间不足，才需要溢写到磁盘（由--scratch_dirs指定）。由于是非多副本存储的临时数据，不提供磁盘热插拔能力。
- [配置ClickHouse对接开源ClickHouse](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249294.md): 在普通模式（未开启Kerberos认证）下对接开源或其他厂商ClickHouse时候，需设置参数“CLICKHOUSE_OPENSOURCE_COMMUNITY”才能对接，安全模式（开启Kerberos认证）不支持对接开源或其他厂商ClickHouse。本章节仅适用于MRS 3.3.1-LTS.1及之后版本。详细操作请参考访问集群Mana
- [批量加载HBase全局二级索引数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493012.md): HBase本身支持使用ImportTsv和LoadIncremental工具批量加载用户数据，还支持使用GlobalIndexImportTsv和GlobalIndexBulkLoadHFilesTool加载用户数据的同时批量加载全局索引数据。GlobalIndexImportTsv继承了HBase批量加载数据工具ImportTsv的所有
- [FlinkSQL支持JTL（Join-To-Live）](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493013.md): 在Flink双流Join场景中，需要将数据存储在状态后端，目前普遍使用RocksDB作为状态后端，并依赖TTL（Time-To-Live，数据存活时间）机制来管理状态数据的生命周期。在TTL过大或无法确定TTL或数据流量增加的场景下，大流量会导致状态数据增加，增加存储压力，从而导致作业稳定性下降，或TTL过期可能出现数据关联不准确的问题。
- [配置HetuEngine对接MemArtsCC](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493015.md): 本章节介绍在存算分离场景下如何配置HetuEngine任务中集成MemArtsCC缓存，MemArtsCC会将热点数据存储在计算侧集群，可以起到降低OBS服务端带宽的作用，利用MemArtsCC的本地存储，访问热点数据不必跨网络，可以提升HetuEngine的数据读取效率。Guardian服务正常，且已开启存算分离，具体请参考配置Guar
- [配置Hive对接MemArtsCC](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493016.md): 本章节介绍在存算分离场景下如何配置Hive任务中集成MemArtsCC缓存，MemArtsCC会将热点数据存储在计算侧集群，可以起到降低OBS服务端带宽的作用，利用MemArtsCC的本地存储，访问热点数据不必跨网络，可以提升Hive的数据读取效率。x86和ARM混搭的集群不支持配置Hive对接MemArtsCC。Guardian服务正常
- [配置MemArtsCC常用参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249302.md): 请参考修改集群服务配置参数进入MemArtsCC服务配置页面。
- [JobGateway手动更新服务客户端](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493022.md): 本章节适用于MRS 3.3.1及之后版本。该操作指导用户在MRS集群添加多服务更新服务客户端失败时，手动更新客户端。Manager上已成功添加服务。仅适用于Spark 、Hive 、Flink服务。若JobServer部署节点IP为：192.168.0.192、192.168.0.168、192.168.0.23 ， 则最小IP为192.
- [调整Hudi数据源性能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493027.md): HetuEngine具备高速访问Hive、Hudi等数据源的能力。对于Hudi数据源调优，可以分为对Hudi表本身和对集群环境的调优。本章节仅适用于MRS 3.3.1-LTS及之后版本。可参考如下建议优化表和数据设计：建表时尽量按照频繁使用的过滤条件字段进行分区。如果大部分查询场景均带有主键或主键子集的等值查询，建议使用bucket索引建
- [配置Spark对接MemArtsCC](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249303.md): 本章节介绍在存算分离场景下如何配置Spark任务中集成MemArtsCC缓存，MemArtsCC会将热点数据存储在计算侧集群，可以起到降低OBS服务端带宽的作用，利用MemArtsCC的本地存储，访问热点数据不必跨网络，可以提升Spark的数据读取效率。Guardian服务正常，且已开启存算分离，具体请参考配置Guardian服务对接OB
- [配置HBase表级别过载控制](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493049.md): 在HBase集群运维中，当短时间内请求数量突增时，RegionServer的请求队列会迅速积压，导致过载问题。过载时所有表的请求时延都会增大，P99时延显著上升，对于时延敏感的核心业务影响严重。如何在过载场景下优先保障核心业务表的请求时延？HBase表级别过载保护功能通过为表设置优先级，在过载时自动丢弃低优先级表的请求，确保高优先级（核心
- [MemArtsCC日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249305.md): 日志路径：MemArtsCC相关日志的存储路径为：“/var/log/Bigdata/memartscc”。日志归档规则：MemArtsCC的运行日志启动了自动压缩归档功能，当日志大小超过50MB的时候（此日志文件大小可进行配置），会自动压缩，压缩文件保留个数和压缩文件阈值可以配置。MemArtsCC提供了如下表2所示的日志级别。日志的级
- [在Ranger管理界面查看不到创建的MRS用户](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493050.md): 在MRS Manager界面创建了一个账户，登录到Ranger管理界面后查看不到该用户。登录到Ranger管理界面的用户权限不够，需要切换至rangeradmin用户或者其他具有Ranger管理员权限的用户。在Ranger WebUI界面，单击右上角用户名，选择“Log Out”，退出当前用户。使用rangeradmin用户（默认密码为R
- [MRS用户无法同步至Ranger管理界面](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493051.md): 在MRS Manager界面创建了一个账户，在Ranger管理界面无法查看到该用户，重启UserSync后，可以查看到该用户。需要修改UserSync进程的GC内存默认为“-Xms1G -Xmx1G”，需要根据业务实际情况调整该参数值：登录到MRS Manager界面，选择“集群 > 服务 > Ranger > 配置 > 全部配置 > U
- [Hudi隐式分区简介](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493053.md): 隐式分区Hidden Partition是指在不显式添加新的分区列的情况下，通过对现有列进行转换或处理，生成分区列值。这种转换可以是日期格式的转换、字符串的截取等。隐式分区使得用户可以更灵活地管理数据的分区结构，而无需修改表的原始结构。灵活性：用户可以根据业务需求，灵活地选择和转换现有列来生成分区列值，而无需修改表结构。性能提升：合理的分
- [Spark创建带隐式分区的Hudi表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493054.md): 在Spark中创建Hudi表时，如果需要按照日期、时间等维度对数据进行分区管理，但又不希望在表中额外新增分区列，可以通过配置隐式分区来实现。在Spark中创建带有隐式分区的Hudi表，可以通过配置选项来实现，需要在options_list中增加以下参数。建表语句格式具体请参考CREATE TABLE。hoodie.hidden.parti
- [Flink创建带隐式分区的Hudi表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493055.md): 在Flink流式写入Hudi表时，如果需要按照日期、时间等维度对数据进行分区管理，但又不希望在表中额外新增分区列，可以通过配置隐式分区来实现。在Flink创建带隐式分区的Hudi表，建表语句格式可以参考FlinkServer作业对接Hudi表。Flink SQL的Hudi表with中设置如下hidden partition参数：以下示例创
- [Spark与Flink混写隐式分区的Hudi表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493056.md): 在实际业务中，可能需要使用Spark写入存量数据，同时使用Flink进行流式数据写入。对于开启了隐式分区的Hudi表，需要确保Spark和Flink两侧的配置保持一致，否则会导致分区数据错乱。混写场景Spark侧与Flink侧均必须使用bucket索引。混写场景Spark侧与Flink侧设置的hoodie.hidden.partition
- [Hudi TTL简介](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493058.md): TTL能力适用于MRS 3.5.0-LTS及之后的版本。TTL能力目前只支持分区级别的TTL。随着业务数据的持续积累，Hudi表中存在大量过期的历史分区数据，占用存储空间并增加查询开销。TTL（Time To Live）能力可以控制Hudi表中数据的生存周期，也称为数据老化。过配置TTL策略，Hudi可以自动识别并清理过期的分区数据，无需
- [初始化存量表的分区](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493059.md): 计算每个历史分区的最后修改时间，以“lastUpdateTime=最后修改时间”的格式将每个分区的最后修改时间写入每个分区下的“.hoodie_partition_metadata”文件中。TTL会依据“当前系统时间 - 分区最后修改时间”来判断每个分区是否老化。指定表名初始化TTL：指定路径初始化TTL：
- [开启/关闭TTL](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493060.md): 开启或者关闭Hudi表的TTL能力。指定表名开启TTL（每10个replacecommit触发一次TTL）：call ttl_configuration(table => "hudi_table", enabled => "true", strategy => "NUM_COMMITS", value => "10", resolveCo
- [管理TTL策略](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493061.md): 开启TTL后，使用此命令添加/更新/删除/清空TTL策略。添加TTL策略：call ttl_policy_save(table => "[table]", path => "[path]", spec => "[spec]", level => "[level]", value => "[value]", units => "[units
- [手动立即执行TTL](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493062.md): TTL会根据ttl_configuration命令的配置周期去执行，如果想TTL立即生效，可以手动触发TTL。手动触发TTL：
- [配置Spark SQL语法支持关联子查询不带聚合函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493064.md): 开源版本Spark SQL强制要求子查询关联中必须使用聚合函数，如果未使用聚合函数将报错“Error in query: Correlated scalar subqueries must be aggregated”。MRS支持配置Spark不带聚合函数的关联子查询SQL语法。本章节仅适用于MRS 3.3.1-LTS及之后版本。支持形如
- [配置Spark动态脱敏](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493065.md): 动态脱敏是一种安全特性，允许你根据用户的权限或角色对数据进行部分或全部屏蔽，从而保护敏感数据不被未经授权的用户访问。Spark动态脱敏开启后，配置脱敏列的数据可以参与计算，计算结果输出时不可见，在集群内脱敏策略会根据血缘关系自动传递，更大地发挥数据的价值同时，保障数据的隐私性。典型应用场景：金融行业：对客户身份证号、手机号、银行卡号等敏感
- [使用ClickHouse UDF安全沙箱](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493066.md): ClickHouse支持用户通过UDF的方式，实现自定义函数功能。此功能存在第三方恶意攻击和越权的风险，因此增加安全沙箱的功能，限制UDF的运行权限范围。ClickHouse支持Python、Java等多种语言实现UDF，本特性仅支持Java UDF安全沙箱。本章节适用于MRS 3.3.1及之后版本。准备UDF文件，例如“test.jar
- [配置FlinkServer UDF安全沙箱](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493069.md): 用户可以根据作业需要，通过Flink Web UI界面上传UDF、依赖等第三方Jar包，并在SQL作业校验、运行作业时调用相关依赖。为了确保上传的Jar是安全的，Flink默认开启了沙箱功能，可参考关闭FlinkServer安全沙箱配置参数“security.manager.enabled”的值关闭沙箱功能。本章节适用于MRS 3.3.1
- [FlinkSQL Kafka和upsert-kafka Connector支持限流读](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249307.md): 本章节适用于MRS 3.3.0及以后版本。使用FlinkSQL的Kafka、upsert-kafka Connector消费数据时，如果下游算子处理能力有限，而Kafka数据源的数据量较大，可能导致下游算子积压甚至作业崩溃，通过配置限流读参数实现限流。在创建的Source流表中添加“subtask.scan.records-per-sec
- [配置Spark作业失败时清理残留文件](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493071.md): 在Spark作业的运行过程中，当作业失败时，系统可能无法及时、完整地清理作业所产生的文件，从而造成文件残留。随着时间的推移，这些残留文件会不断累积，持续占用磁盘空间。一旦磁盘空间被大量占用，就极易触发磁盘空间告警，严重时甚至会影响到整个系统的正常运行。为了有效规避此类问题，有必要对这些残留文件进行定时清理。通过设置合理的定时清理任务，能够
- [Spark Distinct聚合优化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493077.md): 当SQL中存在多个count(distinct)聚合函数，且存在cube，rollup等导致数据膨胀的算子时，使用该特性可以有效减少数据的膨胀倍数，且减少shuffle落盘的数据，从而获得性能提升。开启后，count(distinct)算子的实现，将由原来的expand+多轮聚合，变成普通的count_distinct聚合函数。本章节仅适
- [开启CCSMap特性](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493078.md): CompactedConcurrentSkipListMap（简称CCSMap）特性优化了MemStore的数据结构，可以有效减少数据写入场景下的内存占用，降低GC频率，优化数据写入性能。如果实际业务场景中对数据写入性能要求较高时，建议开启此特性。本章节内容仅适用于MRS 3.3.1及之后版本。登录集群Manager具体操作，请参考访问M
- [开启Succinct Trie特性](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493079.md): Succinct Trie特性优化了HFile Block结构，开启后可以减少缓存空间的使用，降低缓存数据驱逐率，提升缓存命中率，适用于频繁读取数据的场景，优化了数据读取性能。本章节内容仅适用于MRS 3.3.1及之后版本。开启Succinct Trie后，HFile文件将不兼容开源版本，如果使用HFile进行数据迁移，且需要迁移到MRS
- [FlinkSQL Kafka Connector支持消费drs-json格式数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249308.md): 在数据复制服务（DRS）场景中，DRS将源端数据库的变更数据以drs-json格式（一种CDC消息格式）写入Kafka。用户需要使用FlinkSQL消费Kafka中的drs-json格式数据并进行实时处理，但FlinkSQL默认不支持直接解析drs-json格式。通过在Kafka Connector Source表中设置“format”为
- [配置ClickHouse冷热分离](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493081.md): ClickHouse基于开源ClickHouse的multi-volume storage特性，允许将ClickHouse表存储在包含多个设备的卷当中。通过在volume中定义不同类型的磁盘，根据数据的“冷”、“热”程度将数据存放在不同类型的磁盘上，即冷数据存储在OBS，热数据存储在ClickHouse中。实现了ClickHouse集群在
- [使用Kafka流控工具限制生产消费速度](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493086.md): 在Kafka集群实际运行中，不同业务场景（如突发流量高峰、资源隔离需求等）可能需要对消息生产和消费速度进行差异化控制。该任务指导用户根据业务需求，在客户端使用命令行工具kafka-configs.sh来管理Kafka集群的配置，按照不同的级别（topic级别、用户级别、客户端级别等）来限制Kafka消息生产和消费速度。该功能仅适用于MRS
- [Doris多租户介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493088.md): Doris多租户的特性是通过内核Workload Group资源软限制的方案实现的，通过“用户 > 租户角色 > Workload Group”模型对Workload进行分组管理，以保证内存和CPU资源的灵活调配和管控。目前支持CPU、内存、并发数和等待队列管理，模型设计如图1所示。该特性仅MRS 3.3.1及之后版本支持。仅集群已启用K
- [管理Doris租户](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493089.md): 集群管理员通过FusionInsight Manager页面可以创建Doris租户。在FusionInsight Manager页面，选择“租户资源”，在租户列表中选中需要查看的Doris租户，查看租户概述和资源配额。选择“资源”，单击“资源详情”后的，对租户资源进行修改。修改完成后，单击“确定”，返回“资源”页面，展示修改后的资源详情。
- [FlinkSQL写入JDBC数据支持ignoreDelete](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_249309.md): 在FlinkSQL作业中，双流Join或聚合操作会产生回撤消息（如DELETE和UPDATE_BEFORE），当这些消息写入JDBC目标表时，可能导致数据被误删或覆盖。FlinkSQL写入JDBC数据时支持通过记录过滤功能过滤掉DELETE和UPDATE_BEFORE状态的数据。本章节仅适用于MRS 3.3.0-LTS及之后版本。在创建的
- [RUN_TABLE_SERVICE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493100.md): 本章节仅适用于MRS 3.3.1-LTS及之后版本。对Hudi MOR表一键式执行Compaction/Clean/Archive，其中Compaction仅执行已存在的Schedule。命令格式call run_table_service(table => 'table', clean_hours_retained => 'clean_
- [Hudi支持Partial Update](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493101.md): Hudi支持部分更新（Partial Update），即可以在不重新写入整个记录的情况下，仅更新记录中的某些字段。用户可以使用同一主键下的最新数据逐一更新每行数据的不同列字段，直到整条数据完整。当前开源社区提供了PartialUpdateAvroPayload机制实现部分列更新，但该功能在多流更新，每条流更新不同列场景下会出现数据相互覆盖
- [初次启动JobGateway后提交作业失败，无法提交作业到Yarn上](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493107.md): 初次启动JobGateway提交作业失败，无法提交到Yarn上，无launcher-job ID生成。查看Yarn界面，无launcher-job队列：查看Manager界面接口返回，显示有launcher-job信息：查看所有的JobServer日志，均有“Create and modify launcher-job tenant fa
- [Doris多租户监控告警介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493112.md): Doris多租户基于内核Workload Group资源软限制方案实现，Workload Group只是限制组内任务在单个BE节点上的计算资源和内存资源的使用，所以租户没有整体资源池的概念，而是在执行查询任务时，动态的在各个BE节点上进行资源分配。因此，Doris多租户的监控和告警是节点粒度的，在服务和租户粒度上，会进行适当的聚合处理。租
- [ClickHouse故障排除](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493112_0.md): 本章节汇总了使用ClickHouse时遇到的常见故障及故障处理方法。ClickHouse组件异常：删除ClickHouse表或分区失败ClickHouse频繁连接失败提示密码错误ClickHouse中删除复制表后重建复制表失败ZooKeeper上数据错乱导致ClickHouse启动失败删除ClickHouse表或分区失败ClickHous
- [ClickHouse用户权限说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493115.md): ClickHouse用户权限管理实现了对集群中各个ClickHouse实例上用户、角色、权限的统一管理。通过Manager UI的权限管理模块进行创建用户、创建角色、绑定ClickHouse访问权限配置等操作，通过用户绑定角色的方式，实现用户权限控制。MRS 3.6.0-LTS及之后版本：给角色授予某张表的权限之后，删除表时默认不会清除已
- [消减Spark Insert Overwrite自读自写风险](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493121.md): 对于目的表，需要使用动态分区插入（使用历史分区更新），且目的表和数据源表都是同一张表。由于直接在源表上执行insert overwrite可能会导致数据丢失或数据不一致的风险，建议将作业拆解为2个子作业进行处理，从而保证每次作业重复执行结果都一致。作业1：新建临时表，将结果数据写入临时表。作业2：将临时表数据写入源表和删除临时表。假设存在
- [配置Doris对接Hudi数据源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493123.md): 在MRS集群元数据存储在Hive MetaStore的场景中，Doris 2.0.13（MRS 3.6.0及之后版本为2.1.7）版本支持通过Catalog的方式对接Hudi 0.15.0版本数据源，支持对接Hudi所有的数据字段类型。该操作仅适用于MRS 3.5.0及之后版本。Doris支持的Hudi表类型和对应的查询类型如下：MRS 
- [ClickHouse长时间并发满导致服务不可用如何处理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493124.md): ClickHouse并发满，新的请求无法执行，影响服务的可用性，报错信息如下：select count(*) from system.processes;确认获得值大于等于100。kill query where query_kind='Select' and elapsed > 60;select count(*) from syste
- [HBase如何关闭HDFS多路读功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493126.md): MRS 3.3.1及之后版本，HBase默认适配开启HDFS多路读功能（HDFS多路读相关介绍请参见配置HDFS多路读）以降低读取延迟及适应网络变化，相关参数如表1所示。由于HDFS多路读功能在磁盘IO负载高的情况下可能导致性能劣化，在此场景下，HBase侧需要参考操作步骤关闭HDFS多路读功能。
- [FlinkServer作业对接数据仓库服务(DWS)](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493127.md): 数据仓库服务(DWS)是在线数据分析处理数据库。本示例以安全模式FlinkServer、Kafka为例，以DWS作为sink表，以及创建表时使用的with参数和代码示例，指导如何在FlinkServer作业管理页面对接DWS。FlinkServer界面回显FlinkSQL时，SQL中的“password”字段将显示为空，在回显状态下需要将
- [配置HDFS多路读](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493128.md): 该章节仅适用于MRS 3.3.1及之后版本。在传统的HDFS中，当客户端请求读取数据时，它会与NameNode交互以确定数据块所在的DataNodes，并选择其中一个进行连接和数据传输。如果所选DataNode的响应速度较慢或者发生故障，客户端必须等待一段时间后才会尝试从其他副本中获取数据，将会导致读取延迟。开启多路读能够提高HDFS在高
- [Doris冷热分离介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493134.md): 在数据分析的实际应用场景中，冷热数据经常有不同的查询频次及响应速度要求。例如，在行为分析场景中，需支持近期流量数据的高频查询和高时效性，历史数据的访问频次很低，但需长时间备份以保证后续的审计和回溯工作，且查询需求也会随着时间推移锐减，如果将所有数据存储在本地，将造成大量的资源浪费。本章节操作仅MRS 3.6.0-LTS.1及之后版本支持。
- [配置Doris冷热分离](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493136.md): 该章节主要介绍如何配置和使用Doris冷热分离功能。Doris冷热分离功能开启后，转冷的数据不支持备份恢复功能。Doris集群与OBS网络互通，相关操作具体请参考初始化配置。创建OBS并行文件系统。企业项目需要与MRS集群保持一致，其他参数请根据需要填写。用户删除服务或者卸载集群后，可能导致2~4创建的并行文件系统下残留脏数据，请用户手动
- [FlinkServer作业对接JDBC](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493136_0.md): FlinkServer支持对接JDBC。本示例以安全模式FlinkServer、Kafka为例，介绍JDBC的MySQL作为Source表、Sink表以及维表的DDL定义，以及创建表时使用的WITH参数和代码示例，指导如何在FlinkServer作业管理页面对接JDBC。FlinkServer界面回显FlinkSQL时，SQL中的“pas
- [FlinkServer作业对接Doris表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493140.md): 本章节适用于MRS 3.3.1及之后的版本。本章节提供了如何使用FlinkServer将Kafka数据写入到Doris中，和Doris数据和Kafka数据的Lookup Join操作指导。集群中已安装Doris、HDFS、Yarn、Flink和Kafka等服务。待连接Doris数据库的节点与MRS集群网络互通。创建具有Doris管理权限的
- [从零开始使用Sqoop](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493183.md): Sqoop是一款开源的工具，主要用于在Hadoop与传统的数据库间进行数据的传递，可以将一个关系型数据库（例如MySQL、Oracle、PostgreSQL等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。创建MRS集群时已勾选Sqoop组件。已安装集群客户端，具体请参考安装客户端（3.x及之后版本）
- [Sqoop常用命令及参数介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493184.md): 更多Sqoop命令参数请参考Sqoop官方文档：https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html。
- [连接postgresql或者gaussdb时报错](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493186.md): 连接postgresql或者gaussdb时报错。场景一：（import场景）使用sqoop import命令抽取开源Postgre到MRS HDFS或Hive等。问题现象：使用sqoop命令查询postgre表可以，但是执行sqoop import命令倒数时报错：The authentication type 5 is not supp
- [使用hive-table方式同步数据报错](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493187.md): 使用hive-table方式同步数据报错。修改hive-site.xml，加入如下值。
- [导入到Hive表时报错](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493188.md): Sqoop导入数据到Hive表时打印如下报错日志：查看Yarn上该Application对应的appattempt的Logs，在syslog中有如下任务日志：Hive中日志框架和Hadoop中的日志框架存在依赖冲突导致。需删除当前使用的Sqoop客户端目录中，Hive目录下的log4j-*-api-*.jar。登录客户端节点，例如客户端目
- [Flink常见SQL语法说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493314.md): 根据WHERE子句中的条件对数据进行过滤，仅返回满足条件的数据行。语法：SELECTselect_listFROMtable_expression[ WHEREboolean_expression]SELECTselect_listFROMtable_expression[ WHEREboolean_expression]示例：SELEC
- [Flink故障排除](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493315.md): 本章节汇总了Flink使用的常见故障及故障处理办法。客户端使用类：Flink客户端执行命令报错“Error while parsing YAML configuration file : security.kerberos.login.keytab”Flink客户端执行命令报错“Error while parsing YAML confi
- [Doris故障排除](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300124.md): 本章节汇总了使用Doris时遇到的常见故障及故障处理方法。创建Doris表异常数据目录SSD和HDD的配置导致建表时偶现报错数据目录SSD和HDD的配置导致建表时偶现报错Doris数据导入或查询任务异常使用Stream Load时报RPC超时错误BE运行数据导入或查询任务报错Broker Load导入数据时报超时错误使用Broker Lo
- [HetuEngine数据类型说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300126.md): 目前建表时支持的数据类型有tinyint、smallint、bigint、int、boolean、real、decimal、double、varchar、string、binary、varbinary、timestamp、date、char、array、row、map、struct，其余的类型在数据查询和运算时支持。通常情况下，大部分非复
- [CREATE SCHEMA](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300128.md): CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name[COMMENT database_comment][LOCATION hdfs_path][WITH DBPROPERTIES (property_name=property_value,...)];CREATE (DATABAS
- [CREATE VIRTUAL SCHEMA](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300129.md): CREATEHetuEngine中的CREATE语句用来创建SCHEMA映射，通过映射信息对外开放本域数据源。语法如下：CREATE VIRTUAL SCHEMA [ IF NOT EXISTS ] [ ctlg_dest.]schema_name WITH ( [catalog = ctlg_name,] schema = schm_n
- [CREATE TABLE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300130.md): ①CREATE TABLE [ IF NOT EXISTS ][catalog_name.][db_name.]table_name ({ column_name data_type [ NOT NULL ][ COMMENT col_comment][ WITH ( property_name = expression [, ...] 
- [CREATE TABLE AS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300131.md): CREATE [EXTERNAL]① TABLE [IF NOT EXISTS] [catalog_name.][db_name.]table_name [ ( column_alias, ... ) ][[PARTITIONED BY①(col_name, ....)] [SORT BY① ([column [, column ...]
- [CREATE TABLE LIKE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300132.md): CREATE TABLE [ IF NOT EXISTS] table_name ( { column_name  data_type [ COMMENT comment] [ WITH  (property_name = expression [,…] ) ]  | LIKE existing_table_name [ {INCLUDI
- [CREATE VIEW](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300133.md): CREATE [ OR REPLACE ] VIEW view_name [(column_name [COMMENT 'column_comment'][, ...])]  [COMMENT 'view_comment'] [TBLPROPERTIES (property_name = property_value)] AS query
- [CREATE FUNCTION](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300134.md): CREATE FUNCTION qualified_function_name (parameter_name parameter_type[, ...])RETURNS return_type[ COMMENT function_description ][ LANGUAGE [ JAVA ] ][ SPECIFIC specificN
- [CREATE MATERIALIZED VIEW](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300135.md): CREATE MATERIALIZED VIEW  [ IF NOT EXISTS ]  view_name [ COMMENT string ] [ WITH properties ] AS query该语法是使用SELECT查询结果创建物化视图。物化视图是一个数据库对象，它包含了一个查询的结果，例如：它可以是远程数据的本地副本，单表查
- [ALTER MATERIALIZED VIEW STATUS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300136.md): ALTER MATERIALIZED VIEW qualifiedName SET STATUS <status>修改物化视图的状态，仅支持ENABLE和SUSPEND相互转换，以及将DISABLE状态修改为SUSPEND或ENABLE。物化视图所有状态包含如下：INIT: 物化视图第一次创建时的状态SUSPEND：暂停使用状态，暂停使用
- [ALTER MATERIALIZED VIEW](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300137.md): ALTER MATERIALIZED VIEW QUALIFIEDNAME SET PROPERTIES PROPERTY_NAME=PROPERTY_VALUE;修改物化视图的属性，相关属性可以参考CREATE MATERIALIZED VIEW。将“mv.default.mv1mv.mvtestprop.pepa_ss”的物化视图提交
- [ALTER TABLE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300138.md): name，new_name，column_name，new_column_name，table_name_*为用户自定义参数。重命名一个表。ALTER TABLEnameRENAME TOnew_nameALTER TABLEnameRENAME TOnew_name修改表的列名，为列添加注释（可选项）和属性（可选项），可参考描述查看支持
- [ALTER VIEW](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300139.md): ALTER VIEW view_name AS select_statement;ALTER VIEW view_name SET TBLPROPERTIES table_properties;“ALTER VIEW view_name AS select_statement;”用于改变已存在的视图的定义，语法效果与CREATE OR R
- [ALTER SCHEMA](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300140.md): ALTER (DATABASE|SCHEMA) schema_name SET LOCATION hdfs_locationALTER (DATABASE|SCHEMA) database_name SET OWNER USER usernameALTER (DATABASE|SCHEMA) database_name SET DBPRO
- [DROP SCHEMA](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300141.md): DROP (DATABASE|SCHEMA) [IF EXISTS] databasename [RESTRICT|CASCADE]DATABASE和SCHEMA在概念上是等价可互换的。该语法用于删除数据库databasename，如果目标数据库不存在，将抛出错误提示，但如果使用了IF EXISTS子句则不会抛出错误提示。可选参数REST
- [DROP TABLE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300142.md): DROP TABLE  [ IF EXISTS ] table_name删除存在的表。可选参数IF EXISTS指定时，如果删除的表不存在，则不会报错。被删除的数据行将被移动到HDFS的回收站。
- [DROP VIEW](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300143.md): DROP VIEW [ IF EXISTS ] view_name删除存在的视图，可选参数IF EXISTS指定时，如果删除的视图不存在，则不会报错。创建视图create view orders_by_date as select * from orders;删除视图orders_by_date，如果视图不存在则会报错DROP VIEW 
- [DROP FUNCTION](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300144.md): DROP FUNCTION [ IF EXISTS ] qualified_function_name删除与给定函数名称匹配的现有函数。如果不存在匹配的函数，可选的“IF EXISTS”子句会导致“NOT_FOUND”错误被抑制。删除函数“example.namespace01.date_diff”DROP FUNCTION exampl
- [DROP MATERIALIZED VIEW](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300145.md): DROP MATERIALIZED VIEW [IF EXISTS] view_name用于删除现有的物化视图。若删除的视图不存在，且指定了可选参数if exists，则不会抛出错误信息。删除物化视图将导致删除与指定视图关联的元数据和表数据。如果在删除物化视图之前部分数据被删除（元数据或表数据），则删除物化视图将失败。创建表。hetuen
- [REFRESH MATERIALIZED VIEW](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300146.md): REFRESH MATERIALIZED VIEW materialized_view_name用于更新物化视图的数据。需提前获取物化视图名称。如下为示例。
- [TRUNCATE TABLE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300147.md): TRUNCATE [TABLE] table_name [PARTITION partition_spec];partition_spec:: (partition_column = partition_col_value, partition_column = partition_col_value, ...)从表或分区中移除所有行。用
- [COMMENT](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300148.md): COMMENT ON TABLE name IS 'comments'设置表的注释信息，可以通过设置注释信息为NULL来删除注释。修改表users的注释为“master table”，表的注释语句可以通过show create table  tablename语句查看：
- [VALUES](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300149.md): VALUES row [, ...]where row is a single expression or( column_expression [, ...] )VALUES用于查询可以使用的任何地方（例如SELECT、INSERT的FROM子句）。VALUES用于创建了一个没有列名的匿名表，但是表和列可以使用具有列别名的AS子句命名。
- [SHOW语法使用概要](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300151.md): SHOW语法主要用来查看数据库对象的相关信息，其中LIKE子句用来对数据库对象过滤，匹配规则如下，具体示例可参考SHOW TABLES：规则1：_可以用来匹配单个任意字符。规则2：%可以用来匹配0个或者任意个任意字符。规则3：* 可以用来匹配0个或者任意个任意字符。规则4：|可以用来配置多种规则，规则之间用“|”分隔。规则5：当想将“_”
- [SHOW CATALOGS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300152.md): SHOW CATALOGS [ LIKE pattern [ESCAPE escapeChar] ]这个表达式用于列出可用的catalogs。可选参数like被用于基于关键字来进行匹配。列出所有catalogs：SHOW CATALOGS;列出所有名字前缀为sys的catalogs：SHOW CATALOGS LIKE 'sys%';
- [SHOW SCHEMAS（DATABASES）](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300153.md): SHOW SCHEMAS|DATABASES [ (FROM| IN) catalog ] [ LIKE pattern [ESCAPE escapeChar]]该语法中DATABASES和SCHEMAS在概念上是等价的，是可互换的，该语法用于例举所有metastore中定义的schemas。可选子句LIKE可以使用规则运算来过滤结果，它
- [SHOW TABLES](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300154.md): SHOW TABLES [ (FROM | IN) schema ] [ LIKE pattern [ESCAPE escapeChar] ]这个表达式用于列出指定schema下的所有表。如果没有指定schema，则默认使用当前所在的schema。可选参数like被用于基于关键字来进行匹配。
- [SHOW TBLPROPERTIES TABLE|VIEW](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300155.md): SHOW TBLPROPERTIES table_name|view_name[(property_name)]查看表的属性或关键字的属性。如果不指定属性的关键词，该语句将返回所有的表属性。否则返回给定关键词的属性值。如下为示例：查看show_table1的所有表属性SHOW TBLPROPERTIES                  
- [SHOW TABLE/PARTITION EXTENDED](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300156.md): SHOW TABLE EXTENDED [IN | FROM schema_name] LIKE 'identifier_with_wildcards' [PARTITION (partition_spec)]用于展示表或分区的详细信息。可以使用规则运算表达式来同时匹配多个表，但不可用于匹配分区。展示的信息将包括表的基本信息和相关的文件系
- [SHOW STATS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300157.md): SHOW STATS FOR table_name;SHOW STATS FOR (SELECT * FROM table [WHERE condition]);SHOW STATS首先会ANALYZE表，参考ANALYZE。在ANALYZE之前对目标表进行show stats会显示所有的值都是空值。返回表的近似统计信息。返回每一列的统计
- [SHOW FUNCTIONS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300158.md): SHOW FUNCTIONS [LIKE pattern [ESCAPE escapeChar]];SHOW EXTERNAL FUNCTIONS;SHOW EXTERNAL FUNCTION qualified_function_name;显示所有内置函数的定义信息。显示所有JAVA函数的描述信息。显示给定函数的定义信息。
- [SHOW SESSION](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300159.md): 语法SHOW SESSION;SHOW SESSION;描述用于列出所有session的配置参数。用于列出所有session的配置参数。示例show session;
- [SHOW PARTITIONS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300160.md): 语法SHOW PARTITIONS [catalog_name.][db_name.]table_name [PARTITION (partitionSpecs)];SHOW PARTITIONS [catalog_name.][db_name.]table_name [PARTITION (partitionSpecs)];描述用于列出
- [SHOW COLUMNS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300161.md): SHOW COLUMNS [FROM | IN] table这个表达式用于列出指定表的列信息。列出fruit表的列信息：
- [SHOW CREATE TABLE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300162.md): SHOW CREATE TABLE table_name显示指定数据表的SQL创建语句。显示能够创建orders表的SQL语句：
- [SHOW VIEWS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300163.md): SHOW VIEWS [IN/FROM database_name] [ LIKE pattern [ESCAPE escapeChar] ]列举指定Schema中所有满足条件的视图。默认使用当前Schema，也可以通过in/from子句来指定Schema。通过可选子句“LIKE”，筛选视图名满足规则运算表达式的视图，如果不使用这个子句，
- [SHOW CREATE VIEW](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300164.md): SHOW CREATE VIEW view_name显示指定数据视图的SQL创建语句。显示能够创建order_view视图的SQL语句：
- [SHOW MATERIALIZED VIEWS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300165.md): SHOW MATERIALIZED VIEWS [IN/FROM schema_name] [WITH TABLES LIKE pattern]列出catalogName为mv中的所有物化视图以及对应的数据表。如果希望只查看某个schema中的物化视图，可以使用子句[IN/FROM schema_name]通过可选子句“LIKE”，筛选视
- [SHOW CREATE MATERIALIZED VIEW](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300166.md): SHOW CREATE MATERIALIZED VIEW materialized_view_name显示用于创建物化视图的SQL语句。显示创建物化视图的SQL语句。
- [INSERT](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300168.md): INSERT { INTO | OVERWRITE } [TABLE] table_name  [(column_list)]  [ PARTITION (partition_clause)] {select_statement  | VALUES (value [, value ...]) [, (value [, value ...]
- [DELETE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300169.md): DELETE FROM table_name [ WHERE condition ]从表中删除数据行。当前版本，使用delete可以删除整个表的数据，或者分区表的指定分区。对于事务表（指定了属性transactional = true），如果指定了where条件，将删除条件匹配的数据行。非事务表场景：清空表数据--创建表并插入数据
 cr
- [UPDATE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300170.md): UPDATE tablename SET column = value [, column = value ...] [WHERE expression]根据条件更新表数据。仅支持orc格式的事务表，并且不能为external Table。不支持set(column_name1,column_name2,…)=(value1,value2
- [LOAD](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300171.md): LOAD DATA INPATH filepath [OVERWRITE] INTO TABLE tablename[PARTITION (partcol1=value1,partcol2=values2…)]LOAD DATA命令用于从文件或者文件夹加载数据到table。Filepath：需要填写文件或目录的绝对路径。OVERWRITE
- [START TRANSACTION](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300173.md): START TRANSACTION [ mode [, ...] ]其中mode用于设置事务的隔离级别，可选的参数有：ISOLATION LEVEL { READ UNCOMMITTED | READ COMMITTED | REPEATABLE READ | SERIALIZABLE }READ { ONLY | WRITE }在当前会
- [COMMIT](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300174.md): 语法COMMIT [ WORK ]COMMIT [ WORK ]描述用于提交当前的事务。用于提交当前的事务。示例COMMIT;
COMMIT WORK;
- [ROLLBACK](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300175.md): 语法ROLLBACK [ WORK ]ROLLBACK [ WORK ]描述用于回滚当前的事务。用于回滚当前的事务。示例ROLLBACK;
ROLLBACK WORK;
- [SELECT](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300177.md): [/*+ query_rewrite_hint*/][ WITH [ RECURSIVE ] with_query [, ...] ]SELECT [ ALL | DISTINCT ] select_expression [, ...][ FROM from_item [, ...] ][ WHERE condition ][ GROUP
- [WITH](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300178.md): WITH子句定义查询子句的命名关系，可以展平嵌套查询或简化子查询语句。例如下面的查询语句是等价的：多个子查询with 
t1 as(select name,max(price) as maxprice from fruit group by name),
t2 as(select name,avg(price) as avgprice f
- [GROUP BY](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300179.md): GROUP BY将SELECT语句的输出行划分成包含匹配值的分组。简单的GROUP BY可以包含由输入列组成的任何表达式，也可以是按位置选择输出列的序号。以下查询是等效的：GROUP BY可以按未出现在SELECT语句输出中的输入列名对输出进行分组。例如：可以指定多个列进行分组，结果列中不属于分组列的将被设置为NUll。具有复杂分组语法（
- [HAVING](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300180.md): HAVING与聚合函数和GROUP BY一起使用，来控制选择哪些组。HAVING能够在分组和聚合计算之后，过滤掉不满足给定条件的组。例如：
- [UNION | INTERSECT | EXCEPT](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300181.md): UNION、INTERSECT和EXCEPT都是集合操作。都用来将多个SELECT语句的结果集合并成单个结果集。UNION将第一个查询的结果集中的所有行与第二个查询的结果集中的行合并。query UNION [ALL | DISTINCT] queryALL和DISTINCT表示是否返回包含重复的行。ALL返回所有的行；DISTINCT返
- [ORDER BY](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300182.md): ORDER BY子句用于按一个或多个输出表达式对结果集排序。ORDER BY expression [ ASC | DESC ] [ NULLS { FIRST | LAST } ] [, ...]每个expression可以由输出列组成，也可以是按位置选择输出列的序号。ORDER BY子句在GROUP BY或HAVING子句之后，在OF
- [OFFSET](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300183.md): OFFSET的作用是丢弃结果集中的前若干行数据。OFFSET count [ ROW | ROWS ]如果有ORDER BY，则OFFSET将会作用于排序后的结果集，OFFSET丢弃前若干行数据后保留的数据集，仍然是排序的：否则，如果没有使用ORDER BY，被丢弃的行可能是任意的行。如果OFFSET指定的行数等于或超过了结果集的大小，则
- [LIMIT | FETCH FIRST](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300184.md): LIMIT和FETCH FIRST都可以限制结果集中的行数。LIMIT和OFFSET可以配合使用进行分页查询。LIMIT { count | ALL }下面的查询限制返回的行数为5：LIMIT ALL与省略LIMIT的作用一样。FETCH { FIRST | NEXT } [ count ] { ROW | ROWS } { ONLY |
- [TABLESAMPLE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300185.md): 有BERNOULLI和SYSTEM两种采样方法。这两种采样方法都不允许限制结果集返回的行数。每一行都将基于指定的采样率选择到采样表中。当使用Bernoulli方法对表进行采样时，将扫描表的所有物理块并跳过某些行（基于采样百分比和运行时计算的随机值之间的比较）。结果中包含一行的概率与任何其他行无关。这不会减少从磁盘读取采样表所需的时间。如果
- [UNNEST](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300186.md): UNNEST可以将ARRAY或MAP展开成relation。ARRAYS展开为单独一列，MAP展开为两列（key，value）。UNNEST还可以与多个参数一起使用，将被展开成多列，行数与最高基数参数相同（其他列用空填充）。UNNEST可以选择使用WITH ORDINALITY子句，在这种情况下，会在末尾添加一个额外的ORDINALITY
- [JOINS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300187.md): 允许合并多个relation的数据。HetuEngine支持JOIN类型为：CROSS JOIN、INNER JOIN、OUTER JOIN（LEFT JOIN、RIGHT JOIN、FULL JOIN）、SEMIN JOIN和ANTI JOIN。CROSS JOIN返回两个关系的笛卡尔积。可以使用CROSS JOIN语法指定，也可以在F
- [Subqueries](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300188.md): EXISTS谓词确定是否返回任意行：确定子查询生成的任意值是否等于给定的表达式。IN的结果遵循null的标准规则。子查询必须只生成一列：
- [SELECT VIEW CONTENT](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300189.md): 语法SELECT column_name FROM view_nameSELECT column_name FROM view_name描述用于查询视图内容。用于查询视图内容。示例SELECT * FROM test_view;
- [REWRITE HINT](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300190.md): 提示可以与SELECT语句一起提供，用于使用指定的物化视图重写查询，这将优化查询，并有助于更快地执行它们。必须在查询开始时给出提示。目前支持两种类型的提示，如下所示：NOREWRITE不会进行查询重写。格式为：/*+ NOREWRITE */不会进行查询重写。格式为：/*+ NOREWRITE */REWRITE(materialized
- [逻辑运算符](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300192.md): 逻辑运算符以下真值表反映了AND和OR如何处理NULL值：以下真值表反映了NOT如何处理NULL值：
- [比较函数和运算符](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300193.md): 比较操作范围比较：betweenbetween适用于值在一个特定的范围内，如：value BETWEEN min AND maxNot between适用于值不在某个特定范围内。null值不能出现在between操作中，如下两种执行结果都是Null：SELECT NULL BETWEEN 2 AND 4; -- null
SELECT 2
- [条件表达式](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300194.md): 标准的SQL CASE表达式有两种模式。“简单模式”从左向右查找表达式的每个value，直到找出相等的expression：CASE expressionWHEN value THEN result[ WHEN ... ][ ELSE result ]END返回匹配value的result。如果没有匹配到任何值，则返回ELSE子句的res
- [Lambda表达式](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300195.md): Lambda表达式可以用->来表示：大部分SQL表达式都可以在Lambda函数体内使用，除了以下场景：不支持子查询x -> 2 + (SELECT 3)不支持聚合函数x -> max(y)通过transform()函数获取数组元素的平方：SELECT numbers, transform(numbers, n -> n * n) as s
- [转换函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300196.md): HetuEngine会将数字和字符值隐式转换成正确的类型。HetuEngine不会把字符和数字类型相互转换。例如，一个查询期望得到一个varchar类型的值，HetuEngine不会自动将bigint类型的值转换为varchar类型。如果有必要，可以将值显式转换为指定类型。cast(value AS type) → type显式转换一个值
- [数学函数和运算符](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300197.md): abs(x) → [same as input]返回x的绝对值SELECT abs(-17.4);-- 17.4返回x的绝对值bin(bigint x) -> string返回x的二进制格式select bin(5); --101返回x的二进制格式bround(double x) -> double银行家舍入法：1~4：舍6~9：进5的前
- [Bitwise函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300198.md): bit_count(x, bits) → bigint计算2的补码表示法中x中设置的位数（视为有符号位的整数）。SELECT bit_count(9, 64); -- 2
SELECT bit_count(9, 8); -- 2
SELECT bit_count(-7, 64); -- 62
SELECT bit_count(-7, 8)
- [十进制函数和操作符](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300199.md): 可以使用DECIMAL 'xxxxxxx.yyyyyyy' 语法来定义DECIMAL类型的字面量。DECIMAL类型的字面量精度将等于字面量（包括尾随零和前导零）的位数。范围将等于小数部分（包括尾随零）的位数。支持标准数学运算符。下表说明了结果的精度和范围计算规则。假设x的类型为DECIMAL(xp, xs)，y的类型为DECIMAL(y
- [字符串函数和运算符](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300200.md): ||表示字符连接这些函数假定输入字符串包含有效的UTF-8编码的Unicode代码点。不会显式检查UTF-8数据是否有效，对于无效的UTF-8数据，函数可能会返回错误的结果。可以使用from_utf8来更正无效的UTF-8数据。此外，这些函数对Unicode代码点进行运算，而不是对用户可见的字符（或字形群集）进行运算。某些语言将多个代码点
- [正则表达式函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300201.md): 所有的正则表达式函数都使用Java样式的语法。但以下情况除外：使用多行模式（通过（？m）标志启用）时，只有\ n被识别为行终止符。 此外，不支持（？d）标志，因此不能使用。大小写区分模式（通过（？i）标志启用）时，总是以unicode的模式去实现。同时，不支持上下文敏感匹配和局部敏感匹配。此外，不支持（？u）标志。不支持Surrogate
- [二进制函数和运算符](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300202.md): || 运算符执行连接。length(binary) → bigint返回binary的字节长度。select length(x'00141f');-- 3返回binary的字节长度。concat(binary1, ..., binaryN) → varbinary将binary1，binary2，binaryN串联起来。这个函数返回与SQ
- [Json函数和运算符](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300203.md): Cast to JSONSELECT CAST(9223372036854775807 AS JSON); -- JSON '9223372036854775807'Cast from JSONSELECT CAST(JSON '[1,23,456]' AS ARRAY(INTEGER)); -- [1, 23, 456]NULL到JSO
- [日期、时间函数及运算符](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300204.md): 运算符：AT TIME ZONE，用于设置一个时间戳的时区。current_date -> date返回当前日期(utc时区)select current_date; -- 2020-07-25返回当前日期(utc时区)current_time -> time with time zone返回当前时间(utc时区)select curre
- [聚合函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300205.md): 聚合函数对一组值进行运算，最终获得一个单值。除count()、count_if()、max_by()、min_by()和approx_distinct()外，其他聚合函数都忽略空值，并在没有输入行或所有值都为空时返回空值。例如sum()返回null而不是零，并且avg()在统计时不会包含null值。coalesce函数可用于将null转换
- [窗口函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300206.md): 窗口函数跨查询结果的行执行计算。它们在HAVING子句之后但在ORDER BY子句之前运行。调用窗口函数需要使用OVER子句来指定窗口的特殊语法。窗口具有三个组成部分：分区规范，它将输入行分为不同的分区。这类似于GROUP BY子句如何将行分为聚合函数的不同组。排序规范，它确定窗口函数将处理输入行的顺序。窗口框架，指定给定行该功能要处理的
- [数组函数和运算符](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300207.md): 描述：下标操作符用于访问数组中的元素，并从1开始建立索引。|| 操作符用于将相同类型的数组或数值串联起来。下标运算符: []下标运算符 [] 用于获取数组中对应位置的值。Concatenation Operator: ||The || operator is used to concatenate an array with an arr
- [Map函数和运算符](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300208.md): 描述：[]运算符用于从映射中检索与给定键对应的值。cardinality(x)描述：返回map x的基数大小。select cardinality(map(array['num1','num2'],array[11,12]));-- 2描述：返回map x的基数大小。element_at(map(K, V), key)描述：返回map中k
- [URL函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300209.md): 描述：提取函数用于从HTTP URL（或任何符合RFC 2396标准的URL）中提取内容。提取的内容不会包含URI的语法分隔符，比如“：”或“？”。url_extract_fragment(url) → varchar描述：返回url的片段标识符，即#后面的字符串。select url_extract_fragment('http://w
- [Geospatial函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300210.md): 以ST_前缀开头的HetuEngine Geospatial功能支持SQL、MM规范，并符合Open Geospatial Consortium（OGC）的OpenGIS规范。因此，许多HetuEngine Geospatial功能要求或更准确地说是假设要操作的几何图形既简单又有效。例如，计算在多边形外部定义了孔的多边形的面积，或者从非简
- [HyperLogLog函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300211.md): HetuEngine使用HyperLogLog数据结构实现rox_distinct()函数。HyperLogLog（hll）是一种统计基数的算法。它实际上不会存储每个元素出现的次数，它使用的是概率算法，通过存储元素的32位hash值的第一个1的位置，来计算元素数量。通常分为稀疏存储结构和密集存储结构两种。hll创建时是稀疏存储结构，当需要
- [UUID函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300212.md): 语法uuid()uuid()描述使用该函数产生一个伪随机的唯一通用标识符。使用该函数产生一个伪随机的唯一通用标识符。示例select uuid();
- [Color函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300213.md): bar(x, width)描述：使用默认的低频红色和高频绿色渲染ANSI条形图中的单个条形。例如，如果将25％的x和40的宽度传递给此函数。将绘制一个10个字符的红色条形，后跟30个空格，以创建一个40个字符的条形。描述：使用默认的低频红色和高频绿色渲染ANSI条形图中的单个条形。例如，如果将25％的x和40的宽度传递给此函数。将绘制一个
- [Session信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300214.md): current_user描述：返回当前用户。current_user()参考current_user。current_catalog描述：返回当前的catalog名字。current_schema描述：返回当前的schema名字。
- [Teradata函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300215.md): 以下函数提供Teradata SQL的能力。char2hexint(string)描述：返回字符串的UTF-16BE编码的十六进制表示形式。描述：返回字符串的UTF-16BE编码的十六进制表示形式。index(string, substring)描述：同strpos() 函数。描述：同strpos() 函数。本节中的函数使用与Terada
- [Data masking函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300216.md): 数据脱敏(Data masking) 指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。mask_first_n(string str[, int n]) →varchar描述：返回str的屏蔽版本，前n个值被屏蔽。大写字母被转为“X”，小写字母被转为“x”，数字被转为“n”。select mask_first_n(
- [IP Address函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300217.md): contains(network, address) → boolean当CIDR网络中包含address时返回true。示例：返回true：SELECT contains('10.0.0.0/8', IPADDRESS '10.255.255.255'); 

SELECT contains('2001:0db8:0:0:0:ff00:
- [Quantile digest函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300218.md): Quantile digest（分位数摘要）是存储近似百分位信息的数据草图。HetuEngine中用qdigest表示这种数据结构。merge(qdigest) → qdigest描述：将所有输入的qdigest数据合并成一个qdigest。描述：将所有输入的qdigest数据合并成一个qdigest。value_at_quantile(
- [T-Digest函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300219.md): T-digest是存储近似百分位信息的数据草图。HetuEngine中用tdigest表示这种数据结构。T-digest可以合并，在存储时可以强转为VARBINARY，检索时再由VARBINARY转换为T-digestmerge(tdigest)→tdigest描述：将所有输入的tdigest数据合并成一个tdigest。描述：将所有输入
- [Set Digest函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300220.md): HetuEngine提供了几个处理MinHash技术的函数。MinHash用于估计两个集合的Jaccard相似系数。它通常用于数据挖掘，用于大规模检测近乎相同的网页。通过使用这些信息，搜索引擎有效地避免了在搜索结果中显示两个几乎相同的网页。以下示例展示了如何使用Set Digest函数来简单估计文本之间的相似性。通过使用函数ngrams(
- [USE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300222.md): USE catalog.schemaUSE schema指定当前会话所使用的catalog和schema。如果catalog未指定，则默认使用当前的catalog。指定当前的会话到hive catalog下名为test的schema：无。
- [SET SESSION](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300223.md): 语法SET SESSION name = expression;SET SESSION catalog.name = expression;SET SESSION name = expression;SET SESSION catalog.name = expression;描述用于设置当前会话的指定属性。用于设置当前会话的指定属性。示例
- [RESET SESSION](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300224.md): RESET SESSION nameRESET SESSION catalog.name重置当前会话的指定属性。
- [DESCRIBE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300225.md): DESCRIBE [EXTENDED| FORMATTED] table_nameDESCRIBE [EXTENDED| FORMATTED] table_name PARTITION (partition_spec)查看指定表的元数据信息。该语法目前只能显示列的元数据信息，等效于语法SHOW COLUMNS。添加EXTENDED关键字会
- [DESCRIBE FORMATTED COLUMNS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300226.md): DESCRIBE FORMATTED [db_name.]table_name [PARTITION partition_spec] col_name描述表或分区的列信息。将包含指定表或分区的列的统计数据。示例如下。
- [DESCRIBE DATABASE| SCHEMA](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300227.md): DESCRIBE DATABASE|SCHEMA [EXTENDED] schema_nameDATABASE和SCHEMA在此处是等价的，可互换的，它们有这相同的含义。该语法用于显示SCHEMA的名称、注释、还有它在文件系统上的根路径。可选项EXTENDED可以用来显示SCHEMA的数据库属性。
- [DESCRIBE INPUT](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300228.md): DESCRIBE INPUT statement_name列举预编译语句（prepared statement）的输入参数，以及参数位置，每个输入参数的类型。对于未确定的参数类型，会显示为unknown。准备一个预编译的语句，且有三个输入参数，然后罗列该预编译语句的参数列表：PREPARE my_select1 FROM SELECT ?
- [DESCRIBE OUTPUT](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300229.md): DESCRIBE OUTPUT statement_name列举预编译语句（prepared statement）的输出列。包括列名（或者别名），catalog，schema，表名，类型，类型的大小（in bytes）。以及一个boolean值标识是否为别名。
- [EXPLAIN](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300230.md): EXPLAIN [ ( option [, ...] ) ] statement其中选项可以是以下选项之一：FORMAT { TEXT | GRAPHVIZ | JSON }TYPE { LOGICAL | DISTRIBUTED | VALIDATE | IO}显示一条语句的逻辑的或者分布式的执行计划，也可以用于校验一条SQL语句，或者
- [EXPLAIN ANALYZE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300231.md): EXPLAIN ANALYZE [VERBOSE] statement执行一条SQL语句，并显示分布式执行计划，以及过程中每个操作的代价。VERBOSE可选参数，带上这个参数意味着会显示更多详细信息和底层统计数据。这个统计信息不能保证完全正确，特别是对于一些快速执行完成的语句。更多详情可参考：https://trino.io/docs/c
- [REFRESH CATALOG](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300232.md): 用于手动刷新HetuEngine Metastore缓存，用以同步Hive数据源的表、分区、数据库等的Metadata。REFRESH CATALOG catalog_name登录FusionInsight Manager，选择“服务 > HetuEngine > 概览”，单击“HSConsole WebUI”后的HSConsole链接进
- [REFRESH SCHEMA](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300233.md): 语法REFRESH SCHEMA schema_nameREFRESH SCHEMA schema_name描述用于刷新SCHEMA元数据缓存。用于刷新SCHEMA元数据缓存。示例refresh schema default;
REFRESH
- [REFRESH TABLE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300234.md): 语法REFRESH TABLE table_nameREFRESH TABLE table_name描述用于刷新TABLE元数据缓存。用于刷新TABLE元数据缓存。示例refresh table fruit;
REFRESH
- [ANALYZE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300235.md): ANALYZE table_name [ WITH ( property_name = expression [, ...] ) ]收集给定表的表和列统计信息。可选WITH子句可用于指定connector的属性。使用下面命令可列出所有可用的属性：SELECT * FROM system.metadata.analyze_propertie
- [CALL](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300236.md): CALL procedure_name ( [ name => ] expression [, ...] )调用指定的存储过程。存储过程由各个连接（connectors）提供，实现数据操作或者管理任务。例如，系统连接器（System Connector）就定义了存储过程可以取消一个正在运行的查询。有些数据源，例如PostgreSQL，其系
- [PREPARE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300237.md): PREPARE statement_name FROM statement预处理一条语句，以便以后执行。预处理语句是将查询保存在给定名称的会话中。语句可以包含参数，以代替执行时要替换的文本，参数用问号表示。预处理查询PREPARE my_select1 FROM SELECT * FROM fruit;预处理一个包含参数的查询，在EXEC
- [DEALLOCATE PREPARE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300238.md): DEALLOCATE PREPARE statement_name从会话中的预处理语句列表中移除语句名为statement_name的语句。删除预处理语句name my_query:
- [EXECUTE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300239.md): EXECUTE statement_name [ USING parameter1 [ , parameter2, ... ] ]执行预编译的SQL语句（prepared statement），并可以使用USING来指定输入参数。执行一个不带输入参数的预编译语句PREPARE my_select1 FROM SELECT name FRO
- [VERIFY](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300240.md): VERIFY MATERIALIZED VIEW MVNAME (mvname1,mvname2...) ORIGINALSQL query给定一条SQL查询语句，验证它是否可以被指定的物化视图重写。验证指定SQL是否能被物化视图mv.tpcds.test和mv.tpcds.t1重写。
- [HetuEngine预留关键字](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300241.md): 表1罗列了系统预留的关键字，以及它们在其他SQL标准中是否为预留关键字。如果需要使用这些关键字作为标识符，请加注双引号。
- [开启HetuEngine数据类型隐式转换](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300243.md): 数据类型隐式转换指用户通过客户端访问HetuEngine资源时，当查询的数据类型和表的数据类型不匹配时，HetuEngine能自动进行数据类型转换，避免用户在使用时因强数据类型校验带来的不便。当前在插入数据（Insert）、条件判断（Where）、运算操作（+、-、*、/）以及函数调用（连接操作 ||）时能提供数据类型隐式转换功能。类型隐
- [关闭HetuEngine数据类型隐式转换](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300244.md): set sessionimplicit_conversion=false;set sessionudf_implicit_conversion=false;
- [HetuEngine隐式转换对照表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300245.md): 在开启隐式转换功能后，当数据类型不匹配时会隐式转换，但并是不是所有的数据类型都支持隐式转换。以下为当前隐式转换功能支持的数据类型转换表：BOOLEAN->NUMBER：结果只会是0/1。BOOLEAN->VARCHAR：字符结果只会是“TRUE”或“FALSE”。NUMBER -> BOOLEAN：0就是false，非0就是true。BI
- [HetuEngine样例表数据准备](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300246.md): 创建具有TINYINT类型数据的表：创建Map类型表：创建ROW表：创建struct表：创建一个名为web的schema：创建一个新表orders，使用子句with指定创建表的存储格式、存储位置、以及是否为外表：通过表orders创建一个视图test_view：更改已存在表的定义：其他：
- [HetuEngine常用数据源语法兼容性说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300247.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [Hive故障排除](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300259.md): 本章节汇总了使用Hive时遇到的常见故障及故障处理方法。Hive日志类型及不同故障日志定位介绍Hive常见日志说明Hive常见日志说明Hive服务异常Hive服务启动失败Hive服务状态为故障如何处理Hive服务健康状态和Hive实例健康状态的区别Hive服务状态为UnknownHiveServer或者MetaStore实例的健康状态为u
- [登录HDFS WebUI界面查看组件状态](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300266.md): 用户可以通过登录HDFS WebUI界面查看Hadoop集群状态、节点信息、HDFS文件系统信息等内容。admin用户默认不具备其他组件的管理权限，如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时，可手动创建具备对应组件管理权限的用户进行登录。已创建具有HDFS管理操作权限的用户，详细可参考创建HDFS权限角色进行操作。登
- [HDFS故障排除](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300268.md): 本章节汇总了使用HDFS时遇到的常见故障及故障处理方法。HDFS组件异常：HDFS容量达到100%导致上层服务HBase、Spark等不可用启动HDFS和Yarn服务报错“Permission denied”集群外节点访问MRS HDFS报错HDFS容量达到100%导致上层服务HBase、Spark等不可用启动HDFS和Yarn服务报错“
- [Kafka数据消费概述](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300269.md): Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。生产者（Producer）将消
- [修改Kafka Topic配置](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300273.md): 用户可以根据业务需要，使用集群客户端创建Kafka Topic。启用Kerberos认证的集群，需要拥有管理Kafka主题的权限。也可以通过KafkaUI修改Topic Configs。集群已启用Kerberos认证（安全模式）时，KafkaUI对修改Topic Configs场景，需保证KafkaUI登录用户属于kafkaadmin用户
- [FlinkSQL JSON_VALUE函数性能优化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300296.md): 在使用FlinkSQL内置JSON_VALUE函数解析一个JSON item的多个字段时，默认情况下每个字段都会独立执行一次完整的JSON解析，导致重复解析同一JSON字符串。开启JSON_VALUE函数性能优化后，当对同一个JSON item解析多个字段时，会复用上次JSON item的解析结果，避免重复解析，提升算子性能。本章节仅适用
- [FlinkSQL Lookup算子复用](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300297.md): 在FlinkSQL作业中，当Lookup Join的结果需要写入多个sink端时，默认情况下每个sink端都会复制一份完整的Lookup Join算子，导致相同维表查询逻辑被重复执行，浪费计算资源并降低作业执行效率。开启Lookup算子复用功能后，Lookup Join的结果写入到多个sink端时，无需为每个sink复制一个Lookup 
- [使用Spark BulkLoad工具同步数据到HBase表中](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300323.md): Spark BulkLoad工具支持快速同步Hive或Spark表数据到HBase表中，支持全量或增量导入ORC/PARQUET等格式的表数据。使用Spark BulkLoad同步数据类型数据到HBase表中时，存在以下限制：数据类型转换的对应关系请参见表1。默认模式下，日期类型会被先转换为String类型，再存储到HBase中； 数字类
- [配置Spark加载第三方jar包，用于注册UDF或者扩展SparkSQL](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300335.md): 用户可能经常会自定义UDF或者使用一些自定义jar扩展Spark能力，针对这种第三方jar需要在Spark启动前指定好第三方类加载路径。本章节仅适用于MRS 3.5.0-LTS及之后版本。准备好自定义jar包，并上传到客户端节点。本操作以“spark-test.jar”为例，上传到客户端节点“/tmp”目录下。详细操作请参考安装MRS客户
- [使用Broker Load方式导入OBS数据至Doris](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300336.md): Stream Load导入Doris数据需依赖客户端读取，再推送到Doris。Broker Load则是将导入请求发送给Doris，由Doris主动拉取数据，因此如果要导入的数据存储在对象存储中，使用Broker Load是最便捷的。使用Broker Load方式，数据就不需要经过客户端，而由Doris直接读取导入。用户需要通过MySQL
- [使用HDFS异步删除特性](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300338.md): HDFS异步删除特性适用于存在删除大目录的场景，通过异步以及流量控制的方式删除block块的方式，能有效降低连续持有锁的时间。该操作仅适用于MRS 3.5.0及之后版本。登录集群Manager具体操作，请参考访问MRS集群Manager。
- [HDFS支持集群掉电自动恢复](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300378.md): HDFS数据写入磁盘时会先写入操作系统缓存，当操作系统缓存写入完成后则认为数据写入完成，缓存数据写入磁盘工作交由操作系统完成。如果此时集群断电，则缓存的数据就会丢失，造成HDFS丢块现象。在HDFS启动时如果有丢块，那么HDFS会进入安全模式，无法自动恢复。HDFS提供以下配置参数可以解决集群掉电无法自动恢复的问题，用户需要根据业务实际情
- [配置Hive动态脱敏](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300393.md): Hive动态脱敏功能开启后，配置脱敏列的数据可以参与计算，计算结果输出时不可见，在集群内脱敏策略会根据血缘关系自动传递，更大地发挥数据的价值同时保障数据的隐私性。本章节仅适用于MRS 3.5.0及之后版本。不支持Hudi表的脱敏。不支持涉及直接读写HDFS的操作的脱敏。不支持复杂数据类型array、map、struct的脱敏。自定义脱敏策
- [开启HBase Multicast功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300404.md): 在HBase集群运维中，当RegionServer发生故障（如宕机、网络中断）时，客户端需要感知故障并及时更新Region位置缓存，否则会导致读写请求失败或超时。传统的故障感知机制依赖客户端定期轮询HMaster获取RegionServer状态，存在感知延迟，在RegionServer故障后客户端仍可能向已故障的RegionServer发
- [添加Oracle数据源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300406.md): HetuEngine支持配置Oracle数据源实现对Oracle数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加Oracle类型的JDBC数据源。数据源与HetuEngine集群节点网络互通。集群已启用Kerberos认证（安全模式）创建HetuEngine管理员用户，集群未启用Kerberos认证（普通模式）创建
- [如何处理HetuEngine SQL运行过程中报错Encountered too many errors](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300407.md): HetuEngine业务SQL运行过程中，报错如下：可能原因：部分Worker节点本身故障，例如网络故障、进程内存占用等。Worker节点负载太高，出现OOM（Out of Memory）导致无法提供服务。Worker节点出现GC导致自动重启。调优方法：Worker节点本身故障：若不同时间报错统一出现在同一个Worker上，优先排查该节点
- [如何处理视图拥有者权限不足缺少函数的grant权限](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300408.md): 访问独立部署Hive数据源的视图时，如果Hive视图中使用了函数，可能会出现如下报错信息：view owner does not have sufficient privileges。HetuEngine的Ranger权限控制中包含了function的权限控制。当独立部署Hive数据源集群的视图所有者在本集群没有同名用户时，在Ranger
- [添加GBase数据源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300409.md): HetuEngine支持配置GBase数据源实现对GBase数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加GBase类型的JDBC数据源。数据源与HetuEngine集群节点网络互通。在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集群的主机名称和对应的IP映射。集群
- [配置Hive自读自写SQL防御规则](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300410.md): Hive支持对自读自写的SQL语句进行拦截。如果一条SQL语句中查询的表、分区或目录与插入的表、分区或目录一致，且以覆盖的方式插入查询的结果数据，便可判定存在自读自写的场景，用户可以在SQL防御界面通过添加规则ID为“dynamic_0004”的防御规则开启该拦截功能。Hive自读自写的SQL样例如下：非分区表：INSERT OVERWR
- [配置Kafka消息积压告警规则](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300411.md): 在Kafka消息队列使用场景中，消息积压可能导致系统性能下降或数据丢失风险。如果用户无法及时发现积压问题，可能影响业务连续性。您可以通过KafkaUI查看并配置积压告警规则，当消息积压达到预设阈值时，系统将自动上报“ALM-38018 Kafka消息积压”告警，帮助您及时发现并处理异常情况。本章节内容仅适用于MRS 3.5.0及之后版本。
- [配置Yarn大作业扫描](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300412.md): Yarn大作业扫描功能主要用于监控Hive、HetuEngine、Spark等作业的本地临时文件（例如shuffle文件是否过大）、监控Hive、HetuEngine、Spark的关键HDFS目录（不支持OBS）是否过大。对于占用存储资源（本地磁盘或者关键HDFS目录）过大的作业上报事件。监控的HDFS目录请参见表1。本章节内容仅适用于M
- [Doris慢查询语句监控](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300414.md): Doris作为一个ROLAP模式的数据库，底层需依赖强大的关系型数据库引擎作为支撑。高并发、聚合查询等是常见的查询场景，但由于MRS Doris不支持慢查询管理，缺少运维监控能力，在实际问题定界过程中无法可视化地获取查询SQL的执行信息。因此需要新增Doris慢查询管理功能来提高Doris的运维监控能力。该功能仅适用于MRS 3.6.0-
- [通过JDBC  Catalog对接MySQL/Doris数据源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300416.md): JDBC Catalog支持通过标准JDBC协议连接MySQL、Doris等数据源。本章节以Doris通过JDBC Catalog读取MySQL或Doris数据为例进行演示。该章节内容仅适用于MRS 3.3.1及之后版本。已创建包含Doris服务的集群。已准备源集群，例如，MySQL服务端集群。Doris集群与MySQL服务端集群网络互通
- [Hudi支持聚合函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300425.md): 当前开源社区提供了可插拔的Payload机制，用于满足客户各种聚合需求。但Payload的开发有一定的门槛，因此MRS内置了一些常见的聚合函数满足客户日常需求。该特性允许用户使用Hudi自带的聚合函数，轻松实现相同主键的聚合操作，从而简化数据处理流程，提高数据处理效率。典型应用场景：实时指标统计：对相同用户ID的访问次数进行count累加
- [Bulk Insert写入失败报LEGACY store assignment policy is disallowed in Spark data source V2](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300427.md): 使用Spark SQL以Bulk Insert方式执行数据写入，报错如下：当前Hudi的Buck Insert使用Spark V2接口实现， Spark V2接口要求spark.sql.storeAssignmentPolicy不能为LEGACY模式。解决方案：执行API写入时添加设置如下option参数：执行SQL时设置参数：
- [Doris支持审计日志表功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300429.md): Doris审计日志表功能支持将FE的审计日志定期通过Stream Load导入到指定的Doris表中，方便用户直接通过执行SQL语句对审计日志进行查看和分析，无需再通过查看FE的审计日志文件去统计并分析业务量、业务类型等。Doris审计日志表功能默认是关闭的，可通过参数“enable_audit_log_table”开启该功能。该功能仅适
- [配置ClickHouse对接HDFS源文件（MRS 3.3.0-LTS及之后版本）](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300438.md): 本章节主要介绍安全模式ClickHouse对接安全模式HDFS组件进行文件读写。对于普通模式ClickHouse对接普通模式HDFS组件，和开源社区能力保持一致。本章节仅适用于MRS 3.3.0-LTS及之后版本。ClickHouse集群和HDFS集群同为安全模式（开启Kerberos认证）或者同为普通模式（关闭Kerberos认证）集群
- [Drop Partition](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300439.md): 本章节仅适用于MRS 3.5.0-LTS及之后版本。删除单分区或者多分区。alter table $tableName drop partition(分区字段='匹配条件')模糊匹配去删除多分区，仅支持支持*，不支持复杂的正则。可在driver日志和客户端中查看命令运行成功或失败。
- [使用Spark SQL操作Hudi表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300441.md): 在MRS集群中，Hudi集成在Spark中，为数据处理提供了强大的支持。通过这种集成，用户不仅能够利用Spark SQL创建Hudi表，还能高效地执行对Hudi表的增、删、改、查等操作。Hudi表的设计特别适合于需要频繁更新和查询的场景，如实时数据分析、数据仓库更新等，它能够确保数据的一致性和高效性，同时支持增量数据处理，大大提高了数据处
- [配置ClickHouse系统表的生命周期](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300442.md): ClickHouse 默认未配置系统表的 TTL（Time To Live）机制，若长期使用且未手动设置过期策略，系统表中的历史数据将持续累积，可能导致磁盘空间被大量占用，甚至影响集群性能与存储可用性。本章节指导用户配置系统表的生命周期，仅保留近30天的数据，减少系统表的磁盘使用。本章节仅适用于MRS 3.2.0-LTS之前版本。详细操作
- [Flink对接应用运维管理（AOM）](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300443.md): 应用运维管理（AOM）服务是一个可观测平台，基于指标、链路、日志、事件全景数据监控，提供一体化监控能力。Flink可以通过AOM服务的Prometheus实例将监控指标推送至AOM服务，用户可以方便查看监控指标相关信息。本示例提供通过FlinkResource、FlinkServer和客户端三种方式对接AOM服务，将Flink监控指标上传
- [Impala对接低版本kudu后，无法执行join](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300455.md): Impala 4.3.0版本（MRS 3.3.1-LTS和MRS 3.5.0-LTS）对接低版本的kudu（MRS 3.0.5）后，无法执行join，报错如下：当Impala 4.3.0版本（MRS 3.3.1-LTS和MRS 3.5.0-LTS）查询低版本的Kudu（MRS 3.0.5版本）表时（<=1.15.0），需要设置查询参数：s
- [JobServer从Core节点迁移至Master节点指导](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300456.md): JobServer实例默认部署在Core节点上，由于JobServer主要用于提交作业，默认2个实例即可，建议迁移到Master节点。本操作指导只针对集群类型是自定义类型的集群，若集群类型为分析集群，请联系运维人员处理。本章节适用于MRS 3.3.0-LTS和MRS 3.3.0-LTS.1版本。登录MRS管理控制台，单击对应的MRS集群。
- [MRS集群外节点如何安装impala-shell客户端？](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300471.md): MRS集群外节点，安装MRS Impala客户端，由于Python版本问题无法访问，应该如何安装？MRS集群外部的节点，推荐配置镜像源后，直接使用pip安装impala-shell客户端。执行如下命令确认python版本是2还是3：pip --versionpip --version如果节点操作系统为Euler/HCE/Centos，执行
- [Impala 4.3.0版本，开启Ranger后如何对接kudu外表？](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300473.md): 开启Ranger鉴权后，使用如下语句创建外表报错：报错如下：报错如下：当前Impala版本开启Ranger鉴权后，暂不支持创建Kudu外表。如果当前集群中无Kudu服务，需要在Impalad的自定义配置中指定--kudu_master_hosts=master1:7051,master2:7051,master3:7051如果当前MRS集
- [SYNC_HIVE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300474.md): 本章节仅适用于MRS 3.5.0-LTS及之后版本。同步Hudi表（存储层中的Hudi数据目录）到Hive。call sync_hive(table => '[table]', tablePath => '[tablePath]')可在客户端中查看查询结果。
- [通过impala-shell连接不上Impalad的21000端口](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300486.md): 使用4.0.0以上的impala-shell客户端连不上Impalad的21000端口。Impala4.0.0及以上版本，Impala-shell客户端默认使用Hive Server2的21050端口，如果要连接21000端口，需要在impala-shell后指定连接协议--protocol=beeswax。Impala4.0.0之前版本
- [Impala集群查询数据的时候出现bad version和invalid TType错误](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300487.md): Impala集群查询数据的时候出现bad version和invalid TType错误，如何解决？通常为Impala元数据未更新导致的，使用invalidate metadata <table>手动刷新该报错表的元数据。
- [如何关闭MRS集群Impalad角色的cas认证](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300488.md): 如何关闭MRS集群的cas认证，可以在集群外面的节点上面节点调用Impalad的queries接口，进行指标的获取操作？登录Manager界面，选择“集群 > 服务 > Impala > 配置 > 全部配置 > Impalad（角色） > 自定义”，在“impalad.customized.configs”中添加参数“--webserve
- [Impala查询parquet表的Schema和文件Schema不一致时报错](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300489.md): parquet建表定义的列顺序和数据文件的列顺序不一致，Impala查询时报错。查询前设置set PARQUET_FALLBACK_SCHEMA_RESOLUTION=name;之后即可。如果要永久生效，登录Manager界面，选择“集群 > 服务 > Impala > 配置 > 全部配置 > Impalad（角色） > 自定义”，在“i
- [Impalad的session连接长时间没使用，但连接没有自动断开](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300490.md): 使用JDBC连接Impala执行查询后，Impalad的session连接长时间没提交查询，但连接没有自动断开。如果要永久生效，登录Manager界面，选择“集群 > 服务 > Impala > 配置 > 全部配置 > Impalad（角色） > 自定义”，在“impalad.customized.configs”中添加参数“--idle
- [Impala正常使用的udf突然报了找不到类路径，Hive中可用，但Impala报找不到类路径](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300491.md): Impala之前正常使用的udf突然报了找不到类路径，Hive中可正常使用，但Impala报找不到类路径。Impala默认将UDF对应的jar包缓存到“/tmp”目录下，由--local_library_dir配置项控制，“/tmp”目录下的文件保存一定时间后会被操作系统删除，导致Impala查询时出现缺类错误。登录Manager界面，选
- [Impalad的xmx内存小于catalog的xmx内存，Impalad节点持续报Full GC，SQL一直处于created状态](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300492.md): Impalad的xmx内存小于Catalog的xmx内存，catalog长期运行，内存已经超过了impalad的xmx 内存，Impalad节点持续报Full GC，一直未完全同步元数据，SQL一直处于Created状态，该如何解决?建议调整Impalad的xmx内存大于或等于Catalog的xmx内存。登录Manager界面，选择“集群
- [配置Spark对接MemArtsStore](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300498.md): 本章节介绍如何配置Spark任务中集成MemArtsStore。使用MemArtsStore存储Shuffle Data后，大数据应用不再依赖带本地盘的机型。其次，MemArtsStore提供多副本机制保证Shuffle Data的高可用性，单个节点故障不会导致Shuffle Data丢失。最后，MemArtsStore内部会对相同Par
- [MemArtsStore日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300499.md): 日志路径：MemArtsStore相关日志的存储路径为：“/var/log/Bigdata/memartsstore”。日志归档规则：MemArtsStore的运行日志启动了自动压缩归档功能，当日志大小超过50MB的时候（此日志文件大小可进行配置），会自动压缩，压缩文件保留个数和压缩文件阈值可以配置。MemArtsStore日志列表日志类
- [使用Streamloader工具导入本地数据至Doris](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300501.md): Streamloader是一款用于将本地数据导入至Doris数据库的客户端工具。相较于直接使用Rest API的单并发导入，该工具支持多并发导入功能，降低了导入大量数据的耗时。Streamloader工具支持以下功能：并发导入：实现了Stream Load的多并发导入，可以通过workers参数设置导入并发数。多文件导入：一次导入操作可以
- [FlinkServer作业对接MongoDB](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300502.md): 在实时数据处理场景中，用户需要将Flink作业与MongoDB数据库进行数据交互。本章节提供了如何使用FlinkServer写FlinkSQL对接MongoDB。支持对接source表、sink表和维表。本章节仅适用于MRS 3.6.0-LTS及之后的版本。集群已安装HDFS、Yarn、Flink和Kafka服务。已安装和MRS集群环境网
- [FlinkSQL Lookup Join支持PROCTIME()语法](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300503.md): Flink Lookup Join语法中要求FOR SYSTEM_TIME AS OF包含proc_time字段，例如FOR SYSTEM_TIME AS OF o.proc_time。现在可以使用PROCTIME()代替表中的proc_time字段，直接使用FOR SYSTEM_TIME AS OF PROCTIME()，表中不需要再定
- [FlinkSQL Kafka Connector支持通过快照恢复作业时kafka offset从group组中恢复](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300504.md): 配置Flink作业时，Kafka作业从CheckPoint恢复，支持offset从group组中恢复，状态从CheckPoint中恢复。需要保证CheckPoint恢复前后的Kafka topic name一致。需要保证Kafka group组的offset和CheckPoint记录的offset一致，否则会导致缺数问题。本章节仅适用于M
- [FlinkSQL支持RowKind过滤能力](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300505.md): 上游算子往下游发送数据，需要根据RowKind过滤符合要求的数据时，可以使用该特性。仅支持FlinkSQL Hint方式使用该特性。使用该特性后作业Sink Connector需要支持Changelog消息，如：hudi、upsert-kafka、print等。本章节仅适用于MRS 3.6.0-LTS及之后版本。在FlinkSQL中添加 
- [配置Spark作业运行时使用的JDK版本](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300507.md): Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去。Spark提供一站式数据分析能力，包括小批量流式处理、离线批处理、SQL查询、数据挖
- [配置HetuEngine对接外部LDAP](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300508.md): 本章节指导用户从零开始使用HetuEngine对接外部LDAP，实现账号密码认证。该功能仅集群未启用Kerberos认证（普通模式）支持。HetuEngine只允许配置对接一个外部LDAP。需要在Manager的“系统 > 权限 > 用户”界面上创建一个外部LDAP中已存在的同名用户，例如“hetu_test”，并添加“hetuuser”
- [FlinkServer作业对接HTTP服务](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300510.md): 本章节提供了如何使用FlinkServer写FlinkSQL对接HTTP服务。支持对接HTTP维表，通过HTTP维表Connector实现流数据与HTTP服务数据的实时关联查询。本章节仅适用于MRS 3.6.0-LTS及之后的版本。集群中已安装HDFS、Yarn、Flink服务。已部署和MRS集群环境网络相通的HTTP服务。参考创建Fli
- [配置Spark JDBC加载第三方Jar包](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300511.md): 用户使用JDBC执行Spark作业时，有可能会使用到非MRS集群默认集成的第三方Jar包，此时JDBC作业日志会报“ClassNotFoundException”错误。本章节仅适用于MRS 3.6.0-LTS及之后版本。同一个Spark服务或者Spark实例中，只支持配置同一个版本的Jar包。不允许在目录下存放其他公用开源类非自定义的Ja
- [LDMS日志介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300515.md): 日志存储路径：LDMS的运行日志保存路径为“/var/log/Bigdata/ldms/LDMSServer”。LDMS的审计日志保存路径为“/var/log/Bigdata/audit/ldms/ldmsserver”。日志归档规则：日志归档规则采用FixedWindowRollingPolicy策略，可配置项为单个文件最大值、日志归档
- [使用HDFS工具检查磁盘故障](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300518.md): 当系统出现“ALM-14039 集群内存在慢DataNode”或“ALM-14040 HDFS中DataNode每秒出现慢SyncWriterOsCache的次数超过阈值”告警时，可使用该操作分析是否出现磁盘故障导致该类问题。该功能适用于MRS 3.6.0及之后版本。cd ${BIGDATA_HOME}/FusionInsight_HD_
- [Hive支持将SQL执行的Metrics信息存储到Hive表中](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300519.md): 使用Hive执行SQL任务时，Hive会在SQL执行过程中记录Metrics信息，并写入HiveServer节点的“queryinfo.log”日志文件中，包括引擎类型、queryId、SQL语句执行耗时、处理的数据量、Task任务等信息。为了方便查询和更好地利用这些信息，将记录的“queryinfo.log”日志转存到Hive表中，以便
- [FlinkServer作业对接Iceberg](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300526.md): 本章节提供了如何使用FlinkServer写FlinkSQL对接Iceberg的操作指导。Iceberg可以作为Sink表和Source表。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。集群中已安装HDFS、Zookeeper、Yarn、Flink、Hive组件。参考创建FlinkServer权限角色创建一个具有FlinkSer
- [FlinkSQL支持双流Join过滤Join产生的回撤](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300528.md): 在Flink双流Join场景中，当其中一流的数据发生更新时，Join算子会产生回撤消息（-D和-U），这些回撤消息发送到下游后，可能导致下游算子产生大量中间结果，增加计算开销并影响数据准确性。配置Flink作业时，双流Join可以过滤Join产生的回撤，source算子的-D +U -U不会过滤。只在双流join时使用。不推荐在join后
- [FlinkServer作业对接ClickHouse（ClickHouse Connector）](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300529.md): Flink通过对接ClickHouse的ClickHouseBalancer实例进行读写，有效避免ClickHouse流量分发问题。ClickHouse可以作为Source表、Sink表和维表。本章节适用于MRS 3.6.0-LTS及之后的版本。集群中已安装ClickHouse、HDFS、Yarn、Flink和Kafka等服务，Click
- [Spark支持将SQL执行的Metrics信息存储到Hive表中](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300531.md): 通过spark-sql和spark-beeline提交的SQL任务，其SQL运行过程信息会记录在queryInfo中。为了方便查询和更好地利用这些信息，将原本记录的“queryInfo日志”转存到Hive表中，以便用户可以使用Hive SQL来分析处理相关数据。默认情况下，该功能是关闭的，即原本记录的“queryInfo.log”日志不会
- [运行跨集群HBase BulkLoad数据导入任务](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300534.md): 由于BulkLoad操作会占用大量的计算资源和消耗较多的网络和磁盘IO。为了避免对HBase读写产生影响，支持将BulkLoad任务运行在另外一个MRS集群上，然后将生成的HFile文件拷贝并导入到HBase集群的表中。该章节操作仅适用于MRS 3.6.0-LTS及之后版本。如果是安全集群，两个集群需要配置好互信和跨集群拷贝功能，详细操作
- [使用Global Index Spark BulkLoad工具同步数据到HBase全局二级索引表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300536.md): Global Spark BulkLoad工具支持快速同步Hive或Spark表数据到HBase全局二级索引表中，支持全量或增量导入ORC/PARQUET等格式的表数据。数据类型转换的对应关系请参见表1。日期类型会被先转换为String类型，再存储到HBase中； 数字类型、字符串类型、布尔类型均会直接转换为byte数组存储到HBase中
- [配置ClickHouse回收站功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300542.md): ClickHouse提供了回收站功能，当用户由于误操作等原因删除表后，在保留时间（默认2天）内可以从回收站中恢复被删除的表及其数据。本章节仅适用于MRS 3.6.0-LTS及之后版本。仅支持删除表且没有带sync或者no delay关键字的场景下在回收站中保留表的元数据及数据。由于回收站需要占用额外的存储空间，需要根据磁盘容量设置合适的保
- [使用Impala转Doris工具导入数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300547.md): Impala转Doris工具用于Doris搬迁Impala数据的场景，使用该工具，可离线转换Impala SQL为Doris SQL。该章节适用于MRS 3.6.0-LTS及之后版本。Impala SQL转Doris SQL时，Doris不支持执行函数多层嵌套命令，例如：select EXTRACT(CAST('2006-05-12 18
- [配置Doris物化视图](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300549.md): Doris的物化视图既包含计算逻辑也包含数据实体，不同于视图仅包含计算逻辑，本身不存储数据。Doris物化视图的使用场景主要有查询加速、轻量化ETL（数据建模）、湖仓一体。按照数据时效性分为以下两类：同步物化视图：将预先计算（根据定义好的SELECT语句进行计算）的数据集存储在Doris中。Doris会自动维护同步物化视图的数据，无论是新
- [配置Spark自适应数据重分布小文件合并](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300550.md): 自适应“数据重分布”小文件合并特性开启后，Spark在写入数据前，判断是否需要增加Shuffle合并。如果需要增加Shuffle合并，Spark会启动一个ShuffleJob，并将合并后的数据写入到表目录下。本章节仅适用于MRS 3.6.0-LTS及之后版本。开启自适应执行特性（设置spark.sql.adaptive.enabled为t
- [使用Tez引擎执行Hive SQL任务报错Not expecting to handle any events](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300551.md): MRS 3.6.0-LTS及之后版本，使用Tez引擎执行Hive SQL任务时，对于某些查询会执行失败，报错的异常信息中包含以下内容：Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.
- [使用SQL Gateway提交Flink SQL作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300553.md): 本章节介绍通过REST方式使用SQL Gateway提交Flink SQL作业。本章节适用于MRS 3.6.0-LTS及之后版本。示例：SQL Gateway服务IP地址：可设置为当前节点IP地址或localhost。SQL Gateway服务端口：可设置为未被占用的端口号，如“32325”。yarn-session ID：为6获取的ya
- [使用Flink JDBC Driver提交Flink SQL作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300554.md): 本章节适用于MRS 3.6.0-LTS及以后版本。本章节介绍使用Flink JDBC Driver提交Flink SQL作业。下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。需修改“客户端安装目录/Flink/flink/conf/flink-conf.yaml”配置文件中的配置项“jobmanager.web.allow-a
- [配置SQL作业源表并行度](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300555.md): 在Flink SQL作业中，源表的并行度默认由全局并行度决定，无法单独控制。当源表的数据量较大或需要独立调整消费速率时，全局并行度设置无法满足精细化的性能调优需求。Flink支持通过“scan.parallelism”参数单独设置源表的并行度，使源表并行度与全局并行度解耦，实现更灵活的资源分配和性能优化。本章节适用于MRS 3.6.0-L
- [使用SQL hints配置不同状态的TTL](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300556.md): 在Flink Table API和SQL作业中，常规连接（Regular Join）和分组聚合（Group Aggregation）会产生状态数据，而默认的全局TTL设置可能无法满足不同查询中不同状态的保留需求。例如，某些连接的左表数据变化快需要短TTL，而右表数据变化慢需要长TTL。为此，Flink支持通过STATE_TTL提示，以更灵
- [使用FileCatalogStore对catalog进行持久化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300557.md): 在FlinkSQL中，通过SQL Client创建的Catalog元数据默认存储在内存中，当SQL Client重启后，之前创建的Catalog信息将丢失，需要重新创建，频繁重建Catalog不仅增加了操作成本，还可能导致配置不一致。可以使用FileCatalogStore将Catalog元数据持久化到文件系统中，重启后自动加载已保存的C
- [配置Flink HistoryServer](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300558.md): Flink可以通过日志来分析作业失败原因、失败算子和CheckPoint运行情况，但是作业失败前的运行状态不太直观，可通过HistoryServer直观地看到作业失败前的运行情况，包括查看具体失败的算子、流量情况、执行计划和CheckPoint完成情况等。对于已经完成的作业，HistoryServer也能清晰的看到数据流量等内容，有利于问
- [Flink支持Metrics上报Kafka](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300560.md): Flink提供了监控指标（Metrics）来帮助分析作业，该特性支持将配置的Metrics上报到Kafka中，便于用户通过Kafka消费指标数据进行实时监控和分析。Flink集群与Metrics上报的Kafka网络连通。Metrics上报的Kafka Topic需要提前创建好。本章节适用于MRS 3.6.0-LTS及之后的版本。当前只支持
- [使用Tez引擎执行Hive SQL任务报错Client cannot authenticate via:[TOKEN, KERBEROS]](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300561.md): MRS 3.6.0-LTS及之后版本，使用Tez引擎执行Hive SQL任务时，对于某些查询会执行失败，报错的异常信息中包含以下内容：Hive SQL任务执行报错登录运行任务的HiveServer节点，查看“/var/log/Bigdata/hive/hiveserver/hive.log”日志文件，该文件中打印了“Send dag pl
- [Doris支持自动数据均衡功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300567.md): Doris支持自动数据均衡功能，FE的Master节点会周期性计算各节点的副本分布情况，根据每个BE节点的磁盘使用率和副本数，选择合适的副本进行迁移，实现数据均衡。该章节仅适用于MRS 3.6.0-LTS及之后版本。计算各节点的均衡分数，并分组。统计各节点的磁盘使用率和副本数，并计算各节点的磁盘使用率和副本数占整个集群的百分数。磁盘使用率
- [提升Doris聚合键大宽表查询性能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300581.md): 针对聚合键大宽表，其查询性能下降一般原因为写入数据的Segment合并不彻底，当业务查询此类表时聚合键的数据需要全部读取出来后再做合并返回最终数值，如果存在Segment较多，其状态多为OVERLAPPING时，查询性能下降会比较严重，针对这种场景需考虑进行性能调优，本章节的优化参数以Doris 2.1.x内核举例（适用于MRS 3.6.
- [使用remote函数迁移外部ClickHouse数据至MRS集群](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300587.md): remote函数迁移ClickHouse数据是一种高效、便捷的方法，该方法支持多种迁移场景，迁移速度极快（最快可达10亿条记录/小时，迁移速度受网络带宽的影响）。remote函数可以将不同来源的ClickHouse数据迁移到MRS ClickHouse中，包括自建开源ClickHouse、CDH平台ClickHouse和云数据库Click
- [配置MR任务临时文件清理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300590.md): MR任务提交时会将相关配置文件、jar包和-files添加的文件放入HDFS上的临时目录（具体存放位置由Yarn服务配置项“yarn.app.mapreduce.am.staging-dir”决定，默认值为“/tmp/hadoop-yarn/staging”），以便Container启动以后获取相应的文件。正常运行的MR任务会在任务结束后
- [FlinkSQL HBase支持Batch Lookup Join](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300591.md): Lookup Join是FlinkSQL的一种数据连接方式，用于执行输入流与位于某个远程数据库（维度表）上的表的连接，对于输入流中的每条记录，都会到维表中进行一次查询，用于获取数据的最新状态。但频繁的I/O操作会影响作业性能，开启Batch Lookup，能够很大程度上减少I/O操作，降低对远程数据库的压力，从而提高Flink作业的吞吐量
- [FlinkServer支持作业Dump日志下载](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300602.md): Flink作业在运行时可能会遇到各种问题，如性能下降、线程阻塞、内存溢出等，分析Dump日志是常用的排查方法。FlinkServer提供了Dump日志的下载功能，用户可以在WebUI上直接下载运行中作业的Dump日志，便于问题定位和排查。只有运行中的FlinkServer作业才能下载Dump日志。本章节仅适用于MRS 3.6.0-LTS及
- [FlinkSQL 使用RocksDB Merge Operator提升Join算子性能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300603.md): 在使用RocksDB状态后端的FlinkSQL作业中，包含NoUniqueKey的Join算子在更新状态时需要先读取旧值再写入新值，产生大量的读放大开销，导致Join算子性能下降，开启该特性后，Join算子状态更新可直接通过Merge操作完成，从而提升Join算子的计算性能。仅使用RocksDB状态后端时，该特性会提升Join算子的计算性
- [关闭Kudu table软删除特性](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300604.md): 本章节介绍如何关闭Kudu的soft delete特性，即通过DELETE操作删除表后立即删除数据，而不是在后台存留一段时间后再彻底删除。Kudu默认开启soft delete特性。当通过DELETE操作删除表时，数据并不会立即从Kudu中彻底删除，这些数据会在后台存留一段时间（默认为6小时），之后才会被彻底删除。通过这一特性，可以在误操
- [使用MirrorMaker Flow同步Kafka集群间数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300605.md): MirrorMaker作为Kafka跨集群复制的核心组件，常用于数据迁移、跨地域同步等场景。用户可通过在MRS集群中安装Kafka组件的MirrorMaker实例，并参考该章节创建MirrorMaker Flow，可通过消费一个集群中的消息并将这些消息生产到另一个集群中，从而实现集群之间的数据同步。本章节内容仅适用于MRS 3.6.0及之
- [Flink性能问题经验总结](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300606.md): 当数据发生倾斜（某一部分数据量特别大），虽然没有GC（Garbage Collection，垃圾回收），但是task执行时间严重不一致。需要重新设计key，以更小粒度的key使得task大小合理化。修改并行度。调用rebalance操作，使数据分区均匀。由于task在执行过程中存在数据通过网络进行交换，数据在不同服务器之间传递的缓冲区超时
- [Flink故障重启时支持剔除异常的TaskManager](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300609.md): 当TaskManager所在节点磁盘故障导致Flink作业失败时，即使作业触发重启机制也无法恢复作业，最终可能导致作业失败或进入无限重启状态。Flink支持发生故障时重启Flink作业，当TaskManager发生故障时能自动触发作业重启，避免影响业务。在作业重启过程中，系统会将失败的TaskManager放至空闲资源池，并优先复用空闲的
- [配置Spark JDBCServer使用用户名和密码认证连接](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300610.md): 在集群已启用Kerberos认证（安全模式）的场景中，在Spark客户端通过Kerberos认证方式连接JDBCServer时，需要配置krb5.conf、keytab、hosts等文件，配置错误会导致认证失败，无法访问JDBCServer。MRS 3.6.0-LTS及之后版本，Spark支持在Spark客户端使用用户名和密码方式进行认证
- [添加Iceberg数据源](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300611.md): HetuEngine支持查询Iceberg v1/v2类型表数据。本章节指导用户在HSConsole界面配置Iceberg类型数据源。创建Iceberg数据源的代理用户，该代理用户为人机用户且需拥有hive组，创建用户可参考创建HetuEngine权限角色。在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对
- [Yarn故障排除](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300613.md): 本章节汇总了使用Yarn时遇到的常见故障及故障处理方法。作业异常使用Yarn客户端命令查询历史作业报错集群启动Yarn后产生大量作业占用资源MapReduce任务异常，临时文件未删除通过客户端hadoop jar命令提交任务后返回“GC overhead”报错Yarn客户端的端口信息错误导致提交任务后报错connection refuse
- [Flink任务提交ZooKeeper上的quota超阈值](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300614.md): 任务提交ZooKeeper上的quota超阈值。提交的任务数量太多超过了flinkznode节点能承载的最大值。默认情况下每个znode上默认的上限值是20000，Flink的HA策略是将文件存储到ZooKeeper上的/flink_xxx目录下，如果超限制会导致任务提交失败。方案一： 删除flink_base的根目录。Flink默认提交
- [Flink对接HBase时出现持续背压并出现Full GC](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300615.md): Flink任务的Source端是Kafka，Sink端为HBase等性能弱于Kafka的组件时，可能出现如下现象：现象一：任务运行一段时间中断，可能出现如下报错，Checkpoint持续失败：Caused by:org.apache.hadoop.ipc.RemoteException: File does not exist:/flin
- [使用Phoenix轻客户端连接PhoenixQueryServer](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300620.md): MRS 3.6.0-LTS版本后，HBase服务安装PhoenixQueryServer实例后，支持通过Phoenix轻客户端进行连接。已安装HBase客户端。已创建组件业务用户，并绑定了具有创建HBase表权限的角色，具体操作请参考创建HBase用户并绑定角色。也可直接执行5，通过“-p 组件业务用户@集群系统域名-kt keytab文
- [登录Yarn WebUI界面查看作业状态](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300622.md): 用户可以通过登录Yarn WebUI界面查看已提交的作业信息、作业运行状态、作业占用内存等信息。admin用户默认不具备其他组件的管理权限，如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时，可手动创建具备对应组件管理权限的用户进行登录。已创建可以查看Yarn作业的业务用户，详细操作请参考创建HDFS权限角色。登录集群Man
- [FlinkSQL SPLIT_INDEX函数性能优化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300623.md): 使用FlinkSQL内置SPLIT_INDEX函数解析一个字符串的多个字段时，开启SPLIT_INDEX函数性能优化后，当解析同一个字符串的多个字段时，复用上次split的解析结果，提升计算性能。本章节仅适用于MRS 3.6.0-LTS及之后版本。配置Flink作业时，可通过在FlinkServer WebUI的Flink作业开发界面添加
- [Hive小文件参数调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300624.md): 在Hive中，小文件并没有严格统一的定义，通常是指大小远小于HDFS块大小的文件。这类文件因体积过小，会对Hive的存储效率和查询性能产生负面影响。小文件过多，会对系统产生以下影响：HDFS存储效率低HDFS的元数据（文件信息、块信息等）由NameNode管理，每个小文件都会占用NameNode的内存。大量小文件会耗尽NameNode的内
- [添加MirrorMaker的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300627.md): Kafka MirrorMaker是一个基于Apache Kafka的工具，用于在两个Kafka集群之间进行数据同步。它通过消费一个集群中的消息并将这些消息生产到另一个集群中，从而实现集群之间的数据镜像。MirrorMaker常用于数据迁移、跨地域同步等场景， 是Kafka跨集群复制的核心组件。Ranger管理员可通过Ranger为Mir
- [Spark无法查询Tez引擎执行union语句写入的数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300628.md): Hive通过Tez引擎执行union相关语句写入的数据，切换到Spark引擎后进行查询，发现数据没有查询出来。由于Hive使用Tez引擎在执行union语句时，生成的输出文件会存在HIVE_UNION_SUBDIR目录，切回Spark引擎后默认不读取目录下的文件，所以没有读取到HIVE_UNION_SUBDIR目录下的数据。此时可以设置参
- [配置Flink作业重启策略](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300629.md): Flink支持不同的重启策略，以在发生故障时控制是否重启以及如何重启Flink作业。根据具体的使用场景选择合适的重启策略，可以有效提高Flink作业的稳定性和可靠性，确保在故障发生时能够及时恢复，同时避免不必要的资源消耗。重启策略包括无重启（No restart）、固定间隔（fixed-delay）和失败率（failure-rate）策略
- [配置Flink作业日志写入Kafka](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300631.md): log4j提供Kafka Appender，允许日志直接写入Kafka，Flink可以通过log4j，将JobManager和TaskManager日志写入Kafka中。写入Kafka的日志不支持回滚，防止磁盘被写满，需要配置Kafka数据过期策略。log4j 2.17.2版本开源不支持该功能。仅支持Kafka非安全端口。本章节仅适用于M
- [FlinkSQL 使用Object复用特性提升FlinkSQL计算性能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300632.md): 在FlinkSQL业务中，Table API开发的SQL业务在数据处理过程中会频繁创建和销毁对象（Object），导致大量的内存分配和垃圾回收（GC）开销，影响计算性能。开启Object复用特性后，FlinkSQL可在算子间复用数据传输对象，避免频繁的对象创建与销毁，从而提升SQL的计算性能。该特性仅对Table API开发的SQL业务有
- [Hive连接方式概述](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300633.md): Hive作为基于Hadoop的数据仓库工具，提供了多种连接和访问方式，以满足不同的需求和场景。表1是常见的连接Hive的方式。
- [配置Hive只展示当前用户有权限的库表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300634.md): 在Hive客户端查看数据库、查看表或通过JDBC调用getMetaData接口时，默认显示所有的数据库和表，在Hive启用Ranger鉴权的场景中支持通过修改Hive配置，以实现Ranger默认的Hive策略只展示当前用户有权限的库表，其他用户未授权的库表不可见。仅Hive开启Ranger鉴权功能时支持此功能，启用Ranger鉴权具体操作
- [优化Hive“窗口函数 + LIMIT”模式SQL查询性能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300636.md): 当执行的Hive SQL脚本包含“窗口函数 + LIMIT” 模式时（常见于去重、取TopN等场景），可能会遇到作业运行异常缓慢的情况。例如，典型的SQL模式为：该类作业运行后，可能会在后台频繁打印“Top-N hash is flushing rows”日志，产生该问题的根因如下：窗口计算原理： 为了计算每个分区的TopN，引擎必须在内
- [通过FsImage文件统计HDFS文件的变化](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300637.md): 在使用distcp的数据迁移方案规划中，需要通过HDFS中日增数据量来评估增量迁移的时间及次数。用户可以通过查看解析最新的FsImage到Hive表中，通过SQL筛选计算并统计修改时间在24小时内的文件总大小。该功能适用于MRS 3.6.0及之后版本。已安装HDFS、Hive组件。ll /srv/BigData/namenode/curr
- [第三方平台跳转Yarn原生界面报错403](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300645.md): 第三方平台无法直接跳转Yarn原生界面，错误如下：Yarn原生界面会对集群外的跳转请求进行拦截，可以通过修改“cas.enable.referer.check”参数的方式取消拦截。
- [配置Hive作业运行时使用的JDK版本](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300647.md): Hive的执行引擎是负责处理和执行HQL查询的核心组件，它将查询转换为底层计算框架的任务，并协调这些任务的执行，以实现高效的数据处理。MRS 3.6.0-LTS及之后版本，Hive支持指定MapReduce、Spark和Tez引擎运行作业的JDK版本，默认为JDK 8，还支持指定为JDK 17或JDK 21。MapReduce引擎在右上角
- [配置FlinkServer作业定时调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300648.md): 在实际业务运行中，Flink作业的负载往往随时间变化，例如白天高峰期需要更多并行度处理数据，夜间低谷期则可以减少并行度以节省资源。FlinkServer支持作业定时调优功能，动态更新作业的算子并行度。用户可通过FlinkServer Web UI界面创建作业调优计划，设置作业调优计划的算子并行度和触发时间，FlinkServer根据设置的
- [配置在Hive客户端使用用户名和密码认证连接HiveServer](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300649.md): 在集群已启用Kerberos认证（安全模式）的场景中，在Hive客户端通过Kerberos认证方式连接HiveServer时，需要配置krb5.conf、keytab、hosts等文件，配置错误会导致认证失败，无法访问HiveServer。MRS 3.6.0-LTS及之后版本，Hive支持在Hive客户端使用用户名和密码方式进行认证连接H
- [使用Spark引擎执行复杂的Hive SQL任务时报错“java.lang.StackOverflowError”](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300650.md): MRS 3.6.0-LTS及之后版本，使用Spark引擎运行复杂的Hive SQL任务失败，在HiveServer运行日志中查看报错信息，内容如下：set spark.executor.extraJavaOptions=-Xss10M;set spark.driver.extraJavaOptions=-Xss10M;set spark.
- [Flink Decimal计算精度增强](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300652.md): 在FlinkSQL的Decimal类型计算中，默认的计算精度可能无法满足业务需求，导致计算结果出现精度丢失或截断。可以通过开启Decimal计算精度增强特性，扩大Decimal计算结果的精度，使计算结果更加准确。使用该特性时需要在Flink进程中添加参数：-Ddecimal.nonstandard=true本章节仅适用于MRS 3.6.0
- [使用国密算法加解密Hive表数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300653.md): MRS 3.6.0-LTS及之后版本，Hive支持一组国密加解密算法，使得表的字符串类型的字段数据可以使用国密算法进行加解密操作。加密：sm4_encrypt('待加密的字符串数据或字段名称', '16位任意字符串代表的密钥',加密模式（可选）)解密：sm4_decrypt('待解密的字符串数据或字段名称', '加密时指定的密钥',加密模
- [创建Doris用户自定义函数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300654.md): MRS 3.6.0-LTS及之后版本，Doris支持使用Java编写UDF、UDAF和UDTF的接口，以方便用户使用Java语言执行自定义函数。本章节以在Doris中创建UDF函数为例进行演示。已创建包含Doris服务的集群。已安装MySQL客户端，具体操作可参考使用MySQL客户端连接Doris。修改属组：修改权限：创建UDF时，会对J
- [Doris支持表级别compaction调优](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300657.md): 如果业务存在实时入库和离线入库的场景，且离线入库任务中存在业务核心表（如聚合键宽表），业务上对此类型表的查询性能要求较高的情况下，为了加速表查询性能，可以考虑为这类表设置独立的Cumulative Compaction时间间隔策略，将表的Compaction的时间间隔调小，以加速文件合并提升查询效率。如果业务存在对某些非核心表的查询性能要
- [配置HDFS只读模式](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300658.md): HDFS支持目录级别的只读设置，开启只读后配置的目录只能进行读取，不能够进行任何写入操作。在HDFS存量数据进行搬迁时开启只读模式，能够极大地增加搬迁效率，防止因为写操作导致搬迁失败。该功能适用于MRS 3.6.0及之后版本。NameNode重启后只读模式需要重新开启。在使用完成后应立即退出只读模式，防止对业务造成影响。已安装HDFS组件
- [Spark故障排除](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300659.md): 本章节汇总了使用Spark时遇到的常见故障及故障处理方法。Spark任务提交常见故障Spark任务提交失败Spark Streaming任务提交失败提交Spark任务时提示参数格式错误提交Spark任务时报错“ClassNotFoundException”提交Spark任务时Driver端提示运行内存超限Yarn-cluster模式下提交
- [join查询关联条件中存在or导致Hive SQL运行慢](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300660.md): MRS 3.2.0-LTS及之后版本，当Hive SQL中存在join语句，且join关联的条件中包含or语句时，会导致SQL任务运行缓慢，极端情况下可能会出现字段串列的问题（MRS 3.6.0-LTS.1及之后版本），SQL示例如下：Hive SQL的join on条件中包含or语句，在进行join操作时会由于没有join key导致产
- [开启HBase Basic认证功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300663.md): HBase支持基于Kerberos的身份验证来验证客户端请求，但客户端需要配置keytab、krb5.conf和jaas.conf来完成Kerberos登录并获取服务票据（Service Ticket）。在实际业务开发中，获取多个配置文件并在应用程序代码中指定这些配置较为复杂。因此，HBase提供了Basic认证（Basic Authen
- [UPDATE_FEATURE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300674.md): 本章节仅适用于MRS 3.6.0-LTS及之后版本。命令功能用于更新Hudi表支持的高级特性版本。call update_feature(table => '[table]', database =>'[database]', tablePath => '[tablePath]')可在客户端中查看查询结果。
- [使用HetuEngine动态脱敏功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300675.md): 虽然Ranger已经支持了静态脱敏的能力，但是静态脱敏后会出现数据不可用的问题，主要表现为：脱敏的数据无法匹配谓词过滤。脱敏后的数据无法进行Join等联合查询操作。只支持string类型的列脱敏。静态脱敏场景单一，限制较多，数据在计算前就已经被脱敏，为满足更灵活的脱敏需求，HetuEngine提供支持数据“可算不可见”、集群内脱敏策略自动
- [配置FlinkServer作业相关依赖对接OBS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300700.md): FlinkServer支持在Jar作业、UDF管理和依赖管理中，将Jar包上传至OBS路径，并使用OBS上的Jar包进行作业提交。仅支持将Jar包上传到OBS或者HDFS上，不支持混用。配置的OBS路径为全局使用，不支持作业单独配置OBS路径。OBS路径需要提前配置，不支持先使用HDFS路径提交作业，后改为OBS路径。FlinkServe
- [配置HDFS节点运维模式](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300701.md): HDFS支持DataNode进入运维模式，该模式下DataNode下线时间超过心跳超时的时间时，会尽量避免大量的副本复制，能够有效防止块复制产生的流量对集群正常业务产生冲击，同时也能够保证HDFS中至少有一个存活的副本。在DataNode节点运维变更时可以提前规划变更节点进入运维模式，如：主机检修、操作系统更换等。该功能适用于MRS 3.
- [LDMS LakeHouse表管理服务概述](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300704.md): LDMS（LakeHouse Data Management Service）是LakeHouse生态系统中的一个关键管理服务组件，旨在简化和增强Hudi LakeHouse表格式的管理和使用。LDMS通过提供异步表服务、监控和告警功能，帮助用户更高效地管理和维护LakeHouse数据湖组件。LDMS功能特性介绍如下：扩展性：LDMS基于
- [LDMS用户权限管理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300705.md): 当前LDMS用户分管理员用户与普通用户：管理员用户：拥有supergroup用户组或ldmsadmin用户组的用户为管理员用户，将获得LDMSServer的全部权限。普通用户：未获得管理员用户权限的所有用户均为普通用户，没有LDMSServer的任何操作权限。在“用户组”处单击“添加”，在弹框中选择“ldmsadmin”，“主组”选择“l
- [快速使用LDMS托管Hudi表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300707.md): 本章节指导用户从零开始使用LDMS管理Hudi表定时执行异步Compaction、Clean、Archive作业。集群已安装LDMS及其所依赖的服务且运行正常。Hive MetaStore中已存在Hudi表且生成了Compaction计划。创建一个具备ldmsadmin或supergroup用户组权限的用户，具体请参考LDMS用户权限管理
- [LDMS系统设置](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300708.md): 本章节指导用户对已经分组的LDMS作业及运行的相关参数进行设置。集群已安装LDMS及其所依赖的服务且运行正常。创建一个具备ldmsadmin或supergroup用户组权限的用户，具体请参考LDMS用户权限管理。
- [LDMS库表管理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300709.md): LDMS会按照设置的间隔扫描Hive MetaStore并将Hudi表自动注册在LDMS上，但是如果间隔期间新创建的Hudi表则需要用户手动注册。本章节指导用户在LDMS上手动进行注册库表，删除已托管数据表和数据库。集群已安装LDMS及其所依赖的服务且运行正常。创建一个具备ldmsadmin或supergroup用户组权限的用户，具体请参
- [LDMS分组管理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300710.md): 在LDMS进行库表注册后，可以对已注册的Hudi表分组进行托管，执行异步Compaction、Clean、Archive运维操作。本章节指导用户在LDMS进行新增、编辑、删除分组操作。集群已安装LDMS及其所依赖的服务且运行正常。创建一个具备ldmsadmin或supergroup用户组权限的用户，具体请参考LDMS用户权限管理。待分组的
- [LDMS监控管理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300711.md): 本章节指导用户对已托管的分组任务进行监控和对注册的Hudi表进行健康监测。集群已安装LDMS及其所依赖的服务且运行正常。创建一个具备ldmsadmin或supergroup用户组权限的用户，具体请参考LDMS用户权限管理。Hudi表已托管在LDMS上并且分组任务已经启动。在“作业监控”页面可查看当前分组作业的信息，包含分组ID、分组名称、
- [FlinkServer支持作业提交日志下载](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300713.md): FlinkServer提交作业时可能会失败，需要查看提交日志定位问题根因。FlinkServer提供了作业提交日志的下载，用户可以将日志下载到本地后进行详细分析，便于问题定位和排查。只有运行过的作业有提交日志，没有运行过的作业单击“下载作业提交日志”会提示下载失败。每个作业只保留一份提交日志。本章节仅适用于MRS 3.6.0-LTS及之后
- [高性能小文件合并命令](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300716.md): 本章节仅适用于MRS 3.6.0-LTS及之后版本。只支持合并Flink Append模式写入的小文件。不支持DDL变更的表合并，不支持Spark bulkInsert写入的Hudi表。用于高效合并Flink Append模式写入的小文件。(table => '[table]', database =>'[database]', tabl
- [使用密信浏览器查看FlinkServer作业的运行详情](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300718.md): 本章节适用于MRS 3.6.0-LTS.1及之后的版本。如何使用密信浏览器查看FlinkServer作业的运行详情。
- [使用ClickHouseKeeper客户端](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300719.md): 如果从使用ZooKeeper服务切换至ClickHouseKeeper，需要重新安装ClickHouse客户端。cd /opt/clientsource bigdata_envsource ClickHouse/component_envkinit组件业务用户例如，kinitclickhouseuser。export KRB5CCNAME
- [配置切换至ClickHouseKeeper](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300720.md): 本章节指导用户将当前ClickHouse集群从使用ZooKeeper更换成使用ClickHouseKeeper。该操作过程中需要短暂停止ZooKeeper组件。组件停止期间将无法对外提供服务，可能会影响集群的上层业务正常运行，请在业务空闲期或确认操作无影响后再执行本操作。cd /opt/clientsource bigdata_envki
- [使用ClickHouseKeeper说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300721.md): ClickHouse服务提供了ClickHouseKeeper作为协调一致性服务。ClickHouseKeeper与ZooKeeper是相互兼容的，可以互相替代。本章节仅适用于MRS 3.6.0-LTS及之后版本。ZooKeeper与ClickHouseKeeper不能同时使用，ClickHouse服务只能选择使用其一。ClickHous
- [配置Hive访问HBase数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300722.md): Hive on HBase即是允许用户通过Hive的SQL接口查询和操作存储在HBase中的数据，将HBase的高效存储和实时读写能力与Hive的SQL查询能力相结合，提供了一种灵活且高效的数据处理方式。在MRS中，Hive支持通过内部表和外部表两种方式来访问和处理存储在HBase中的数据。本文通过示例为您介绍，如何使用MRS上的Hive
- [如何配置Kafka客户端Shell命令日志输出级别](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300738.md): 如何设置客户端Shell命令的日志输出级别？例如执行后结果如下：
- [如何使用Python3.x对接开启Kerberos认证的Kafka集群](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300739.md): 通过Python3.x环境如何对接开启Kerberos认证的Kafka集群？Python3.x的tgz包也可以去Python官网下载。推荐使用Python-3.6.X版本，3.7版本无法使用rdd的take函数。脚本样例：
- [如何针对Topic进行配置增加和删除](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300740.md): 使用Kafka过程中常需要对特定Topic进行配置增加或者修改，应该如何操作。已安装客户端，例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。登录MRS集群Manager。登
- [如何读取“__consumer_offsets”内部Topic的内容](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300741.md): Kafka如何将Consumer消费的offset保存在内部Topic的“ __consumer_offsets”中。登录集群Manager具体操作，请参考访问MRS集群Manager。选择“集群 > 服务 > ZooKeeper > 实例”，查看并记录任意一个ZooKeeper角色实例的业务IP地址。选择“配置 > 全部配置”，搜索“c
- [如何获取Topic的分布信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300742.md): 如何获取Topic在Broker实例的分布信息？下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。登录集群Manager具体操作，请参考访问MRS集群Manager。选择“集群 > 服务 > ZooKeeper > 实例”，查看并记录任意一个ZooKeeper角色实例的业务IP地址。选择“配置 > 全部配置”，搜索“client
- [如何获取Kafka Consumer Offset信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300743.md): 新Producer API指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer.sh”时，默认使用此API。指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“ka
- [Kafka安全使用说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300744.md): MRS 3.x及之后版本，Kafka不支持旧Producer API和旧Consumer API。新Producer API指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer.sh”时，默认使用此API。指org.apache.
- [Kafka故障排除](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300746.md): 本章节汇总了使用Kafka时遇到的常见故障及故障处理方法。Kafka客户端异常Kafka连接ZooKeeper客户端时发生断连使用Kafka Shell命令无法操作Kafka集群Kafka连接ZooKeeper客户端时发生断连使用Kafka Shell命令无法操作Kafka集群Kafka Topic操作异常创建Kafka Topic时报错
- [从零开始使用Iceberg](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300759.md): Apache Iceberg是一种面向海量分析数据集的开放表格式，通过高性能表格式为Spark、HetuEngine和Flink等计算引擎添加表功能，使用方式与SQL表完全一致。Iceberg专为超大规模表而构建，已在实际业务环境中得到应用，单个表可容纳数十PB数据，且即使如此庞大的表也无需分布式SQL引擎即可读取。支持以下功能：快速扫描
- [创建Tag和Branch](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300761.md): 本章节介绍如何创建Iceberg Tag和Branch。Tag可用于保留重要的历史快照以用于审计目的。Tag可用于保留重要的历史快照以用于审计目的。可登录spark-sql客户端参考以下操作创建Tag：每周保留1个快照，持续1个月。获取current-snapshot-id：DESCRIBE EXTENDED local.db.table
- [创建Iceberg表常用配置参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300762.md): 创建Iceberg表时，可以通过“TBLPROPERTIES”配置相关参数的值。
- [Iceberg表Schema演进介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300763.md): Iceberg支持原地表演进，不需要新建表和重写数据，通过修改元数据就可以完成表演进。Iceberg支持以下Schema演进：添加：向表或嵌套结构中添加新列。删除：从表或嵌套结构中移除现有列。重命名：重命名现有列或嵌套结构中的字段。更新：扩大列、结构字段、Map键、Map值或列表元素的类型。需注意，Map键不支持添加或删除会改变相等性的结
- [Iceberg表支持的数据类型介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300764.md): Iceberg支持的基本数据类型请参见表1。v1之后添加的基本类型有一个“addedby”版本，是允许使用该类型的第一个规范版本。例如，纳秒精度时间戳是v3规范的一部分；在v1或v2表中使用v3类型可能会破坏前向兼容性。不含时区的时间戳（Timestamp）值表示一个日期和一天中的时间，与时区无关，时间值独立于时区调整，例如2017-11
- [Iceberg隐式分区和分区演进介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300765.md): Iceberg表通过配置一个分区规范来定义如何从一条记录生成分区值元组。一个分区规范包含一个字段列表，每个字段由以下部分组成：源列ID：来自表模式的一个源列ID或一个源列ID列表。分区字段ID：用于标识分区字段，且在一个分区规范内是唯一的。在v2表元数据中，该ID在所有分区规范中都是唯一的。转换方式：应用于源列以生成分区值的转换函数。分区
- [配置Iceberg Catalog](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300767.md): Catalog用于加载、创建和管理Iceberg表，具体通过配置spark.sql.catalog的相关属性来实现。创建名为hive_prod的Iceberg Catalog，用于从Hive的元数据存储中加载表：SET spark.sql.catalog.hive_prod= org.apache.iceberg.spark.SparkC
- [Iceberg DDL语法说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300768.md): Spark 3可以在任何Iceberg Catalog中创建表，Iceberg会将Spark中的列类型转换为相应的Iceberg类型。命令如下：SET spark.sql.catalog.prod= org.apache.iceberg.spark.SparkCatalog;SET spark.sql.catalog.prod.type 
- [Iceberg表存储过程管理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300769.md): 在Spark中使用Iceberg前，需先配置Spark目录，spark_catalog和prod目录配置请参见配置Iceberg Catalog。存储过程仅在Spark 3中使用Iceberg SQL扩展时可用。可通过CALL语句从任何已配置的Iceberg Catalog中调用存储过程，所有存储过程均位于system命名空间下。CALL
- [使用Spark查询Iceberg表数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300770.md): 在Spark中使用Iceberg前，需先配置Spark目录，spark_catalog和prod目录配置请参见配置Iceberg Catalog。Iceberg基于Apache Spark的DataSourceV2 API实现数据源和目录功能。在Spark 3中，表的标识符需包含目录名称。查询表数据操作为：创建表，例如：查询表数据：SEL
- [使用Spark向Iceberg表中写入数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300771.md): Iceberg采用Apache Spark的DataSourceV2 API实现数据源和目录写入功能，不同Spark版本中支持的DataSourceV2 API请参见表1，且部分功能仅在Spark 3中使用Iceberg SQL扩展时可用。Spark 3支持INSERT INTO、MERGE INTO、INSERT OVERWRITE的S
- [DATEDIFF](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300774.md): DATEDIFF函数用于计算两个日期之间的天数差值。计算方式为enddate减去startdate，即返回值 = enddate - startdate。当enddate晚于startdate时返回正数，当enddate早于startdate时返回负数。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。VARCHAR日期格式：yyy
- [URL_DECODE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300775.md): 将application/x-www-form-urlencoded MIME格式的输入字符串转换为标准字符串。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。
- [URL_ENCODE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300776.md): 以application/x-www-form-urlencodedMIME格式对输入字符串进行编码并返回编码后的字符串。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。
- [BITAND](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300777.md): BITAND函数用于执行按位与操作。按位与操作是对两个整数的二进制位逐位进行比较，当两个对应位均为1时结果位为1，否则为0。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。输入和输出类型均为整型，且类型一致。返回结果为2，数据类型为INT。
- [BITNOT](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300778.md): BITNOT函数用于执行按位取反操作。按位取反操作是将整数的二进制位逐位取反，即0变1、1变0。由于INT类型采用补码表示，取反后的结果需结合补码规则理解。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。返回结果为-8，数据类型为INT。
- [BITOR](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300779.md): BITOR函数用于执行按位取或操作。按位或操作是对两个整数的二进制位逐位进行比较，当两个对应位中至少有一个为1时结果位为1，否则为0。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。输入和输出类型均为整型，且类型一致。返回结果为3，数据类型为INT。
- [BITXOR](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300780.md): BITXOR函数用于执行按位取异或操作。按位异或操作是对两个整数的二进制位逐位进行比较，当两个对应位不同时结果位为1，相同时为0。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。输入和输出类型均为整型，且类型一致。返回结果为1，数据类型为INT。
- [DATE_ADD](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300782.md): DATE_ADD函数用于返回指定日期增加目标天数后的日期。当目标天数为负数时，相当于减去对应天数。本章节仅适用于MRS 3.5.0及之后版本。指定日期：数据类型为TIMESTAMP或者STRING（格式为：yyyy-MM-dd HH:mm:ss），支持参数为NULL的特殊情况。目标天数：数据类型为INT。返回日期：指定日期增加目标天数后的
- [DATE_SUB](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300783.md): DATE_SUB函数用于返回指定日期减去目标天数后的日期。当目标天数为负数时，相当于增加对应天数。本章节仅适用于MRS 3.5.0及之后版本。指定日期：数据类型为TIMESTAMP或者STRING（格式为：yyyy-MM-dd HH:mm:ss），支持参数为NULL的特殊情况。目标天数：数据类型为INT。返回日期：指定日期减去目标天数后的
- [Flink支持配置作业失败重启时是否从快照恢复](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300784.md): 当Flink作业运行异常失败重启时，通常需要使用快照（SavePoint、CheckPoint）来恢复作业状态，以确保数据的一致性和准确性。然而，在某些情况下，使用快照（SavePoint、CheckPoint）可能会导致恢复过程复杂且耗时，尤其是在作业频繁失败的情况下。Flink允许作业在重启时不使用快照（SavePoint、Check
- [Flink支持算子延时指标](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300785.md): Flink提供了监控指标（Metrics）来帮助分析作业，该特性新增算子延时指标到Metrics系统中。通过在Flink原生Web UI界面查看这些指标，用户可以更准确地监控作业性能，及时发现并解决算子延时问题，从而提高作业的整体效率，指标详情如下所示：仅支持使用Event Time的算子。本章节适用于MRS 3.6.0-LTS.1及之后
- [配置Spark读取ORC和Parquet文件的Task数量](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300786.md): Spark ORC和Parquet文件读取时，支持指定splitBytes大小和压缩率来控制读取文件阶段的Task数量，开启特性后读取ORC和Parquet文件的Task数量不随可用Executor数量的增加而一直增加，从而减少无效Task数量，降低Driver Task调度压力，提升Driver高负载场景下的整体性能。本章节仅适用于MR
- [配置Spark支持并发任务写入同一张表的不同分区](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300787.md): Spark支持并发任务写入同一张表的不同分区。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。不支持相同datasources V1非分区表和Hive非分区表的并发写入。不支持datasources V1分区表和Hive分区表，INSERT INTO和INSERT OVERWRITE并发写相同表的相同分区。datasources 
- [对接互信集群的HDFS](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300789.md): 在跨集群数据迁移时，需要实现源集群与目标集群HDFS的双向访问能力，例如使用Distcp工具进行数据迁移时，需确保源集群和目标集群的网络互通。传统方案需通过手动修改客户端hdfs-site.xml配置文件来实现，这种操作模式存在配置易出错、维护成本高、版本兼容性难以保障等问题。通过本章节提供的方案，可以快速配置源集群和目标集群的互相访问，
- [配置Spark安全审计功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300790.md): 为了确保Spark作业的全面审计，将spark-sql、spark-beeline、spark-submit共三种提交作业的入口进行审计。其中spark-sql和spark-beeline需要记录用户名、IP、以及SQL查询内容；spark-submit需要额外记录提交的Jar包。对于无法审计的作业提交方式，如Spark-Shell、Py
- [配置HetuEngine对接外部OAuth 2.0](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300793.md): 本章节指导用户从零开始使用HetuEngine对接外部OAuth 2.0，以实现OAuth 2.0认证。仅集群已启用Kerberos认证（安全模式）支持该功能。HetuEngine只允许配置对接一个外部OAuth 2.0。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。使用HetuEngine管理员用户登录Manager界面，选择
- [FlinkSQL支持Multi Join](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300795.md): 在FlinkSQL多表Join场景中，默认情况下多个Join操作会逐个执行，每个Join操作都会产生独立的中间状态（state），当关联表较多时，中间状态会大量累积，占用大量存储资源并降低作业性能。FlinkSQL支持Multi Join，在多表Join场景下可以将多个Join操作合并为一个Multi Join算子，有效地减少中间状态（s
- [FlinkSQL 使用RocksDB Prefix Bloom Filter提升Join算子和TopN算子性能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300796.md): 针对使用了Join算子、TopN算子的业务SQL，使用RocksDB Prefix Bloom Filter可以提升该类业务SQL的计算性能。开启该特性前后生成的快照，互相不兼容。本章节仅适用于MRS 3.6.0-LTS.1及之后版本。配置“table.exec.use-map-prefix-bloomfilter”参数值为“true”，
- [配置HBase慢查询语句查杀功能](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300797.md): 为了提升HBase组件的集群可靠性及易运维性，便于运维人员可以快速发现存在问题的查询请求并支持选择性手动终止，HBase提供了对慢查询语句的查看、查杀、主动识别和主动拦截能力。为了保证集群功能的兼容性，慢查询查杀功能默认关闭，需要通过修改参数“hbase.slow.query.check.enabled”的值为“true”开启。该章节操作
- [配置MetaStore支持表属性中的敏感信息加密存储](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300798.md): MetaStore支持创建表时，将表属性中的敏感信息在数据库中加密存储，查询时再将其解密返回引擎侧，此功能默认开启。此功能将表属性中的敏感信息加密后在数据库中存储，返回MetaStore客户端的表属性仍为明文。多个MRS集群对接同一个元数据库的场景不支持此功能，包含加密信息的表仅可本集群使用，其他集群无法解密。迁移场景包含加密表属性的表的
- [配置MetaStore拦截低版本客户端请求](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300799.md): Spark、Flink、Hive执行hcat等任务可不经过服务端，直接通过客户端提交任务；开启此功能后，MRS内部组件仍能正常提供服务，低版本客户端访问MetaStore的请求将被拦截。MRS集群内涉及连接MetaStore的组件列表为：Spark、Flink、Loader、Ranger、Hive、HetuEngine、Doris。对接C
- [配置Hive对接LakeFormation支持show databases/tables鉴权](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300800.md): 在Hive对接LakeFormation的场景中，用户在Hive客户端查看数据库、数据表列表，或者通过JDBC的getMetaData接口获取元数据信息时，默认会显示所有数据库和数据表。通过调整Hive的配置参数，支持仅显示当前用户有权限访问的数据库和表，其他未被授权的库表将不再展示。默认所有Hive客户端用户都可以创建数据库和表，配置此
- [FlinkServer Catalog管理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300802.md): 在FlinkServer作业开发中，用户需要频繁访问Hive、Hudi、Iceberg等不同数据源的表。如果每次都在Flink SQL中手动创建表定义，不仅操作繁琐，还容易出现表结构与底层数据源不一致的问题。通过Catalog管理功能，FlinkServer可以自动对接底层数据源的元数据信息，实现表的自动发现和统一管理，从而简化作业开发流
- [FlinkServer数据管理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300803.md): 数据管理仅支持创建表和删除表。单次请求只能执行单条SQL。自定义Connector的表类型不支持通过数据管理模块创建对应表。本章节适用于MRS 3.6.0-LTS.1及以后版本。在hive_catalog、default数据库中创建名称为“hive_table”的hive表，完整示例如下：create table if not exist
- [配置HetuEngine对接Paimon](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300807.md): 本章节指导用户使用HetuEngine客户端配置对接Paimon数据所在集群。Paimon表必须创建在单独的database下（即database的Location必须为“warehouse路径 + database名称+ .db后缀”，即“warehouse路径/database名称.db”），不能使用default database，
- [配置Hive对接Paimon](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300808.md): 本章节指导用户如何在Hive客户端执行Paimon表相关操作。仅支持使用MapReduce和Tez引擎在Hive客户端查询Paimon表数据。不支持创建、修改Paimon表等DDL操作。如果需要使用HetuEngine查询Hive客户端创建的Paimon表，表必须创建在单独的database下（即database的Location必须为“
- [配置FlinkServer对接Paimon](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300809.md): 本章节提供了如何使用FlinkServer写FlinkSQL对接Paimon的操作指导。Paimon可以作为Sink表、Source表和维表。集群中已安装HDFS、Zookeeper、Yarn、Flink和Hive组件。参考创建FlinkServer权限角色创建一个具有FlinkServer管理员权限的用户用于访问Flink WebUI，
- [查看并修改Doris变量](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300817.md): MRS 3.6.0-LTS.1及之后版本，在Doris中变量直接控制了查询性能、资源分配及连接行为等。Doris中变量的修改分为会话级与全局级。在MySQL客户端连接Doris后（具体操作请参见快速使用Doris），即可执行变量相关操作：查看Doris变量查看所有变量：SHOW VARIABLES;精确/模糊过滤：SHOW VARIABL
- [配置Spark客户端对接Hudi](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300818.md): 本章节主要介绍通过spark-sql使用Hudi功能。在Manager界面创建用户并添加hadoop和hive用户组，主组加入hadoop。默认使用JDK8，需要切换JDK，请参考配置Spark作业运行时使用的JDK版本。目前Hudi集成在Spark中，用户从Manager页面下载Spark客户端即可，例如客户端安装目录为：“/opt/c
- [配置Spark客户端对接Iceberg](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300819.md): Apache Iceberg是一种面向海量分析数据集的开放表格式，通过高性能表格式为Spark、HetuEngine和Flink等计算引擎添加表功能，使用方式与SQL表完全一致。Iceberg专为超大规模表而构建，已在实际业务环境中得到应用，单个表可容纳数十PB数据，且即使如此庞大的表也无需分布式SQL引擎即可读取。支持以下功能：快速扫描
- [配置Spark客户端同时对接Hudi、Iceberg、Paimon](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300820.md): 在Spark客户端同时对接Hudi、Iceberg、Paimon组件，使用spark-sql把Hudi表数据迁移到Iceberg表。前提条件下载并安装Hudi客户端，目前Hudi、Iceberg、Paimon均集成在Spark中，用户从Manager页面下载Spark客户端即可，例如客户端安装目录为：“/opt/client”。在Mana
- [DROP TABLE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300822.md): DROP TABLE仅会从目录中移除表的元数据，如果需要同时删除表的实际数据内容，需使用DROP TABLE PURGE命令。DROP TABLE（仅移除元数据）DROP TABLE prod.db.sample;DROP TABLE PURGE（移除元数据并删除数据）DROP TABLE prod.db.sample PURGE;
- [ALTER TABLE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300823.md): 在Spark中，Iceberg完全支持ALTER TABLE相关操作。需已存在Iceberg表，例如，执行以下命令创建表：设置与移除表属性（ALTER TABLE ... SET/UNSET TBLPROPERTIES）：设置表属性：ALTER TABLEprod.db.sample SET TBLPROPERTIES ('read.sp
- [扩展DDL语法](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300824.md): 需已存在Iceberg表，例如，执行以下命令创建表：在Spark中使用Iceberg SQL扩展时，可使用以下命令：ADD PARTITION FIELDIceberg支持通过ADD PARTITION FIELD向分区规范中添加新的分区字段：ALTER TABLE prod.db.sample ADD PARTITION FIELD i
- [Branch](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300825.md): 执行Branch相关操作前，需执行以下命令设置“write.wap.enabled”为“true”：CREATE BRANCH可通过CREATE BRANCH语句创建分支，该语句支持以下选项：IF NOT EXISTS：如果分支已存在，操作不会失败。CREATE OR REPLACE：如果分支已存在，则更新该分支。在特定快照处创建分支。创
- [Tag](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300826.md): CREATE TAG可通过CREATE TAG语句创建标签，该语句支持以下选项：IF NOT EXISTS：如果标签已存在，操作不会失败。CREATE OR REPLACE：如果标签已存在，则更新该标签。在特定快照（snapshot）处创建标签。创建具有指定保留期的标签：示例一：ALTER TABLE prod.db.sample CRE
- [VIEW](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300827.md): Iceberg视图的设计目标是提供引擎无关的视图定义，确保同一视图可以在不同的查询引擎中保持一致的行为和结果，增强了数据查询的灵活性和兼容性。Iceberg视图是SQL视图的一种通用表示形式，旨在跨多个查询引擎进行解析。以下内容介绍如何在Spark 3.4及之后版本中创建和管理视图。创建视图创建一个不包含任何注释或属性的简单视图：CREA
- [rollback](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300829.md): 将表回滚到特定的快照ID版本可使用rollback_to_snapshot将表回滚到特定的快照ID。以下命令为将表db.sample回滚到快照ID为10963874102873的版本：CALL catalog_name.system.rollback_to_snapshot('db.sample', 10963874102873);其中，
- [set_current_snapshot](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300830.md): 可使用set_current_snapshot设置表的当前快照ID。与回滚不同，该操作不要求目标快照必须是表当前状态的祖先快照。例如：将db.sample表的当前快照设置为ID为10963874102873的快照：将db.sample表的当前快照设置为标签s1对应的快照：其中，表名字段的类型为string，快照ID字段的类型为long，“
- [cherrypick_snapshot](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300831.md): 可使用cherrypick_snapshot从指定快照中挑选变更并应用到表的当前状态。挑选操作会基于现有快照创建一个新快照，且不会修改或删除原始快照。仅支持对追加和动态覆盖类型的快照执行挑选操作。例如：挑选快照1的变更：使用命名参数挑选快照1的变更：其中，“table”表示待更新的表名，类型为string；“snapshot_id”为要设
- [publish_changes](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300832.md): 可使用publish_changes将暂存的 WAP ID 中的变更发布到表的当前状态。变更发布会基于现有快照创建一个新快照，且不会修改或删除原始快照。仅追加和动态覆盖类型的快照可成功发布。例如：使用WAP ID “wap_id_1”发布变更：使用命名参数发布变更：其中，“table”表示待更新的表名，类型为string；“wap_id”
- [fast_forward](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300833.md): 可使用fast_forward将一个分支的当前快照快速更新到另一个分支的最新快照。例如：将main分支的当前快照快速更新到audit-branch分支的最新快照中：其中，表字段的类型为string，分支字段的类型为string。输出结果介绍请参见表1。
- [expire_snapshots](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300834.md): 在Iceberg中，每次写入、更新、删除、upsert、压缩操作都会生成新快照，同时保留旧数据和元数据，以支持快照隔离和时间旅行功能。expire_snapshots可用于移除不再需要的旧快照及其文件，更多元数据管理操作请参见Metadata management。expire_snapshots会移除旧快照以及这些旧快照唯一需要的数据文
- [remove_orphan_files](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300835.md): remove_orphan_files可用于移除未在Iceberg表的任何元数据文件中引用的文件，这些文件可被视为 “孤立文件”。输出结果：对表执行remove_orphan_files命令的试运行，列出所有候选删除文件但不实际删除：CALL prod.system.remove_orphan_files(table => 'db.sam
- [rewrite_data_files](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300836.md): Iceberg会跟踪表中的每个数据文件，数据文件越多，清单文件中存储的元数据就越多；而小数据文件会产生不必要的元数据开销，并因文件打开成本导致查询效率降低。Iceberg可通过rewriteDataFiles操作，利用Spark并行压缩数据文件。此操作会将小文件合并为大文件，以减少元数据开销和运行时的文件打开成本。Iceberg默认会按照
- [rewrite_manifests](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300837.md): rewrite_manifests可用于重写表的清单文件，以优化扫描规划效率。清单文件中的数据文件会按分区规范中的字段进行排序，此过程通过Spark作业并行执行。语法参数介绍语法参数介绍参数名称是否必选类型参数说明table必选string必选参数，待更新的表名。use_caching可选boolean操作期间是否使用Spark缓存，默认
- [时间旅行](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300839.md): 在Spark中使用Iceberg前，需先配置Spark目录，spark_catalog和prod目录配置请参见Iceberg Catalog配置。Iceberg基于Apache Spark的DataSourceV2 API实现数据源和目录功能。SQL命令Spark 3.3及之后版本支持在SQL查询中使用TIMESTAMP AS OF或VE
- [查询系统表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300840.md): 在Spark中使用Iceberg前，需先配置Spark目录，spark_catalog和prod目录配置请参见Iceberg Catalog配置。Iceberg基于Apache Spark的DataSourceV2 API实现数据源和目录功能。如果需要查看表的历史记录、快照及其他元数据，Iceberg支持通过查询系统表实现。系统表的标识方
- [写入分支数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300842.md): 在执行写入操作前，目标分支必须已存在，写入操作不会自动创建不存在的分支。创建分支操作可参考Branch。通过SQL语句写入分支分支写入可通过在操作中指定分支标识符branch_yourBranch实现。也可通过指定spark.wap.branch配置，在写入-审计-发布（WAP）工作流中执行分支写入。需注意，不能同时指定WAP分支和分支标
- [写入分布模式](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300843.md): Iceberg的默认Spark写入器要求每个Spark Task中的数据需按分区值聚簇。这种分布方式可最大限度减少写入时保持打开的文件句柄数量。默认情况下会要求Spark对写入数据进行预排序，以适配该分布方式，通过表属性“write.distribution-mode”配置，默认值为“hash”。在Spark 3.5.0之前版本中，CTA
- [查看FlinkServer作业血缘关系](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300844.md): FlinkServer支持查看作业的血缘关系。仅支持查看SQL类型的作业血缘。不支持查看Hive方言的作业血缘。不支持查看CTAS类型的作业血缘。不支持查看包含Temporal Functions投影的作业血缘。不支持查看包含CREATE TEMPORARY TABLE语法的作业血缘。本章节仅适用于MRS 3.6.0-LTS.1及之后版本
- [创建Flink Jar作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300845.md): 通过FlinkServer创建Flink Jar作业。同一个应用下不能有相同的作业名。在作业开发界面，单击“选择”，上传本地Jar文件，并参考表1配置参数或添加自定义参数。参数配置参数名称参数描述本地jar文件上传jar文件。直接上传本地文件，大小不能超过“flinkserver.upload.jar.max.size”设置的阈值，默认5
- [LDMS主页介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300856.md): LDMSServer UI界面主页显示当前LDMS上管理的表以及任务的统计信息。集群已安装LDMS及其所依赖的服务且运行正常。创建一个具备ldmsadmin或supergroup用户组权限的用户，具体请参考LDMS用户权限管理。在LDMSServer UI界面“主页”显示的“库表信息”如表1所示，任务信息如表2所示。库表信息说明名称说明数
- [Hudi创建表参数简化指导](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300859.md): 在Hudi中，MOR表和COW表的创建可以通过指定少量参数来简化配置。本章节将指导用户在创建MOR表和COW表时如何简化参数，通过这些简化配置，用户可以更方便地创建MOR表和COW表，同时确保读写性能和存储效率的优化。本章节仅支持MRS 3.6.0-LTS.1及之后版本。MOR表create table hudi_mor(业务字段) us
- [Flink支持JobManager和TaskManager的CPU和内存指标](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300861.md): 在Flink作业运行过程中，JobManager和TaskManager的CPU和内存资源消耗是影响作业稳定性的关键因素，当资源不足时可能导致作业运行缓慢甚至失败。Flink提供了监控指标（Metrics）来帮助分析作业，该特性新增进程CPU和内存占用指标到Metrics系统中，通过AOM系统查看。指标详情如下表所示：本章节适用于MRS 
- [Flink支持Source和Sink算子数据统计指标](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300862.md): 在Flink作业运行过程中，用户需要了解Source算子（数据源）和Sink算子（数据输出）的数据收发情况，以判断作业是否存在数据积压或吞吐不足等问题。Flink提供了监控指标（Metrics）来帮助分析作业，该特性新增Source、Sink算子统计指标到Metrics系统中，默认开启，无需配置。便于直接观察Source、Sink算子的数
- [创建Paimon主键表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300875.md): 创建表时指定主键（Primary Key），则创建的表为主键表；主键由列组成，且主键值须唯一。主键表支持insert、update、delete操作。在存储桶内Paimon数据按主键排序后保存，过滤查询主键时查询性能高。主键表使用LSM树结构存储数据，支持高效读写。例如，创建一张分区键为pt，主键为pt, id，分桶为4的主键表：Paim
- [创建Paimon Append Only表](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300876.md): 在创建Paimon表时没有指定主键（Primary Key），则创建的为Paimon Append Only表。与主键表相比，Append Only表不能产生changelog变更日志，只能追加数据，适合不需要流式更新的场景。例如，创建一张分区键为pt的Append Only表：
- [清理Paimon过期数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300877.md): 清理过期数据可以释放存储空间，优化资源利用并提升系统运行效率等。快照文件用于还原历史状态，在其存续期间，关联的历史数据文件无法删除。随着快照不断生成，存储占用会持续增长，通过清理不再使用的快照文件，可以释放其指向的历史数据文件所占用的空间。表1中的参数决定了快照文件的过期时间。在当前快照文件数量大于“snapshot.num-retain
- [基于Paimon系统表查询数据信息](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300878.md): 每个表都有对应的系统表，系统表包含每个表相关的元数据及信息。用户可以通过批处理的方式查询对应表的系统表获取快照、Schema、使用选项等详细信息。目前仅Flink、Spark支持查询系统表。在某些情况下，表名需要用反引号包裹，以避免语法解析冲突。例如：select * from my_catalog.my_db.`my_table$sna
- [FlinkServer变量管理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300879.md): 在Flink SQL作业中，建表语句的WITH子句通常包含数据库连接地址、用户名、密码等敏感信息或频繁变更的配置项。如果将这些值直接硬编码在SQL中，不仅存在敏感信息泄露风险，而且当配置变更时需要逐个修改所有SQL作业，维护成本高。FlinkServer支持变量管理功能，可以将这些配置值定义为变量，在SQL中通过变量名引用，实现配置与逻辑
- [Catalog模式创建Flink SQL作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300881.md): 在FlinkServer中创建Flink SQL作业时，默认方式需要手动配置数据连接和表结构，操作较为繁琐。通过Catalog模式，可以复用已注册的Catalog元数据（如Hive、Hudi、Iceberg等数据目录的表信息），避免重复建表操作，提高作业开发效率。本章节适用于MRS 3.6.0-LTS.1及以后版本。Flink SQL类型
- [FlinkServer对接Hive](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300884.md): 目前FlinkServer对接Hive使用对接MetaStore的方式，所以需要Hive开启MetaStore功能。Hive可以作为Source、Sink和维表。本示例以安全模式Kafka为例。集群已安装HDFS、Yarn、Kafka、Flink和Hive（且服务名称必须为Hive）等服务。包含Hive服务的客户端已安装，安装路径如：/o
- [FlinkServer对接Hudi](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300885.md): 本指南通过使用FlinkServer写FlinkSQL对接Hudi。FlinkSQL读写Hudi时，不支持定义TINYINT、SMALLINT和TIME类型。集群已安装HDFS、Yarn、Hive、Spark、Flink和Kafka等服务。包含Flink、Kafka服务的客户端已安装，例如安装路径为：/opt/client。Flink要求
- [FlinkServer对接Iceberg](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300886.md): 本章节提供了如何使用FlinkServer写FlinkSQL对接Iceberg的操作指导。Iceberg可以作为Sink表和Source表。本章节适用于MRS 3.6.0-LTS.1及之后的版本。Flink On Iceberg不支持JDK 8运行。通过FlinkServer提交Flink On Iceberg的Flink Jar类型作业
- [Flink支持指定作业运行的JDK版本](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300891.md): Flink是一个开源的流处理和批处理框架，它支持在多种环境中运行，包括本地环境、集群环境。Flink支持指定在Yarn上运行作业的JDK版本，默认为JDK 8，还支持指定为JDK 17或JDK 21。本章节适用于MRS 3.6.0-LTS及之后版本。登录集群Manager具体操作，请参考访问MRS集群Manager。以切换为JDK 21为
- [Hudi分区字段列不支持包含特殊字符](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300892.md): Hudi分区表，分区列的值包含冒号等特殊字符时会写入失败，报错如下：Hudi创建分区表时，分区字段列不支持包含：,-?等特殊字符数据。
- [HetuEngine查询列太多导致查询报错](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300894.md): 在执行SQL查询大宽表时，如果表的列数超过5000列，将会出现如下报错：在Java中，所有代码都需要编译成字节码，然后在JVM中运行。出于内存和性能优化的考虑，JVM限制单个方法的代码长度必须小于65536字节，且该值不支持修改。可以通过优化SQL，限制单次查询表的列数。
- [HetuEngine查询Hive分区桶表时指定分桶字段查询结果为空](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300895.md): HetuEngine查询Hive分区桶表时，指定分桶字段查询结果为空，报错如下：Spark写入的分桶表文件，HetuEngine无法识别。HetuEngine的分桶表处理逻辑和Hive分桶表处理逻辑一致，因此可以使用Hive进行分桶表的数据写入。
- [修改Bucket分桶数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300896.md): 本章节仅适用于MRS 3.6.0-LTS.1及之后版本。已有的Bucket索引Hudi表因数据量变化较大的原因导致当前Bucket桶数不合适且不能重新建表修改桶数时，可以用该命令修改指定分区的桶数。查看指定分区的桶数：修改指定分区的桶数：查看指定分区的桶数：修改指定分区的桶数：
- [kafka-reassign-partitions.sh无重分配回退方案如何处理](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300902.md): kafka-reassign-partitions.sh重分配之后，没有回退方案。cd /opt/clientsource bigdata_envkinit组件业务用户cd Kafka/kafka./bin/kafka-reassign-partitions.sh --bootstrap-server<Kafka集群IP: port>--
- [删除Kafka磁盘分区数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300903.md): Kafka磁盘空间使用率过大时会对性能产生影响，为保证Kafka正常运行，可以删除Topic数据段，释放使用率过高的磁盘。此删除操作会直接删除磁盘上的数据，请谨慎使用。该章节操作仅适用于MRS 3.6.0.1及之后版本。已安装Kafka客户端，例如客户端安装目录为“/opt/client”。cd /opt/clientcd Kafka/k
- [配置Kafka生产流量异常告警规则](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300904.md): 该任务指导用户根据业务需求，在客户端使用命令行工具kafka-topic-monitor.sh来创建和管理Kafka生产流量异常告警规则。当达到配置的告警规则后，会在Manager上报“ALM-38020 Kafka生产流量异常”告警。该章节操作仅适用于MRS 3.6.0.1及之后版本。MRS集群管理员已明确业务需求。并准备一个Kafka
- [Hudi表主键字段设置为单字符读取报错](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300905.md): MRS 3.6.0-LTS.1版本创建Hudi表时主键字段名的长度为1，数据写入成功，但读取报错。LSM是一种用于高效写入的数据结构，将数据先写入内存，再合并到磁盘，广泛用于数据湖的增量存储引擎。LSM特性不支持Hudi表主键字段名长度为1。
- [配置Spark对接Paimon](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300906.md): 本章节指导用户使用Spark对接Paimon提交作业。如果需要使用HetuEngine查询Hive客户端创建的Paimon表，表必须创建在单独的database下（即database的Location必须为“warehouse路径 + database名称+ .db后缀”，即“warehouse路径/database名称.db”），不能使
- [表路径长度大于128时Hive级联授权操作异常](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300907.md): MRS 3.3.0及之后版本，开启Hive表级联授权功能后，表路径长度大于128时，在Ranger页面对表进行授权失败。当前级联授权元数据表路径字段支持的最大长度限制默认为128，需要修改字段类型后，再进行授权操作。登录Manager页面，选择“集群 > 服务 > Ranger > 配置 > 全部配置”，搜索“DB_FLAVOR”参数，查
- [从零开始使用Iceberg](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300910.md): Apache Iceberg是一种面向海量分析数据集的开放表格式，通过高性能表格式为Spark、HetuEngine和Flink等计算引擎添加表功能，使用方式与SQL表完全一致。Iceberg专为超大规模表而构建，已在实际业务环境中得到应用，单个表可容纳数十PB数据，且即使如此庞大的表也无需分布式SQL引擎即可读取。支持以下功能：快速扫描
- [创建Tag和Branch](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300912.md): 本章节介绍如何创建Iceberg Tag和Branch。Tag可用于保留重要的历史快照以用于审计溯源。Branch作为可变的快照引用，可用于数据开发测试隔离、数据快速回滚修复等场景，满足数据迭代与故障恢复的需求。如果创建Tag和Branch时没有指定RETAIN策略，Tag和Branch默认会永久保存不会自动过期。在SQL语句中，可通过R
- [创建Iceberg表常用配置参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300913.md): 创建Iceberg表时，可以通过“TBLPROPERTIES”配置相关参数的值。
- [Iceberg表Schema演进介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300914.md): Iceberg支持原地表演进，不需要新建表和重写数据，通过修改元数据就可以完成表演进。Iceberg支持以下Schema演进：添加：向表或嵌套结构中添加新列。删除：从表或嵌套结构中移除现有列。重命名：重命名现有列或嵌套结构中的字段。更新：扩大列、结构字段、Map键、Map值或列表元素的类型。需注意，Map键不支持添加或删除会改变相等性的结
- [Iceberg表支持的数据类型介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300915.md): Iceberg支持的基本数据类型请参见表1。不含时区的时间戳（Timestamp）值表示一个日期和一天中的时间，与时区无关，时间值独立于时区调整，例如2017-11-16 17:10:34总是被读取为2017-11-16 17:10:34，即具体的时间值（不带时区）。含时区的时间戳（Timestamptz）值表示时间线上的一个点，值以UT
- [Iceberg隐式分区和分区演进介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300916.md): 隐式分区是Iceberg内置的自动分区机制，由表自动根据原始字段（例如时间戳）通过内置函数计算分区，用户无需手动维护分区列，使得查询与物理存储解耦，可直接修改分区规则而不用迁移数据。典型使用场景：日志、埋点、时序数据按天/小时/月分区。多维度分区（时间 + 级别/类型/业务线）。表需要修改分区策略但无需重写数据。多人协作，避免手动分区字段
- [Iceberg Catalog配置](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300918.md): Catalog用于加载、创建和管理Iceberg表，具体通过配置spark.sql.catalog的相关属性来实现。创建名为“prod”的Iceberg Catalog，用于从Hive的元数据存储中加载表：SET spark.sql.catalog.prod= org.apache.iceberg.spark.SparkCatalog;S
- [CREATE TABLE](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300919.md): Spark可以在任何Iceberg Catalog中创建表，Iceberg会将Spark中的列类型转换为相应的Iceberg类型。命令如下：SET spark.sql.catalog.prod= org.apache.iceberg.spark.SparkCatalog;SET spark.sql.catalog.prod.type = 
- [查询表数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300920.md): 在Spark中使用Iceberg前，需先配置Spark目录，spark_catalog和prod目录配置请参见Iceberg Catalog配置。Iceberg基于Apache Spark的DataSourceV2 API实现数据源和目录功能。MRS 3.6.0.1及之后版本，使用Spark查询Iceberg表数据不支持矢量读操作。在Sp
- [CALL COMMAND语法使用说明](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300921.md): CALL语句仅在Spark中使用Iceberg SQL扩展时可用。在Spark中使用Iceberg前，需先配置Spark目录，目录配置请参见Iceberg Catalog配置。执行CALL语句前，需已存在Iceberg表，可执行以下操作创建表并插入数据（如果已存在请跳过该操作）：执行以下命令创建表：CREATE TABLE prod.db
- [写入数据](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300922.md): Spark支持INSERT INTO、MERGE INTO、INSERT OVERWRITE的SQL写入语句。INSERT INTO可使用INSERT INTO向表中追加新数据：创建表：CREATE TABLE prod.db.table (id bigint, data string) USING iceberg;写入数据：示例一：IN
- [Hive Session连接过载问题排查及解决方法](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300924.md): 客户端连接到HiveServer时，由于并发连接数超过了服务器所能处理的极限，导致无法建立新的会话。导致Hive Session连接过载，通常存在以下使用场景：HiveServer连接数配置过少HiveServer连接数超过单个用户的最大会话连接数HiveServer连接数超过时间窗口中最大的连接数HiveServer负载不均衡使用完Hi
- [Iceberg列默认值介绍](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300925.md): 添加新列并指定默认值，且还没有新数据写入，读取时新列的值会使用initial-default（初始默认值）。执行写入时，被缺省的字段（写入时没有指定该字段的值）将会使用write-default（写入默认值）写入。不使用列默认值时，initial-default和write-default都是null。执行ALTER TABLE... A
- [表异常告警](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300926.md): 在LDMS页面 “监控 > 风险清单”中存在执行异常的表。在表异常告警中查看详细信息，确定异常的表名以及失败作业类型与失败原因进行处理，详细报错信息可以通过表托管的作业找到对应提交到Yarn上的任务查看具体报错进行处理。
- [开启Oozie HA功能后，访问Oozie WebUI页面报错](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300927.md): MRS 3.3.0-LTS版本，开启Oozie HA功能后，访问Oozie WebUI报错“Service Unavailable”。Oozie服务端缺少ZooKeeper依赖的jackson Jar包。
- [Doris常用数据字段命名规则](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_3010404.md): 本章节主要介绍Doris常用数据字段的命名规则，详情请参见表1 Doris常用数据字段命名规则。
- [配置在JDBC客户端使用用户名密码认证访问HetuEngine防暴力攻击](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_3010466.md): HetuEngine支持在JDBC客户端使用用户名密码认证方式连接HSBroker，该方式不需要提供Kerberos相关配置，操作简单且与Kerberos认证机制兼容。然而在缺乏本地防护机制的情况下，如果攻击者持续使用错误的密码访问HetuEngine，连续失败5次将触发Kerberos锁定用户。由于解锁用户后再次连续失败仍会立即锁定，这
- [运行Flink任务报错“java.lang.NoSuchFieldError: SECURITY_SSL_ENCRYPT_ENABLED”如何处理？](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_03_1215.md): 问：Flink任务运行失败，报错如下：答：客户代码里面打包的第三方依赖包和集群包冲突，提交到MRS集群运行失败。需修改相关的依赖包，并将pom文件中的开源版本的Hadoop包和Flink包的作用域设置为provide，添加完成后重新打包运行任务。
- [提交Flink作业时报错slot request timeout如何处理？](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_03_1237.md): Flink作业提交时，jobmanager启动成功，但taskmanager一直是启动中直到超时，报错如下：Yarn队列中资源不足，导致创建taskmanager启动不成功。用户的jar包与环境中的jar包冲突导致，可以通过执行wordcount程序是否成功来判断。如果集群为安全集群，可能是Flink的SSL证书配置错误，或者证书过期。增
- [DGC方式如何创建Flink Hive SQL作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_07_450197.md): 在数据治理中心（DataArts Studio-DGC）创建Flink Hive SQL作业，实现从Kafka等数据源读取数据并写入Hive表。但该方式的作业创建流程与普通Flink SQL作业有所不同，需要配置Hive Catalog和特定的SQL语句。使用DGC方式如何创建Flink Hive SQL作业。若通过DGC方式创建提交Fl
- [Flink作业提交时报错端口范围不足](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_07_450198.md): Flink作业提交时，没有足够的端口分配给actor system，导致作业启动失败，报错：Could not start actor system on any port in port range 32326-32390。MRS集群上服务众多，如果不限制端口范围可能导致其他服务端口被占用而导致异常，因此MRS集群给每个服务分配的端口范
- [Flink对接Elasticsearch作业运行一段时间后Checkpoint失败](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_07_450199.md): Flink对接Elasticsearch作业，运行一段时间（TGT的有效期一般为24小时）后，写Elasticsearch失败，Checkpoint超时报错。TGT（Ticket Granting ticket）：票据授权票据。Flink对接Elasticsearch作业在运行过程中，TGT超期后会重新进行认证，此时Elasticsear
- [Flink Jar包冲突报错ClassCastException类型转换异常](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_07_450200.md): Flink lib中引入第三方依赖包后，启动作业报错：引入的第三方依赖包与Flink中的依赖包有冲突，第三方依赖包中的类不兼容，导致某些函数实例化失败。方法一：排包，排除引入的第三方jar中的冲突包，建议优先使用该方法。方法二：将flink-conf.yaml配置文件中配置项“classloader.resolve-order”的值修改为
- [如何设置开源Flink中的znode存储目录](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_07_450201.md): 如何将开源Flink中的znode存储目录设置为自定义目录。如设置目录为/flink_base/flink，在flink-conf.yaml配置文件中将“high-availability.zookeeper.path.under.quota”的值设置为“/flink_base/flink”。【示例】在flink-conf.yaml配置文
- [Flink使用print connector定位数据问题](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_07_450216.md): 在使用Flink过程中有时会遇到数据处理结果与预想不一致的问题。比如通过与源端对比，有的数据应该删除，但在最终处理结果中并没有被删除。造成这种问题的原因较多，可以借用print connector将Flink处理的数据打印出来，通过查看数据的输出结果来定位问题。print connector使用方式：CREATE TABLE KafkaS
- [Flink使用pipeline.operator-chaining定位问题](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_07_450217.md): Flink运行过程中会将算子进行串联形成一个task来降低网络等开销，但是在遇到背压、数据不准确等情况时，因为多个算子串联在一起，无法快速定位是哪个算子有问题。通过将“pipeline.operator-chaining”参数值设置为“false”，把算子链打散来观察是哪个算子有问题。以一个作业为例，作业的第二个task已经进入busy状
- [FlinkSQL中Changelog事件乱序问题](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_07_450219.md): 在FlinkSQL作业中，当使用CDC源表进行双流Join操作时，Join算子需要按Join键进行数据shuffle。如果源表的主键与Join键不一致，且Join算子的并发度大于1，则同一条主键的更新事件可能被分发到不同的subtask中，导致Join输出的Changelog事件顺序不确定，最终可能产生不正确的结果。给定以下SQL示例：其

## 组件操作指南（普通版）

- [使用Hue WebUI操作Hive表](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0131.md): Hue汇聚了与大多数Apache Hadoop组件交互的接口，致力让用户通过界面图形化的方式轻松使用Hadoop组件。目前Hue支持HDFS、Hive、HBase、Yarn、MapReduce、Oozie和SparkSQL等组件的可视化操作。已安装Hue组件。系统将自动显示数据库中的所有表。可以输入表名关键字，系统会自动搜索包含此关键字的
- [访问Hue WebUI界面](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0132.md): MRS集群安装Hue组件后，用户可以通过Hue的WebUI，在图形化界面使用Hadoop生态相关组件。该任务指导用户在MRS集群中打开Hue的WebUI。Internet Explorer浏览器可能存在兼容性问题，建议更换兼容的浏览器访问Hue WebUI，例如Google Chrome浏览器。第一次访问Manager和Hue WebUI
- [Hue常用配置参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0133.md): 参数入口，请参考修改集群服务配置参数进入Hue服务“全部配置”页面。Hue常用参数请参见表1。Hue自定义参数请参见表2。以下自定义参数仅MRS 3.1.2及之后版本适用。
- [在Hue WebUI使用HiveQL编辑器](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0134.md): 用户需要使用图形化界面在集群中执行HiveQL语句时，可以通过Hue完成任务。Hive支持以下功能：执行和管理HiveQL语句。在“保存的查询”中查看当前访问用户已保存的HiveQL语句。在“查询历史记录”中查看当前访问用户执行过的HiveQL语句。系统将自动显示数据库中的所有表。可以输入表名关键字，系统会自动搜索包含此关键字的全部表。光
- [在Hue WebUI使用元数据浏览器](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0135.md): 用户需要使用图形化界面在集群中管理Hive的元数据，可以通过Hue完成任务。访问Hue WebUI，请参考访问Hue WebUI界面。查看Hive表的元数据在左侧导航栏单击表，单击某一表名称，界面将显示Hive表的元数据信息。在左侧导航栏单击表，单击某一表名称，界面将显示Hive表的元数据信息。管理Hive表的元数据在Hive表的元数据信
- [在Hue WebUI使用文件浏览器](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0136.md): 用户需要使用图形化界面管理HDFS文件时，可以通过Hue完成任务。Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作，使用Hive客户端对Hive表进行操作。文件浏览器的“主页”
- [在Hue WebUI使用作业浏览器](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0137.md): 用户需要使用图形化界面查看集群中所有作业时，可以通过Hue完成任务。默认显示当前集群的所有作业。作业浏览器显示的数字表示集群中所有作业的总数。作业浏览器显示的数字表示集群中所有作业的总数。“作业浏览器”将显示作业以下信息：如果MRS集群安装了Spark组件，则默认会启动一个作业Spark-JDBCServer，用于执行任务。单击日志可打开
- [HDFS on Hue](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0139.md): Hue提供了文件浏览器功能，使用户可以通过界面图形化的方式使用HDFS。Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作，使用Hive客户端对Hive表进行操作。访问Hue W
- [配置HDFS冷热数据迁移](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0140.md): 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集，则该工具将对该文件执行一组行为操作。冷热数据迁移工具支持以下规则和行为。迁移规则：根据文件的最后访问时间迁移数据根据年龄时间迁移数据（修改时间）无条件迁移数据规则条件标签条件标签描述<age operator="lt">定义年龄/修改时间
- [Hive on Hue](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0141.md): Hue提供了Hive图形化管理功能，使用户可以通过界面的方式查询Hive的不同数据。访问Hue WebUI，请参考访问Hue WebUI界面。在左侧导航栏单击编辑器，然后选择Hive，进入Hive。执行Hive HQL语句在左侧选中目标数据库，也可通过单击右上角的，输入目标数据库的名称以搜索目标数据库。在文本编辑框输入Hive HQL语句
- [Oozie on Hue](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0144.md): Hue提供了Oozie作业管理器功能，使用户可以通过界面图形化的方式使用Oozie。Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作，使用Hive客户端对Hive表进行操作。访
- [Hue日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0147.md): 日志路径：Hue相关日志的默认存储路径为“/var/log/Bigdata/hue”（运行日志），“/var/log/Bigdata/audit/hue”（审计日志）。日志归档规则：Hue的日志启动了自动压缩归档功能，默认情况下，当“access.log”、“error.log”、“runcpserver.log”和“hue-audits
- [使用Hue WebUI访问HDFS文件失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0156.md): 在使用Hue WebUI访问HDFS文件时，报如下图所示无法访问的错误提示，该如何处理？查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装HttpFS实例，需手动安装并重启Hue服务。
- [HBase客户端使用实践](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0340.md): 该任务指导用户在运维场景或业务场景中使用HBase客户端。已安装客户端。例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。各组件业务用户由MRS集群管理员根据业务需要创建。“机机”用户需要下载keytab文件，“人机”用户第一次登录时需修改密码。“机机”用户需要下载keytab文件
- [快速使用Hadoop](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0365.md): 本章节提供从零开始使用Hadoop提交wordcount作业的操作指导，wordcount是最经典的Hadoop作业，它用来统计海量文本的单词数量。开源的Hadoop的样例程序包含多个例子，其中包含wordcount。可以从https://dist.apache.org/repos/dist/release/hadoop/common/中
- [从零开始使用Spark](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0366.md): 本章节提供从零开始使用Spark提交sparkPi作业的操作指导，sparkPi是最经典的Spark作业，它用来计算Pi（π）值。开源的Spark的样例程序包含多个例子，其中包含sparkPi。可以从https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0-bin-hado
- [从零开始使用Spark SQL](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0367.md): Spark提供类似SQL的Spark SQL语言操作结构化数据，本章节提供从零开始使用Spark SQL，创建一个名称为src_data的表，然后在src_data表中每行写入一条数据，最后将数据存储在mrs_20160907集群中。再使用SQL语句查询src_data表中的数据，最后可将src_data表删除。将OBS数据源中的数据写入
- [快速使用HBase进行离线数据分析](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0368.md): HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导，通过客户端实现创建表，往表中插入数据，修改表，读取表数据，删除表中数据以及删除表的功能。假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，使用HBase客户端实现A业务操作流程如下：创建用户信息表user_info。
- [访问Hue WebUI界面](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0370.md): MRS集群安装Hue组件后，用户可以通过Hue的WebUI，在图形化界面使用Hadoop与Hive。该任务指导用户在MRS集群中打开Hue的WebUI。Internet Explorer浏览器可能存在兼容性问题，建议更换兼容的浏览器访问Hue WebUI，例如Google Chrome浏览器50版本。第一次访问Manager和Hue We
- [在Hue WebUI使用HiveQL编辑器](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0371.md): 用户需要使用图形化界面在集群中执行HiveQL语句时，可以通过Hue完成任务。Hive支持以下功能：执行和管理HiveQL语句。在Saved Queries中查看当前访问用户已保存的HiveQL语句。在Query History中查看当前访问用户执行过的HiveQL语句。单击，在Databases下可以显示Hive中所有的数据库。系统将自
- [在Hue WebUI使用元数据浏览器](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0372.md): 用户需要使用图形化界面在集群中管理Hive的元数据，可以通过Hue完成任务。访问Hue WebUI，请参考访问Hue WebUI界面。选择“Data Browsers > Metastore Tables”，进入Metastore Manager。查看Hive表的元数据在左侧导航栏中，将鼠标放在某一表上，单击显示在其右侧的图标，界面将显示
- [在Hue WebUI使用文件浏览器](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0373.md): 用户需要使用图形化界面管理HDFS文件时，可以通过Hue完成任务。Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作，使用Hive客户端对Hive表进行操作。默认进入当前登录用户
- [在Hue WebUI使用作业浏览器](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0374.md): 用户需要使用图形化界面查看集群中所有作业时，可以通过Hue完成任务。默认显示当前集群的所有作业。Job Browser显示的数字表示集群中所有作业的总数。Job Browser显示的数字表示集群中所有作业的总数。Job Browser将显示作业以下信息：如果MRS集群安装了Spark组件，则默认会启动一个作业Spark-JDBCServe
- [创建Kafka Topic](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0376.md): 用户可以根据业务需要，使用集群客户端创建Kafka的主题。启用Kerberos认证的集群，需要拥有管理Kafka主题的权限。已安装客户端。MRS3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > ZooKeeper > 实例”。若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击IA
- [查看Kafka Topic信息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0377.md): 用户可以在Manager或KafkaUI上查看Kafka已创建的主题信息。MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Kafka”。若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击IAM用户同步右侧的“同步”进行IAM用户同步）。若集群详情页面没有“组件管理”页签
- [Kafka用户权限说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0378.md): 在启用Kerberos认证的集群中，用户使用Kafka前需要拥有对应的权限。MRS集群支持将Kafka的使用权限，授予不同用户。Kafka默认用户组如表1所示。在MRS 3.x及之后版本中，Kafka支持两种鉴权插件：“Kafka开源自带鉴权插件”和“Ranger鉴权插件”。本章节描述的是基于“Kafka开源自带鉴权插件”的用户权限管理。
- [管理Kafka Topic中的消息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0379.md): 用户可以根据业务需要，使用MRS集群客户端，在Kafka主题中产生消息，或消费消息。已安装集群客户端。启用Kerberos认证的集群，需要提前在Manager中创建业务用户，用户拥有在Kafka主题中执行相应操作的权限。MRS3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Kafka”。若集群详情页面没有“组件管理”页
- [使用客户端提交Storm拓扑](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0381.md): 用户可以根据业务需要，在集群的客户端中提交Storm拓扑，持续处理用户的流数据。启用Kerberos认证的集群，需要提交拓扑的用户属于stormadmin或storm组。已刷新客户端。请根据客户端所在位置，参考安装客户端章节，登录安装客户端的节点。例如修改“/opt/storm/topology.jar”的权限：chmod 600 /op
- [访问Storm的WebUI](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0382.md): 用户可以通过Storm的WebUI，在图形化界面使用Storm。Storm的WebUI支持查看以下信息：Storm集群汇总信息Nimbus汇总信息拓扑汇总信息Supervisor汇总信息Nimbus配置信息Storm集群汇总信息Nimbus汇总信息拓扑汇总信息Supervisor汇总信息Nimbus配置信息获取用户admin账号密码。ad
- [管理Storm拓扑](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0383.md): 用户可以使用Storm的WebUI管理拓扑。storm用户组的用户只能管理由自己提交的拓扑任务，stormadmin用户组的用户可以管理所有拓扑任务。激活拓扑单击Activate，转化当前拓扑为激活状态。单击Activate，转化当前拓扑为激活状态。去激活拓扑单击Deactivate，转化当前拓扑为去激活状态。单击Deactivate，转
- [查看Storm拓扑日志](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0384.md): 用户需要查看Storm拓扑在worker进程中的执行情况时，需要查看worker中关于拓扑的日志。如果需要查询拓扑在运行时数据处理的日志，提交拓扑并启用Debug功能后可以查看日志。仅启用Kerberos认证的流集群支持该场景，且用户需要是拓扑的提交者，或者加入stormadmin。在工作环境完成网络配置。需要查看处理数据的拓扑，提交时已
- [Flume日志采集概述](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0391.md): Flume是一个分布式、可靠和高可用的海量日志聚合的系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方，用于收集数据。同时，提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume分为客户端和服务端，两者都是FlumeAgent。服务端对应着F
- [查看Flume客户端日志](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0393.md): ls -lR flume-client-*日志文件示例如下：其中FlumeClient.log即为Flume客户端的运行日志。
- [停止或卸载Flume客户端](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0394.md): 指导运维工程师停止、启动Flume客户端，以及在不需要Flume数据采集通道时，卸载Flume客户端。停止Flume角色的客户端。假设Flume客户端安装路径为/opt/FlumeClient，执行以下命令，停止Flume客户端：cd /opt/FlumeClient/fusioninsight-flume-Flume组件版本号/bin.
- [使用Flume客户端加密工具](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0395.md): 安装Flume客户端后，配置文件的部分参数可能需要填写加密的字符，Flume客户端中提供了加密工具。cd fusioninsight-flume-Flume组件版本号/bin./genPwFile.sh输入两次待加密信息。cat password.property如果加密参数是用于Flume Server，那么需要到相应的Flume Se
- [Flume常用配置参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0396.md): MRS 3.x之前版本需在“properties.properties”文件中配置。MRS 3.x及之后版本，部分参数可在Manager界面配置。使用Flume需要配置Source、Channel和Sink，各模块配置参数说明可通过本节内容了解。MRS 3.x及之后版本部分参数可通过Manager界面配置，选择“集群 > 服务 > Flu
- [快速使用Flume采集节点日志](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0397.md): Flume支持将采集的日志信息导入到Kafka。已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。已配置网络，使日志生成节点与流集群互通。普通集群不需要执行2-6。可参考安装MRS 3.x之前版本Flume客户端在日志生成节点安装Flume客户端，例如安装目录为“/opt/Flumeclie
- [Loader使用简介](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0401.md): 本章节适用于MRS 3.x之前版本。通过Loader迁移用户数据时，基本流程如下所示。访问Hue WebUI的Loader页面。管理Loader连接。创建作业，选择数据源的连接以及保存数据的连接。运行作业，完成数据迁移。Loader页面是基于开源Sqoop WebUI的图形化数据迁移管理工具，该页面托管在Hue的WebUI中。进入Load
- [Loader连接配置说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0402.md): 本章节适用于MRS 3.x之前版本。Loader支持以下多种连接，每种连接的配置介绍可根据本章节内容了解。obs-connectorgeneric-jdbc-connectorftp-connector或sftp-connectorhbase-connector、hdfs-connector或hive-connectorOBS连接是Loa
- [管理Loader连接（MRS 3.x之前版本）](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0403.md): Loader页面支持创建、查看、编辑和删除连接。本章节适用于MRS 3.x之前版本。已访问Loader页面，参见Loader页面介绍。参数介绍具体可参见Loader连接配置说明。如果连接配置，例如IP地址、端口、访问用户等信息不正确，将导致验证连接失败无法保存。另外VPC相关设置，也可能影响网络连通性。用户可以直接单击测试立即检测连接是否
- [Loader作业源连接配置说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0404.md): Loader作业需要从不同数据源获取数据时，应该选择对应类型的连接，每种连接在该场景中需要配置连接的属性。本章节适用于MRS 3.x之前版本。
- [Loader作业目的连接配置说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0405.md): Loader作业需要将数据保存到不同目的存储位置时，应该选择对应类型的目的连接，每种连接在该场景中需要配置连接的属性。
- [管理Loader作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0406.md): Loader页面支持创建、查看、编辑和删除作业。本章节适用于MRS 3.x之前版本。已访问Loader页面，参见Loader页面介绍。在名称填写一个作业的名称。在源连接和目的连接选择对应的连接。选择某个类型的连接，表示从指定的源获取数据，并保存到目的位置。如果没有需要的连接，可单击添加新连接。选择某个类型的连接，表示从指定的源获取数据，并
- [准备MySQL数据库连接的驱动](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0407.md): Loader作为批量数据导出的组件，可以通过关系型数据库导入、导出数据。已准备业务数据。MRS 3.x之前版本：针对MRS 3.x之前版本，上传至/opt/Bigdata/MRS_XXX/install/FusionInsight-Sqoop-1.99.7/FusionInsight-Sqoop-1.99.7/server/jdbc/其中
- [样例：通过Loader将数据从OBS导入HDFS](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0408.md): 用户需要将大量数据从集群外导入集群内的时候，可以选择从OBS导入到HDFS的方式。已准备业务数据。已创建分析集群。具体可参见Loader连接配置说明。如果是启用了Kerberos认证的分析集群，可参见访问Hue WebUI界面。在名称填写一个作业的名称。例如obs2hdfs。在源连接选择已创建的OBS连接。目的连接选择已创建的HDFS连接
- [管理Loader连接（MRS 3.x及之后版本）](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0409.md): Loader页面支持创建、查看、编辑和删除连接。本章节适用于MRS 3.x及之后版本。MRS 3.x及后续版本，登录FusionInsight Manager，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本），选择“集群 > 服务”。参数介绍具体可参见Loader连接配置说明。如果连接配置，例如IP地址
- [访问Presto的WebUI](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0433.md): 用户可以通过Presto的WebUI，在图形化界面查看Presto的统计信息。Presto的WebUI界面不支持使用IE浏览器访问，建议使用Google浏览器访问。已安装Presto服务的集群。已安装集群客户端，例如安装目录为“/opt/client”。以下操作的客户端目录只是举例，请根据实际安装目录修改。方法一（适用于MRS 3.x及之
- [使用Presto客户端执行查询语句](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0434.md): 用户可以根据业务需要，在MRS集群的客户端中进行交互式查询。启用Kerberos认证的集群，需要提交拓扑的用户属于presto组。MRS 3.x版本Presto组件暂不支持开启Kerberos认证。获取用户admin账号密码。admin密码在创建MRS集群时由用户指定。已刷新客户端。3.x版本的集群需要手动安装Presto客户端。步骤2-
- [KafkaManager介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0436.md): KafkaManager是Apache Kafka的管理工具，提供Kafka集群界面化的Metric监控和集群管理。通过KafkaManager可以：支持管理多个Kafka集群支持界面检查集群状态（主题，消费者，偏移量，分区，副本，节点）支持界面执行副本的leader选举使用选择生成分区分配以选择要使用的分区方案支持界面执行分区重新分配（
- [访问KafkaManager的WebUI](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0437.md): 用户可以通过KafkaManager的WebUI，在图形化界面监控管理Kafka集群。已安装KafkaManager服务的集群。获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击IAM用户同步右侧的“同步”进行IAM用
- [管理Kafka集群](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0438.md): 管理Kafka集群包含以下内容：添加集群到KafkaManager的WebUI界面更新集群参数删除KafkaManager的WebUI界面的集群首次创建Kafka集群后会在KafkaManager的WebUI界面创建名为my-cluster的默认Kafka集群，用户也可以在KafkaManager的WebUI界面自行添加已经通过MRS控制
- [Kafka集群监控管理](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0439.md): Kafka集群监控管理包含以下内容：查看Broker信息查看Topic信息查看Consumers信息通过KafkaManager修改Topic的partition在Topic Summary页面单击Generate Partition Assignments。勾选broker实例，单击Generate Partition Assignme
- [基于binlog的MySQL数据同步到MRS集群中](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0441.md): 本章节为您介绍使用Maxwell同步工具将线下基于binlog的数据迁移到MRS Kafka集群中的指导。Maxwell是一个开源程序（https://maxwells-daemon.io），通过读取MySQL的binlog日志，将增删改等操作转为JSON格式发送到输出端（如控制台/文件/Kafka等）。Maxwell可部署在MySQL机
- [快速使用Hive进行数据分析](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0442.md): Hive是基于Hadoop的一个数据仓库工具，可将结构化的数据文件映射成一张数据库表，并提供类SQL的功能对数据进行分析处理，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，使用Hive客户端实现A业务操
- [HBase常用参数配置](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0443.md): 该章节操作仅适用于MRS 3.x之前版本集群。当MRS服务中默认的参数配置不足以满足用户需要时，用户可以自定义修改参数配置来适应自身需求。若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击IAM用户同步右侧的“同步”进行IAM用户同步）。
- [使用MRS客户端操作OpenTSDB指标数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0471.md): 用户可以根据业务需要，在MRS集群的客户端中进行交互式操作。启用Kerberos认证的集群，需要操作的用户属于“opentsdb，hbase，opentsdbgroup和supergroup”组且拥有HBase权限。获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。已安装集群客户端，例如安装目录为“/opt/
- [使用curl命令操作OpenTSDB](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0472.md): 例如，录入一个指标名称为testdata，时间戳为1524900185，值为true，标签为key，value的指标数据。<tsd_ip>表示所需写入数据的Opentsdb服务的TSD实例的IP地址。例如，可查询指标testdata在过去三年的汇总信息。<tsd_ip>：所需访问Opentsdb服务的TSD实例IP或主机名。<start=
- [Flink客户端使用实践](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0473.md): 本节提供使用Flink运行wordcount作业的操作指导。MRS集群中已安装Flink组件。集群正常运行，已安装集群客户端，例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。以在集群内节点安装客户端为例：登录Manager，在“集群”下拉列表中单击需要操作的集群名称，选择“更多 
- [启用集群间拷贝功能备份集群数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0502.md): 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能，该功能默认未启用。两个集群都需要配置。该任务指导MRS集群管理员在MRS修改参数以启用集群间拷贝功能。启用集群间复制功能需要重启Yarn，服务重启期间无法访问。两个集群HDFS的参数“hadoop.rpc.pr
- [HBase本地二级索引介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0506.md): HBase是基于Key-Value的分布式存储数据库，基于rowkeys对表中的数据按照字典进行排序。如果您根据指定的rowkey查询数据，或者扫描指定rowkey范围内的数据，HBase可以快速查找到需要读取的数据，从而提高效率。在大多数实际情况下，会需要查询列值为XXX的数据。HBase提供了Filter功能来查询具有特定列值的数据：
- [批量加载HBase数据并生成本地二级索引](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0507.md): HBase本身提供了ImportTsv＆LoadIncremental工具来批量加载用户数据。当前提供了HIndexImportTsv来支持加载用户数据的同时可以完成对索引数据的批量加载。HIndexImportTsv继承了HBase批量加载数据工具ImportTsv的所有功能。此外，若在执行HIndexImportTsv工具之前未建表，
- [使用TableIndexer工具生成HBase本地二级索引](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0508.md): 为了快速对数据创建索引，HBase提供了可通过MapReduce功能创建索引的TableIndexer工具，该工具可实现添加、构建和删除索引。具体使用场景如下：在表中预先存在大量数据的情况下，可能希望在某个列上添加索引。但是，使用addIndicesWithData() API添加索引会生成与相关数据对应的索引数据，这将花费大量时间。另一
- [迁移HBase索引数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0509.md): MRS 1.7及其以后版本中使用的索引与以前MRS版本中HBase使用的二级索引都不兼容。因此，为了将索引数据从以前的版本（MRS 1.5及其以前版本）迁移到MRS 1.7及其以后版本，需要遵循以下步骤。迁移数据时旧版本集群应为MRS1.5及其以前的版本，新版本集群应为MRS1.7及其以后的版本。迁移数据前用户应该有旧的索引数据。安全集群
- [配置HBase主备集群数据自动备份](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0510.md): 主备集群已经安装并且启动。主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。当主集群HBase服务关闭时，ZooKeeper和HDFS服务应该启动并运行。该工具应该由启动HBase进程的系统用户运行。如果处于安全模式，请确保备用集群的HBase系统用户具有主集群HDFS的读取权限。因为它将更新HBase系统ZooK
- [Hive常用配置参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0582.md): 对于MRS 3.x之前版本，登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。对于MRS 3.x之后版本，登录FusionInsight Manager，选择“集群 > 服务 > Hive > 配置 > 全部配置”。
- [创建表关联OpenTSDB](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0585.md): MRS的Spark实现了访问OpenTSDB的Datasource，能够在Spark中创建关联表，查询和插入OpenTSDB数据。使用CREATE TABLE命令创建表并关联OpenTSDB上已有的metric。若OpenTSDB上不存在metric，查询对应的表会报错。创建表时，不需要指定timestamp和value字段，系统会根据指
- [插入数据至OpenTSDB表](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0586.md): 使用INSERT INTO命令将表中的数据插入到已关联的OpenTSDB metric中。插入的数据不能为null；插入的数据相同，会覆盖原数据；插入的数据只有value值不同，也会覆盖原数据。不支持INSERT OVERWRITE语法。不建议对同一张表并发插入数据，因为有一定概率发生并发冲突，导致插入失败。时间戳格式只支持yyyy-MM
- [查询OpenTSDB表](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0587.md): SELECT命令用于查询OpenTSDB表中的数据。所查询的表必须是已经存在的表，否则会出错。查询的tagv必须是已经有的值，否则会出错。查询表opentsdb_table中的数据。
- [默认配置修改](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0588.md): 默认会连接Spark的Executor所在节点本地的TSD进程，在MRS中一般使用默认配置即可，无需修改。在spark-sql，spark-beeline执行set语句后，再执行其他SQL：
- [Flink常用配置参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0592.md): Flink所有的配置参数都可以在客户端侧进行配置，建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置，如果通过Manager界面修改Flink服务参数，配置完成之后需要重新下载安装客户端：配置文件路径：客户端安装路径/Flink/flink/conf/flink-conf.yaml。文件的配置格式为key:valu
- [Flink日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0596.md): 日志存储路径：Flink作业运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”。运行中的任务日志存储在以上路径中，运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中。FlinkRe
- [Flink客户端常见命令说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0598.md): 本章节适用于MRS 3.x及之后版本。在使用Flink的Shell脚本前，首先需要执行以下操作，详细使用场景可参考Flink客户端使用实践运行wordcount作业：source /opt/client/bigdata_env
- [访问Impala WebUI界面](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0600.md): 用户可以通过Impala的WebUI，在图形化界面查看Impala作业的相关信息。Impala的WebUI根据实例不同分为如下三种：StateStore WebUI：用于管理节点。Catalog WebUI：用于查看元数据。已安装Impala服务的集群。修改为：
- [访问Kudu的WebUI](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0601.md): 用户可以通过Kudu的WebUI，在图形化界面查看Kudu作业的相关信息。已安装Kudu服务的集群。
- [签发Flink证书样例](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0621.md): 将该样例代码生成generate_keystore.sh脚本，放置在Flink客户端的bin目录下。执行命令“sh generate_keystore.sh <password>”即可，<password>由用户自定义输入若<password>中包含特殊字符"$"，应使用如下方式，以防止被转义，“sh generate_keystore.
- [在集群内节点使用LoadIncrementalHFiles批量导入数据，报错权限不足](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0625.md): 在普通集群中手动创建Linux用户，并使用集群内DataNode节点执行批量导入时，为什么LoadIncrementalHFiles工具执行失败报“Permission denied”的异常？如果LoadIncrementalHFiles工具依赖的Client在集群内安装，且和DataNode在相同的节点上，在工具执行过程中HDFS会创建
- [从零开始使用Kudu](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0638.md): Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性：可水平扩展，并支持高可用性操作。已安装集群客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。执行su - omm命令，切换到omm用户。cd /opt/
- [Impala客户端使用实践](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0639.md): Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。 它是一个用C++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比，它拥有高性能和低延迟的特点。假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，使用Impala客户端实现A业务操作流程如下：普通表的操作：创建用户
- [Alluxio常用操作](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0757.md): 创建安装Alluxio组件的集群。以root用户登录集群的主Master节点，密码为用户创建集群时设置的root密码。执行如下命令，配置环境变量。source /opt/client/bigdata_envsource /opt/client/bigdata_envAlluxio shell包含多种与Alluxio交互的命令行操作。要查看
- [配置底层存储系统](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0759.md): 用户想要通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离时，可以在MRS Manager页面中配置Alluxio的底层存储系统来实现。集群创建后，默认的底层存储地址是hdfs://hacluster/，即将HDFS的根目录映射到Alluxio。已安装Alluxio服务的集群。获
- [通过数据应用访问Alluxio](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0760.md): 访问Alluxio文件系统的端口号是19998，即地址为alluxio://<alluxio的master节点ip>:19998/<PATH>，本节将通过示例介绍如何通过数据应用（Spark、Hive、Hadoop MapReduce和Presto）访问Alluxio。source /opt/client/bigdata_envkinit
- [创建Ranger集群](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0763.md): 目前MRS 1.9.2集群仅普通模式集群支持Ranger组件，开启Kerberos认证的安全集群不支持Ranger组件。选择Ranger组件开启：使用外置的MySQL数据库存储Ranger组件的User/Group/Policy等数据。关闭：Ranger组件的User/Group/Policy等数据默认存放在当前集群本地数据库中。当用户选
- [访问Ranger WebUI及同步Unix用户到Ranger WebUI](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0764.md): 用户可以通过Ranger WebUI，在图形化界面上对Ranger进行管理。首次登录Ranger WebUI界面后请修改用户密码并妥善保存。Ranger UserSync是Ranger中一个重要的组件，它支持将Unix系统用户或LDAP用户同步到Ranger WebUI中，目前MRS服务只支持同步Ranger UserSync进程所在节点
- [在Ranger中配置Hive/Impala的访问权限](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0765.md): 在创建完安装了Ranger组件的MRS集群后，Hive/Impala的权限控制暂未集成在Ranger中，由于Hive与Impala配置方法一致，本章节主要介绍Hive组件如何集成在Ranger中。在MRS控制台，单击集群名称进入集群详情页面。选择“组件管理”。选择“Hive > 服务配置”，将“基础配置”切换为“全部配置”。搜索配置“hi
- [在Ranger中配置HBase的访问权限](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0766.md): 在创建完安装了Ranger组件的MRS集群后，HBase的权限控制暂未集成在Ranger，本章节主要介绍HBase组件如何集成在Ranger中。在MRS控制台，单击集群名称进入集群详情页面。选择“组件管理”。选择“HBase > 服务配置”，将“基础配置”切换为“全部配置”。搜索并修改“hbase.security.authorizati
- [访问Spark Web UI界面](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0767.md): Spark Web UI界面主要用于查看Spark应用程序运行情况，推荐使用Google chrome浏览器以获得更好的体验。Spark主要有两个Web页面。Spark UI页面，用于展示正在执行的应用的运行情况。页面主要包括了Jobs、Stages、Storage、Environment、Executors、SQL、JDBC/ODBC 
- [DBService日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0789.md): 日志存储路径：DBService相关日志的默认存储路径为“/var/log/Bigdata/dbservice”。gaussDB：“/var/log/Bigdata/dbservice/DB”（gaussDB运行日志目录），“/var/log/Bigdata/dbservice/scriptlog/gaussdbinstall.log”（
- [配置NameNode内存参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0791.md): 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。登录集群Manager具体操作，请参考访问MRS集群Manager。
- [使用distcp命令跨集群复制HDFS数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0794.md): distcp是一种在集群间或集群内部拷贝大量数据的工具。它利用MapReduce任务实现大量数据的分布式拷贝。已安装Yarn客户端或者包括Yarn的客户端。例如安装目录为“/opt/client”。各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。（普通
- [HDFS文件系统目录简介](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0795.md): HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件之后的添加操作。HDFS保证一个文件在一个时刻只被一个调用者执行写操作，而可以
- [配置HDFS用户访问HDFS文件权限](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0797.md): 默认情况下，某些HDFS的文件目录权限为777或者750，存在安全风险。建议您在客户端安装完成后修改对应HDFS目录的权限，增加用户的安全性。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。export HADOOP_USER_NA
- [查看HDFS容量状态](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0799.md): HDFS DataNode以Block的形式，保存用户的文件和目录，同时在NameNode中生成一个文件对象，对应DataNode中每个文件、目录和Block。NameNode文件对象需要占用一定的内存，消耗内存大小随文件对象的生成而线性递增。DataNode实际保存的文件和目录越多，NameNode文件对象总量增加，需要消耗更多的内存，
- [设置HBase和HDFS的句柄数限制](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0801.md): 当打开一个HDFS文件时，句柄数限制导出，出现如下错误：此时可以参考该章节设置HBase和HDFS的句柄数。联系集群管理员增加各用户的句柄数。该配置为操作系统的配置，并非HBase或者HDFS的配置。建议集群管理员根据HBase和HDFS的业务量及各操作系统用户的权限进行句柄数设置。如果某一个用户需对业务量很大的HDFS进行很频繁且很多的
- [配置DataNode节点容量不一致时的副本放置策略](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0804.md): 默认情况下，NameNode会随机选择DataNode节点写入文件。当集群内某些数据节点的磁盘容量大小不一致，会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时的磁盘选择策略为“节点磁盘可用空间块放置策略”，可提高将块数据写到磁盘可用空间较大节点的概率，解决因为数据节点磁盘容量不一致导致的节点使用率不均衡的情况，显
- [配置HDFS单目录文件数量](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0805.md): 通常一个集群上部署了多个服务，且大部分服务的存储都依赖于HDFS文件系统。当集群运行时，不同组件（例如Spark、Yarn）或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的，因此用户需要提前做好规划，防止单个目录下的文件数目超过阈值，导致任务出错。HDFS提供了dfs.namenode.fs-l
- [配置HDFS文件回收站机制](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0806.md): HDFS的回收站机制是一种数据保护机制，它允许用户在删除文件或目录后，将其暂时存储在一个特定的位置，而不是立即永久删除。当用户误删除重要数据时，可以从回收站中恢复数据，避免数据永久丢失。被删除的文件会被移动到用户主目录下的“.Trash”目录中，路径通常为“hdfs://<nameservice>/user/<username>/.Tra
- [配置HDFS token的最大存活时间](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0808.md): 安全模式下，HDFS中用户可以对Token的最大存活时间和Token renew的时间间隔进行灵活地设置，根据集群的具体需求合理地配置。登录集群Manager具体操作，请参考访问MRS集群Manager。
- [HDFS网络不稳定场景调优](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0811.md): 在网络不稳定的情况下，可以通过调整如下参数，降低客户端应用运行异常概率。登录集群Manager具体操作，请参考访问MRS集群Manager。
- [HDFS日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0828.md): 日志存储路径：HDFS相关日志的默认存储路径为“/var/log/Bigdata/hdfs/角色名”。NameNode：“/var/log/Bigdata/hdfs/nn”（运行日志），“/var/log/Bigdata/audit/hdfs/nn”（审计日志）。DataNode：“/var/log/Bigdata/hdfs/dn”（运行
- [配置MapReduce任务日志归档和清理机制](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0836.md): 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内容被HistoryServer解析以后用于查看作业执行的详细信息。任务日志记录了每个运行在Container中的任务输
- [降低MapReduce客户端运行任务失败率](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0837.md): 当网络不稳定或者集群IO、CPU负载过高的情况下，通过调整如下参数值，降低客户端应用的失败率，保证应用的正常运行。在客户端的mapred-site.xml配置文件中调整如下参数。mapred-site.xml配置文件在客户端安装路径的conf目录下，例如“/opt/client/Yarn/config”。
- [通过Windows系统提交MapReduce任务](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0838.md): 用户将MapReduce任务从Windows上提交到Linux上运行，则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数，或参数值为“false”，则表示集群不支持此功能，需要按照如下操作增加该参数或修改参数值进行开启。本章节操作适用于MRS 3.x及之后版本。在
- [配置使用分布式缓存执行MapReduce任务](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0839.md): 本章节操作适用于MRS 3.x及之后版本。分布式缓存在两种情况下非常有用。滚动升级在升级过程中，应用程序必须保持文字内容（jar文件或配置文件）不变。而这些内容并非基于当前版本的Yarn，而是要基于其提交时的版本。一般情况下，应用程序（例如MapReduce、Hive、Tez等）需要进行完整的本地安装，将库安装至所有的集群机器（客户端及服
- [配置MapReduce shuffle address](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0840.md): 当MapReduce shuffle服务启动时，它尝试基于localhost绑定IP。如果需要MapReduce shuffle服务连接特定IP，可以参考该章节进行配置。当需要MapReduce shuffle服务绑定特定IP时，需要在NodeManager实例所在节点的配置文件mapred-site.xml中（例如路径为：${BIGDA
- [配置MapReduce集群管理员列表](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0841.md): 该功能主要用于指定MapReduce集群管理员。其中，集群管理员列表由参数mapreduce.cluster.administrators指定，集群管理员admin具有所有可以操作的权限。进入Mapreduce服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。
- [MapReduce日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0842.md): 日志默认存储路径：JobhistoryServer：“/var/log/Bigdata/mapreduce/jobhistory”（运行日志），“/var/log/Bigdata/audit/mapreduce/jobhistory”（审计日志）Container：“/srv/BigData/hadoop/data1/nm/contain
- [多CPU内核下的MapReduce调优配置](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0844.md): 当CPU内核数很多时，如CPU内核为磁盘数的3倍时的调优配置。以下参数有如下两个配置入口：服务器端配置进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。客户端配置直接在客户端中修改相应的
- [配置MapReduce Job基线](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0845.md): 确定Job基线是调优的基础，一切调优项效果的检查，都是通过和基线数据做对比来获得。Job基线的确定有如下三个原则：充分利用集群资源Reduce阶段尽量放在一轮每个Task的执行时间要合理原则一：充分利用集群资源。Job运行时，会让所有的节点都有任务处理，且处于繁忙状态，这样才能保证资源充分利用，任务的并发度达到最大。可以通过调整处理的数据
- [MapReduce Shuffle调优](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0846.md): Shuffle阶段是MapReduce性能的关键部分，包括了从Map task将中间数据写到磁盘一直到Reduce task拷贝数据并最终放到reduce函数的全部过程。这部分Hadoop提供了大量的调优参数。Map阶段的调优判断Map使用的内存大小判断Map分配的内存是否足够，一个简单的办法是查看运行完成的job的Counters中，对
- [MapReduce大任务的AM调优](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0847.md): 当运行一个大任务（map总数达到了10万的规模），但是一直没有运行成功。经过查询发现是ApplicationMaster（以下简称AM）反应缓慢，最终超时失败。此任务的问题是，task数量变多时，AM管理的对象也线性增长，因此就需要更多的内存来管理。AM默认分配的内存堆大小是1GB。通过调大如下的参数来进行AM调优。参数入口：在Yarn客
- [配置MapReduce任务推测执行](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0848.md): 当集群规模很大时（如几百上千台节点的集群），个别节点出现软硬件故障的概率会增大，并且会因此延长整个任务的执行时间（运行完成的任务会等待异常设备运行完成）。推测执行通过将一个task分给多台机器运行，取首先运行完成的节点。对于小集群，可以将该功能关闭。参数入口：进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改
- [通过Slow Start调优MapReduce任务](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0849.md): Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动，过早启动Reduce任务会导致资源占用，影响任务运行效率，但适当地提早启动Reduce任务会提高Shuffle阶段的资源利用率，提高任务运行效率。例如：某集群可启动10个Map任务，MapReduce作业共15个Map任务，那么在一轮Map任务执行完成后只剩5个
- [MapReduce任务commit阶段优化](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0850.md): 默认情况下，如果一个MR任务会产生大量的输出结果文件，那么该job在最后的commit阶段，会耗费较长的时间将每个task的临时输出结果commit到最终的结果输出目录。特别是在大集群中，大Job的commit过程会严重影响任务的性能表现。针对以上情况，可以通过将以下参数mapreduce.fileoutputcommitter.algo
- [Yarn常用配置参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0852.md): Yarn服务提供队列给用户使用，用户分配对应的系统资源给各队列使用。完成配置后，您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。参数入口：MRS 3.x之前的版本集群执行以下操作：用户在MRS控制台上，选择“租户管理 > 资源分布策略”。参数说明以default为例，其他队列的配置类似，单击“修改”编辑。MRS 3.x及后续版本
- [创建Yarn角色](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0853.md): 该任务指导MRS集群管理员创建并设置Yarn的角色。Yarn角色可设置Yarn管理员权限以及Yarn队列资源管理。如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理。对于MRS 3.x及后续版本集群，具体操作可参考添加Yarn的Ranger访问权限策略。MRS 3.x以前版本集群执行以下操作：Yarn权
- [使用Yarn客户端提交任务](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0854.md): 该任务指导用户在运维场景或业务场景中使用Yarn客户端。已安装客户端。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下，“机机”用户需要
- [配置NodeManager角色实例使用的资源](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0855.md): 如果部署NodeManager的各个节点硬件资源（如CPU核数、内存总量）不一样，而NodeManager可用硬件资源设置为相同的值，可能造成性能浪费或状态异常，需要修改各个NodeManager角色实例的配置，使硬件资源得到充分利用。保存新的配置需要重启NodeManager角色实例，此时对应的角色实例不可用。MRS 3.x之前的版本集
- [更改NodeManager的存储目录](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0856.md): Yarn NodeManager定义的存储目录不正确或Yarn的存储规划变化时，MRS集群管理员需要在Manager中修改NodeManager的存储目录，以保证Yarn正常工作。NodeManager的存储目录包含本地存放目录“yarn.nodemanager.local-dirs”和日志目录“yarn.nodemanager.log-
- [配置Yarn权限控制开关](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0857.md): 在安全模式的多租户场景下，一个集群可以支持多个用户使用以及支持多个用户任务提交、运行，用户之间不可见，需要有一个权限控制机制，使用户的任务信息不被其他用户获取。例如，用户A提交的应用正在运行，此时用户B登录系统并查看应用列表，用户B不应该访问到A用户的应用信息。查看Yarn服务配置参数参考修改集群服务配置参数进入Yarn服务参数“全部配置
- [配置Container日志聚合功能](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0858.md): Yarn提供了Container日志聚合功能，可以将各节点Container产生的日志收集到HDFS，释放本地磁盘空间。日志收集的方式有两种：应用完成后将Container日志一次性收集到HDFS。应用运行过程中周期性收集Container输出的日志片段到HDFS。应用完成后将Container日志一次性收集到HDFS。应用运行过程中周期
- [启用Yarn CGroups功能限制Container CPU使用率](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0859.md): CGroups是一个Linux内核特性。它可以将任务集及其子集聚合或分离成具备特定行为的分层组。在Yarn中，CGroups特性对容器（Container）使用的资源（例如CPU使用率）进行限制。本特性大大降低了限制容器CPU使用的难度。当前CGroups仅用于限制CPU使用率。本章节适用于MRS 3.x及后续版本集群。有关如何配置CPU
- [配置AM自动调整分配内存](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0861.md): 本章节适用于MRS 3.x及后续版本集群。启动该配置的过程中，ApplicationMaster在创建Container时，分配的内存会根据任务总数的浮动自动调整，资源利用更加灵活，提高了客户端应用运行的容错性。参数入口：参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称“mapreduce.job.am
- [配置Yarn数据访问通道协议](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0862.md): 服务端配置了web访问为https通道，如果客户端没有配置，默认使用http访问，客户端和服务端的配置不同，就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数，可以防止客户端访问结果显示乱码。安全模式下配置为“HTTPS_ONLY”。普通模式下配置为“HTTP_ONLY”。cd/opt/clien
- [检测Yarn内存使用情况](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0863.md): 针对所提交应用的内存使用无法预估的情况，可以通过修改服务端的配置项控制是否对内存使用进行检测。若不检测内存使用，Container会占用内存直到内存溢出；若检测内存使用，当内存使用超过配置的内存大小时，相应的Container会被kill掉。参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。
- [配置ResourceManager重启后自动加载Container信息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0865.md): YARN Restart特性包含两部分内容：ResourceManager Restart和NodeManager Restart。当启用ResourceManager Restart时，升主后的ResourceManager就可以通过加载之前的主ResourceManager的状态信息，并通过接收所有NodeManager上contai
- [配置AM作业自动保留](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0866.md): 本章节适用于MRS 3.x及后续版本集群。在YARN中，ApplicationMaster(AM)与Container类似，都运行在NodeManager(NM)上（本文中忽略未管理的AM）。AM可能由于多种原因崩溃、退出或关闭。如果AM停止运行，ResourceManager(RM)会关闭ApplicationAttempt中管理的所有
- [配置Yarn本地化日志级别](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0867.md): 本章节适用于MRS 3.x及后续版本集群。container本地化默认的日志级别是INFO。用户可以通过配置yarn.nodemanager.container-localizer.java.opts来改变日志级别。在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”，选择全部配置，在NodeMan
- [手动指定运行Yarn任务的用户](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0868.md): 本章节适用于MRS 3.x及后续版本集群。目前Yarn支持启动NodeManager的用户运行所有用户提交的任务，也支持以提交任务的用户运行任务。在Manager系统中，选择“集群 > 服务 > Yarn > 配置”，选择全部配置。在搜索框中输入参数名称。yarn.nodemanager.linux-container-executor.
- [Yarn日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0870.md): Yarn相关日志的默认存储路径如下：ResourceManager：“/var/log/Bigdata/yarn/rm”（运行日志），“/var/log/Bigdata/audit/yarn/rm”（审计日志）NodeManager：“/var/log/Bigdata/yarn/nm”（运行日志），“/var/log/Bigdata/au
- [调整Yarn任务抢占机制](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0872.md): 抢占任务可精简队列中的job运行并提高资源利用率，由ResourceManager的capacity scheduler实现，其简易流程如下：假设存在两个队列A和B。其中队列A的capacity为25%，队列B的capacity为75%。初始状态下，任务1发送给队列A，此任务需要75%的集群资源。之后任务2发送到了队列B，此任务需要50%
- [手动配置Yarn任务优先级](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0873.md): 集群的资源竞争场景如下：提交两个低优先级的应用Job 1和Job 2。正在运行中的Job 1和Job 2有部分task处于running状态，但由于集群或队列资源容量有限，仍有部分task未得到资源而处于pending状态。提交一个较高优先级的应用Job 3，此时会出现如下资源分配情况：当Job 1和Job 2中running状态的tas
- [Yarn节点配置调优](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0874.md): 合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。具体包括以下配置项：可用内存CPU虚拟核数物理CPU使用百分比内存和CPU资源的协调本地磁盘若您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。可用内存除了分配给操作系统、其他服务的内存外，剩余的资源应尽量分配给YARN。通过
- [Hive用户权限说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0948.md): Hive是建立在Hadoop上的数据仓库框架，提供类似SQL的HQL操作结构化数据。MRS提供用户、用户组和角色，集群中的各类权限需要先授予角色，然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组，才能获得权限。Hive授权相关信息请参考：https://cwiki.apache.org/confluence/dis
- [创建Hive角色](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0949.md): 该任务指导MRS集群管理员在Manager创建并设置Hive的角色。Hive角色可设置Hive管理员权限以及Hive数据表的数据操作权限。用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表拥有完整权限，可直接创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问表与对应
- [配置Hive表、列或数据库的用户权限](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0950.md): 使用Hive表或者数据库时，如果用户访问别人创建的表或数据库，需要授予对应的权限。为了实现更严格权限控制，Hive也支持列级别的权限控制。如果要访问别人创建的表上某些列，需要授予列权限。以下介绍使用Manager角色管理功能在表授权、列授权和数据库授权三个场景下的操作。安全模式支持配置Hive表、列或数据库的权限，普通模式不支持配置Hiv
- [配置Hive业务使用其他组件的用户权限](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0951.md): Hive业务还可能需要关联使用其他组件，例如HQL语句触发MapReduce任务需要设置Yarn权限，或者Hive over HBase的场景需要HBase权限。以下介绍Hive关联Yarn和Hive over HBase两个场景下的操作。安全模式下Yarn和HBase的权限管理默认是开启的，因此在安全模式下默认需要配置Yarn和HBas
- [Hive客户端使用实践](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0952.md): 该任务指导用户在运维场景或业务场景中使用Hive客户端。已安装客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。cd/opt/hadoop
- [使用HDFS Colocation存储Hive表](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0953.md): HDFS Colocation（同分布）是HDFS提供的数据分布控制功能，利用HDFS Colocation接口，可以将存在关联关系或者可能进行关联操作的数据存放在相同的存储节点上。Hive支持HDFS的Colocation功能，即在创建Hive表时，设置表文件分布的locator信息，当使用insert语句向该表中插入数据时会将该表的数
- [配置Hive列加密功能](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0954.md): Hive支持对表的某一列或者多列进行加密；在创建Hive表时，可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时，即可实现将对应列加密。列加密只支持存储在HDFS上的TextFile和SequenceFile文件格式的表。Hive列加密不支持视图以及Hive over HBase场景。Hive列加密机制目前支持的加密算法
- [自定义Hive表行分隔符](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0955.md): 通常情况下，Hive以文本文件存储的表会以回车作为其行分隔符，即在查询过程中，以回车符作为一行表数据的结束符。但某些数据文件并不是以回车分隔的规则文本格式，而是以某些特殊符号分隔其规则文本。MRS Hive支持指定不同的字符或字符组合作为Hive文本数据的行分隔符，即在创建表的时候，指定inputformat为SpecifiedDelim
- [删除Hive on HBase表中的单行记录](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0956.md): 由于底层存储系统的原因，Hive并不能支持对单条表数据进行删除操作，但在Hive on HBase功能中，MRS Hive提供了对HBase表的单条数据的删除功能，通过特定的语法，Hive可以将自己的HBase表中符合条件的一条或者多条数据清除。remove table <table_name> where <expression>;其中
- [配置基于HTTPS/HTTP协议的REST接口](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0957.md): WebHCat为Hive提供了对外可用的REST接口，开源社区版本默认使用HTTP协议。MRS Hive支持使用更安全的HTTPS协议，并且可以在两种协议间自由切换。安全模式支持HTTPS和HTTP协议，普通模式只支持HTTP协议。MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“
- [配置Hive Transform功能开关](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0958.md): Hive开源社区版本禁用Transform功能。MRS Hive提供配置开关，默认为禁用Transform功能，与开源社区版本保持一致。用户可修改配置开关，开启Transform功能，当开启Transform功能时，存在一定的安全风险。MRS 3.x之前版本，只有安全模式支持禁用Transform功能，普通模式不支持该功能。MRS 3.x
- [配置Hive单表动态视图的访问控制权限](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0959.md): MRS中安全模式下Hive可以创建一个视图并控制用户访问权限，支持授权给不同的用户访问，又可以限定不同用户只能访问的不同数据。在视图中，Hive可以通过获取当前客户端提交任务的用户的内置函数current_user()来进行过滤，这样被授权的用户，在访问视图时，即可被限定访问对应的数据。在普通模式下current_user()函数无法区别
- [配置创建临时函数的用户不需要具有ADMIN权限](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0960.md): Hive开源社区版本创建临时函数需要用户具备ADMIN权限。MRS Hive提供配置开关，默认为创建临时函数需要ADMIN权限，与开源社区版本保持一致。用户可修改配置开关，实现创建临时函数不需要ADMIN权限。当该选项配置成false时，存在一定的安全风险。安全模式支持配置创建临时函数是否需要ADMIN权限功能，而普通模式不支持该功能。M
- [配置Hive读取关系型数据库数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0961.md): Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据，并与Hive的其他表进行Join操作。目前支持使用Hive读取数据的关系型数据库如下：DB2Oracle本章节适用于MRS 3.x及后续版本。DB2Oracle本章节适用于MRS 3.x及后续版本。已安装Hive客户端。cd 客户端安装目录例如安装目
- [Hive支持的传统关系型数据库语法说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0962.md): Hive支持如下传统关系型数据库语法：GroupingEXCEPT、INTERSECT语法简介：当Group by语句带with rollup/cube选项时，Grouping才有意义。CUBE生成的结果集显示了所选列中值的所有组合的聚合。ROLLUP生成的结果集显示了所选列中值的某一层次结构的聚合。Grouping：当用CUBE或ROL
- [创建Hive用户自定义函数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0963.md): 当Hive的内置函数不能满足需要时，可以通过编写用户自定义函数UDF（User-Defined Functions）插入自己的处理代码并在查询中使用它们。本文为您介绍自定义函数的开发和运行。按使用方法，UDF有如下分类：临时函数，只能在当前会话使用，重启会话后需要重新创建。永久函数，可以在多个会话中使用，不需要每次创建。用户自定义函数需要
- [配置Hive Beeline高可靠性](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0965.md): 在批处理任务运行过程中，beeline客户端由于网络异常等问题断线时，Hive能支持beeline在断线前已经提交的任务继续运行。当再次运行该批处理任务时，已经提交过的任务不再重新执行，直接从下一个任务开始执行。在批处理任务运行过程中，HiveServer服务由于某些原因导致宕机时，Hive能支持当再次运行该批处理任务时，已经成功执行完成
- [配置具备表select权限的用户可查看表结构](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0966.md): 此功能在MRS3.x及后续版本适用于Hive，Spark2x。开启此功能后，使用Hive建表时，其他用户被授予select权限后，可通过show create table查看表结构。MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。若集群详情页
- [配置Hive目录旧数据自动移除至回收站](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0967.md): 此功能适用于Hive组件。开启此功能后，执行写目录：insert overwrite directory "/path1"...，写成功之后，会将旧数据移除到回收站，并且同时限制该目录不能为Hive元数据库中已经存在的数据库路径。MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基
- [配置Hive插入数据到不存在的目录中](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0968.md): 此功能适用于Hive组件。开启此功能后，在执行写目录：insert overwrite directory“/path1/path2/path3” ...时，其中“/path1/path2”目录权限为700且属主为当前用户，“path3”目录不存在，会自动创建“path3”目录，并写数据成功。上述功能，在Hive参数“hive.serve
- [配置仅Hive管理员用户能创建库和在default库建表](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0969.md): 此功能在MRS 3.x之前版本适用于Hive，Spark。在MRS3.x及后续版本适用于Hive，Spark2x。开启此功能后，仅有Hive管理员可以创建库和在default库中建表，其他用户需通过Hive管理员授权才可使用库。开启本功能之后，会限制普通用户新建库和在default库新建表。请充分考虑实际应用场景，再决定是否做出调整。因为
- [配置创建Hive内部表时不能指定Location](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0970.md): 此功能在MRS 3.x之前版本适用于Hive，Spark。在MRS3.x及后续版本适用于Hive，Spark2x。开启此功能后，在创建Hive内部表时，不能指定location。即表创建成功之后，表的location路径会被创建在当前默认warehouse目录下，不能被指定到其他目录。如果创建内部表时指定location，则创建失败。开启
- [配置用户在具有读和执行权限的目录中创建外表](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0971.md): 此功能在MRS 3.x之前版本适用于Hive，Spark。在MRS3.x及后续版本适用于Hive，Spark2x。开启此功能后，允许有目录读权限和执行权限的用户和用户组创建外部表，而不必检查用户是否为该目录的属主，并且禁止外表的location目录在当前默认warehouse目录下。同时在外表授权时，禁止更改其location目录对应的权
- [配置Hive支持创建超过32个角色](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0972.md): 此功能适用于Hive。因为操作系统用户组个数限制，导致Hive不能创建超过32个角色，开启此功能后，Hive将支持创建超过32个角色。开启本功能并对表库等授权后，对表库目录具有相同权限的角色将会用“|”合并。查询acl权限时，将显示合并后的结果，与开启该功能前的显示会有区别。此操作不可逆，请充分考虑实际应用场景，再决定是否做出调整。MRS
- [配置Hive任务的最大map数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0973.md): 此功能适用于Hive。此功能用于从服务端限定Hive任务的最大map数，避免HiveSever服务过载而引发的性能问题。MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的
- [配置用户租约隔离访问指定节点的HiveServer](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0974.md): 此功能适用于Hive。开启此功能可以限定指定用户访问指定节点上的HiveServer服务，实现对用户访问HiveServer服务的资源隔离。本章节适用于MRS 3.x及后续版本。以对用户hiveuser设置租约隔离为例，选取Hive当前已有的或者新添加一个或者多个实例，此处选择已有的HiveServer实例：beeline -u "jdb
- [Hive日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0976.md): 日志路径：Hive相关日志的默认存储路径为“/var/log/Bigdata/hive/角色名”，Hive1相关日志的默认存储路径为“/var/log/Bigdata/hive1/角色名”，以此类推。HiveServer：“/var/log/Bigdata/hive/hiveserver”（运行日志），“/var/log/Bigdata/
- [建立Hive表分区提升查询效率](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0978.md): Hive在做Select查询时，一般会扫描整个表内容，会消耗较多时间去扫描不关注的数据。此时，可根据业务需求及其查询维度，建立合理的表分区，从而提高查询效率。登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称。选择“节点管理 > 节点名称” ，进入弹性云服务器界面。单击“远程登录”按钮，完成Hive节点的登录。MRS3.x及后续
- [Hive Join数据优化](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0979.md): 使用Join语句时，如果数据量大，可能造成命令执行速度和查询速度慢，此时可进行Join优化。Join优化可分为以下方式：Map JoinSort Merge Bucket Map JoinJoin顺序优化Hive的Map Join适用于能够在内存中存放下的小表（指表大小小于25MB），通过hive.mapjoin.smalltable.f
- [Hive Group By语句优化](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0980.md): 优化Group by语句，可提升命令执行速度和查询速度。Group by的时候， Map端会先进行分组， 分组完后分发到Reduce端， Reduce端再进行分组。可采用Map端聚合的方式来进行Group by优化，开启Map端初步聚合，减少Map的输出数据量。在Hive客户端进行如下设置：set hive.map.aggr=true;G
- [Hive ORC数据存储优化](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0981.md): ORC是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。建议使用ORC作为Hive表默认的存储格式。已登录Hive客户端，具体操作请参见Hive客户端使用实践。推荐：使用SNAPPY压缩，适用于压缩比和读取效率要求均衡场景。Create table xx (col_name data_type) stored as orc t
- [Hive SQL逻辑优化](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0982.md): 在Hive上执行SQL语句查询时，如果语句中存在(a&b) or (a&c)逻辑时，建议将逻辑改为a & (b or c)。假设条件a为p_partkey = l_partkey，优化前样例如下所示：优化后样例如下所示：
- [使用Hive CBO功能优化查询效率](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0983.md): 在Hive中执行多表Join时，Hive支持开启CBO（Cost Based Optimization），系统会自动根据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。CBO优化器会基于统计信息和查询条件，尽可能地使join顺序达到合适。但是也可能存在特殊情况
- [配置Region Transition恢复线程](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1010.md): 在故障环境中，由于诸如region服务器响应慢，网络不稳定，ZooKeeper节点版本不匹配等各种原因，有可能导致region长时间处于transition下。在region transition下，由于一些region不能对外提供服务，客户端操作可能无法正常执行。在HMaster上设置chore服务，用于识别和恢复长期处于transit
- [提升HBase Put和Scan性能综合调优](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1016.md): HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下，配置参数需要进行相应的调整，本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。本章节适用于MRS 3.x及之后版本。登录FusionInsight Manager界面，选择“集群 > 服务 > HBase > 配置”，配置以下相关参数以提升HBa
- [提升HBase实时写数据效率](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1017.md): 需要把数据实时写入到HBase中或者对于大批量、连续put的场景。本章节适用于MRS 3.x及之后版本。调用HBase的put或delete接口，把数据保存到HBase中。写数据服务端调优参数入口：登录FusionInsight Manager，选择“集群 > 服务 > HBase > 配置 > 全部配置”，进入HBase服务参数“全部配
- [提升HBase实时读数据效率](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1018.md): 需要读取HBase数据场景。调用HBase的get或scan接口，从HBase中实时读取数据。读数据服务端调优参数入口：登录FusionInsight Manager，选择“集群 > 服务 > HBase > 配置 > 全部配置”，进入HBase服务参数“全部配置”界面，具体操作请参考修改集群服务配置参数章节。影响实时读数据配置项配置参数
- [使用Hue WebUI操作Hive表](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1020.md): Hue提供了文件浏览器功能，使用户可以通过界面图形化的方式查看Hive上文件及目录功能。已安装Hive以及Hue组件，且状态为运行中的Kerberos认证的集群。系统将自动显示数据库中的所有表。可以输入表名关键字，系统会自动搜索包含此关键字的全部表。create table hue_table(id int,name string,com
- [Hue常用配置参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1021.md): 参数入口，请参考修改集群服务配置参数。
- [快速使用Kafka生产消费数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1031.md): 用户可以在集群客户端完成Topic的创建、查询、删除等基本操作。可参考Kafka用户权限说明设置用户权限，然后参考使用Kafka客户端生产消费数据（MRS 3.x之前版本）进行操作。MRS 3.1.2及之后版本集群也可以通过登录KafkaUI查看当前集群的消费信息。详细操作请参考使用KafkaUI查看消费信息（MRS 3.1.2及之后版本
- [创建Kafka权限角色](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1032.md): 该任务指导MRS集群管理员创建并设置Kafka的角色。本章节内容适用于MRS 3.x及后续版本。安全模式集群支持创建Kafka角色，普通模式集群不支持创建Kafka角色。如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加Kafka的Ranger访问权限策略。
- [Kafka常用配置参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1033.md): 本章节内容适用于MRS 3.x及后续版本。请参考修改集群服务配置参数进入Kafka服务参数“全部配置”页面。
- [配置Kafka数据安全传输协议](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1035.md): 本章节内容适用于MRS 3.x及后续版本。Producer API指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用kafka-console-producer.sh时，默认使用此API。指org.apache.kafka.clients.producer.KafkaPro
- [Kafka业务规格说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1036.md): 本章节内容适用于MRS 3.x及后续版本。支持Topic的个数，受限于进程整体打开的文件句柄数（实际场景主要为数据文件和索引文件占用比较多）。可通过以下命令查看进程最多打开的文件句柄数。ulimit -n执行以下命令，查看当前单节点上Kafka进程打开的文件句柄（会继续增加）。lsof -p <Kafka PID>评估当前需要创建的Top
- [配置Kafka高可用和高可靠](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1037.md): Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。本章节内容适用于MRS 3.x及后续版本。配置高可用、高性能的影响：配置高可用、高性能模式后，数据可靠性会降低。在磁盘故障、节点故障等场景下存在数据丢失风险。配置高可用、高性能模式后，数据可靠性
- [更改Broker的存储目录](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1038.md): 本章节内容适用于MRS 3.x及后续版本。增加Broker的存储目录时，MRS集群管理员需要在FusionInsight Manager中修改Broker的存储目录，以保证Kafka正常工作，新创建的主题分区将在分区最少的目录中生成。适用于以下场景：由于Kafka不感知磁盘容量，建议各Broker实例配置的磁盘个数和容量保持一致。更改Br
- [在Kafka Topic中接入消息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1039.md): 用户可以根据业务需求，通过Kafka客户端或KafkaUI查看当前消费情况。本章节内容适用于MRS 3.x及后续版本。如果当前使用Kafka客户端，需要满足以下条件：MRS集群管理员已明确业务需求，并准备一个系统用户。已安装Kafka客户端。cd /opt/clientsource bigdata_envkinit 组件业务用户cd Ka
- [配置Kafka数据均衡工具](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1040.md): 该任务指导管理员根据业务需求，在客户端中执行Kafka均衡工具来均衡Kafka集群的负载，一般用于节点的退服、入服以及负载均衡的场景。本章节内容适用于MRS 3.x及后续版本。3.x之前版本请参考均衡Kafka扩容节点后数据MRS集群管理员已明确业务需求，并准备一个Kafka管理员用户（属于kafkaadmin组，普通模式不需要）。已安装
- [配置Kafka用户Token认证信息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1041.md): 使用Token认证机制时对Token的操作。本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。MRS集群管理员已明确业务需求，并准备一个系统用户。已开启Token认证机制，详细操作请参考Kafka服务端配置。已安装Kafka客户端。cd /opt/clientsource bigdata_envkinit组件业务用
- [Kafka日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1042.md): 本章节内容适用于MRS 3.x及后续版本。日志路径：Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”，审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。Broker：“/var/log/Bigdata/kafka/broker”（运行日志）KafkaUI：“/var/l
- [Kafka性能调优](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1044.md): 通过调整Kafka服务端参数，可以提升特定业务场景下Kafka的处理能力。修改服务配置参数，请参考修改集群服务配置参数。调优参数请参考表1。
- [从零开始使用Storm](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1045.md): 用户可以在MRS集群的客户端中提交和删除Storm拓扑等基本功能。已安装MRS集群客户端，例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。请根据客户端所在位置，参考安装客户端章节，登录安装客户端的节点。cd /opt/hadoopclientsource bigdata_envk
- [Storm常用参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1046.md): 本章节内容适用于MRS 3.x及后续版本。参数入口，请参考修改集群服务配置参数。
- [配置Storm业务用户密码策略](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1047.md): 本章节内容适用于MRS 3.x及后续版本。使用Storm业务用户提交一个拓扑以后，该任务需要使用提交拓扑的用户身份持续运行。在拓扑运行的过程中，worker进程可能需要正常重启以保持拓扑工作。若业务用户的密码被修改，或密码使用天数超过了默认密码策略指定的最大有效期，则会影响拓扑正常运行。MRS集群管理员需要根据企业安全要求，为Storm业
- [概述](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1049.md): 本章节内容适用于MRS 3.x及后续版本。Flink从0.10.0版本开始提供了一套API可以将使用Storm API编写的业务平滑迁移到Flink平台上，只需要极少的改动即可完成。通过这项转换可以覆盖大部分的业务场景。Flink支持两种方式的业务迁移：完整迁移Storm业务：转换并运行完整的由Storm API开发的Storm拓扑。嵌入
- [完整迁移Storm业务](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1050.md): 该任务指导用户通过Storm业务完整迁移的方式转换并运行完整的由Storm API开发的Storm拓扑。<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-streaming-java_2.11</artifactId>
    <versi
- [嵌入式迁移Storm业务](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1051.md): 该任务指导用户通过嵌入式迁移的方式在Flink的DataStream中嵌入Storm的代码，如使用Storm API编写的Spout/Bolt。flink run -class {MainClass} WordCount.jar
- [迁移Storm对接的外部安全组件业务](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1052.md): 如果Storm的业务使用的storm-hdfs或者storm-hbase插件包进行的对接，那么在按照完整迁移Storm业务进行迁移时，需要指定特定安全参数，如下：增加如上的安全插件配置后，可以避免HDFSBolt和HBaseBolt在初始化过程中的无谓登录，因为Flink已经实现准备好了安全上下文，无需再登录。如果Storm的业务使用的s
- [Storm日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1053.md): 本章节内容适用于MRS 3.x及后续版本。日志路径：Storm相关日志的默认存储路径为“/var/log/Bigdata/storm/角色名”（运行日志），“/var/log/Bigdata/audit/storm/角色名”（审计日志）。Nimbus：“/var/log/Bigdata/storm/nimbus”（运行日志），“/var/
- [Storm性能调优](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1055.md): 通过调整Storm参数设置，可以提升特定业务场景下Storm的性能。本章节适用于MRS 3.x及后续版本。修改服务配置参数，请参考修改集群服务配置参数。当需要提升Storm数据量处理性能时，可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。当应用程序需要处理大量数据从而占用更多的内存时，存在worker内存大于2GB的
- [HBase日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1056.md): 日志存储路径：HBase相关日志的默认存储路径为“/var/log/Bigdata/hbase/角色名”。HMaster：“/var/log/Bigdata/hbase/hm”（运行日志），“/var/log/Bigdata/audit/hbase/hm”（审计日志）。RegionServer：“/var/log/Bigdata/hbas
- [Flume业务配置指南](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1057.md): 本章节适用于MRS 3.x及之后版本。该操作指导用户完成Flume常用业务的配置。其他一些不太常用的Source、Channel、Sink的配置请参考Flume社区提供的用户手册（https://flume.apache.org/releases/1.9.0.html）。各个表格中所示参数，黑体加粗的参数为必选参数。Sink的BatchS
- [如何在Flume配置文件中使用环境变量](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1058.md): 本章节描述如何在配置文件properties.properties中使用环境变量。本章节适用于MRS 3.x及之后版本。cdFlume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf格式：export 变量名=变量值示例：JAVA_OPTS="-Xms2G -Xmx4G -XX:CMSFullGCsB
- [生成Flume服务端和客户端的配置文件](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1060.md): 该操作指导安装工程师在集群及Flume服务安装完成后，分别配置Flume服务的服务端和客户端参数，使其可以正常工作。本章节适用于MRS 3.x及之后版本。本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。已安装Flume客户端。已成功安装集群及Flume服务。确保
- [使用Flume服务端从本地采集静态日志保存到Kafka](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1061.md): 该任务指导用户使用Flume服务端从本地采集静态日志保存到Kafka的Topic列表（test1）。本章节适用于MRS 3.x及之后版本。本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Spooldir Source+Mem
- [使用Flume服务端从本地采集静态日志保存到HDFS](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1063.md): 该任务指导用户使用Flume服务端从本地采集静态日志保存到HDFS上/flume/test目录下。本章节适用于MRS 3.x及之后版本。本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Spooldir Source+Memo
- [使用Flume服务端从本地采集动态日志保存到HDFS](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1064.md): 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上/flume/test目录下。本章节适用于MRS 3.x及之后版本。本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Taildir Source+Memor
- [使用Flume服务端从Kafka采集日志保存到HDFS](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1065.md): 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上/flume/test目录下。本章节适用于MRS 3.x及之后版本。本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Kafk
- [使用Flume客户端从Kafka采集日志保存到HDFS](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1066.md): 该任务指导用户使用Flume客户端从Kafka客户端的Topic列表(test1)采集日志保存到HDFS上/flume/test目录下。本章节适用于MRS 3.x及之后版本。本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。已安装Flume客户端。已成功安装集群，
- [使用多级agent串联从本地采集静态日志保存到HBase](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1067.md): 该任务指导用户使用Flume客户端从本地采集静态日志保存到HBase表：flume_test。该场景介绍的是多级agent串联操作。本章节适用于MRS 3.x及之后版本。本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置可以只用一个Flume场景，例如Ser
- [配置Flume加密传输](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1069.md): 该操作指导安装工程师在集群安装完成后，设置Flume服务（Flume角色）的服务端和客户端参数，使其可以正常工作。本章节适用于MRS 3.x及之后版本。已成功安装集群及Flume服务。使用ECM远程以omm用户登录将要安装Flume服务端的节点。进入“${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1
- [使用多级agent串联从本地采集静态日志保存到HDFS](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1070.md): 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录/flume/test。本章节适用于MRS 3.x及之后版本。已成功安装集群、HDFS及Flume服务、Flume客户端。已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。以omm用户登录Flume服务端所在节点。进入“${BIGDATA_HOME
- [配置Flume对接安全模式Kafka](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1071.md): 使用Flume客户端对接安全kafka。其中keyTab和principal的值请按照实际情况配置，所配置的principal需要有相应的kafka的权限。
- [如何查看Flume日志](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1074.md): Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功，在日志里都可以看到提示。可以直接输入以下命令查看：tailf /var/log/Bigdata/flume/flume/flumeServer.log问题：当配置文件上传后，发现异常，重新
- [Flume业务模型配置说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1075.md): 本章节适用于MRS 3.x及之后版本。本任务旨在提供Flume常用模块的性能差异，用于指导用户进行合理的Flume业务配置，避免出现前端Source和后端Sink性能不匹配进而导致整体业务性能不达标的场景。本任务只针对于单通道的场景进行比较说明。Flume业务配置及模块选择过程中，一般要求Sink的极限吞吐量需要大于Source的极限吞吐
- [Flume日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1081.md): 日志路径：Flume相关日志的默认存储路径为“/var/log/Bigdata/角色名”。FlumeServer：“/var/log/Bigdata/flume/flume”FlumeClient：“/var/log/Bigdata/flume-client-n/flume”MonitorServer：“/var/log/Bigdata/
- [如何开发Flume第三方插件](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1083.md): 该操作指导用户进行第三方插件二次开发。本章节适用于MRS 3.x及之后版本。进入“Flume客户端安装目录/fusionInsight-flume-*/plugins.d”路径下，使用以下命令建立目录，可根据实际业务进行命名，无固定名称：cd /opt/flumeclient/fusioninsight-flume-1.9.0/plugi
- [从零开始使用Loader](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1084.md): 用户可以使用Loader将数据从SFTP服务器导入到HDFS。本章节适用于MRS 3.x之前版本。已准备业务数据。已创建分析集群。登录集群详情页面，选择“服务管理”。选择Hue，在Hue概述的Hue WebUI，单击Hue (主)，打开Hue的WebUI。选择Data BrowsersSqoop。默认显示Loader页面中的作业管理界面。
- [创建Loader角色](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1085.md): 该任务指导MRS集群管理员在FusionInsight Manager创建并设置Loader的角色。Loader角色可设置Loader管理员权限、作业连接、作业分组以及Loader作业的操作和调度权限。本章节适用于MRS 3.x及后续版本。MRS集群管理员已明确业务需求。已登录FusionInsight Manager，具体请参见访问Fu
- [概述](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1087.md): “数据导入”章节适用于MRS 3.x及后续版本。Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具，支持将数据或文件从关系型数据库或文件系统导入到MRS服务中。Loader支持如下数据导入方式：从关系型数据库导入数据到HDFS/OBS。从关系型数据库导入数据到HBase。从关系型
- [使用Loader导入数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1088.md): 该任务指导用户完成将数据从外部的数据源导入到MRS的工作。一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS/OBS目录、HB
- [典型场景：从SFTP服务器导入数据到HDFS/OBS](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1089.md): 该任务指导用户使用Loader将数据从SFTP服务器导入到HDFS/OBS。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器上源文件的读取权限。若源文件在导入后文件名要增加后缀，则该用户还需具备源文件的写入权
- [典型场景：从SFTP服务器导入数据到HBase](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1090.md): 该任务指导用户使用Loader将数据从SFTP服务器导入到HBase。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HBase表或phoenix表。获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器上源文件的读取权限。若源文件在导入后文件名要增加后缀，则该用户还需具备源文件的写入权限
- [典型场景：从SFTP服务器导入数据到Hive](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1091.md): 该任务指导用户使用Loader将数据从SFTP服务器导入到Hive。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业中指定的Hive表的权限。获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器上源文件的读取权限。若源文件在导入后文件名要增加后缀，则该用户还需具备源文件的写入权限。检查磁盘空间，确保
- [典型场景：从FTP服务器导入数据到HBase](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1093.md): 该任务指导用户使用Loader将数据从FTP服务器导入到HBase。创建或获取该任务中创建Loader作业的业务用户和密码。获取FTP服务器使用的用户和密码，且该用户具备FTP服务器上源文件的读取权限。若源文件在导入后文件名要增加后缀，则该用户还需具备源文件的写入权限。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。使用Lo
- [典型场景：从关系型数据库导入数据到HDFS/OBS](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1094.md): 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。获取关系型数据库使用的用户和密码。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的作业需要使用指定YARN队列功能，该用户需
- [典型场景：从关系型数据库导入数据到HBase](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1095.md): 该任务指导用户使用Loader将数据从关系型数据库导入到HBase。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HBase表或phoenix表。获取关系型数据库使用的用户和密码。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的作业需要使用指定YARN队列功能，该用户需要
- [典型场景：从关系型数据库导入数据到Hive](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1096.md): 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的Hive表。获取关系型数据库使用的用户和密码。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队
- [典型场景：从HDFS/OBS导入数据到HBase](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1098.md): 该任务指导用户使用Loader将文件从HDFS/OBS导入到HBase。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。确保用户已授权访问作业执行时操作的HBase表或phoenix表。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。使用Loader从HD
- [概述](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1101.md): “数据导出”章节适用于MRS 3.x及后续版本。Loader是实现MRS与关系型数据库、文件系统之间交换数据和文件的ETL工具，支持将数据或者文件从MRS系统中导出到关系型数据库或文件系统中。Loader支持如下数据导出方式：从HDFS/OBS中导出数据到SFTP服务器从HDFS/OBS中导出数据到关系型数据库从HBase中导出数据到SF
- [使用Loader导出数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1102.md): 该任务指导用户完成将数据从MRS导出到外部的数据源的工作。一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的目录、HBase表和数据。
- [典型场景：从HDFS/OBS导出数据到SFTP服务器](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1103.md): 该任务指导用户使用Loader将数据从HDFS/OBS导出到SFTP服务器。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器数据导出目录的写入权限。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小
- [典型场景：从HBase导出数据到SFTP服务器](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1104.md): 该任务指导用户使用Loader将数据从HBase导出到SFTP服务器。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HBase表或phoenix表。获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器数据导出目录的写入权限。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。
- [典型场景：从Hive导出数据到SFTP服务器](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1105.md): 该任务指导用户使用Loader将数据从Hive导出到SFTP服务器。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业中指定的Hive表的权限。获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器数据导出目录的写入权限。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的任务需要使
- [典型场景：从HDFS/OBS导出数据到关系型数据库](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1107.md): 该任务指导用户使用Loader将数据从HDFS/OBS导出到关系型数据库。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。获取关系型数据库使用的用户和密码。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的作业需要使用指定YARN队列功能，该用户需
- [典型场景：从HBase导出数据到关系型数据库](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1108.md): 该任务指导用户使用Loader将数据从HBase导出到关系型数据库。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HBase表或phoenix表。获取关系型数据库使用的用户和密码。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的作业需要使用指定YARN队列功能，该用户需要
- [典型场景：从Hive导出数据到关系型数据库](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1109.md): 该任务指导用户使用Loader将数据从Hive导出到关系型数据库。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的Hive表。获取关系型数据库使用的用户和密码。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队
- [典型场景：从HBase导出数据到HDFS/OBS](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1111.md): 该任务指导用户使用Loader将数据从HBase导出到HDFS/OBS。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。确保用户已授权访问作业执行时操作的HBase表或phoenix表。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的作业需要使用
- [批量迁移Loader作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1114.md): Loader支持将作业批量从一个分组（源分组）迁移到另一个分组（目标分组）。本章节适用于MRS 3.x及后续版本。源分组和目标分组均存在。当前用户具备源分组和目标分组的编辑Group Edit权限。当前用户具备源分组的作业编辑Jobs Edit权限或待迁移作业的编辑Edit权限。登录FusionInsight Manager系统，具体请参
- [批量删除Loader作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1115.md): Loader支持批量删除已有作业。本章节适用于MRS 3.x及后续版本。当前用户具备待删除作业的编辑Edit权限或作业所在分组的编辑Jobs Edit权限。登录FusionInsight Manager系统，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。选择“集群 > 待操作集群名称 > 服务 > 
- [批量导入Loader作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1116.md): Loader支持批量导入某个配置文件中的所有作业。本章节适用于MRS 3.x及后续版本。当前用户具备待导入作业所在分组的编辑Jobs Edit权限。如果作业所在的分组不存在，则会自动先创建该分组。当前用户就是该分组的创建者，拥有该分组的编辑Jobs Edit权限。登录FusionInsight Manager系统，具体请参见访问Fusio
- [批量导出Loader作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1117.md): Loader支持批量导出已有作业。本章节适用于MRS 3.x及后续版本。当前用户具备待导出作业的编辑Edit权限或作业所在分组的编辑Jobs Edit权限。登录FusionInsight Manager系统，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。选择“集群 > 待操作集群名称 > 服务 > 
- [查看作业历史信息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1118.md): 该任务指导您在日常运维中，查看某个Loader作业的历史执行状态以及每次执行时长，同时提供该作业两种操作：脏数据：查看作业执行过程中处理失败的数据、或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。日志：查看作业在MapReduce执行的日志信息。本章节适用于MRS 3.x及后续版本。获取登录“Loader 
- [概述](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1120.md): “算子帮助”章节适用于MRS 3.x及后续版本。Loader读取源端数据，通过输入算子将数据按规则逐一转换成字段，再通过转换算子，对这些字段做清洗或转换，最后通过输出算子将处理后的字段，输出到目标端。每个作业，如果进行数据转换操作，有且只能有一个输入算子，有且只能有一个输出算子。不符合转换规则的数据，将成为脏数据跳过。从关系型数据库导入数
- [CSV文件输入](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1122.md): CSV文件输入算子，用于导入所有能用文本编辑器打开的文件。输入：文本文件。输出：多个字段。将每行数据按照指定的分隔符，分隔成多个字段，供之后的转换算子使用。当字段的值与实际的类型不匹配时，该行数据会成为脏数据。输入字段列数不等于原始数据实际包含字段列数，该行数据会保存为脏数据。源文件如下图：配置CSV文件输入算子，分隔符为,，生成两个字段
- [固定宽度文件输入](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1123.md): 固定宽度文件输入算子，将文件的每一行，按可配置长度的字符或字节，转换成多个输入字段。输入：文本文件。输出：多个字段。按照输入字段的长度依次截取源文件，生成字段。当字段的值与实际的类型不匹配时，该行数据会成为脏数据。配置字段分割长度，大于原字段值的长度，则数据分割失败，当前行成为脏数据。源文件如下图：配置固定宽度文件输入算子，生成三个字段A
- [表输入](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1124.md): 表输入算子，将关系型数据库表的指定列按顺序转换成同等数量的输入字段。输入：表列输出：字段将指定的列按顺序生成字段。具体的表列是在作业配置的第二步输入设置中指定，当配置了表列名时，就是配置的值；当没配置表列名时，默认该表的所有列或者是SQL语句配置项里配置的查询条件中指明的列。配置的输入字段个数不能大于实际指定的列数，否则全部数据成为脏数据
- [HBase输入](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1125.md): HBase输入算子，将HBase表的指定列转换成同等数量的输入字段。输入：HBase表列输出：字段当配置HBase表名不存在时，作业提交失败。当配置的列名与HBase表列名不匹配时，读取不到数据，导入数据条数会为0。配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。当字段的值与实际的类型不匹配时，该行数据会成为脏数据。以
- [HTML输入](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1126.md): HTML输入算子，导入有规则的HTML文件，并将HTML文件中的元素转换成输入字段。输入：HTML文件输出：多个字段首先配置父标签，限定搜索范围，父标签要存在，否则取到的内容为空。配置输入字段，子标签用于精确定位字段所在的标签，相同的标签再通过关键字来精确匹配。关键字用于匹配字段的内容，配置方法类似于输入设置中的文件过滤器字段，支持*通配
- [Hive输入](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1128.md): Hive输入算子，将Hive表的指定列转换成同等数量的输入字段。输入：Hive表列输出：字段当配置Hive表名不存在时，作业提交失败。当配置的列名与Hive表列名不匹配时，读取不到数据，导入数据条数会为0。当字段的值与实际的类型不匹配时，该行数据会成为脏数据。以Hive导出到sqlserver2014数据库为例。在sqlserver201
- [Spark输入](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1129.md): Spark输入算子，将SparkSQL表的指定列转换成同等数量的输入字段。输入：SparkSQL表列输出：字段当配置SparkSQL表名不存在时，作业提交失败。当配置的列名与SparkSQL表列名不匹配时，读取不到数据，导入数据条数会为0。当字段的值与实际的类型不匹配时，该行数据会成为脏数据。以SPARK导出到sqlserver2014数
- [长整型时间转换](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1131.md): 长整型时间转换算子，用于配置长整型数值与日期的转换。输入：需要转换的字段输出：转换后的新字段原始数据包含null值，不做转换处理。配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。遇到类型转换错误，当前数据保存为脏数据。通过CSV文件输入算子，生成两个字段A和B。源文件如下图：配置长整型时间转换算子，生成四个新字段C、D
- [空值转换](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1132.md): 空值转换算子，用于将空值替换成指定值。输入：空值字段输出：原字段，但值已经被替换字段原值为null时，替换成指定的值。通过CSV文件输入算子，生成两个字段A和B。源文件如下图：配置空值转换算子，如下图：转换后，将A和B的值输出后的结果如下：
- [增加常量字段](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1133.md): 增加常量字段算子，用于直接生成常量字段。输入：无输出：常量字段生成指定类型的常量字段。通过CSV文件输入算子，生成两个字段A和B。源文件如下图：配置增加常量字段算子，增加两个字段C和D：转换后，将A、B、C和D按顺序输出，结果如下：
- [随机值转换](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1134.md): 随机值转换算子，用于配置新增值为随机数的字段。输入：无输出：随机值字段生成指定类型的随机值。通过CSV文件输入算子，生成两个字段A和B。源文件如下图：配置随机值转换算子，生成C、D、E三个字段：转换后，按顺序输入这五个字段：可以发现，每次生成的随机值都不一样。
- [拼接转换](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1135.md): 拼接转换算子，将已有字段的值通过连接符拼接，生成新的字段。输入：需要拼接的字段输出：拼接后的字段按顺序将被拼接字段名中配置的字段的值，通过连接符拼接后，赋给输出字段名。当有字段的值为null时，会转化为空字符串，再与其它字段值拼接。通过CSV文件输入算子，生成三个字段A、B和C。源文件如下图：配置拼接转换算子，分隔符为空格，生成新字段D：
- [分隔转换](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1136.md): 分隔转换算子，将已有字段的值按指定的分隔符分隔后生成新字段。输入：需要分隔的字段输出：分隔后的字段将输入字段的值按指定的分隔符分隔后，依次赋给配置的新字段。配置分割后字段列数，大于原始数据实际可分割出来的字段列数，当前行成为脏数据。通过CSV文件输入算子，生成一个字段A。源文件如下：配置分隔转换算子，分隔符为空格，生成三个字段B、C和D：
- [取模转换](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1137.md): 取模转换算子，对整数字段取模，生成新字段。输入：整数字段输出：模数字段生成新字段，值为取模后的值。字段的值须为整数，否则当前行会成为脏数据。通过CSV文件输入算子，生成两个字段A和B。源文件如下图：配置取模转换算子，生成两个新字段C和D：转换后，依次输出A、B、C和D，结果如下：
- [剪切字符串](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1138.md): 剪切字符串算子，截取已有字段的值，生成新的字段。输入：需要截取的字段输出：截取后生成的新字段用开始位置和结束位置去截取原字段的值，生成新字段。结束位置为-1时，表示字段的末尾。其它情况下，结束位置不能小于开始位置。字符截取的开始位置或结束位置，大于输入字段的长度时，当前行成为脏数据。通过CSV文件输入算子，生成两个字段A和B。源文件如下：
- [EL操作转换](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1139.md): EL操作转换算子，对字段值进行运算后生成新的字段，目前支持的算子有：md5sum、sha1sum、sha256sum和sha512sum等。输入：需要转换的字段输出：经过EL表达式转换后的字段对字段值进行运算后生成新的字段。当前新字段的类型只能为VARCHAR。通过CSV文件输入算子，生成两个字段A和B。源文件见下图：配置EL操作转换算子
- [字符串大小写转换](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1140.md): 字符串大小写转换算子，用于配置已生成的字段通过大小写变换，转换出新的字段。输入：需要转换大小写的字段输出：转换后的字段对字符串值做大小写转换。传入数据为NULL值，不做转换处理。通过CSV文件输入算子，生成两个字段A和B。源文件如下：配置字符串大小写转换算子后，生成两个新字段C和D：转换后，依次输出四个字段，结果如下：
- [字符串逆序转换](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1141.md): 字符串逆序转换算子，用于配置已生成的字段通过逆序，转换出新的字段。输入：需要逆序的字段输出：逆序转换后的字段对字段的值做逆序操作。传入数据为NULL值，不做转换处理。配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。通过CSV文件输入算子，生成两个字段A和B。源文件如下：配置字符串逆序转换算子后，生成两个新字段C和D：转
- [字符串空格清除转换](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1142.md): 字符串空格清除转换算子，用于配置已生成的字段通过清除空格，转换出新的字段。输入：需要清除空格的字段输出：转换后的字段清空值两边的空格，支持只清除左边、只清除右边和同时清除左右空格。传入数据为NULL值，不做转换处理。配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。通过CSV文件输入算子，生成三个字段A、B和C。源文件如
- [过滤行转换](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1143.md): 过滤行转换算子，用于配置逻辑条件过滤掉含触发条件的行。输入：用来做过滤条件的字段输出：无条件逻辑为AND，如果未添加过滤条件，全部数据成为脏数据；或者原始数据满足添加的全部过滤条件，当前行成为脏数据。条件逻辑为OR，如果未添加过滤条件，全部数据成为脏数据；或者原始数据满足任意添加的过滤条件，当前行成为脏数据。通过CSV文件输入算子，生成两
- [更新域](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1144.md): 更新域算子，当满足某些条件时，更新字段的值。目前支持的类型有BIGINT、DECIMAL、DOUBLE、FLOAT、INTEGER、SMALLINT、VARCHAR。当类型为VARCHAR时，运算符为+时，表示在字符串后追加串，不支持-，当为其它类型时，+、-分别表示值的加和减。针对支持的所有类型，运算符=都表示直接赋新值。输入：字段输出
- [Hive输出](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1146.md): Hive输出算子，用于配置已生成的字段输出到Hive表的列。输入：需要输出的字段输出：Hive表将字段值输出到Hive表中。如果指定了一个或多个列为分区列，则在作业配置第四步输出设置页面上，会显示分割程序属性，该属性表示使用多少个处理器去对分区数据进行处理。如果没有指定任何列为分区列，则表示不需要对输入数据进行分区处理，分割程序属性默认隐
- [Spark输出](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1147.md): Spark输出算子，用于配置已生成的字段输出到SparkSQL表的列。输入：需要输出的字段输出：SparkSQL表将字段值输出到SparkSQL表中。如果指定了一个或多个列为分区列，则在作业配置第四步输出设置页面上，会显示分割程序属性，该属性表示使用多少个处理器去对分区数据进行处理。如果没有指定任何列为分区列，则表示不需要对输入数据进行分
- [表输出](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1148.md): 表输出算子，用于配置输出的字段对应到关系型数据库的指定列。输入：需要输出的字段输出：关系型数据库表将字段值输出到表中。以HBase导出到sqlserver2014数据库为例。在sqlserver2014上创建一张空表test_1用于存储HBase数据。执行以下语句：create table test_1 (id int, name tex
- [文件输出](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1149.md): 文件输出算子，用于配置已生成的字段通过分隔符连接并输出到文件。输入：需要输出的字段输出：文件将字段值输出到文件。通过CSV文件输入算子，生成两个字段A和B。源文件如下：配置文件输出算子，分隔符为,，将A和B输出到文件中：输出后的结果如下：
- [HBase输出](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1150.md): HBase输出算子，用于配置已生成的字段输出到HBase表的列。输入：需要输出的字段输出：HBase表将字段值输出到HBase表中。原始数据包含NULL值，如果NULL值处理方式选中单选框时，将转换为空字符串并保存。如果NULL值处理方式不选中单选框时，不保存数据。以表输入为例，生成字段后，由HBase输出到对应的HBase表中，数据存放
- [关联、编辑、导入、导出算子的字段配置信息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1152.md): 该任务指导用户在创建或编辑Loader作业时关联、导入或导出算子的字段配置信息。关联操作将输入算子的字段配置信息关联到输出算子中。将输入算子的字段配置信息关联到输出算子中。编辑操作编辑算子配置参数中的字段信息。编辑算子配置参数中的字段信息。导入操作通过算子导出文件或算子模板文件将字段配置信息导入到算子中。通过算子导出文件或算子模板文件将字
- [配置项中使用宏定义](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1153.md): 用户在创建或者编辑Loader作业时，在配置参数时可以使用宏，在执行作业任务时会自动替换为宏对应的值。宏定义只在该作业范围内生效。宏定义支持随作业导入导出，如果作业中有使用宏定义，则导出的作业包括宏定义。导入作业时默认也导入宏定义。时间宏dataformat中的第一个参数的日期格式定义可参考java.text.SimpleDateForm
- [算子数据处理规则](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1154.md): 在Loader导入或导出数据的任务中，每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则；在算子中无法正确处理的数据，将成为脏数据，无法导入或导出。在转换步骤中，算子数据处理规则请参见下表。数据处理规则一览表转换步骤规则描述CSV文件输入分隔符在原始数据中连续出现两次，将生成空字符串字段。配置输入字段列数，大于原始数据实际包含
- [使用命令行运行Loader作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1156.md): 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。Loader不兼容旧版本客户端，如果重新安装集群或Loader服务，请重新下载并安装客户端，然后正常使用客户端。本章节适用于MRS 3.x及后续版本。完成Loader客户端的
- [loader-tool工具使用指导](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1157.md): loader-tool工具是Loader客户端工具之一，包括lt-ucc、lt-ucj、lt-ctl三个工具。Loader支持通过参数选项或作业模板这两种方式，对连接器进行创建、更新、查询和删除，以及对Loader作业进行创建、更新、查询、删除、启动和停止等操作。本章节适用于MRS 3.x及后续版本。loader-tool工具是异步接口，
- [loader-tool工具使用示例](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1158.md): loader-tool工具支持通过作业模板或参数选项的方式，对连接器或者作业进行创建、更新、查询、删除等操作。本文将以“从SFTP服务器导入数据到HDFS”的作业为例，通过引用作业模板的方式，介绍loader-tool工具的使用方法。本章节适用于MRS 3.x及后续版本。已安装并配置Loader客户端，具体操作请参见使用命令行运行Load
- [schedule-tool工具使用指导](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1159.md): schedule-tool工具，用于提交数据源为SFTP的作业。提交作业前可以修改输入路径、文件过滤条件，当目标源为HDFS时，可以修改输出路径。本章节适用于MRS 3.x及后续版本。schedule-tool工具支持同时配置多个作业。配置多个作业时，表2中job.jobName、file.fileName.prefix、file.fil
- [schedule-tool工具使用示例](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1160.md): 通过Loader WebUI或客户端工具Loader-tool创建好作业后，可使用schedule-tool工具执行作业。本章节适用于MRS 3.x及后续版本。完成了Loader客户端的安装与配置，具体操作请参见使用命令行运行Loader作业。cd /opt/client/Loader/loader-tools-1.99.3/schedu
- [使用loader-backup工具备份作业数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1161.md): 通过Loader WebUI或客户端工具loader-tool创建好作业后，可使用loader-backup工具进行数据备份。仅有数据导出的Loader作业才支持数据备份。此工具为Loader的内部接口，供上层组件HBase调用，只支持HDFS到SFTP的数据备份。本章节适用于MRS 3.x及后续版本。完成了Loader客户端的安装与配置
- [开源sqoop-shell工具使用指导](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1162.md): 本章节适用于MRS 3.x及后续版本。sqoop-shell是一个开源的shell工具，其所有功能都是通过执行脚本sqoop2-shell来实现的。sqoop-shell工具提供了如下功能：支持创建和更新连接器支持创建和更新作业支持删除连接器和作业支持以同步或异步的方式启动作业支持停止作业支持查询作业状态支持查询作业历史执行记录支持复制连
- [开源sqoop-shell工具使用示例（SFTP - HDFS）](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1163.md): 本文将以“从SFTP服务器导入数据到HDFS”的作业为例，介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。本章节适用于MRS 3.x及后续版本。已安装并配置Loader客户端，具体操作请参见使用命令行运行Loader作业。cd /opt/client/Loader/loader-tools-
- [开源sqoop-shell工具使用示例（Oracle - HBase）](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1164.md): 本文将以“从Oracle导入数据到HBase”的作业为例，介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。本章节适用于MRS 3.x及后续版本。已安装并配置Loader客户端，具体操作请参见使用命令行运行Loader作业。cd /opt/client/Loader/loader-tools-
- [Loader日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1165.md): 日志存储路径：Loader相关日志的默认存储路径为“/var/log/Bigdata/loader/日志分类”。runlog：“/var/log/Bigdata/loader/runlog”（运行日志）scriptlog：“/var/log/Bigdata/loader/scriptlog/”（脚本的执行日志）catalina：“/var
- [使用Spark客户端](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1183.md): MRS集群创建完成后，可以通过客户端去创建和提交作业。客户端可以安装在集群内部节点或集群外部节点上：集群内部节点：MRS集群创建完成后，集群内的master和core节点默认已经安装好客户端，详情请参见集群内节点使用MRS客户端章节，登录安装客户端的节点。集群外部节点：用户可以将客户端安装在集群外部节点上，详情请参见集群外节点使用MRS客
- [Flink安全认证机制说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1579.md): Flink集群中，各部件支持认证。Flink集群内部各部件和外部部件之间，支持和外部部件如YARN、HDFS、ZooKeeper进行Kerberos认证。Flink集群内部各部件之间，如Flink client和JobManager、JobManager和TaskManager、TaskManager和TaskManager之间支持sec
- [配置Flink对接Kafka安全认证](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1580.md): Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。用户使用Linux命令行创建topic，执行命令前需要使用kinit命令进行人机认证，如kinit flinkuser。flinkuser需要用户自己创建，并拥有创建Kafka的topic权限。具体操作请参考准
- [配置Flink认证和加密](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1583.md): Flink整个系统存在三种认证方式：使用kerberos认证：Flink yarn client与Yarn Resource Manager、JobManager与Zookeeper、JobManager与HDFS、TaskManager与HDFS、Kafka与TaskManager、TaskManager和Zookeeper。使用sec
- [优化Flink内存GC参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1588.md): Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大，可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。GC的配置：在客户端的conf/flink-
- [配置Flink任务并行度](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1589.md): 并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力。任务的并行度可以通过以下四种层次（
- [配置Flink任务进程参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1590.md): Flink on YARN模式下，有JobManager和TaskManager两种进程。在任务调度和运行的过程中，JobManager和TaskManager承担了很大的责任。因而JobManager和TaskManager的参数配置对Flink应用的执行有着很大的影响，用户可通过如下操作对Flink集群性能做优化。JobManager
- [优化Flink Netty网络通信参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1592.md): Flink通信主要依赖netty网络，所以在Flink应用执行过程中，netty的设置尤为重要，网络通信的好坏直接决定着数据交换的速度以及任务执行的效率。以下配置均可在客户端的conf/flink-conf.yaml配置文件中进行修改适配，默认已经是相对较优解，请谨慎修改，防止性能下降。taskmanager.network.netty.
- [Flink常见问题](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1593.md): 当数据发生倾斜（某一部分数据量特别大），虽然没有GC（Garbage Collection，垃圾回收），但是task执行时间严重不一致。需要重新设计key，以更小粒度的key使得task大小合理化。修改并行度。调用rebalance操作，使数据分区均匀。由于task在执行过程中存在数据通过网络进行交换，数据在不同服务器之间传递的缓冲区超时
- [安装MRS 3.x之前版本Flume客户端](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1594.md): 使用Flume搜集日志时，需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。本章节适用于MRS 3.x之前版本。已创建包含Flume组件的流集群。日志主机需要与MRS集群在相同的VPC和子网。已获取日志主机的登录方式。若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页
- [安装MRS 3.x及之后版本Flume客户端](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1595.md): 使用Flume搜集日志时，需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。本章节适用于MRS 3.x及之后版本。已创建包含Flume组件的集群。日志主机需要与MRS集群在相同的VPC和子网。已获取日志主机的登录方式。安装目录可以不存在，会自动创建。但如果存在，则必须为空。目录路径不能包含空格。登录F
- [查看Flume客户端监控信息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1596.md): 集群外的Flume客户端也是端到端数据采集的一环，与集群内Flume服务端一起都需要监控，用户通过FusionInsight Manager可以对Flume客户端进行监控，可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。本章节适用于MRS 3.x及之后版本。
- [如何配置Flume定制脚本](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1597.md): Flume支持定制脚本，支持在传输前或者传输后执行指定的脚本，用于执行准备工作。本章节适用于MRS 3.x及之后版本。登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Flume”进入Flume服务界面，在右上角选择“更多 > 下载客户端”，选择“选择客户端类型”为“完整客户端”，下载Flum
- [创建HBase权限角色](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1608.md): 该任务指导MRS集群管理员在Manager创建并设置HBase的角色。HBase角色可设置HBase管理员权限以及HBase表和列族的读（R）、写（W）、创建（C）、执行（X）或管理（A）权限。用户需要在HBase中对指定的数据库或表设置权限，才能够创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问HBase表。本章节适用于M
- [配置HBase主备集群容灾](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1609.md): HBase集群容灾作为提高HBase集群系统高可用性的一个关键特性，为HBase提供了实时的异地数据容灾功能。它对外提供了基础的运维工具，包含灾备关系维护，重建，数据校验，数据同步进展查看等功能。为了实现数据的实时容灾，可以把本HBase集群中的数据备份到另一个集群。支持HBase表普通写数据与Bulkload批量写数据场景下的容灾。本章
- [HBase容灾集群业务切换指导](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1610.md): MRS集群管理员可配置HBase集群容灾功能，以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时，需要为HBase上层应用配置备集群信息，才可以使得该应用在备集群上运行。本章节适用于MRS 3.x及之后版本。切换业务后，写入备集群的数据默认不会同步到主集群。主集群故障修复后，备集群新增的数据需要通过备份恢复的方式同步
- [HBase容灾集群主备倒换](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1611.md): 当前环境HBase已经是容灾集群，因为某些原因，需要将主备集群互换，即备集群变成主集群，主集群变成备集群。本章节适用于MRS 3.x及之后版本。主备集群互换后，原先主集群将不能再写入数据，原先备集群将变成主集群，接管上层业务。确保上层业务已经停止关闭主集群写功能具体请参考安装客户端（3.x及之后版本）章节。kinit hbasehbase
- [使用BulkLoad工具向HBase迁移数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1612.md): HBase的数据都是存储在HDFS中的，数据导入即是加载存放在HDFS中的数据到HBase表中。Apache HBase提供了“Import”和“ImportTsv”工具用于批量导入HBase数据。“Import”通过“org.apache.hadoop.hbase.mapreduce.Import”方法导入已导出至HDFS中的HBase
- [使用BulkLoad工具批量导入HBase数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1615.md): 您可以按照自定义的方式，通过命令批量导入数据到HBase中并创建索引。您可以在“configuration.xml”文件中定义多个方式来批量导入数据。导入数据时可不创建索引。列的名称不能包含特殊字符，只能由字母、数字和下划线组成。大任务下MapReduce任务运行失败，请参考MapReduce任务运行失败，ApplicationMaste
- [BulkLoad工具配置文件说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1616_1.md): 使用BulkLoad工具批量导入HBase数据时，支持用户自定义组合rowkey。BulkLoad组合rowkey即通过一些规则将多个列名经过一些自定义处理，组合生成新的rowkey。列的名称不能包含特殊字符，只能由字母、数字和下划线组成。关于组合rowkey在“configuration.xml”文件中的配置如下所示，该样例中定义组合r
- [使用BulkLoad工具批量更新HBase数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1628.md): HBase BulkLoad工具支持根据RowKey的命名规则、RowKey的范围、字段名以及字段值进行批量更新数据。执行如下命令更新从“row_start”到“row_stop”的行，并且把输出结果定向到“/output/destdir/”。-Dupdate.rowkey.start="row_start"：表示开始行号为“row_st
- [使用BulkLoad工具批量删除HBase数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1629.md): BulkLoad工具支持根据rowkey的取值模式、范围、字段名、字段值对HBase做批量删除。执行如下命令删除从“row_start”到“row_stop”的行，并且把输出结果定向到“/output/destdir/”。-Ddelete.rowkey.start="row_start"：表示开始行号为“row_start”。-Ddele
- [使用BulkLoad工具查询HBase表的行统计数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1630.md): HBase BulkLoad工具支持根据rowkey的命名规则、rowkey的范围、字段名以及字段值统计符合条件的行数。直接执行如下命令统计满足如下条件的行数。rowkey在从“row_start”到“row_stop”的范围，字段“f3:age”的值为“25”，rowkey的前两个字符为“mi”的行数。-Dcounter.rowkey.
- [创建HBase索引进行数据查询](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1635.md): HBase是一个Key-Value类型的分布式存储数据库，HIndex为HBase提供了按照某些列的值进行索引的能力，缩小搜索范围并缩短时延。列族应以“;”分隔。列和数据类型应包含在“[]”中。列数据类型在列名称后使用“->”指定。如果未指定列数据类型，则使用默认数据类型（字符串）。“#”用于在两个索引详细信息之间进行分隔。以下是一个可选
- [提升HBase BulkLoad工具批量加载效率](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1636.md): 批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。ImportTSV是一个HBase的表数据加载工具。本章节适用于MRS 3.x及之后版本。在执行批量加载时需要通过Dimp
- [提升HBase连续Put数据场景性能](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1637.md): 对大批量、连续put的场景，配置下面的两个参数为false时能大量提升性能。hbase.wal.hsynchbase.hfile.hsync当提升性能时，缺点是对于DataNode（默认是3个）同时故障时，存在小概率数据丢失的现象。对数据可靠性要求高的场景请慎重配置。本章节适用于MRS 3.x及之后版本。参数入口：在FusionInsig
- [HBase客户端连接服务端时，长时间无法连接成功](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1639.md): 在HBase服务端出现问题，无法提供服务，此时HBase客户端进行表操作，会出现该操作挂起，长时间无任何反应。问题分析当HBase服务端出现问题，HBase客户端进行表操作的时候，会进行重试，并等待超时。该超时默认值为Integer.MAX_VALUE (2147483647 ms)，所以HBase客户端会在这么长的时间内一直重试，造成挂
- [结束BulkLoad客户端程序导致作业执行失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1640.md): 执行BulkLoad程序导入数据时，如果结束客户端程序，为什么有时会导致已提交的作业执行失败？BulkLoad程序在客户端启动时会生成一个partitioner文件，用于划分Map任务数据输入的范围。此文件在BulkLoad客户端退出时会被自动删除。一般来说当所有Map任务都启动运行以后，退出BulkLoad客户端也不会导致已提交的作业失
- [在HBase连续对同一个表名做删除创建操作时出现创建表异常](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1641.md): 在HBase连续对同一个表名做删除创建操作时，可能出现创建表异常。执行过程：Disable Table > Drop Table > Create Table > Disable Table > Drop Table >...在Disable表时，HMaster会发送RPC请求到RegionServer，RegionServer会将相关R
- [HBase占用网络端口，连接数过大会导致其他服务不稳定](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1642.md): HBase占用网络端口，连接数过大会导致其他服务不稳定。使用操作系统命令lsof或者netstat发现大量TCP连接处于CLOSE_WAIT状态，且连接持有者为HBase RegionServer，可能导致网络端口耗尽或HDFS连接超限，那样可能会导致其他服务不稳定。HBase CLOSE_WAIT现象为HBase机制。HBase CLO
- [有210000个map和10000个reduce的HBase BulkLoad任务运行失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1643.md): MRS 3.x及之后版本HBase bulkLoad任务（单个表有26T数据）有210000个map和10000个reduce，任务失败。ZooKeeper IO瓶颈观测手段：通过Manager的监控页面查看单个节点上ZooKeeper请求监控，判断是否严重超出规格限制。通过观测ZooKeeper的日志以及HBase的日志，查看是否有大量
- [如何修复长时间处于RIT状态的Region](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1644.md): 在HBase WebUI界面看到有长时间处于RIT状态的Region，如何修复？登录HMaster WebUI，在导航栏选择“Procedure & Locks”，查看是否有处于Waiting状态的process id。如果有，需要执行以下命令将procedure lock释放：hbase hbck -j客户端安装目录/HBase/hba
- [HMaster等待NameSpace表上线时超时退出](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1645.md): 为什么在等待namespace表上线时超时HMaster退出？在HMaster主备倒换或启动期间，HMaster为先前失败/停用的RegionServer执行WAL splitting及region恢复。在后台运行有多个监控HMaster启动进程的线程：TableNamespaceManager这是一个帮助类，用于在HMaster主备倒换
- [客户端查询HBase出现SocketTimeoutException异常](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1646.md): 使用HBase客户端操作表数据的时候客户端出现类似如下异常：同时，在RegionServer上出现类似如下日志：出现该问题的主要原因为RegionServer分配的内存过小、Region数量过大导致在运行过程中内存不足，服务端对客户端的响应过慢。在RegionServer的配置文件hbase-site.xml中需要调整如下对应的内存分配参
- [使用scan命令仍然可以查询到已修改和已删除的数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1647.md): 为什么使用如下scan命令仍然可以查询到已修改和已删除的数据？由于HBase的可扩展性，在查询表的时候，默认情况下会匹配被查询列的所有版本的值，即使被删除或被修改的值也可以查询出来。对于命中列失败的行（即在某一行中不存在该列），HBase会将该行查询出来。如果用户仅需查询该表的最新值和命中列成功的行，可使用如下查询语句：使用该命令，不但可
- [在启动HBase shell时，报错“java.lang.UnsatisfiedLinkError: Permission denied”](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1648.md): 在启动HBase shell时，为什么会发生“java.lang.UnsatisfiedLinkError: Permission denied”异常？在执行HBase shell期间，JRuby会在java.io.tmpdir路径下创建一个临时文件，该路径的默认值为/tmp。如果为/tmp目录设置NOEXEC权限，然后HBase she
- [停止运行的RegionServer，在HMaster WebUI中显示的“Dead Region Servers”信息什么时候会被清除掉](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1649.md): 在HMaster Web UI中显示处于“Dead Region Servers”状态的RegionServer什么时候会被清除掉？当一个在线的RegionServer突然运行停止，会在HMaster Web UI中显示处于“Dead Region Servers”状态。当停止运行的RegionServer重启并且向HMaster上报成功
- [使用HBase BulkLoad导入数据成功，执行相同的查询时却可能返回不同的结果](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1650.md): 在使用HBase bulkload导入数据时，如果导入的数据存在相同的rowkey值，数据可以导入成功，但是执行相同的查询时可能返回不同的结果。正常情况下，相同rowkey值的数据加载到HBase是有先后顺序的，HBase以最近的时间戳的数据为最新数据，一般的默认查询中，没有指定时间戳的，就会对相同rowkey值的数据仅返回最新数据。使用
- [如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1651.md): 如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常。建表过程中如果发生网络故障、HDFS故障或者Active HMaster故障等情况时，可能会造成部分Region上线失败而处于FAILED_OPEN状态，导致建表失败。由于Region上线失败而处于FAILED_OPEN状态造成的建表失败异常不能直接修复，需要删除
- [如何清理由于建表失败残留在ZooKeeper中的table-lock节点下的表名](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1652.md): 安全模式下，由于建表失败，在ZooKeeper的table-lock节点（默认路径/hbase/table-lock）下残留有新建的表名，请问该如何清理？操作步骤如下：在安装好客户端的环境下，使用hbase用户进行kinit认证。执行hbase zkcli命令进入ZooKeeper命令行。在ZooKeeper命令行中执行ls /hbase
- [为什么给HBase使用的HDFS目录设置quota会造成HBase故障](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1653.md): 为什么给HDFS上的HBase使用的目录设置quota会造成HBase故障？表的flush操作是在HDFS中写memstore数据。如果HDFS目录没有足够的磁盘空间quota，flush操作会失败，这样region server将会终止。上述异常中，表/hbase/data/<namespace>/<tableName>的磁盘空间quo
- [使用OfflineMetaRepair工具重新构建元数据后HMaster启动失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1654.md): 为什么在使用OfflineMetaRepair工具重新构建元数据后，HMaster启动的时候会等待namespace表分配超时，最后启动失败？且HMaster将输出下列FATAL消息表示中止：当通过OfflineMetaRepair工具重建元数据时，HMaster在启动期间等待所有region server的WAL分割，以避免数据不一致问
- [HMaster日志中频繁打印出FileNotFoundException信息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1655.md): 当集群重启后会进行split WAL操作，在splitWAL期间，HMaster出现不能close log，日志中频繁打印出FileNotFoundException及no lease信息。在splitWAL的过程中，参数hbase.splitlog.manager.timeout控制splitWAL的超时时间，若该时间内splitWAL
- [ImportTsv工具执行失败报“Permission denied”异常](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1656.md): 当使用与Region Server相同的Linux用户（例如omm用户）但不同的kerberos用户（例如admin用户）时，为什么ImportTsv工具执行失败报“Permission denied”的异常？ImportTsv工具在“客户端安装路径/HBase/hbase/conf/hbase-site.xml”文件中hbase.fs.
- [访问HBase Phoenix提示权限不足如何处理](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1657.md): 使用租户访问Phoenix提示权限不足。创建租户的时候需要关联HBase服务和Yarn队列。租户要操作Phoenix还需要额外操作的权限，即Phoenix系统表的RWX权限。例如：创建好的租户为hbase，使用admin用户登录hbase shell，执行scan 'hbase:acl'命令查询租户对应的角色为hbase_14507611
- [租户使用HBase BulkLoad功能提示权限不足如何处理](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1658.md): 租户使用HBase bulkload功能提示权限不足。创建租户的时候需要关联HBase服务和Yarn队列。例如：新建用户user并绑定租户同名的角色。用户user需要使用bulkload功能还需要额外权限。以下以用户user为例：参见“批量导入数据”章节举例，以下是一些差异点。将数据文件目录建在“/tmp”目录下，执行以下命令：hdfs 
- [HBase数据恢复任务报错回滚失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1659.md): HBase恢复任务执行失败后系统自动回滚数据，若页面详情中提示“Rollback recovery failed”信息，表示回滚失败。由于回滚失败后就不会处理数据，所以有可能产生垃圾数据，需要如何解决？在下次执行备份或恢复任务前，需要手动清除这些垃圾数据。执行该命令会导致数据丢失，请谨慎操作。
- [如何修复Overlap状态的HBase Region](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1660.md): MRS 3.x及之后版本，使用hbck工具检查Region状态，若日志中存在“ERROR: (regions region1 and region2) There is an overlap in the region chain.”或者“ERROR: (region region1) Multiple regions have the 
- [HBase RegionServer GC参数Xms和Xmx的配置为31GB，导致RegionServer启动失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1661.md): MRS 3.x及之后版本，查看RegionServer启动失败节点的hbase-omm-*.out日志，发现日志中存在“An error report file with more information is saved as: /tmp/hs_err_pid*.log”，查看/tmp/hs_err_pid*.log发现日志存在“#In
- [创建HDFS权限角色](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1662.md): 该任务指导MRS集群管理员在FusionInsight Manager创建并设置HDFS的角色。HDFS角色可设置HDFS目录或文件的读、写和执行权限。用户在HDFS中对自己创建的目录或文件拥有完整权限，可直接读取、写入以及授权他人访问此HDFS目录与文件。本章节适用于MRS 3.x及后续版本。安全模式支持创建HDFS角色，普通模式不支持
- [HDFS客户端使用实践](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1663.md): 该任务指导用户在运维场景或业务场景中使用HDFS客户端对HDFS文件系统进行操作，例如读文件、写文件等操作。已安装客户端。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。各组件业务用户由MRS集群
- [更改DataNode的存储目录](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1664.md): HDFS DataNode定义的存储目录不正确或HDFS的存储规划变化时，MRS集群管理员需要在FusionInsight Manager中修改DataNode的存储目录，以保证HDFS正常工作。适用于以下场景：更改DataNode角色的存储目录，所有DataNode实例的存储目录将同步修改。更改DataNode单个实例的存储目录，只对单
- [配置NFS服务器存储NameNode元数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1665.md): 用户在部署集群前，可根据需要规划Network File System（简称NFS）服务器，用于存储NameNode元数据，以提高数据可靠性。如果您已经部署NFS服务器，并已配置NFS服务，本操作提供集群侧的配置指导，为可选任务。本章节适用于MRS 3.x及后续版本。例如，NFS服务器的IP为“192.168.0.11”，共享目录为“/o
- [配置HDFS DataNode数据均衡](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1667.md): HDFS集群可能出现DataNode节点间磁盘利用率不平衡的情况，比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况，可能导致多种问题，比如MapReduce应用程序无法很好地利用本地计算的优势、数据节点之间无法达到更好的网络带宽使用率或节点磁盘无法利用等等。所以MRS集群管理员需要定期检查并保持DataNode数据平衡。H
- [调整DataNode磁盘坏卷信息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1669.md): 在开源版本中，如果为DataNode配置多个数据存放卷，默认情况下其中一个卷损坏，则DataNode将不再提供服务。用户可以通过MRS修改配置项dfs.datanode.failed.volumes.tolerated的值，指定失败的个数，小于该个数，DataNode可以继续提供服务。登录集群Manager具体操作，请参考访问MRS集群M
- [配置客户端NameNode黑名单功能](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1670.md): 在系统缺省场景中，一旦某进程中的一个NameNode发生故障，在同一进程中的所有HDFS客户端实例都会尝试再次连接NameNode，导致上层应用长时间等待超时。当位于同一JVM进程中的客户端对无法访问的NameNode进行连接时，会对系统造成负担。为了避免以上问题，MRS集群提供了NameNode黑名单功能（BlackListingFai
- [优化HDFS NameNode RPC的服务质量](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1672.md): 如果多个Hadoop集群由于NameNode超负荷运行并失去响应而发生故障，这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中，NameNode作为单独的机器，在其namespace内协调HDFS的各种操作，这些操作包括获取数据块位置、列出目录及创建文件。NameNode接受HDFS的操作，将其视作RPC调用并置入FIFO调
- [优化HDFS DataNode RPC的服务质量](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1673.md): 当客户端写入HDFS的速度大于DataNode的硬盘带宽时，硬盘带宽会被占满，导致DataNode失去响应。客户端只能通过取消或恢复通道进行规避，这会导致写入失败及不必要的通道恢复操作。MRS引入配置参数dfs.pipeline.ecn。当该配置启用时，DataNode会在写入通道超出负荷时从其中发出信号。客户端可以基于该阻塞信号进行退避
- [使用LZC压缩算法存储HDFS文件](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1674.md): 文件压缩可以减少存储文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格式增强了Hadoop压缩能力。有关Snappy的详细信息，请参阅https://google.github
- [配置DataNode预留磁盘百分比](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1675.md): 当Yarn本地目录和DataNode目录配置在同一个磁盘时，具有较大容量的磁盘可以运行更多的任务，因此将有更多的中间数据存储在Yarn本地目录。目前DataNode支持通过配置dfs.datanode.du.reserved来配置预留磁盘空间大小（默认值为“0”）。配置较小的数值不能满足更大的磁盘要求，但对于更小的磁盘配置更大的数值将浪费
- [配置HDFS文件目录标签策略（NodeLabel）](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1676.md): 用户需要通过数据特征灵活配置HDFS文件数据块的存储节点。通过设置HDFS目录/文件对应一个标签表达式，同时设置每个DataNode对应一个或多个标签，从而给文件的数据块存储指定了特定范围的DataNode。当使用基于标签的数据块摆放策略，为指定的文件选择DataNode节点进行存放时，会根据文件的标签表达式选择出DataNode节点范围
- [配置HDFS Mover迁移数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1677.md): Mover是一个数据迁移工具，工作方式与HDFS的Balancer接口工作方式类似。Mover能够基于设置的数据存储策略，将集群中的数据重新分布。通过运行Mover，周期性地检测HDFS文件系统中用户指定的HDFS文件或目录，判断该文件或目录是否满足设置的存储策略，如果不满足，则进行数据迁移，使目标目录或文件满足设定的存储策略。本章节适用
- [配置HDFS DiskBalancer磁盘均衡](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1678.md): DiskBalancer是一个在线磁盘均衡器，旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似，其区别如下：HDFS Balancer工具用于DataNode节点间的数据均衡。HDFS DiskBalancer用于单个DataNode节点上各磁盘之间的数据均衡。长时间运行的集群会
- [执行HDFS文件并发操作命令](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1684.md): MRS提供集群内并发修改文件和目录的权限及访问控制的工具，可以通过该工具多并发设置目录中所有文件的副本数、属主、权限、ACL信息等。本章节适用于MRS 3.x及后续版本。因为集群内使用文件并发修改命令会对集群性能造成较大负担，所以在集群空闲时使用文件并发操作命令。已安装包含HDFS的客户端。例如安装目录为“/opt/client”。各组件
- [提升HDFS写数据性能](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1687.md): HDFS写数据性能直接影响整个系统的效率。提升写性能可以减少数据写入时间，加快数据处理流程，提高系统的整体响应速度。通过全面提升HDFS的写数据性能，可以使得HDFS集群更适应自身的业务情况，从而提升HDFS的写性能。本章节适用于MRS 3.x及后续版本。登录集群Manager具体操作，请参考访问MRS集群Manager。
- [配置HDFS客户端元数据缓存提高读取性能](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1688.md): 通过使用客户端缓存元数据块的位置，可以减少对NameNode的元数据查询次数，降低网络开销，提高客户端操作的响应速度，提高HDFS读取性能。本章节适用于MRS 3.x及后续版本。此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改，对于高速缓存的客户端将是不可见的，这可能导致从缓存中拿到的元数据是过期的。登录集群
- [使用活动缓存提升HDFS客户端连接性能](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1689.md): HDFS部署在具有多个NameNode实例的HA（High Availability）模式中，HDFS客户端需要依次连接到每个NameNode，以确定当前活动的NameNode，并将其用于客户端操作。一旦识别出活动的NameNode，该NameNode的详细信息就可以被缓存并共享给在客户端机器中运行的所有客户端。此时，每个新客户端可以首先
- [为什么DataNode无法正常上报数据块](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1693.md): DataNode正常，但无法正常上报数据块，导致存在的数据块无法使用。当某个数据目录中的数据块数量超过4倍的数据块限定值“1M”时，可能会出现该错误。DataNode会产生相应的错误日志记录，如下所示：数据目录中数据块的数量会显示为Metric。用户可以通过以下URL对该值进行监视http://<datanode-ip>:<http-po
- [HDFS WebUI无法正常刷新损坏数据的信息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1694.md): 当DataNode的dfs.datanode.data.dir所配置的目录因权限或者磁盘损坏发生错误时，HDFS Web UI没有显示损坏数据的信息。当此错误被修复后，HDFS Web UI没有及时移除损坏数据的相关信息。DataNode只有在执行文件操作发生错误时，才会去检查磁盘是否正常，若发现数据损坏，则将此错误上报至NameNode
- [执行distcp命令报错如何处理](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1695.md): 为何distcp命令在安全集群上执行失败并发生异常？客户端出现异常：服务器端出现异常：当用户在distcp命令中使用webhdfs://时，会发生上述异常，是由于集群所使用的HTTP策略为HTTPS，即配置在“hdfs-site.xml”（文件路径为“客户端安装目录/HDFS/hadoop/etc/hadoop”）的dfs.http.po
- [DataNode的容量计算出错如何处理](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1697.md): 当多个data.dir被配置在一个磁盘分区内，DataNode的容量计算将会出错。目前容量计算是基于磁盘的，类似于Linux里面的df命令。理想状态下，用户不会在同一个磁盘内配置多个data.dir，否则所有的数据都将写入一个磁盘，在性能上会有很大的影响。因此配置如下：例如，如果机器有如下磁盘：建议的配置方式：不建议的配置方式：
- [为什么存储小文件过程中，缓存中的数据会丢失](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1699.md): 在存储小文件过程中，系统断电，缓存中的数据丢失。由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site.xml”中的dfs.datanode.synconclose设置为true。默认情况下，df
- [当分级存储策略为LAZY_PERSIST时为什么文件的副本的存储类型为DISK](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1701.md): 当文件的存储策略为LAZY_PERSIST时，文件的第一副本的存储类型应为RAM_DISK，其余副本为DISK。为什么文件的所有副本的存储类型都是DISK？当用户写入存储策略为LAZY_PERSIST的文件时，文件的三个副本会逐一写入。第一副本会优先选择客户端所在的DataNode节点，在以下情况下，当文件的存储策略为LAZY_PERSI
- [NameNode节点长时间满负载导致客户端无响应](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1702.md): 当NameNode节点处于满负载、NameNode所在节点的CPU 100%耗尽时，导致NameNode无法响应，对于新连接到该NameNode的HDFS客户端，能够主备切换连接到另一个NameNode，进行正常的操作，而对于已经连接到该NameNode节点的HDFS客户端可能会长时间无响应，无法进行下一步操作。目前出现上述问题时使用的是
- [是否可以手动调整DataNode数据存储目录](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1703.md): 数据块在DataNode上的存储目录由dfs.datanode.data.dir配置项指定，是否可以修改该配置项来修改数据存储目录？是否可以手动拷贝数据存储目录下的文件？dfs.datanode.data.dir配置项用于指定数据块在DataNode上的存储目录，在系统安装时需要指定根目录，并且可以指定多个根目录。请谨慎修改该配置项，可以
- [为什么NameNode UI上显示有一些块缺失](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1704.md): 回滚成功后，为什么NameNode UI上显示有一些块缺失？原因：具有新id/genstamps的块可能存在于DataNode上。DataNode中的块文件可能具有与NameNode的回滚image中不同的生成标记和长度，所以NameNode会拒绝DataNode中的这些块，并将文件标记为已损坏。场景如下：升级前：客户端A - >将一些数
- [为什么主NameNode重启后系统出现双备现象](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1706.md): 为什么主NameNode重启后系统出现双备现象？出现该问题时，查看ZooKeeper和ZKFC的日志，发现ZooKeeper服务端与客户端（ZKFC）通信时所使用的session不一致，ZooKeeper服务端的sessionId为0x164cb2b3e4b36ae4，ZKFC的sessionId为0x144cb2b3e4b36ae4。这
- [HDFS执行Balance时被异常停止如何处理](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1707.md): 在HDFS客户端启动一个Balance进程，该进程被异常停止后，再次执行Balance操作，操作会失败。通常，HDFS执行Balance操作结束后，会自动释放/system/balancer.id文件，可再次正常执行Balance。但在上述场景中，由于第一次的Balance操作是被异常停止的，所以第二次进行Balance操作时，/syst
- [访问HDFS WebUI时，界面提示无法显示此页](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1708.md): 通过IE 9、IE 10和IE 11等浏览器访问HDFS的原生UI界面，偶尔出现访问失败情况。访问页面失败，浏览器无法显示此页，如下图所示：IE 9、IE 10、IE 11浏览器的某些版本在处理SSL握手有问题导致访问失败。重新刷新页面即可。
- [切换Hive执行引擎为Tez](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1750.md): Hive支持使用Tez引擎处理数据计算任务，用户在执行任务前可手动切换执行引擎为Tez。集群已安装Yarn服务的TimelineServer角色，且角色运行正常。set hive.execution.engine=tez;set yarn.timeline-service.enabled=true;“yarn.timeline-servi
- [如何删除所有HiveServer中的永久函数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1753.md): 如果需要删除永久函数（Permanent UDF），如何在多个HiveServer之间同步删除？因为多个HiveServer之间共用一个MetaStore存储数据库，所以MetaStore存储数据库和HiveServer的内存之间数据同步有延迟。如果在单个HiveServer上删除永久函数，操作结果将无法同步到其他HiveServer上。
- [为什么已备份的Hive表无法执行drop操作](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1754.md): 为什么已备份的Hive表执行drop操作会失败？由于已备份Hive表对应的HDFS目录创建了快照，导致HDFS目录无法删除，造成Hive表删除失败。Hive表在执行备份操作时，会创建表对应的HDFS数据目录快照。而HDFS的快照机制有一个约束：如果一个HDFS目录已创建快照，则在快照完全删除之前，该目录无法删除或修改名称。Hive表（除E
- [如何在Hive自定义函数中操作本地文件](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1755.md): 在Hive自定义函数中需要操作本地文件，例如读取文件的内容，需要如何操作？默认情况下，可以在UDF中用文件的相对路径来操作文件，如下示例代码：在Hive中使用时，将UDF中用到的文件foo.txt上传到HDFS上，如上传到hdfs://hacluster/tmp/foo.txt，使用以下语句创建UDF，在UDF中就可以直接操作foo.tx
- [如何强制停止Hive执行的MapReduce任务](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1756.md): 在Hive执行MapReduce任务长时间卡住的情况下想手动停止任务，需要如何操作？
- [Hive不支持复杂类型字段名称中包含哪些特殊字符](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1757.md): Hive复杂类型字段名称中包含特殊字符，导致建表失败。Hive不支持复杂类型字段名称中包含特殊字符。特殊字符是指英文大小写字母、阿拉伯数字、中文字符、葡萄牙文字符以外的其他字符。用户在创建相关字段时，应避免使用相关特殊字符。
- [如何对Hive表大小数据进行监控](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1758.md): 如何对Hive中的表大小数据进行监控？当用户要对Hive表大小数据进行监控时，可以通过HDFS的精细化监控对指定表目录进行监控，从而到达监控指定表大小数据的目的。Hive、HDFS组件功能正常HDFS精细化监控功能正常
- [如何防止insert overwrite语句误操作导致数据丢失](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1759.md): 如何对重点目录进行保护，防止“insert overwrite”语句误操作导致数据丢失？当用户要对Hive重点数据库、表或目录进行监控，防止“insert overwrite”语句误操作导致数据丢失时，可以利用Hive配置中的hive.local.dir.confblacklist进行目录保护。该配置项已对/opt/，/user/hive
- [未安装HBase时Hive on Spark任务卡顿如何处理](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1760.md): 此功能适用于Hive组件。按如下操作步骤设置参数后，在未安装HBase的环境执行Hive on Spark任务时，可避免任务卡顿。Hive on Spark任务的Spark内核版本已经升级到Spark2x，可以支持在不安装Spark2x的情况下，执行Hive on Spark任务。如果没有安装HBase，默认在执行Spark任务时，会尝试
- [Hive使用WHERE条件查询超过3.2万分区的表报错](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1761.md): 问题：Hive创建超过3.2万分区的表，执行带有WHERE分区的条件查询时出现异常，且metastore.log中打印的异常信息包含以下信息：Caused by: java.io.IOException: Tried to send an out-of-range integer as a 2-byte value: 32970
    
- [使用IBM的JDK访问Beeline客户端出现连接HiveServer失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1762.md): 查看客户端使用的jdk版本，如果是IBM JDK，则需要对Beeline客户端进行改造，否则会造成连接hiveserver失败。viHive客户端安装目录/Hive/component_env在变量“export CLIENT_HIVE_URI”所在行后面添加如下内容：\;user.principal=用户名@HADOOP.COM\;us
- [Hive表的Location支持跨OBS和HDFS路径吗](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1763.md): Hive表的location支持跨OBS和HDFS路径吗？Hive存储在OBS上的普通表，支持表location配置为hdfs路径。同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。Hive存储在OBS上的分区表，不支持将分区location配置为hdfs路径（存储在HDFS上的分区表也不支持修改分区locatio
- [使用Hive输入use database语句失效](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1766.md): 使用Hive的时候，在输入框中输入了use database的语句切换数据库，重新在输入框内输入其他语句，为什么数据库没有切换过去？在Hue上使用Hive有区别于用Hive客户端使用Hive，Hue界面上有选择数据库的按钮，当前SQL执行的数据库以界面上显示的数据库为准。与此相关的还有设置参数等session级别的一次性操作，都应该使用界
- [Kafka客户端使用实践](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1767.md): 该任务指导用户在运维场景或业务场景中使用Kafka客户端。本章节适用于MRS 3.x及后续版本。已安装集群客户端，例如安装目录为“/opt/client”。各组件业务用户由MRS集群管理员根据业务需要创建。“机机”用户需要下载keytab文件，“人机”用户第一次登录时需修改密码。（普通模式不涉及）在修改集群域名后，需要重新下载客户端，以保
- [Loader常用参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1784.md): 本章节适用于MRS 3.x及后续版本。参数入口，请参考修改集群服务配置参数。由于容错率的统计需要时间，为保证使用效果，建议在作业运行时间在2分钟以上时使用“loader.fault.tolerance.rate”参数。此处参数设置的为Loader全局的默认分隔符，如果作业的转换步骤中配置了分隔符，则以转换步骤为准，转换步骤中没有配置分隔符
- [IE 10&IE 11浏览器无法保存数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1786.md): 通过IE 10&IE 11浏览器访问Loader界面，提交数据后，会报错。现象保存提交数据，出现类似报错：Invalid query parameter jobgroup id. cause: [jobgroup]。保存提交数据，出现类似报错：Invalid query parameter jobgroup id. cause: [job
- [将Oracle数据库中的数据导入HDFS时各连接器的区别](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1787.md): 使用Loader将Oracle数据库中的数据导入到HDFS中时，可选择的连接器有generic-jdbc-connector、oracle-connector、oracle-partition-connector三种，要怎么选？有什么区别？generic-jdbc-connector使用JDBC方式从Oracle数据库读取数据，适用于支持
- [ResourceManager进行主备切换后，任务中断后运行时间过长](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1789.md): 在MapReduce任务运行过程中，ResourceManager发生主备切换，切换完成后，MapReduce任务继续执行，此时任务的运行时间过长。因为ResourceManager HA已启用，但是Work-preserving RM restart功能未启用。如果Work-preserving RM restart功能未启用，Reso
- [MapReduce任务长时间无进展](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1790.md): MapReduce任务长时间无进展。一般是因为内存太少导致的。当内存较小时，任务中拷贝map输出的时间将显著增加。为了减少等待时间，您可以适当增加堆内存空间。任务的配置可根据mapper的数量和各mapper的数据大小来进行优化。根据输入数据的大小，优化“客户端安装路径/Yarn/config/mapred-site.xml”文件中的如下
- [为什么运行任务时客户端不可用](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1791.md): 当运行任务时，将MR ApplicationMaster或ResourceManager移动为D状态，为什么此时客户端会不可用？当运行任务时，将MR ApplicationMaster或ResourceManager移动为D状态（不间断睡眠状态）或T状态（停止状态），客户端会等待返回任务运行的状态，由于AM无返回，客户端会一直处于等待状态
- [在缓存中找不到HDFS_DELEGATION_TOKEN如何处理](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1792.md): 安全模式下，为什么在缓存中找不到HDFS_DELEGATION_TOKEN？在MapReduce中，默认情况下，任务完成之后，HDFS_DELEGATION_TOKEN将会被删除。因此如果在下一个任务中再次使用HDFS_DELEGATION_TOKEN，缓存中将会找不到HDFS_DELEGATION_TOKEN。为了能够在随后的工作中再次
- [如何在提交MapReduce任务时设置任务优先级](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1793.md): 如何在提交MapReduce任务时设置任务优先级？当您在客户端提交MapReduce任务时，可以在命令行中增加-Dmapreduce.job.priority=<priority>参数来设置任务优先级。格式如下：yarn jar <jar> [mainClass] -Dmapreduce.job.priority=<priority> [
- [MapReduce任务运行失败，ApplicationMaster出现物理内存溢出异常](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1794.md): HBase bulkload任务有210000个map和10000个reduce，MapReduce任务运行失败，ApplicationMaster出现物理内存溢出异常。这是性能规格的问题，MapReduce任务运行失败的根本原因是由于ApplicationMaster的内存溢出导致的，即物理内存溢出导致被NodeManager kill
- [MapReduce作业信息无法通过ResourceManager Web UI页面的Tracking URL打开](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1797.md): MapReduce JobHistoryServer服务地址变更后，为什么运行完的MapReduce作业无法通过ResourceManager Web UI页面打开？JobHistoryServer地址（mapreduce.jobhistory.address / mapreduce.jobhistory.webapp.<https.>a
- [多个NameService环境下运行MapReduce任务失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1799.md): 多个NameService环境下，运行使用viewFS功能的MapReduce或YARN任务失败。当使用viewFS时，只有在viewFS中挂载的目录才能被访问到。所以最可能的原因是配置的路径没有在viewFS的挂载点上。例如：对于依赖HDFS的MR配置中，需要使用已挂载的目录。错误示例：根目录（/）在viewFS中是无法访问的。正确示例
- [基于分区的任务黑名单异常如何处理](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1800.md): Map&Reduce任务失败，并且故障节点数与集群总节点数的比值低于“yarn.resourcemanager.am-scheduling.node-blacklisting-disable-threshold”配置的黑名单阈值，为什么Map&Reduce任务故障节点没有加入黑名单？当集群中有超过阈值的节点都被加入黑名单时，黑名单会释放这
- [Oozie客户端配置说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1810.md): 该任务指导用户在运维场景或业务场景中使用Oozie客户端。Oozie支持提交多种类型任务，例如Hive、Spark2x、Loader、Mapreduce、Java、DistCp、Shell、HDFS、SSH、SubWorkflow、Streaming、定时任务等。已安装客户端，具体请参考安装客户端。例如安装目录为“/opt/client”
- [使用Oozie客户端提交Hive任务](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1813.md): 该任务指导用户在使用Oozie客户端提交Hive任务Hive任务有如下类型：Hive作业使用JDBC方式连接的Hive作业。使用JDBC方式连接的Hive作业。Hive2作业使用Beeline方式连接的Hive作业。使用Beeline方式连接的Hive作业。本文以使用Oozie客户端提交Hive作业为例介绍。使用Oozie客户端提交Hiv
- [使用Oozie客户端提交Spark2x任务](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1814.md): 该任务指导用户在使用Oozie客户端提交Spark2x任务。请下载使用最新版本的客户端。Spark2x和Oozie组件安装完成且运行正常，客户端安装成功。如果当前客户端为旧版本，需要重新下载和安装客户端。如果当前客户端为旧版本，需要重新下载和安装客户端。已创建或获取访问Oozie服务的人机用户账号及密码。该用户需要从属于hadoop、su
- [使用Oozie客户端提交Loader任务](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1815.md): 该任务指导用户在使用Oozie客户端提交Loader任务。请下载使用最新版本的客户端。Loader和Oozie组件及客户端已经安装，并且正常运行。已创建或获取访问Oozie服务的人机用户账号及密码。该用户需要从属于hadoop、supergroup、hive组，同时添加Oozie的角色操作权限。若使用Hive多实例，该用户还需要从属于具体
- [使用Oozie客户端提交其它任务](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1816.md): 除了Hive、Spark2x、Loader任务，也支持使用Oozie客户端提交MapReduce、Java、Shell、HDFS、SSH、SubWorkflow、Streaming、定时等任务。请下载使用最新版本的客户端。Oozie组件及客户端已经安装，并且正常运行。已创建或获取访问Oozie服务的人机用户账号及密码。Shell任务：该用
- [使用Hue创建工作流](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1818.md): 用户通过Hue管理界面可以进行提交Oozie作业，提交作业之前，首先需要创建一个工作流。使用Hue提交Oozie作业之前，需要提前配置好Oozie客户端，并上传样例配置文件和jar至HDFS指定目录，具体操作请参考Oozie客户端配置说明章节。例如：使用admin用户登录FusionInsight Manager，选择“系统 > 用户 >
- [使用Hue提交Oozie Hive2作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1820.md): 该任务指导用户通过Hue界面提交Hive2类型的Oozie作业。例如输入参数为INPUT=/user/admin/examples/input-data/table，输出参数为OUTPUT=/user/admin/examples/output-data/hive2_workflow。若以上的参数和值在使用过程中发生了修改，可在Oozie
- [使用Hue提交Oozie Spark2x作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1821.md): 该任务指导用户通过Hue界面提交Spark2x类型的Oozie作业。例如添加：“hdfs://hacluster/user/admin/examples/input-data/text/data.txt”“hdfs://hacluster/user/admin/examples/output-data/spark_workflow”此处版
- [使用Hue提交Oozie Java作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1822.md): 该任务指导用户通过Hue界面提交Java类型的Oozie作业。保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Java-Workflow”。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。
- [使用Hue提交Oozie Loader作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1823.md): 该任务指导用户通过Hue界面提交Loader类型的Oozie作业。Job id是需要编排的Loader作业的ID值，可从Loader页面获取。创建需要调度的Loader作业，并获取该作业ID，具体操作请参见使用Loader相关章节。保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Loade
- [使用Hue提交Oozie Mapreduce作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1824.md): 该任务指导用户通过Hue界面提交Mapreduce类型的Oozie作业。例如配置mapred.input.dir的值为“/user/admin/examples/input-data/text”，配置mapred.output.dir的值为“/user/admin/examples/output-data/map-reduce_workf
- [使用Hue提交Oozie Sub workflow作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1825.md): 该任务指导用户通过Hue界面提交Sub Workflow类型的Oozie作业。保存前如果需要修改作业名称（默认为My Workflow），可以直接单击该名称进行修改，例如“Subworkflow-Workflow”。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。
- [使用Hue提交Oozie Shell作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1826.md): 该任务指导用户通过Hue界面提交Shell类型的Oozie作业。若文件存储在HDFS上，选择“.sh”文件所在路径即可，例如“user/hueuser/shell/oozie_shell.sh”。若选择本地文件，则需在“选择文件”界面，单击“上传文件”，上传本地文件，文件上传成功后，选择该文件即可。传递参数的顺序需要和Shell脚本中保持
- [使用Hue提交Oozie HDFS作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1827.md): 该任务指导用户通过Hue界面提交HDFS类型的Oozie作业。若单击了“DELETE PATH+”添加待删除的HDFS路径，该参数不能为空，否则会默认删除HDFS的“/user{提交用户名}”目录，可能会导致其他任务运行异常。保存前如果需要修改作业名称（默认为My Workflow），可以直接单击该名称进行修改，例如“HDFS-Workf
- [使用Hue提交Oozie Streaming作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1828.md): 该任务指导用户通过Hue界面提交Streaming类型的Oozie作业。例如“/user/oozie/share/lib/mapreduce-streaming/hadoop-streaming-xxx.jar”和“/user/oozie/share/lib/mapreduce-streaming/oozie-sharelib-strea
- [使用Hue提交Oozie Distcp作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1829.md): 该任务指导用户通过Hue界面提交Distcp类型的Oozie作业。是，执行4。否，执行7。source_ip：源集群的HDFS的NameNode的业务地址。source_port：源集群的HDFS的NameNode的端口号。target_ip：目标集群的HDFS的NameNode的业务地址。target_port：目标集群的HDFS的Na
- [配置Oozie节点间用户互信](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1830.md): 在使用Oozie节点通过SSH作业执行外部节点的Shell，需要单向免密互信时，可以参考此示例。已经安装Oozie，而且能与外部节点（SSH连接的节点）通信。是，执行3。否，执行以下命令生成公私钥：ssh-keygen -t rsassh-keygen -t rsassh-copy-id -i  ~/.ssh/id_rsa.pub运行SS
- [使用Hue提交Oozie SSH作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1831.md): 该任务指导用户通过Hue界面提交SSH类型的Oozie作业。由于有安全攻击的隐患，所以默认是无法提交SSH作业的，如果想使用SSH功能，需要手动开启。在FusionInsight Manager界面，选择“集群 > 服务 > Oozie > 配置 > 全部配置 > oozie（角色） > 安全”，修改“oozie.job.ssh.enab
- [使用Hue提交Coordinator定时调度作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1840.md): 该任务指导用户通过Hue界面提交定时调度类型的作业。提交Coordinator任务之前需要提前配置好相关的workflow作业。因时区转化的原因，此处时间有可能会与当地系统实际时间差异数个小时。比如在中国，此处的时间则会比当地时间晚8个小时。如果需要统一同步配置为上海时间，操作如下：在Manager页面，选择集群 > 服务 > Oozie
- [使用Hue提交Bundle批处理作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1841.md): 当同时存在多个定时任务的情况下，用户可以通过Bundle任务进行批量管理作业。该任务指导用户通过Hue界面提交批量类型的作业。提交Bundle批处理之前需要提前配置好相关的Workflow和Coordinator作业。因时区转化的原因，此处时间有可能会与当地系统实际时间差异数个小时。比如在中国，此处的时间则会比当地时间晚8个小时。
- [在Hue界面中查询Oozie作业结果](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1842.md): 提交作业后，可以通过Hue界面查看具体作业的执行情况。默认显示当前集群的所有作业。作业浏览器显示的数字表示集群中所有作业的总数。作业浏览器显示的数字表示集群中所有作业的总数。“作业浏览器”将显示作业以下信息：如果MRS集群安装了Spark组件，则默认会启动一个作业Spark-JDBCServer，用于执行任务。
- [Oozie日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1843.md): 日志路径：Oozie相关日志的默认存储路径为：运行日志：“/var/log/Bigdata/oozie”。审计日志：“/var/log/Bigdata/audit/oozie”。日志归档规则：Oozie的日志分三类：运行日志、 脚本日志和审计日志。运行日志每个文件最大20M，最多20个。审计日志每个文件最大20M，最多20个。“oozie
- [Oozie定时任务没有准时运行如何处理](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1846.md): 在Hue或者Oozie客户端设置执行Coordinator定时任务，但没有准时执行。设置任务时，需要使用UTC时间。例如在job.properties中配置start=2016-12-20T09:00Z。修改配置后重新启动定时任务即可。
- [HDFS上更新了oozie的share lib目录但没有生效](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1847.md): 在HDFS的/user/oozie/share/lib目录上传了新的jar包，但执行任务时仍然报找不到类的错误。在客户端执行如下命令刷新目录：oozie admin -oozie https://xxx.xxx.xxx.xxx:21003/oozie -sharelibupdate
- [登录Ranger WebUI界面](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1850.md): Ranger服务提供了集中式的权限管理框架，可以对HDFS、HBase、Hive、Yarn等组件进行细粒度的权限访问控制，并且提供了Web UI方便Ranger管理员进行操作。Ranger中的用户可分为Admin、User、Auditor等类型，不同用户具有的Ranger管理界面查看和操作权限不同。Admin：Ranger安全管理员，可查
- [添加Ranger权限策略](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1851.md): 新安装的MRS集群默认安装Ranger服务并启用了Ranger鉴权模型，Ranger管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。目前安全模式集群中支持Ranger的组件包括：HDFS、Yarn、HBase、Hive、Spark2x、Kafka、Storm。各组件的策略列表中，系统默认会生成若干条目，用于保证集群内的
- [查看Ranger审计信息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1852.md): Ranger管理员可通过Ranger界面查看Ranger运行审计日志及组件使用Ranger鉴权后权限管控审计日志信息。
- [配置Ranger安全区信息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1853.md): Ranger支持配置安全区，Ranger管理员可将各组件的资源切分为多个安全区，由对应Ranger管理员用户为区域的指定资源设置安全策略，以便更好的细分资源管理。安全区中定义的策略仅适用于区域中的资源，服务的资源被划分到安全区后，非安全区针对该资源的访问权限策略将不再生效。安全区的管理员只能在其作为管理员的安全区中设置策略。例如针对HDF
- [查看Ranger用户权限同步信息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1854.md): 查看Ranger相关权限设置信息，例如查看用户、用户组、Role。Users：显示Ranger从LDAP或者OS同步的所有用户信息。Groups：显示Ranger从LDAP或者OS同步的所有用户组、角色信息。Roles：显示Ranger中创建的Role信息。在FusionInsight Manager上创建的用户、角色、用户组会定期自动同
- [添加HDFS的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1856.md): Ranger管理员可通过Ranger为HDFS用户配置HDFS目录或文件的读、写和执行权限。已安装Ranger服务且服务运行正常。已创建需要配置权限的用户、用户组或Role。例如为用户“testuser”添加“/user/test”目录的写权限，配置如下：如需禁用某条策略，可单击按钮编辑策略，设置策略开关为“Disabled”。如果不再使
- [添加HBase的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1857.md): Ranger管理员可通过Ranger为HBase用户配置HBase表和列族，列的权限。已安装Ranger服务且服务运行正常。已创建需要配置权限的用户、用户组或Role。如果用户在hbase shell中执行desc操作，需要同时给该用户赋予hbase:quota表的读权限。如需禁用某条策略，可单击按钮编辑策略，设置策略开关为“Disabl
- [添加Hive的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1858.md): Ranger管理员可通过Ranger为Hive用户进行相关的权限设置。Hive默认管理员账号为hive，初始密码为Hive@123。已安装Ranger服务且服务运行正常。已创建用户需要配置权限的用户、用户组或Role。用户加入hive组。如果用户在执行命令时指定了HDFS路径，需要给该用户添加HDFS路径的读、写、执行权限，详情请参考添加
- [添加Yarn的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1859.md): Ranger管理员可通过Ranger为Yarn用户配置Yarn管理员权限以及Yarn队列资源管理权限。已安装Ranger服务且服务运行正常。已创建需要配置权限的用户、用户组或Role。如需禁用某条策略，可单击按钮编辑策略，设置策略开关为“Disabled”。如果不再使用策略，可单击按钮删除策略。Ranger Yarn上面各个权限之间相互独
- [添加Spark2x的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1860.md): Ranger管理员可通过Ranger为Spark2x用户进行相关的权限设置。Spark2x开启或关闭Ranger鉴权后，需要重启Spark2x服务。需要重新下载客户端，或手动刷新客户端配置文件“客户端安装目录/Spark2x/spark/conf/spark-defaults.conf”：开启Ranger鉴权：spark.ranger.p
- [添加Kafka的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1861.md): Ranger管理员可通过Ranger为Kafka用户配置Kafka主题的读、写、管理权限以及集群的管理权限，本章节以为用户“test”添加 “test” 主题的“生产”权限。已安装Ranger服务且服务运行正常。已创建用户需要配置权限的用户、用户组或Role。例如为用户“testuser”添加“test”主题的生产权限，配置如下：设置权限
- [添加Storm的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1863.md): Ranger管理员可通过Ranger为Storm用户进行相关的权限设置。已安装Ranger服务且服务运行正常。已创建用户需要配置权限的用户、用户组或Role。页面已启用Ranger鉴权开关，该按钮控制是否启用Ranger插件进行权限管控，启用则使用Ranger鉴权，否则使用组件自身鉴权机制。启用Ranger鉴权如需禁用某条策略，可单击按钮
- [Ranger日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1865.md): 日志存储路径：Ranger相关日志的默认存储路径为“/var/log/Bigdata/ranger/角色名”RangerAdmin：“/var/log/Bigdata/ranger/rangeradmin”（运行日志）。TagSync：“/var/log/Bigdata/ranger/tagsync”（运行日志）。UserSync“/va
- [安装集群过程中Ranger启动失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1867.md): MRS集群创建过程中，Ranger启动失败，Manager进程任务列表里打印“ERROR：cannot drop sequence X_POLICY_REF_ACCESS_TYPE_SEQ”等关于数据库信息。该现象可能出现在安装两个RangerAmdin实例的场景下。启动失败后，请先手动重启一个RangerAdmin，然后再逐步重启其他实
- [如何判断某个服务是否使用了Ranger鉴权](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1868.md): 如何判断某个支持使用Ranger鉴权的服务当前是否启用了Ranger鉴权？登录FusionInsight Manager，选择“集群 > 服务 > 服务名称”，在服务详情页上继续单击“更多”，查看“启用Ranger鉴权”是否为可单击？是，表示当前本服务未启用Ranger鉴权插件，可单击“启用Ranger鉴权”启用该功能。否，表示当前本服务
- [Spark客户端使用实践](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1929.md): 本章节提供从零开始使用Spark2x提交spark应用程序，包括Spark Core及Spark SQL。其中，Spark Core为Spark的内核模块，主要负责任务的执行，用于编写spark应用程序；Spark SQL为执行SQL的模块。假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下
- [快速配置参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1930.md): 本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。其他参数在安装集群时已进行了适配，以下参数需要根据使用场景进行调整。以下参数除特别指出外，一般在Spark2x客户端的spark-defaults.conf文件中配置。以下参数在安装集群时已进行了适配，不建议用户进行修改。
- [常用参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1931.md): 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节，以便用户快速搜索到相应的配置项。如果用户使用MRS集群，本节介绍的参数大部分已经适配好，用户无需再进行配置。少数需要用户根据实际场景配置的参数，请参见快速配置参数。Spark任务在遇到FetchFailedException时会触发Stage重试。为了防止Stage无限重试
- [配置Spark读取HBase表数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1933.md): Spark on HBase为用户提供了在Spark SQL中查询HBase表，通过Beeline工具为HBase表进行存数据等操作。通过HBase接口可实现创建表、读取表、往表中插入数据等操作。是，执行2。否，执行5。为了保证Spark2x可以长期访问HBase，建议不要修改HBase与HDFS服务的以下参数：dfs.namenode.
- [SparkSQL权限介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1936.md): 类似于Hive，SparkSQL也是建立在Hadoop上的数据仓库框架，提供类似SQL的结构化数据。MRS提供用户、用户组和角色，集群中的各类权限需要先授予角色，然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组，才能获得权限。如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具
- [创建SparkSQL角色](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1937.md): 该任务指导MRS集群管理员在Manager创建并设置SparkSQL的角色。SparkSQL角色可设置Spark管理员权限以及数据表的数据操作权限。用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表拥有完整权限，可直接创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访
- [配置Spark表、列和数据库的用户权限](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1938.md): 使用SparkSQL操作表或者数据库时，如果用户访问别人创建的表或数据库，需要授予对应的权限。为了实现更严格权限控制，SparkSQL也支持列级别的权限控制。如果要访问别人创建的表上某些列，需要授予列权限。以下介绍使用Manager角色管理功能在表授权、列授权和数据库授权三个场景下的操作。SparkSQL表授权、列授权、数据库授权与Hiv
- [配置SparkSQL业务用户权限](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1939.md): SparkSQL业务还可能需要关联使用其他组件，例如spark on HBase需要HBase权限。以下介绍SparkSQL关联HBase服务的操作。完成Spark客户端的安装，例如安装目录为“/opt/client”。获取一个拥有MRS集群管理员权限的用户，例如admin。Spark on HBase授权用户如果需要使用类似SQL语句的
- [Spark客户端和服务端权限参数配置说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1940.md): SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。spark-defaults.conf配置文件参数说明（1）参数描述默认值spark.sql.authorization.enabled是否开启datasource语句的权限认证功能。建议将此参数修改为true，开
- [配置多主实例模式](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1942.md): 集群中支持同时共存多个ThriftServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个ThriftServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的ThriftServer服务。登录Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击
- [配置Spark多租户模式](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1943.md): 多租户模式是将JDBCServer和租户绑定，每一个租户对应一个或多个JDBCServer，一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列，从而达到资源隔离。Yarn资源不足情况下，不建议开启多租户模式。登录Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击
- [配置多主实例与多租户模式切换](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1944.md): 在使用集群中，如果需要在多主实例模式与多租户模式之间切换，则还需要进行如下参数的设置。多租户切换成多主实例模式修改Spark2x服务的以下参数：spark.thriftserver.proxy.enabled=falsespark.scheduler.allocation.file=#{conf_dir}/fairscheduler.xm
- [配置Spark事件队列大小](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1945.md): Spark中见到的UI、EventLog、动态资源调度等功能都是通过事件传递实现的。事件有SparkListenerJobStart、SparkListenerJobEnd等，记录了每个重要的过程。每个事件在发生后都会保存到一个队列中，Driver在创建SparkContext对象时，会启动一个线程循环地从该队列中依次拿出一个事件，然后发
- [配置Spark Executor堆内存参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1947.md): 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。参数入口：在应用提交时通过--conf设置这些参数，或者在客户端的spark-defaults.conf配置文件中调整如下参数。
- [增强有限内存下的稳定性](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1948.md): 当前Spark SQL执行一个查询时需要使用大量的内存，尤其是在做聚合（Aggregate）和关联（Join）操作时，此时如果内存有限的情况下就很容易出现OutOfMemoryError。有限内存下的稳定性就是确保在有限内存下依然能够正确执行相关的查询，而不出现OutOfMemoryError。有限内存并不意味着内存无限小，它只是在内存不
- [配置WebUI上查看Container日志](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1949.md): 当Yarn配置yarn.log-aggregation-enable为true时，就开启了container日志聚合功能。日志聚合功能是指：当应用在Yarn上执行完成后，NodeManager将本节点中所有container的日志聚合到HDFS中，并删除本地日志。详情请参见配置Container日志聚合功能。然而，开启container日
- [配置YARN-Client和YARN-Cluster不同模式下的环境变量](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1951.md): 当前，在YARN-Client和YARN-Cluster模式下，两种模式的客户端存在冲突的配置，即当客户端为一种模式的配置时，会导致在另一种模式下提交任务失败。为避免出现如上情况，添加表1中的配置项，避免两种模式下来回切换参数，提升软件易用性。YARN-Cluster模式下，优先使用新增配置项的值，即服务端路径和参数。YARN-Clien
- [配置SparkSQL的分块个数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1952.md): SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误：例如，SparkSQL运行TPCDS 500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当地调整该参数
- [配置parquet表的压缩格式](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1953.md): 当前版本对于parquet表的压缩格式分以下两种情况进行配置：对于分区表，需要通过parquet本身的配置项parquet.compression设置parquet表的数据压缩格式。如在建表语句中设置tblproperties："parquet.compression"="snappy"。对于非分区表，需要通过spark.sql.parq
- [配置WebUI上显示的Lost Executor信息的个数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1954.md): Spark WebUI中Executor页面支持展示Lost Executor的信息，对于JDBCServer长任务来说，Executor的动态回收是常态，Lost Executor个数太多，会撑爆Executor页面，因此需要控制页面显示的Lost Executor个数。在Spark客户端的spark-defaults.conf配置文件
- [调整Spark日志级别](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1957.md): 在某些场景下，当任务已经启动后，用户想要修改日志级别以定位问题或者查看想要的信息。用户可以在进程启动前，在进程的JVM参数中增加参数-Dlog4j.configuration.watch=true来打开动态设置日志级别的功能。进程启动后，就可以通过修改进程对应的log4j配置文件，来调整日志打印级别。目前支持动态设置日志级别功能的有：Dr
- [配置Spark任务不获取HBase Token信息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1958.md): 使用Spark提交任务时，Driver默认会去HBase获取Token，访问HBase则需要配置文件jaas.conf进行安全认证。此时若用户未配置jaas.conf文件，会导致应用运行失败。因此，根据应用是否涉及HBase进行以下处理：当应用不涉及HBase时，即无需获取HBase Token。此时，将spark.yarn.securi
- [配置Kafka后进先出](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1959.md): 当Spark Streaming应用与Kafka对接，Spark Streaming应用异常终止并从checkpoint恢复重启后，对于进入Kafka数据的任务，系统默认优先处理应用终止前（A段时间）未完成的任务和应用终止到重启完成这段时间内（B段时间）进入Kafka数据生成的任务，最后再处理应用重启完成后（C段时间）进入Kafka数据生
- [配置对接Kafka可靠性](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1960.md): Spark Streaming对接Kafka时，当Spark Streaming应用重启后，应用根据上一次读取的topic offset作为起始位置和当前topic最新的offset作为结束位置从Kafka上读取数据的。Kafka服务的topic的leader异常后，若Kafka的leader和follower的offset相差太大，用户
- [配置流式读取Spark Driver执行结果](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1961.md): 在执行查询语句时，返回结果有可能会很大（10万数量以上），此时很容易导致JDBCServer OOM（Out of Memory）。因此，提供数据汇聚功能特性，在基本不牺牲性能的情况下尽力避免OOM。提供两种不同的数据汇聚功能配置选项，两者在Spark JDBCServer服务端中进行设置，设置完后需要重启JDBCServer。参数spa
- [配置过滤掉分区表中路径不存在的分区](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1962.md): 当读取HIVE分区表时，如果指定的分区路径在HDFS上不存在，则执行select查询时会报FileNotFoundException异常。此时可以通过配置spark.sql.hive.verifyPartitionPath参数来过滤掉分区路径不存在的分区，来避免读取时报错。可以通过以下两种方式配置是否过滤掉分区表分区路径不存在的分区。在S
- [配置Spark2x Web UI ACL](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1963.md): 当Spark2x Web UI中有一些不允许其他用户看到的数据时，用户可能想对UI进行安全防护。用户一旦登录，Spark2x可以比较与这个用户相对应的视图ACLs来确认是否授权用户访问 UI。Spark2x存在两种类型的Web UI，一种为运行中任务的Web UI，可以通过Yarn原生页面的应用链接或者REST接口访问。一种为已结束任务的
- [配置矢量化读取ORC数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1964.md): ORC文件格式是一种Hadoop生态圈中的列式存储格式，它最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet文件格式类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内按列进行存储，并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的
- [Hive分区修剪的谓词下推增强](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1965.md): 在旧版本中，对Hive表的分区修剪的谓词下推，只支持列名与整数或者字符串的比较表达式的下推，在2.3版本中，增加了对null、in、and、or表达式的下推支持。登录FusionInsight Manager系统，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。
- [配置Hive表分区动态覆盖](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1966.md): 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。登录FusionInsight Manager系统，选择“集群 > 待操作集群的名称 > 服务
- [配置列统计值直方图Histogram用以增强CBO准确度](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1967.md): Spark优化sql的执行，一般的优化规则都是启发式的优化规则，启发式的优化规则，仅仅根据逻辑计划本身的特点给出优化，没有考虑数据本身的特点，也就是未考虑算子本身的执行代价。Spark在2.2中引入了基于代价的优化规则（CBO）。CBO会收集表和列的统计信息，结合算子的输入数据集来估计每个算子的输出条数以及字节大小，这些就是执行一个算子的
- [配置JobHistory本地磁盘缓存](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1969.md): JobHistory可使用本地磁盘缓存spark应用的历史数据，以防止JobHistory内存中加载大量应用数据，减少内存压力，同时该部分缓存数据可以复用以提高后续对相同应用的访问速度。登录FusionInsight Manager系统，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下
- [配置Spark SQL开启Adaptive Execution特性](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1970.md): Spark SQL Adaptive Execution特性用于使Spark SQL在运行过程中，根据中间结果优化后续执行流程，提高整体执行效率。当前已实现的特性如下：自动设置shuffle partition数在启用Adaptive Execution特性前，Spark SQL根据spark.sql.shuffle.partitions
- [Spark2x日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1971.md): 日志存储路径：Executor运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”运行中的任务日志存储在以上路径中，运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中，详情请参见Ya
- [获取运行中Spark应用的Container日志](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1972.md): 运行中Spark应用的Container日志分散在多个节点中，本章节用于说明如何快速获取Container日志。可以通过yarn logs命令获取运行在Yarn上的应用的日志，针对不同的场景，可以使用以下命令获取需要的日志：获取application的完整日志：yarn logs --applicationId<appId>-out<ou
- [使用Spark小文件合并工具说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1973.md): 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因此，小文件问题是制约Hadoop集群规模扩展的关键问题。本工具主要有如下两个功能：扫描表中有多少低于用户
- [Spark Core数据序列化](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1976.md): Spark支持两种方式的序列化 ：Java原生序列化JavaSerializerKryo序列化KryoSerializer序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性能可以达到JavaSerializer的10倍以上，而对于一些Int之类的基本类型数据，性能的提升就几乎可以
- [Spark Core内存调优](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1977.md): Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。监控节点进程的GC情况（在客户端的conf/spark-default.conf配置文件中，在spark.driver.extraJavaO
- [Spark Core内存调优](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1978.md): 并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到合适。查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群
- [配置Spark Core广播变量](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1979.md): Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。每个任务分片在执行中都需要同一份数据集合时，就可以把公共数据集Broadc
- [配置Yarn模式下Spark动态资源调度](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1981.md): 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），若分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时地增减Execut
- [调整Spark Core进程参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1982.md): Spark on Yarn模式下，有Driver、ApplicationMaster、Executor三种进程。在任务调度和运行的过程中，Driver和Executor承担了很大的责任，而ApplicationMaster主要负责container的启停。因而Driver和Executor的参数配置对Spark应用的执行有着很大的影响，用
- [Spark DAG设计规范说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1983.md): 合理的设计程序结构，可以优化执行效率。在程序编写过程中要尽量减少shuffle操作，合并窄依赖操作。以“同行车判断”例子讲解DAG设计的思路。数据格式：通过收费站时间、车牌号、收费站编号......逻辑：以下两种情况下判定这两辆车是同行车：如果两辆车都通过相同序列的收费站，通过同一收费站之间的时间差小于一个特定的值。如果两辆车都通过相同序
- [经验总结](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1984.md): 如果每条记录的开销太大，例：则可以使用MapPartitions，按每个分区计算结果，如使用mapPartitions可以更灵活地操作数据，例如对一个很大的数据求TopN，当N不是很大时，可以先使用mapPartitions对每个partition求TopN，collect结果到本地之后再做排序取TopN。这样相比直接对全量数据做排序取T
- [Spark SQL join优化](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1986.md): Spark SQL中，当对两个表进行join操作时，利用Broadcast特性（见“使用广播变量”章节），将被广播的表BroadCast到各个节点上，从而转变成非shuffle操作，提高任务执行性能。这里join操作，只指inner join。在Spark SQL中进行Join操作时，可以按照以下步骤进行优化。为了方便说明，设表A和表B，
- [优化数据倾斜场景下的Spark SQL性能](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1987.md): 在Spark SQL多表Join的场景下，会存在关联键严重倾斜的情况，导致Hash分桶后，部分桶中的数据远高于其它分桶。最终导致部分Task过重，跑得很慢；其它Task过轻，跑得很快。一方面，数据量大Task运行慢，使得计算性能低；另一方面，数据量少的Task在运行完成后，导致很多CPU空闲，造成CPU资源浪费。通过如下配置项可开启自动进
- [优化小文件场景下的Spark SQL性能](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1988.md): Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响性能。在小文件场景下，您可以通过如下配置手动指定每个Task的数据
- [Spark INSERT SELECT语句调优](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1989.md): 在以下几种情况下，执行INSERT...SELECT操作可以进行一定的调优操作。查询的数据是大量的小文件。查询的数据是较多的大文件。在Beeline/JDBCServer模式下使用非Spark用户操作。可对INSERT...SELECT操作做如下的调优操作。如果建的是Hive表，将存储类型设为Parquet，从而减少执行INSERT...
- [动态分区插入场景内存优化](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1992.md): SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Garbage Collection）严重，甚至发生OOM（Out of Memory）。经测试证明：10240个Task，2000个分区，在执行HDFS文件从临时目录rename到目标目录动作前，Fil
- [小文件优化](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1995.md): Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。针对小文件很多的场景，DataSource在创建RDD时
- [聚合算法优化](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1996.md): 在Spark SQL中支持基于行的哈希聚合算法，即使用快速聚合hashmap作为缓存，以提高聚合性能。hashmap替代了之前的ColumnarBatch支持，从而避免拥有聚合表的宽模式（大量key字段或value字段）时产生的性能问题。要启动聚合算法优化，在Spark客户端的spark-defaults.conf配置文件中进行设置。
- [Datasource表优化](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1997.md): 将datasource表的分区消息存储到Metastore中，并在Metastore中对分区消息进行处理。优化datasource表，支持对表中分区执行增加、删除和修改等语法，从而增加与Hive的兼容性。支持在查询语句中，把分区裁剪并下压到Metastore上，从而过滤掉不匹配的分区。示例如下：select count(*) from t
- [合并CBO优化](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1998.md): Spark SQL默认支持基于规则的优化，但仅仅基于规则优化不能保证Spark选择合适的查询计划。CBO（Cost-Bsed Optimizer）是一种为SQL智能选择查询计划的技术。通过配置开启CBO后，CBO优化器可以基于表和列的统计信息，进行一系列的估算，最终选择出合适的查询计划。要使用CBO优化，可以按照以下步骤进行优化。需要先执
- [多级嵌套子查询以及混合Join的SQL调优](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2000.md): 本章节介绍在多级嵌套以及混合Join SQL查询的调优建议。例如有一个复杂的查询样例如下：从业务入手分析是否可以简化SQL，例如可以通过合并表去减少嵌套的层级和Join的次数。使用spark-submit或者spark-sql运行SQL语句，执行3。使用spark-beeline运行SQL语句，执行4。/spark-sql --maste
- [Spark Streaming性能调优](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2001.md): Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是：秒级时延和高吞吐量。因此Streaming调优的目标：在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。本章节适用于输入数据源为Kafka的使用场景。一个简单的流处理系统由以下三部分组件组成：数据源 + 接收器 + 处理器。
- [日志聚合下如何查看Spark已完成应用日志](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2004.md): 当YARN开启了日志聚合功能时，如何在页面看到聚合后的container日志？当Yarn配置yarn.log-aggregation-enable为true时，就开启了container日志聚合功能。日志聚合功能是指：当应用在Yarn上执行完成后，NodeManager将本节点中所有container的日志聚合到HDFS中，并删除本地日志
- [Driver返回码和RM WebUI上应用状态显示不一致](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2005.md): ApplicationMaster与ResourceManager之间通信发生长时间异常时，为什么Driver返回码和RM WebUI上应用状态显示不一致？在yarn-client模式下，Spark的Driver和ApplicationMaster作为两个独立的进程在运行。当Driver完成任务退出时，会通知ApplicationMast
- [为什么Driver进程不能退出](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2006.md): 运行Spark Streaming任务，然后使用yarn application -kill applicationID命令停止任务，为什么Driver进程不能退出？使用yarn application -kill applicationID命令后Spark只会停掉任务对应的SparkContext，而不是退出当前进程。如果当前进程中存在
- [网络连接超时导致FetchFailedException](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2007.md): 在380节点的大集群上，运行29T数据量的HiBench测试套中ScalaSort测试用例，使用以下关键配置（--executor-cores 4）出现如下异常：在运行应用程序时，使用Executor参数--executor-cores 4，单进程中并行度高导致IO非常繁忙，以至于任务运行缓慢。单个任务运行时间超过6分钟，从而导致连接超时
- [当事件队列溢出时如何配置事件队列的大小](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2008.md): 当Driver日志中出现如下的日志时，表示事件队列溢出了。当事件队列溢出时如何配置事件队列的大小？普通应用Dropping SparkListenerEvent because no remaining room in event queue. 
This likely means one of the SparkListeners is
- [Spark应用执行过程中，日志中一直打印getApplicationReport异常且应用较长时间不退出](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2009.md): Spark应用执行过程中，当driver连接RM失败时，会报下面的错误，且较长时间不退出。在Spark中有个定期线程，通过连接RM监测AM的状态。由于连接RM超时，就会报上面的错误，且一直重试。RM中对重试次数有限制，默认是30次，每次间隔默认为30秒左右，每次重试时都会报上面的错误。超过次数后，driver才会退出。RM中关于重试相关的
- [Spark执行应用时上报“Connection to ip:port has been quiet for xxx ms while there are outstanding requests”并导致应用结束](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2010.md): Spark执行应用时上报如下类似错误并导致应用结束。当配置channel过期时间（spark.rpc.io.connectionTimeout） < RPC响应超时时间（spark.rpc.askTimeout），在特殊条件下（Full GC，网络延时等）消息响应时间较长，消息还没有反馈，channel又达到了过期时间，该channel就
- [NodeManager关闭导致Executor(s)未移除](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2011.md): 在Executor动态分配打开的情况下，如果在任务执行过程中，执行NodeManager关闭动作，NodeManager关闭节点上的Executor(s)在空闲超时之后，在driver页面上未被移除。因为ResourceManager感知到NodeManager关闭时，Executor(s)已经因空闲超时而被driver请求结束。但因为N
- [Password cannot be null if SASL is enabled异常](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2012.md): 运行Spark的应用启用了ExternalShuffle，应用出现了Task任务丢失，原因是由于java.lang.NullPointerException: Password cannot be null if SASL is enabled异常，部分关键日志如下图所示：造成该现象的原因是NodeManager重启。使用External
- [向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2013.md): 向动态分区表中插入数据时，shuffle过程中大面积shuffle文件损坏（磁盘掉线、节点故障等）后，为什么会在重试的task中出现"Failed to CREATE_FILE"异常？动态分区表插入数据的最后一步是读取shuffle文件的数据，再写入到表对应的分区文件中。当大面积shuffle文件损坏后，会引起大批量task失败，然后进行
- [使用Hash shuffle出现任务失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2014.md): 使用Hash shuffle运行1000000（map个数）*100000（reduce个数）的任务，运行日志中出现大量的消息发送失败和Executor心跳超时，从而导致任务失败。对于Hash shuffle，在shuffle的过程中写数据时不做排序操作，只是将数据根据Hash的结果，将各个reduce分区的数据写到各自的磁盘文件中。这样
- [访问Spark应用的聚合日志页面报“DNS查找失败”错误](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2015.md): 采用http(s)://<spark ip>:<spark port>的方式直接访问Spark JobHistory页面时，如果当前跳转的Spark JobHistory页面不是FusionInsight代理的页面（FusionInsight代理的URL地址类似于：https://<oms ip>:20026/Spark2x/JobHis
- [由于Timeout waiting for task异常导致Shuffle FetchFailed](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2016.md): 使用JDBCServer模式执行100T的TPCDS测试套，出现Timeout waiting for task异常导致Shuffle FetchFailed，Stage一直重试，任务无法正常完成。JDBCServer方式使用了ShuffleService功能，Reduce阶段所有的Executor会从NodeManager中获取数据，当
- [Executor进程Crash导致Stage重试](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2017.md): 在执行大数据量的Spark任务（如100T的TPCDS测试套）过程中，有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志，出现“Executor 532 is lost rpc with driver,but is still alive, going to kill it”所示信息，表明Executo
- [执行大数据量的shuffle过程时Executor注册shuffle service失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2018.md): 执行超过50T数据的shuffle过程时，出现部分Executor注册shuffle service超时然后丢失从而导致任务失败的问题。错误日志如下所示：由于当前数据量较大，有50T数据导入，超过了shuffle的规格，shuffle负载过高，shuffle service服务处于过载状态，可能无法及时响应Executor的注册请求，从而
- [在Spark应用执行过程中NodeManager出现OOM异常](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2019.md): 当开启Yarn External Shuffle服务时，在Spark应用执行过程中，如果当前shuffle连接过多，Yarn External Shuffle会出现“java.lang.OutofMemoryError: Direct buffer Memory”的异常，该异常说明内存不足。错误日志如下：对于Yarn的Shuffle Se
- [Spark SQL在不同DB都可以显示临时表](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2024.md): 切换数据库之后，为什么还能看到之前数据库的临时表？创建一个DataSource的临时表，例如以下建表语句。create temporary table ds_parquet
using org.apache.spark.sql.parquet
options(path '/tmp/users.parquet');切换到另外一个数据库，执行
- [如何在Spark命令中指定参数值](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2025.md): 如果用户不希望在界面上或配置文件设置参数值，如何在Spark命令中指定参数值？Spark的配置项，不仅可以在配置文件中设置，也可以在命令中指定参数值。在Spark客户端，应用执行命令添加如下内容设置参数值，命令执行完成后立即生效。在--conf后添加参数名称及其参数值，例如：--conf spark.eventQueue.size=500
- [SparkSQL建表时的目录权限](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2026.md): 新建的用户，使用SparkSQL建表时出现类似如下错误：Spark SQL建表底层调用的是Hive的接口，其建表时会在/user/hive/warehouse目录下新建一个以表名命名的目录，因此要求用户具备/user/hive/warehouse目录的读写、执行权限或具有Hive的group权限。/user/hive/warehouse目
- [为什么不同服务之间互相删除UDF失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2027.md): 不同服务之间互相删除UDF失败，例如，Spark SQL无法删除Hive创建的UDF。当前可以通过以下3种方式创建UDF：在Hive端创建UDF。通过JDBCServer接口创建UDF。用户可以通过Spark Beeline或者JDBC客户端代码来连接JDBCServer，从而执行SQL命令，创建UDF。通过spark-sql创建UDF。
- [Spark SQL无法查询到Parquet类型的Hive表的新插入数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2028.md): 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据？主要有以下两种场景存在这个问题：对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。对于分区表，在Spark SQL中执行插入数据的操作后，如果分区信息未改变，会出现Spark SQL无
- [cache table使用指导](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2029.md): cache table的作用是什么？cache table时需要注意哪些方面？Spark SQL可以将表cache到内存中，并且使用压缩存储来尽量减少内存压力。通过将表cache，查询可以直接从内存中读取数据，从而减少读取磁盘带来的内存开销。但需要注意的是，被cache的表会占用executor的内存。尽管在Spark SQL采用压缩存储
- [Repartition时有部分Partition没数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2030.md): 在repartition操作时，分块数spark.sql.shuffle.partitions设置为4500，repartition用到的key列中有超过4000个的不同key值。期望不同key对应的数据能分到不同的partition，实际上却只有2000个partition里有数据，不同key对应的数据也被分到相同的partition里
- [16T的文本数据转成4T Parquet数据失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2031.md): 使用默认配置时，16T的文本数据转成4T Parquet数据失败，报如下错误信息。使用的默认配置如表1所示。由于当前数据量较大，有16T，而分区数只有200，造成每个task任务过重，才会出现上面的问题。为了解决上面问题，需要对参数进行调整。增大partition数，把任务切分的更小。增大任务执行过程中的超时时间。在客户端的spark-d
- [当表名为table时，执行相关操作时出现异常](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2033.md): 当创建了表名为table的表后，执行drop table table上报以下错误。或者执行其他操作也会出现类似错误。这是因为table为Spark SQL的关键词，不能用作表名使用。建议用户不要使用table用作表的名字。
- [执行analyze table语句，因资源不足出现任务卡住](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2034.md): 使用spark-sql执行analyze table语句，任务一直卡住，打印的信息如下：执行analyze table hivetable2 compute statistics语句时，由于该sql语句会启动MapReduce任务。从YARN的ResourceManager Web UI页面看到，该任务由于资源不足导致任务没有被执行，表现
- [为什么有时访问没有权限的parquet表时，在上报“Missing Privileges”错误提示之前，会运行一个Job？](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2035.md): 为什么有时访问没有权限的parquet表时，在上报“Missing Privileges”错误提示之前，会运行一个Job？Spark SQL对用户SQL语句的执行逻辑是：首先解析出语句中包含的表，再获取表的元数据信息，然后对权限进行检查。当表是parquet表时，元数据信息包括文件的Split信息。Split信息需要调用HDFS的接口去读
- [spark-sql退出时打印RejectedExecutionException异常栈](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2037.md): 执行大数据量的Spark任务（如2T的TPCDS测试套），任务运行成功后，在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息，相关日志如下所示：出现上述问题的原因是：当spark-sql退出时，应用退出关闭消息通道，如果当前还有消息未处理，需要做连接关闭异常的处理，此时，如果scala内部
- [健康检查时，误将JDBCServer Kill](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2038.md): 健康检查方案中，在并发执行的语句达到线程池上限后依然会导致健康检查命令无法执行，从而导致健康检查程序超时，然后把Spark JDBCServer进程Kill。当前JDBCServer中存在两个线程池HiveServer2-Handler-Pool和HiveServer2-Background-Pool，其中HiveServer2-Hand
- [日期类型的字段作为过滤条件时匹配'2016-6-30'时没有查询结果](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2039.md): 为什么日期类型的字段作为过滤条件时匹配'2016-6-30'时没有查询结果，匹配'2016-06-30'时有查询结果。如下图所示：“select count(*)from trxfintrx2012 a where trx_dte_par='2016-6-30'”，其中trx_dte_par为日期类型的字段，当过滤条件为“where tr
- [为什么在启动spark-beeline的命令中指定“--hivevar”选项无效](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2040.md): 为什么在启动spark-beeline的命令中指定“--hivevar”选项无效？在MRS集群启动spark-beeline的命令中如果使用了“--hivevar <VAR_NAME>=<var_value>”选项自定义一个变量，在启动spark-beeline时不会报错，但在SQL语句中用到变量<VAR_NAME>时会报无法解析<VAR
- [执行复杂SQL语句时报“Code of method ... grows beyond 64 KB”的错误](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2042.md): 当执行一个很复杂的SQL语句时，例如有多层语句嵌套，且单层语句中对字段有大量的逻辑处理（如多层嵌套的case when语句），此时执行该语句会报如下所示的错误日志，该错误表明某个方法的代码超出了64KB。在开启钨丝计划（即tungsten功能）后，Spark对于部分执行计划会使用codegen的方式来生成Java代码，但JDK编译时要求J
- [在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2043.md): 在Driver内存配置为10G时，Beeline/JDBCServer模式下连续运行10T的TPCDS测试套，会出现因为Driver内存不足导致SQL语句执行失败的现象。当前在默认配置下，在内存中保留的Job和Stage的UI数据个数为1000个。当前大集群优化已增加将UI数据溢出到磁盘的优化，其溢出条件是每个Stage中的UI数据大小达
- [连上不同的JDBCServer，function不能正常使用](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2044.md): 场景一：通过add jar的方式建立永久函数，当Beeline连上不同的JDBCServer或者JDBCServer重启后都需要重新add jar。场景二：show functions能够查到相应的函数，但是无法使用，这是由于连接上的JDBC节点上没有相应路径的jar包，添加上相应的jar包能够查询成功。场景一：add jar语句只会将j
- [用add jar方式创建function，执行drop function时出现问题](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2045.md): 问题一：用户没有drop function的权限，能够drop成功。具体场景如下：在FusionInsight Manager页面上添加user1用户，给予用户admin权限，执行下列操作：set role admin;add jar /home/smartcare-udf-0.0.1-SNAPSHOT.jar;create databa
- [Spark2x无法访问Spark1.5创建的DataSource表](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2046.md): 在Spark2x中访问Spark1.5创建的DataSource表时，报无法获取schema信息，导致无法访问表。原因分析：这是由于Spark2x与Spark1.5存储DataSoure表信息的格式不一致导致的。Spark1.5会将schema信息分成多个part，使用path.park.0作为key进行存储，读取时再将各个part都读取
- [Streaming任务打印两次相同DAG日志](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2049.md): 在使用Spark Streaming时，使用以下命令运行程序：在没有Kafka数据输入的情况下，日志中显示的RDD的DAG结构会在一个Batch中打印两次，相关日志如下所示：该应用程序中使用了DStream中的print算子来显示结果，该算子会调用RDD中的take算子来实现底层的计算。Take算子会以Partition为单位多次触发计算
- [Spark Streaming任务一直阻塞](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2050.md): 运行一个Spark Streaming任务，确认有数据输入后，发现没有任何处理的结果。打开Web界面查看Spark Job执行情况，发现如下图所示：有两个Job一直在等待运行，但一直无法成功运行。继续查看已经完成的Job，发现也只有两个，说明Spark Streaming都没有触发数据计算的任务（Spark Streaming默认有两个尝
- [运行Spark Streaming任务参数调优的注意事项](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2051.md): 运行Spark Streaming任务时，随着executor个数的增长，数据处理性能没有明显提升，对于参数调优有哪些注意事项？在executor核数等于1的情况下，遵循以下规则对调优Spark Streaming运行参数有所帮助。Spark任务处理速度和Kafka上partition个数有关，当partition个数小于给定execut
- [为什么提交Spark Streaming应用超过token有效期，应用失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2052.md): 修改kerberos的票据和HDFS token过期时间为5分钟，设置dfs.namenode.delegation.token.renew-interval小于60秒，提交Spark Streaming应用，超过token有效期，提示以下错误，应用失败。问题原因：ApplicationMaster进程中有1个Credential Ref
- [为什么Spark Streaming应用创建输入流，但该输入流无输出逻辑时，应用从checkpoint恢复启动失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2053.md): Spark Streaming应用创建1个输入流，但该输入流无输出逻辑。应用从checkpoint恢复启动失败，报错如下：Streaming Context启动时，若应用设置了checkpoint，则需要对应用中的DStream checkpoint对象进行序列化，序列化时会用到dstream.context。dstream.contex
- [Spark Streaming应用运行过程中重启Kafka，Web UI界面部分batch time对应Input Size为0 records](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2054.md): 在Spark Streaming应用执行过程中重启Kafka时，应用无法从Kafka获取topic offset，从而导致生成Job失败。如图1所示，其中2017/05/11 10:57:00~2017/05/11 10:58:00为Kafka重启时间段。2017/05/11 10:58:00重启成功后对应的Input Size的值显示为
- [访问Spark应用获取的restful接口信息有误](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2055.md): 当Spark应用结束后，访问该应用的restful接口获取job信息，发现job信息中numActiveTasks的值是负数，如图1所示。numActiveTasks是指当前正在运行task的个数。通过下面两种途径获取上面的job信息：配置spark.history.briefInfo.gather=true，查看JobHistory的b
- [为什么从Yarn Web UI页面无法跳转到Spark Web UI界面](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2056.md): FusionInsight版本中，在客户端采用yarn-client模式运行Spark应用，然后从Yarn的页面打开该应用的Web UI界面，出现下面的错误：从YARN ResourceManager的日志看到：2016-07-21 16:35:27,099 | INFO  | Socket Reader #1 for port 8032
- [HistoryServer缓存的应用被回收，导致此类应用页面访问时出错](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2057.md): 在History Server页面中访问某个Spark应用的页面时，发现访问时出错。查看相应的HistoryServer日志后，发现有“FileNotFound”异常，相关日志如下所示：在History Server页面加载Task个数较多的Spark应用时，由于无法把全部的数据放入内存中，导致数据溢出到磁盘时，会产生前缀为“temp_s
- [加载空的part文件时，app无法显示在JobHistory的页面上](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2058.md): 在分组模式下执行应用，当HDFS上的part文件为空时，发现JobHistory首页面上不显示该part对应的app。JobHistory服务更新页面上的app时，会根据HDFS上的part文件大小变更与否判断是否刷新首页面的app显示信息。若文件为第一次查看，则将当前文件大小与0做比较，如果大于0则读取该文件。分组的情况下，如果执行的a
- [Spark2x导出带有相同字段名的表，结果导出失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2059.md): 在Spark2x的spark-shell上执行如下语句失败：val acctId = List(("49562", "Amal", "Derry"), ("00000", "Fred", "Xanadu"))val rddLeft = sc.makeRDD(acctId)val dfLeft = rddLeft.toDF("Id", "N
- [为什么多次运行Spark应用程序会引发致命JRE错误](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2060.md): 为什么多次运行Spark应用程序会引发致命JRE错误？多次运行Spark应用程序会引发致命的JRE错误，这个错误由Linux内核导致。升级内核版本到4.13.9-2.ge7d7106-default来解决这个问题。
- [IE浏览器访问Spark2x原生UI界面失败，无法显示此页或者页面显示错误](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2061.md): 通过IE 9、IE 10和IE 11浏览器访问Spark2x的原生UI界面，出现访问失败情况或者页面显示错误问题。访问页面失败，浏览器无法显示此页，如下图所示：IE 9、IE 10、IE 11浏览器的某些版本在处理SSL握手有问题导致访问失败。推荐使用Google Chrome浏览器71及其以上版本。
- [Spark2x如何访问外部集群组件](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2062.md): 存在两个集群：cluster1 和cluster2，如何使用cluster1中的Spark2x访问cluster2中的HDFS、Hive、HBase和Kafka组件。可以有条件的实现两个集群间组件互相访问，但是存在以下限制：仅允许访问一个Hive MetaStore，不支持同时访问cluster1的Hive MetaStore和clust
- [对同一目录创建多个外表，可能导致外表查询失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2063.md): 假设存在数据文件路径“/test_data_path”，用户userA对该目录创建外表tableA，用户userB对该目录创建外表tableB，当userB对tableB执行insert操作后，userA将查询tableA失败，出现Permission denied异常。当userB对tableB执行insert操作后，会在外表数据路径下
- [访问Spark2x JobHistory中某个应用的原生页面时页面显示错误](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2064.md): 提交一个Spark应用，包含单个Job 百万个task。应用结束后，在JobHistory中访问该应用的原生页面，浏览器会等待较长时间才跳转到应用原生页面，若10分钟内无法跳转，则页面会显示Proxy Error信息。在JobHistory界面中跳转到某个应用的原生页面时，JobHistory需要回放该应用的Event log，若应用包含
- [使用Storm客户端](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2065.md): 该任务指导用户在运维场景或业务场景中使用Storm客户端。已安装客户端。例如安装目录为“/opt/hadoopclient”。各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。（普通模式不涉及）请根据客户端所在位置，参考安装客户端章节，登录安装客户端的节
- [Tez常用配置参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2069.md): 在Manager系统中，选择“集群> 服务 > Tez > 配置”，选择“全部配置”。在搜索框中输入参数名称。本章节适用于MRS 3.x及后续版本。
- [访问Tez WebUI查看任务执行结果](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2070.md): Tez提供Tez任务执行过程图形化展示功能，使用户可以通过界面的方式查看Tez任务执行细节。本章节适用于MRS 3.x及后续版本。已安装Yarn服务的TimelineServer实例。登录Manager系统，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本），在Manager界面选择“集群 >服务 > T
- [Tez日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2071.md): 本章节适用于MRS 3.x及后续版本。日志路径：Tez相关日志的默认存储路径为“/var/log/Bigdata/tez/角色名”。TezUI：“/var/log/Bigdata/tez/tezui”（运行日志），“/var/log/Bigdata/audit/tez/tezui”（审计日志）。日志归档规则：Tez的日志启动了自动压缩归档
- [TezUI无法展示Tez任务执行细节](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2073.md): 登录Manager界面，跳转Tez WebUI界面，已经提交的Tez任务未展示，如何解决。Tez WebUI展示的Tez任务数据，需要Yarn的TimelineServer支持，确认提交任务之前TimelineServer已经开启且正常运行。在设置Hive执行引擎为Tez的同时，需要设置参数“yarn.timeline-service.e
- [进入Tez WebUI界面显示异常](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2074.md): 登录Manager界面，跳转Tez WebUI界面，显示404异常或503异常。Tez WebUI依赖Yarn的TimelineServer实例，需要预先安装TimelineServer，且处于良好状态。
- [TezUI界面无法查看Yarn日志](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2075.md): 登录Tez WebUI界面，单击Logs跳转yarn日志界面失败，无法加载数据。Tez WebUI跳转Yarn Logs界面时，目前是通过hostname进行访问，需要在windows机器，配置hostname到ip的映射。具体方法为：修改windows机器C:\Windows\System32\drivers\etc\hosts文件，增
- [TezUI HiveQueries界面表格数据为空](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2076.md): 登录Manager界面，跳转Tez WebUI界面，已经提交的任务，Hive Queries界面未展示数据，如何解决。Tez WebUI展示的Hive Queries任务数据，需要设置以下3个参数：在FusionInsight Manager页面，选择“集群> 服务 > Hive > 配置 > 全部配置 > HiveServer > 自定
- [任务完成后Container挂载的文件目录未清除](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2078.md): 使用了CGroups功能的场景下，任务完成后Container挂载的文件目录未清除。即使任务失败，Container挂载的目录也应该被清除。上述问题是由于删除动作超时导致的。完成某些任务所使用的时间已远超过删除时间。为避免出现这种场景，您可以参考修改集群服务配置参数，进入Yarn“全部配置”页面。在搜索框搜索yarn.nodemanage
- [作业执行失败时会发生HDFS_DELEGATION_TOKEN到期的异常](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2079.md): 安全模式下，为什么作业执行失败时会发生HDFS_DELEGATION_TOKEN到期的异常？HDFS_DELEGATION_TOKEN到期的异常是由于token没有更新或者超出了最大生命周期。在token的最大生命周期内确保下面的参数值大于作业的运行时间。dfs.namenode.delegation.token.max-lifetime
- [重启YARN，本地日志不被删除](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2080.md): 在以下两种情况下重启YARN，本地日志不会被定时删除，将被永久保留。在任务运行过程中，重启YARN，本地日志不被删除。在任务完成，日志归集失败后定时清除日志前，重启YARN，本地日志不被删除。NodeManager有重启恢复机制，详情请参见：https://hadoop.apache.org/docs/r3.1.1/hadoop-yarn
- [执行任务时AppAttempts重试次数超过2次还没有运行失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2081.md): 系统默认的AppAttempts运行失败的次数为2。为什么在执行任务时，AppAttempts重试次数超过2次还没有运行失败？在执行任务过程中，若ContainerExitStatus的返回值为ABORTED、PREEMPTED、DISKS_FAILED、KILLED_BY_RESOURCEMANAGER这四种状态之一时，系统不会将其计入
- [在ResourceManager重启后，应用程序会移回原来的队列](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2082.md): 将应用程序从一个队列移到另一个队列时，为什么在RM（ResourceManager）重启后，应用程序会被移回原来的队列？这是RM的使用限制，应用程序运行过程中移动到别的队列，此时RM重启，RM并不会在状态存储中存储新队列的信息。假设用户提交一个MR任务到叶子队列test11上。当任务运行时，删除叶子队列test11，这时提交队列自动变为l
- [YARN资源池的所有节点都被加入黑名单，任务一直处于运行状态](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2083.md): 为什么YARN资源池的所有节点都被加入黑名单，而YARN却没有释放黑名单，导致任务一直处于运行状态？在YARN中，当一个APP的节点被AM（ApplicationMaster）加入黑名单的数量达到一定比例（默认值为节点总数的33%）时，该AM会自动释放黑名单，从而不会出现由于所有可用节点都被加入黑名单而任务无法获取节点资源的现象。在资源池
- [ResourceManager持续主备倒换](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2084.md): RM（ResourceManager）在多个任务（比如2000个任务）正常并发运行时出现持续的主备倒换，导致YARN服务不可用。产生上述问题的原因是，full GC（GarbageCollection）时间过长，超出了RM与ZK（ZooKeeper）之间定期交互时长的阈值，导致RM与ZK失联，从而造成RM主备倒换。在多任务情况下，RM需要
- [当一个NodeManager处于unhealthy的状态10分钟时，新应用程序失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2085.md): 当一个NM（NodeManager）处于unhealthy的状态10分钟时，新应用程序失败。当nodeSelectPolicy为SEQUENCE，且第一个连接到RM的NM不可用时，RM会在yarn.nm.liveness-monitor.expiry-interval-ms属性中指定的周期内，一直尝试为同一个NM分配任务。可以通过两种方式
- [Superior通过REST接口查看已结束或不存在的applicationID，页面提示Error Occurred](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2087.md): Superior通过REST接口查看已结束或不存在的applicationID，返回的页面提示Error Occurred。用户提交查看applicationID的请求，访问REST接口https://<SS_REST_SERVER>/ws/v1/sscheduler/applications/{application_id}。由于Sup
- [Superior调度模式下，单个NodeManager故障可能导致MapReduce任务失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2088.md): 在Superior调度模式下，如果出现单个NodeManager故障，可能会导致Mapreduce任务失败。正常情况下 ，当一个application的单个task的attempt连续在一个节点上失败3次，那么该application的AppMaster就会将该节点加入黑名单，之后AppMaster就会通知调度器不要继续调度task到该节
- [当应用程序从lost_and_found队列移动到其他队列时，应用程序不能继续执行](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2089.md): 当删除一个有部分应用程序正在运行的队列，这些应用程序会被移动到“lost_and_found”队列上。当这些应用程序移回运行正常的队列时，某些任务会被挂起，不能正常运行。如果应用程序没有设置标签表达式，那么该应用程序上新增的container/resource将使用其所在队列默认的标签表达式。如果队列没有默认的标签表达式，则将其标签表达设
- [如何限制存储在ZKstore中的应用程序诊断消息的大小](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2090.md): 如何限制存储在ZKstore中的应用程序诊断消息的大小？在某些情况下，已经观察到诊断消息可能无限增长。由于诊断消息存储在状态存储中，不建议允许诊断消息无限增长。因此，需要有一个属性参数用于设置诊断消息的最大大小。若您需要设置“yarn.app.attempt.diagnostics.limit.kc”参数值，具体操作参考修改集群服务配置参
- [ZooKeeper常用配置参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2094.md): 参数入口：请参考修改集群服务配置参数，进入ZooKeeper“全部配置”页面。在搜索框中输入参数名称。ZooKeeper内部时间由参数ticktime和参数synclimit控制，如需调大ZooKeeper内部超时时间，需要调大客户端连接ZooKeeper的超时时间。
- [使用ZooKeeper客户端](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2095.md): ZooKeeper是一个开源的，高可靠的，分布式一致性协调服务。ZooKeeper设计目标是用来解决那些复杂，易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用，十分适合高可用服务保持数据一致性。在使用客户端前，除主管理节点以外的客户端，需要下载并更新客户端配置文件。MRS 2.x及以前版本集群执行以下操作：登录MRS控制台，
- [配置ZooKeeper ZNode ACL](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2097.md): 该操作指导用户对ZooKeeper的znode设置权限。ZooKeeper通过访问控制列表（ACL）来对znode进行访问控制。ZooKeeper客户端为znode指定ACL，ZooKeeper服务器根据ACL列表判定某个请求znode的客户端是否有对应操作的权限。ACL设置涉及如下四个方面。查看ZooKeeper中znode的ACL。增
- [ZooKeeper日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2106.md): 日志存储路径：“/var/log/Bigdata/zookeeper/quorumpeer”（运行日志），“/var/log/Bigdata/audit/zookeeper/quorumpeer”（审计日志）日志归档规则：ZooKeeper的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过30MB的时候，会自动压缩。最多保留20个压
- [创建大量ZNode后ZooKeeper Server启动失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2108.md): 创建大量ZNode后，ZooKeeper集群处于故障状态不能自动恢复，尝试重启失败，ZooKeeper Server日志显示如下内容：Follower：Leader：创建大量节点后，follower与leader同步时数据量大，在集群数据同步限定时间内不能完成同步过程，导致超时，各个ZooKeeper Server启动失败。参考修改集群服
- [为什么ZooKeeper Server出现java.io.IOException: Len的错误日志](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2109.md): 在父目录中创建大量的znode之后，当ZooKeeper客户端尝试在单个请求中获取该父目录中的所有子节点时，将返回失败。客户端日志，如下所示：Leader节点的日志，如下所示：在单个父目录中创建大量的znode后，当客户端尝试在单个请求中获取所有子节点时，服务端将无法返回，因为结果将超出可存储在znode上的数据的最大长度。为了避免这个问
- [为什么ZooKeeper节点上netcat命令无法正常运行](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2110.md): 为什么在Zookeeper服务器上启用安全的netty配置时，四个字母的命令不能与linux的netcat命令一起使用？例如：echo stat |netcat host portLinux的netcat命令没有与Zookeeper服务器安全通信的选项，所以当启用安全的netty配置时，它不能支持Zookeeper四个字母的命令。为了避免
- [如何查看哪个ZooKeeper实例是Leader](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2111.md): 如何查看ZooKeeper实例的角色是Leader还是Follower？登录集群Manager管理界面，选择“集群 > 服务 > ZooKeeper > 实例”。单击相应的quorumpeer实例名称，进入对应实例的详情页面。查看该实例的服务器状态。
- [使用IBM JDK时客户端无法连接ZooKeeper](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2112.md): 使用IBM的JDK的情况下客户端连接ZooKeeper失败。可能原因为IBM的JDK和普通JDK的jaas.conf文件格式不一样。在使用IBM JDK时，建议使用如下jaas.conf文件模板，其中useKeytab中的文件路径必须以file://开头，后面为绝对路径。
- [ZooKeeper客户端刷新TGT失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2113.md): ZooKeeper客户端刷新TGT失败，无法连接ZooKeeper。报错内容如下：ZooKeeper使用系统命令kinit -R对票据进行刷新，当前MRS版本已经取消了该命令的功能，如需运行长任务，建议使用keytab方式完成鉴权功能。在“客户端安装路径/ZooKeeper/zookeeper/conf/jaas.conf”配置文件中设置
- [使用deleteall命令删除大量znode时偶现报错“Node does not exist”](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2114.md): 客户端连接非Leader实例，使用deleteall命令删除大量znode时，报错Node does not exist，但是stat命令能够获取到node状态。由于网络问题或者数据量大导致leader和follower数据不同步。解决方法是客户端连接到Leader实例进行删除操作。具体过程是首先根据如何查看哪个ZooKeeper实例是L
- [访问FusionInsight Manager（MRS 3.x及之后版本）](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2124.md): MRS 3.x及之后版本的集群使用FusionInsight Manager对集群进行监控、配置和管理。用户在集群安装后可使用账号登录FusionInsight Manager。当前支持以下几种方式访问FusionInsight Manager，请根据实际情况选择。通过弹性IP访问FusionInsight Manager。通过云专线访问
- [修改集群服务配置参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2125.md): MRS 3.x之前版本，用户可直接通过MRS管理控制台的集群管理页面修改各服务配置参数：登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称。选择“组件管理 > 服务名称 > 服务配置”。默认显示“基础配置”，如果需要修改更多参数，请选择“全部配置”，界面上将显示该服务的全部配置参数导航树，导航树从上到下的一级节点分别为服务名称和
- [安装客户端（3.x及之后版本）](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2127.md): MRS客户端是用来与集群进行交互的工具。用户可以通过客户端提交作业、管理集群资源、查看作业状态等。客户端与集群之间通过紧密的协作，实现了用户对大规模数据处理和分析的需求。客户端负责将用户的作业请求发送给集群，集群则负责高效地执行作业，并将结果和状态反馈给客户端。MRS集群创建成功后，用户可自行安装集群客户端，用于连接集群内组件服务端，进行
- [安装客户端（3.x之前版本）](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2128.md): 用户需要使用MRS客户端。MRS集群客户端可以安装在集群内的Master节点或者Core节点，也可以安装在集群外节点上。MRS 3.x之前版本集群在集群创建后，在主Master节点默认安装有客户端，可以直接使用，安装目录为“/opt/client”。MRS 3.x及之后版本客户端的安装请参考安装客户端（3.x及之后版本）。如果集群外的节点
- [更新客户端（3.x及之后版本）](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2129.md): 集群提供了客户端，可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务，已安装的客户端需要重新下载并安装，或者使用配置文件更新客户端。方法一：此时生成的压缩文件包含所有服务的配置文件。是，勾选“仅保存到如下路径”，单击“确定”开始生成客户端文件，文件生成后默认保存在主管理节点“/tm
- [更新客户端（3.x之前版本）](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2130.md): 本章节适用于MRS 3.x之前版本的集群。MRS 3.x及之后版本，请参考更新客户端（3.x及之后版本）。操作场景MRS集群提供了客户端，可以在连接服务端、查看任务结果或管理数据的场景中使用。用户使用MRS的客户端时，如果在MRS Manager修改了服务配置参数并重启了服务，需要先下载并更新客户端配置文件。用户创建集群时，默认在集群所有
- [使用Phoenix Sqlline脚本报import argparse错误](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2210.md): 在客户端使用sqlline脚本时，报import argparse错误。
- [Phoenix BulkLoad Tool使用限制说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2211.md): 当更新索引字段数据时，若用户表已经存在一批数据，则BulkLoad工具不能更新全局和局部可变索引。问题分析创建表。CREATE TABLE TEST_TABLE(
DATE varchar not null,
NUM integer not null,
SEQ_NUM integer not null,
ACCOUNT1 varchar 
- [CTBase对接Ranger权限插件提示权限不足](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2212.md): 在MRS集群中，CTBase访问启用Ranger插件的HBase服务时，如果创建聚簇表，提示权限不足。报错信息如下：确认当前使用的账号是否具有足够的权限。需要CTBase用户在Ranger界面配置权限策略，赋予CTBase元数据表_ctmeta_、聚簇表和索引表RWCAE（READ，WRITE，EXEC，CREATE，ADMIN）权限。R
- [新创建用户修改完密码后无法登录Ranger](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2300.md): 使用新建用户登录Ranger页面，为什么在修改完密码后登录报401错误？由于UserSync同步用户数据有时间周期，默认是5分钟，因此在Manager上新创建的用户在用户同步成功前无法登录Ranger，因为Ranger的DB里暂时还没有该用户信息，需要等待同步周期所设置的时间后再尝试登录。未开启Kerberos认证时，由于Ranger并不
- [MapReduce引擎无法查询Tez引擎执行union语句写入的数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2309.md): Hive通过Tez引擎执行union相关语句写入的数据，切换到Mapreduce引擎后进行查询，发现数据没有查询出来。由于Hive使用Tez引擎在执行union语句时，生成的输出文件会存在HIVE_UNION_SUBDIR目录，切回Mapreduce引擎后默认不读取目录下的文件，所以没有读取到HIVE_UNION_SUBDIR目录下的数据
- [Hive是否支持对同一张表或分区进行并发写数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2310.md): 为什么通过接口并发对Hive表进行写数据会导致数据不一致？Hive不支持对同一张表或同一个分区进行并发数据插入，这样会导致多个任务操作同一个数据临时目录，一个任务将另一个任务的数据移走，导致任务数据异常。解决方法是修改业务逻辑，单线程插入数据到同一张表或同一个分区。MRS 3.1.3及之后版本Hive支持对同一张表或分区并发执行inser
- [Kafka相关特性说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2312.md): 特性说明：Kafka从0.11.0.0版本引入了创建幂等性Producer的功能，开启此特性后，Producer自动升级成幂等性Producer，当Producer发送了相同字段值的消息后，Broker会自动感知消息是否重复，继而避免数据重复。需要注意的是，这个特性只能保证单分区上的幂等性，即一个幂等性Producer能够保证某个主题的一
- [使用Ranger时适配第三方JDK](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2317.md): 当使用Ranger作为spark sql的权限管理服务时，访问RangerAdmin需要使用集群中的证书。若用户未使用集群中的JDK或者JRE，而是使用第三方JDK时，会出现访问RangerAdmin失败，进而spark应用程序启动失败的问题。在这个场景下，需要进行以下操作，将集群中的证书导入第三方JDK或者JRE中。安装集群客户端，例如
- [Hive是否支持向量化查询](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2325.md): 当设置向量化参数hive.vectorized.execution.enabled=true时，为什么执行hive on Tez/Mapreduce/Spark时会偶现一些空指针或类型转化异常？当前MRS Hive不支持向量化执行。向量化执行有很多社区问题引入目前没有稳定修复，默认hive.vectorized.execution.ena
- [Hive SQL扩展语法说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2330.md): Hive SQL支持Hive-3.1.0版本中的所有特性，详情请参见https://cwiki.apache.org/confluence/display/hive/languagemanual。系统提供的扩展Hive语句如表1所示。
- [配置RSGroup管理RegionServer资源](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2331.md): HBase服务的数据节点较多，需要根据不同的业务规模将数据节点资源分配给特定的业务，从而达到资源独占使用的目的。当AZ容灾特性被开启时，为了保证AZ容灾生效，保障业务可靠性，在为RSGroup分配RegionServer时，需遵循分配结果能使该RSGroup在每个AZ下都存在RegionServer实例的规则。本章节内容仅适用于MRS 3
- [对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2340.md): 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。HDFS上ssl.jceks文件权限不足，导致建表失败。使用omm用户登录Spark2x所在节点，执行如下命令：vi ${BIGDATA_HOME}/FusionInsight_Spark2x_8.1.0.1/install/Fus
- [Hive表的HDFS目录被误删，但是元数据仍然存在，导致执行任务报错](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2343.md): Hive表HDFS数据目录被误删，但是元数据仍然存在，导致执行任务报错。这是一种误操作的异常情况，需要手动删除对应表的元数据后重试。例如：执行以下命令登录Hive元数据库：source ${BIGDATA_HOME}/FusionInsight_BASE_xxx/install/FusionInsight-dbservice-2.7.0/
- [使用ClickHouse客户端](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2345.md): ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。已安装客户端，例如安装目录为“/opt/client”。以下操作的客户端目录只是举例，请根据实际安装目录修改。在使用客户端前，需要先下载并更新客户端配置文件，确认Manager的
- [Ranger界面添加或者修改HBase策略时，无法使用通配符搜索已存在的HBase表](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2355.md): 添加HBase的Ranger访问权限策略时，在策略中使用通配符搜索已存在的HBase表时，搜索不到已存在的表，并且在/var/log/Bigdata/ranger/rangeradmin/ranger-admin-*log中报以下错误Ranger界面上HBase服务插件的“hbase.rpc.protection”参数值和HBase服务端
- [在Hue页面上传大文件失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2367.md): 通过Hue页面上传大文件时，上传失败。不建议使用Hue文件浏览器上传大文件，大文件建议使用客户端通过命令上传。如果必须使用Hue上传，参考以下步骤修改Httpd的参数：以omm用户登录主管理节点。执行以下命令编辑“httpd.conf”配置文件。vi $BIGDATA_HOME/om-server/Apache-httpd-*/conf/
- [在Hue WebUI使用SparkSql编辑器](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2370.md): 用户需要使用图形化界面在集群中执行SparkSql语句时，可以通过Hue完成任务。使用SparkSql编辑器之前需要先修改Spark2x配置。SparkSql支持以下功能：执行和管理SparkSql语句。在“保存的查询”中查看当前访问用户已保存的SparkSql语句。在“查询历史记录”中查看当前访问用户执行过的SparkSql语句。系统将
- [在Hue WebUI使用HBase](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2371.md): 用户需要使用图形化界面在集群中创建或查询HBase表时，可以通过Hue完成任务。如需在Hue WebUI中操作HBase，当前MRS集群中必须部署HBase的Thrift1Server实例。Thrift1Server实例默认不会安装，用户可在创建自定义类型的MRS集群时，选择HBase组件并通过调整集群自定义拓扑，添加Thrift1Ser
- [使用Hue提交Oozie HQL脚本](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2372.md): 该任务指导用户通过Hue界面提交Hive脚本作业。作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。
- [使用Oozie客户端提交DistCp任务](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2392.md): 该任务指导用户在使用Oozie客户端提交DistCp任务。请下载使用最新版本的客户端。HDFS和Oozie组件安装完成且运行正常，客户端安装成功。如果当前客户端为旧版本，需要重新下载和安装客户端。如果当前客户端为旧版本，需要重新下载和安装客户端。已创建或获取访问Oozie服务的人机用户账号及密码。该用户需要从属于hadoop、superg
- [MRS集群服务启用Ranger鉴权](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2393.md): 该章节指导用户如何启用Ranger鉴权。安全模式默认开启Ranger鉴权，普通模式默认关闭Ranger鉴权。如果“启用Ranger鉴权”是灰色，表示已开启Ranger鉴权，如图1所示。已启用Ranger授权的组件（HDFS与Yarn除外），Manager上非系统默认角色的权限将无法生效，需要通过配置Ranger策略为用户组赋权。
- [普通集群修改Ranger数据源为Ldap](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2394.md): 安全集群Ranger数据源默认为FusionInsight Manager Ldap用户。普通集群Ranger数据源默认为集群Unix用户。集群模式为普通模式。已安装Ranger组件。MRS 3.1.5及之后版本：在“ranger.usersync.config.expandor”参数配置中添加“ranger.usersync.sync.
- [ClickHouse表创建](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2398.md): ClickHouse依靠ReplicatedMergeTree引擎与ZooKeeper实现了复制表机制，用户在创建表时可以通过指定引擎选择该表是否高可用，每张表的分片与副本都是互相独立的。同时ClickHouse依靠Distributed引擎实现了分布式表机制，在所有分片（本地表）上建立视图进行分布式查询，使用很方便。ClickHouse
- [ClickHouse日志介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2399.md): 日志路径：ClickHouse相关日志的默认存储路径为“${BIGDATA_LOG_HOME}/clickhouse”。日志归档规则：ClickHouse日志启动了自动压缩归档功能，缺省情况下，当日志大小超过100MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>.[编号].gz”。默认最多保留最近的10个压缩文件，压缩文
- [Flink作业引擎概述](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24016.md): Flink WebUI提供基于Web的可视化开发平台，用户只需要编写SQL即可开发作业，极大降低作业开发门槛。同时通过作业平台能力开放，支持业务人员自行编写SQL开发作业来快速应对需求，大大减少Flink作业开发工作量。Flink WebUI功能仅支持MRS 3.1.0及之后版本。Flink WebUI主要有以下特点：企业级可视化运维：运
- [访问FlinkServer WebUI界面](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24019.md): MRS集群安装Flink组件后，用户可以通过Flink的WebUI，在图形化界面进行集群连接、数据连接、流表管理和作业管理等。该任务指导用户在MRS集群中访问Flink WebUI。第一次访问Manager和Flink WebUI，需要在浏览器中添加站点信任以继续访问Flink WebUI。对于开启了Kerberos认证的MRS集群，访问
- [创建FlinkServer应用](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24020.md): 通过应用来隔离不同的上层业务。应用创建成功后，在Flink WebUI左上角即可切换待操作的应用，然后进行相关的作业开发。
- [创建FlinkServer集群连接](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24021.md): 通过集群连接配置访问不同的集群。集群客户端配置文件获取方法：登录FusionInsight Manager，选择“集群 > 概览”。选择“更多 > 下载客户端 > 仅配置文件”，选择平台类型后单击“确定”。用户凭据获取方法：登录FusionInsight Manager，单击“系统”。在对应用户的“操作”列，选择“更多 > 下载认证凭据”
- [创建FlinkServer数据连接](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24022.md): 通过数据连接，访问不同的数据服务，当前FlinkServer支持HDFS、Kafka、Redis类型的数据连接。
- [创建FlinkServer流表源](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24023.md): 通过数据表，定义源表、维表、输出表的基本属性和字段信息。
- [创建FlinkServer作业](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24024.md): 定义Flink的作业，包括Flink SQL和Flink Jar作业。新建Flink SQL作业在作业开发界面进行作业开发。可以单击上方“语义校验”对输入内容校验，单击“SQL格式化”对SQL语句进行格式化。作业SQL开发完成后，请参考表1设置基础参数，还可根据需要设置自定义参数，然后单击“保存”。基础参数参数名称参数描述并行度并行数量。
- [使用Spark Shell创建Hudi表](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24033.md): 本指南通过使用spark-shell简要介绍了Hudi功能。使用Spark数据源，将通过代码段展示如何插入和更新Hudi的默认存储类型数据集： COW表。每次写操作之后，还将展示如何读取快照和增量数据。在Manager界面创建用户并添加hadoop和hive用户组，主组加入hadoop。目前Hudi集成在Spark2x中，用户从Manag
- [批量写入Hudi表](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24035.md): Hudi提供多种写入方式，具体见hoodie.datasource.write.operation配置项，这里主要介绍UPSERT、INSERT和BULK_INSERT。INSERT（插入）： 该操作流程和UPSERT基本一致，但是不需要通过索引去查询具体更新的文件分区，因此它的速度比UPSERT快。当数据源不包含更新数据时建议使用该操作
- [流式写入Hudi表](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24036.md): Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能：支持Kafka，DFS多种数据源接入 。支持管理检查点、回滚和恢复，保证exactly once语义。支持自定义转换操作。示例：准备配置文件kafka-source
- [Hudi性能调优](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24039.md): 当前版本Hudi写入操作主推Spark，因此Hudi的调优和Spark比较类似，可参考Spark Core性能调优。mor表：由于其本质上是写增量文件，调优可以直接根据hudi的数据大小（dataSize）进行调整。dataSize如果只有几个G，推荐跑单节点运行spark，或者yarn模式但是只分配一个container。入湖程序的并行
- [Hue WebUI中Oozie编辑器的时区设置问题](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24045.md): 在Hue设置Oozie工作流调度器的时区时，部分时区设置会导致任务提交失败。部分时区存在适配问题，建议时区选择“Asia/Shanghai”，如图1所示。支持的时区可以参考Oozie WebUI页面“Settings”页签的“Timezone”，如图2。
- [Flink用户权限说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24048.md): 集群已启用Kerberos认证（安全模式），访问并使用Flink WebUI进行业务操作需为用户赋予FlinkServer相关权限，Manager的admin用户没有FlinkServer的业务操作权限。FlinkServer中应用（租户）是最大管理范围，包含集群连接管理、数据连接管理、应用管理、流表和作业管理等。FlinkServer中
- [创建FlinkServer权限角色](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24049.md): 该任务指导MRS集群管理员在Manager创建并设置FlinkServer的角色。FlinkServer角色可设置FlinkServer管理员权限以及应用的编辑和查看权限。用户需要在FlinkServer中对指定的用户设置权限，才能够更新数据、查询数据和删除数据等。集群管理员已根据业务需要规划权限。登录集群Manager具体操作，请参考访
- [开启Native Task特性后，Reduce任务在部分操作系统运行失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24051.md): 开启Native Task特性后，Reduce任务在部分操作系统运行失败。运行包含Reduce的Mapreduce任务时，通过-Dmapreduce.job.map.output.collector.class=org.apache.hadoop.mapred.nativetask.NativeMapOutputCollectorDele
- [ClickHouse用户及权限管理](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24057.md): ClickHouse用户权限管理实现了对集群中各个ClickHouse实例上用户、角色、权限的统一管理。通过Manager UI的权限管理模块进行创建用户、创建角色、绑定ClickHouse访问权限配置等操作，通过用户绑定角色的方式，实现用户权限控制。管理资源：ClickHouse权限管理支持的资源如表1所示。资源权限：ClickHous
- [使用Impala操作Kudu表](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24058.md): 您可以使用Impala的SQL语法插入、查询、更新和删除Kudu中的数据，作为使用Kudu API构建自定义Kudu应用程序的替代方案。已安装集群完整客户端。例如安装目录为“/opt/Bigdata/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。source /opt/Bigdata/client/bigdata_
- [将Hudi表数据同步到Hive](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24064.md): 通过执行run_hive_sync_tool.sh可以将Hudi表数据同步到Hive中。例如：需要将HDFS上目录为hdfs://hacluster/tmp/huditest/hudimor1_deltastreamer_partition的Hudi表同步为Hive表，表名为table hive_sync_test3，使用unite、co
- [写入更新数据时报错 Parquet/Avro schema](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24071.md): 数据写入时报错：建议在使用Hudi时，schema应该以向后兼容的方式演进。此错误通常发生在使用向后不兼容的演进方式删除某些列如“col1”后，更新parquet文件中以旧的schema写入的列“col1”，在这种情况下，parquet尝试在传入记录中查找所有当前字段，当发现“col1”不存在时，发生上述异常。解决这个问题的办法是使用所有
- [写入更新数据时报错UnsupportedOperationException](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24072.md): 数据写入时报错：因为schema演进以非向后兼容的方式进行，此错误将再次发生。基本上，如果已经写入Hudi数据集parquet文件的记录R有一些更新U。R包含字段F，该字段包含某类数据类型，也就是LONG。U具有相同的字段F，该字段的数据类型是INT。Parquet FS不支持这种不兼容的数据类型转换。对于此类错误，请从源头数据采集的位置
- [写入更新数据时报错SchemaCompatibilityException](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24073.md): 数据写入时报错：如果schema包含non-nullable字段但是值是不存在或者null，则可能会发生这种情况。建议以使用向后兼容的演进schema。本质上，这意味着要么将每个新添加的字段设置为空值，要么为每个新字段设置为默认值。从Hudi版本0.5.1起，如果依赖字段的默认值，则该故障处理对此无效。
- [Hudi在upsert时占用了临时文件夹中大量空间](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24074.md): Hudi在upsert时占用了临时文件夹中大量空间。当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。如果有足够的内存，请增加spark executor的内存和添加“hoodie.memory.merge.fraction”选项，如： option("hoodie.memory.merge.
- [使用kafka采集数据时报错IllegalArgumentException](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24077.md): 线程“main”报错 org.apache.kafka.common.KafkaException，构造kafka消费者失败，报错：当试图从启用SSL的kafka数据源采集数据时，而安装程序无法读取jars.conf文件及其属性时，可能会发生这种情况。要解决此问题，需要将所需的属性作为通过Spark提交的命令的一部分传递。如：--file
- [采集数据时报错HoodieException](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24078.md): 数据采集时报错：这种情况通常当标记为recordKey或partitionKey的字段在某些传入记录中不存在时发生。请交叉验证传入记录。
- [采集数据时报错HoodieKeyException](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24079.md): 创建Hudi表时，是否可以使用包含空记录的可空字段作为主键？不可以。使用包含空记录的可空字段作为主键时会返回HoodieKeyException异常：
- [Hive同步数据报错SQLException](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24081.md): Hive同步数据时报错：这种情况通常会发生当您试图使用HiveSyncTool.java类向现有hive表添加新列时。数据库通常不允许将列数据类型按照从高到低的顺序修改，或者数据类型可能与表中已存储/将要存储的数据冲突。若要修复相同的问题，请尝试设置以下属性：设置hive.metastore.disallow.in compatible.
- [Hive同步数据报错HoodieHiveSyncException](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24082.md): Hive同步数据时报错：出现这种情况是因为HiveSyncTool目前只支持很少的兼容数据类型转换。进行任何其他不兼容的更改都会引发此异常。请检查相关字段的数据类型演进，并验证它是否确实可以被视为根据Hudi代码库的有效数据类型转换。
- [Hive同步数据报错SemanticException](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24083.md): Hive同步数据时报错：这种情况通常在试图对Hudi数据集执行Hive同步，但配置的hive_sync数据库不存在时发生。请在您的Hive集群上创建对应的数据库后重试。
- [ClickHouse集群配置说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24085.md): ClickHouse通过多分片多副本的部署架构实现了集群的高可用，每个集群定义多个分片，每个分片具有2个或2个以上副本。当某节点故障时，分片内其他主机节点上的副本可替代工作，保证服务能正常运行，提高集群的稳定性。本章节仅适用于MRS 3.1.0版本。上述集群架构如下图所示：配置参数说明如下：default_cluster标签default
- [Hudi Clustering操作说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24088.md): 即数据布局，该服务可重新组织数据以提高查询性能，也不会影响摄取速度。Hudi通过其写入客户端API提供了不同的操作，如insert/upsert/bulk_insert来将数据写入Hudi表。为了能够在文件大小和入湖速度之间进行权衡，Hudi提供了一个hoodie.parquet.small.file.limit配置来设置最小文件大小。用
- [Hudi Cleaning操作说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24089.md): Cleaning用于清理不再需要的版本数据。Hudi使用Cleaner后台作业，不断清除不需要的旧版本数据。通过配置hoodie.cleaner.policy和hoodie.cleaner.commits.retained可以使用不同的清理策略和保存的commit数量。执行cleaning有两种方式：同步clean由参数hoodie.cl
- [Hudi Compaction操作说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24090.md): Compaction用于合并mor表Base和Log文件。对于Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，更新被记录到增量文件，然后进行同步/异步compaction生成新版本的列式文件。Merge-On-Read表可减少数据摄入延迟，因而进行不阻塞摄入的异步Compaction很有意义。异步Com
- [Hudi Savepoint操作说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24091.md): Savepoint用于保存并还原自定义的版本数据。Hudi提供的savepoint就可以将不同的commit保存起来以便清理程序不会将其删除，后续可以使用Rollback进行恢复。使用spark-sql管理savepoint。示例如下：创建savepointcall create_savepoint('hudi_test1', '2022
- [写入操作配置](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24093.md): 本章节介绍Hudi重要配置的详细信息，更多配置请参考hudi官网：https://hudi.apache.org/docs/overview。
- [同步Hive表配置](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24094.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [index相关配置](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24095.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [存储配置](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24096.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [compaction&cleaning配置](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24097.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [读取Hudi cow表视图](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24098.md): 实时视图读取（Hive，SparkSQL为例）：直接读取Hive里面存储的Hudi表即可，${table_name}表示表名称。select count(*) from ${table_name};实时视图读取（Spark dataSource API为例）：和读普通的dataSource表类似。必须指定查询类型QUERY_TYPE_OP
- [读取Hudi mor表视图](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24099.md): mor表同步给Hive后，会在Hive表中同步出：“表名+后缀_rt”和“表名+后缀_ro”两张表。其中后缀为rt表代表实时视图，后缀为ro的表代表读优化视图。例如：同步给Hive的hudi表名为${table_name}， 同步Hive后hive表中多出两张表分别为${table_name}_rt,和${table_name}_ro。实
- [Hudi表概述](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24103.md): Copy On Write写时复制表也简称cow表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。优点：读取时，只读取对应分区的一个数据文件即可，较为高效。缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。写时复制
- [ClickHouse概述](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24105.md): 表引擎在ClickHouse中的作用十分关键，不同的表引擎决定了：数据存储和读取的位置支持哪些查询方式能否并发式访问数据能不能使用索引是否可以执行多线程请求数据复制使用的参数其中MergeTree和Distributed是ClickHouse表引擎中最重要，也是最常使用的两个引擎，本文将重点进行介绍。其他表引擎详细可以参考官网链接：htt
- [Impala对接外部LDAP](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24108.md): 本操作适用于MRS 3.1.0及之后版本。
- [ClickHouse使用OpenLDAP认证](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24109.md): ClickHouse支持和OpenLDAP进行对接，通过在ClickHouse上添加OpenLDAP服务器配置和创建用户，实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。本章节操作仅支持MRS 3.1.0及以上集群版本。MRS集群及ClickHouse实例运行正常，已
- [配置HBase数据压缩格式和编码](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24112.md): HBase可以通过对HFile中的data block编码，减少Key-Value中Key的重复部分，从而减少空间的使用。目前对data block的编码方式有：NONE、PREFIX、DIFF、FAST_DIFF和ROW_INDEX_V1，其中NONE表示不使用编码。另外，HBase还支持使用压缩算法对HFile文件进行压缩，默认支持的
- [配置ClickHouse对接RDS MySQL数据库](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24113.md): ClickHouse面向OLAP场景提供高效的数据分析能力，支持通过MySQL等数据库引擎将远程数据库服务器中的表映射到ClickHouse集群中，后续可以在ClickHouse中进行数据分析。以下操作通过ClickHouse集群和RDS服务下的MySQL数据库实例对接进行举例说明。已提前准备好对接的RDS数据库实例及数据库用户名、密码。
- [Hive SQL常见配置类问题](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24117.md): Hive SQL执行报错：java.lang.OutOfMemoryError: Java heap space.解决方案：对于MapReduce任务，增大下列参数：set mapreduce.map.memory.mb=8192;set mapreduce.map.java.opts=-Xmx6554M;set mapreduce.re
- [配置Hive分区元数据冷热存储](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24118.md): 为了减轻元数据库压力，将长时间未使用过的指定范围的分区相关元数据移动到备份表，这一过程称为分区数据冻结，移动的分区数据称为冷分区，未冻结的分区称为热分区，存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表，这一过程称为分区数据解冻。一个分区从热分区变成冷分区，仅仅是在元数据中进行标识，其HDFS业务侧分区路径、数据文件内容并未发生
- [Hive支持ZSTD压缩格式](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24121.md): ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式，本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC，RCFile，TextFile，JsonFile，Parquet，Sequence，CSV。本特性仅适用于MRS 3
- [增加Kafka Topic分区](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24137.md): 用户可以通过KafkaUI增加Kafka Topic分区。安全模式集群下，执行分区迁移操作的用户需属于kafkaadmin用户组，否则将会由于鉴权失败导致操作失败。非安全模式下，KafkaUI对任意操作不做鉴权处理。本章节内容仅适用于MRS 3.1.2及之后版本。使用具有KafkaUI页面访问权限的用户登录FusionInsight Ma
- [查看Kafka数据生产消费详情](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24138.md): 用户可以通过KafkaUI查看Topic详情、修改Topic Configs、增加Topic分区个数、删除Topic，并可实时查看不同时段的生产数据条数。安全模式下，KafkaUI对查看Topic详情操作不做鉴权处理，即任何用户都可以查询Topic信息；对于修改Topic Configs、增加Topic分区个数、删除Topic场景，需保证
- [单表并发控制配置](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24167.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [配置Spark Eventlog日志回滚](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24170.md): 事件日志滚动是一种日志管理技术，通过将日志文件按时间或大小分割成多个文件，来避免单个日志文件过大。滚动日志文件可以提高日志的管理和分析效率，特别是在处理大量日志数据时。事件日志记录了Spark应用程序的执行过程中的各种事件，如任务的启动和完成、阶段的提交和完成等。当程序长时间运行，会导致job和task过多，造成日志文件很大，如JDBCS
- [典型场景：从关系型数据库导入数据到ClickHouse](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24172.md): 该任务指导用户使用Loader将数据从关系型数据库导入到ClickHouse，本章节以MySQL为例进行操作。创建或获取该任务中创建Loader作业的业务用户和密码。ClickHouse表已创建，确保用户已授权访问作业执行时操作该表的权限。获取MySQL数据库使用的用户和密码。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。
- [典型场景：从HDFS导入数据到ClickHouse](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24173.md): 该任务指导用户使用Loader将文件从HDFS导入到ClickHouse。创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS目录和数据。ClickHouse相关表已创建，并确保用户已授权访问作业执行时操作该表的权限。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。使用Loade
- [Spark shuffle异常处理](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24176.md): 在部分场景Spark shuffle阶段会有如下异常JDBC应该：登录FusionInsight Manager管理界面，修改JDBCServer的参数“spark.authenticate.enableSaslEncryption”值为“false”，并重启对应的实例。客户端作业：客户端应用在提交应用的时候，修改spark-defaul
- [ClickHouse输出](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24177.md): ClickHouse输出算子，用于配置已生成的字段输出到ClickHouse表的列。输入：需要输出的字段。输出：ClickHouse表。将字段值输出到ClickHouse表中。通过CSV文件输入算子，生成十二个字段。源文件如下：创建ClickHouse表的语句如下：CREATE TABLE IF NOT EXISTS testck4 ON
- [导入DWS表数据至ClickHouse](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24197.md): ClickHouse支持CSV、JSON等格式文件的数据导入导出操作。本章节主要介绍怎么把DWS数据仓库服务中的表数据导出到CSV文件，再把CSV文件数据导入到ClickHouse表中。ClickHouse集群和实例状态正常。DWS集群已创建，已获取到相关表所在的数据库用户名和密码。已安装MRS客户端，例如安装目录为“/opt/clien
- [集群内ClickHouseServer节点间数据迁移](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24198.md): ClickHouse数据迁移工具可以将某几个ClickHouseServer实例节点上的一个或多个MergeTree引擎分区表的部分分区迁移至其他ClickHouseServer节点上相同的表中。在扩容场景中，可以使用该工具将原节点上的部分数据迁移至新增节点上，从而达到扩容后的数据均衡。ClickHouse服务运行正常，Zookeeper
- [CREATE DATABASE创建数据库](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24200.md): 本章节主要介绍ClickHouse创建数据库的SQL基本语法和使用说明。CREATE DATABASE [IF NOT EXISTS]database_name [ON CLUSTERClickHouse集群名]ON CLUSTERClickHouse集群名的语法，使得该DDL语句执行一次即可在集群中所有实例上都执行。集群名信息可以使用以
- [CREATE TABLE创建表](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24201.md): 本章节主要介绍ClickHouse创建表的SQL基本语法和使用说明。方法一：在指定的“database_name”数据库中创建一个名为“table_name ”的表。如果建表语句中没有包含“database_name”，则默认使用客户端登录时选择的数据库作为数据库名称。CREATE TABLE [IF NOT EXISTS][databa
- [INSERT INTO插入表数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24202.md): 本章节主要介绍ClickHouse插入表数据的SQL基本语法和使用说明。方法一：标准格式插入数据。INSERT INTO [database_name.]table [(c1, c2, c3)] VALUES(v11, v12, v13), (v21, v22, v23), ...INSERT INTO [database_name.]t
- [SELECT查询表数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24203.md): 本章节主要介绍ClickHouse查询表数据的SQL基本语法和使用说明。SELECT [DISTINCT] expr_list[FROM[database_name.]table| (subquery) | table_function] [FINAL][SAMPLE sample_coeff][ARRAY JOIN...][GLOBAL
- [ALTER TABLE修改表结构](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24204.md): 本章节主要介绍ClickHouse修改表结构的SQL基本语法和使用说明。ALTER TABLE [database_name].name[ON CLUSTER cluster] ADD|DROP|CLEAR|COMMENT|MODIFYCOLUMN...ALTER仅支持 *MergeTree ，Merge以及Distributed等引擎表
- [DESC查询表结构](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24205.md): 本章节主要介绍ClickHouse查询表结构的SQL基本语法和使用说明。DESC|DESCRIBETABLE[database_name.]table[INTOOUTFILE filename] [FORMAT format]例如查询表t1的表结构：desc t1;
- [ClickHouse数据导入导出](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24206.md): 本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。CSV格式数据导入clickhouse client --host主机名/ClickHouse实例IP地址 --database数据库名--port端口号 --secure --format_csv_delimiter="csv文件数据分隔符" --quer
- [SHOW显示数据库和表信息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24207.md): 本章节主要介绍ClickHouse显示数据库和表信息的SQL基本语法和使用说明。show databasesshow tables
- [DROP删除表](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24208.md): 本章节主要介绍ClickHouse删除表的SQL基本语法和使用说明。DROP[TEMPORARY] TABLE[IF EXISTS] [database_name.]name[ON CLUSTER cluster] [SYNC]在删除复制表时，因为复制表需要在Zookeeper上建立一个路径，存放相关数据。ClickHouse默认的库引擎
- [配置FlinkServer作业中使用UDF](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24211.md): 本章节适用于MRS 3.1.2及之后的版本。用户可以自定义一些函数，用于扩展SQL以满足个性化的需求，这类函数称为UDF。用户可以在Flink WebUI界面中上传并管理UDF jar包，然后在运行作业时调用相关UDF函数。Flink支持以下3类自定义函数，如表1。准备UDF jar文件，大小不能超过200MB。“UDF名称”最多可添加1
- [通过ELB访问ClickHouse](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24228.md): 当前ClickHouse不管是多分片还是多副本都是以集群方式部署，如果对外直接提供服务，将暴露多个节点服务，没有统一的访问入口。ClickHouse官方虽然提供了BalancedClickHouseDataSource的驱动方案，可以支持多节点的随机分配，提供了一定程度的负载均衡能力，但其故障检测能力不足，而且在扩缩容时，需要客户端感知集
- [开启Oozie HA机制](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24233.md): Oozie多个节点同时提供服务的时候，通过ZooKeeper来提供高可用（HA）功能，防止单节点故障以及多节点同时处理一个任务。本章节内容仅适用于MRS 3.1.2及之后版本。操作过程中需要重启Oozie服务。重启过程中，Oozie服务无法提供服务。已安装Oozie、ZooKeeper服务，且服务正常运行。没有任务正在运行。如果当前集群不
- [通过数据文件备份恢复ClickHouse数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24292.md): 本章节主要介绍通过把ClickHouse中的表数据导出到CSV文件进行备份，后续可以通过备份的CSV文件数据再进行恢复操作。已安装ClickHouse客户端。在Manager已创建具有ClickHouse相关表权限的用户。已准备好备份服务器。cd /opt/clientsource bigdata_env如果是MRS 3.1.0版本集群，
- [配置跨集群互信下Hive on HBase](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24293.md): 两个开启Kerberos认证的互信集群中，使用Hive集群操作HBase集群，将目的端HBase集群的HBase关键配置项配置到源端Hive集群的HiveServer中。两个开启Kerberos认证的安全集群已完成跨集群互信配置。登录目的端HBase集群的FusionInsight Manager，选择“集群 > 服务 > HBase”。
- [均衡Kafka扩容节点后数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24299.md): 用户可以在Kafka扩容节点后，在客户端中执行Kafka均衡工具来均衡Kafka集群的负载。本章节内容适用于MRS 3.x之前版本。3.x及之后版本请参考配置Kafka数据均衡工具。MRS集群管理员已明确业务需求，并准备一个Kafka管理员用户（属于kafkaadmin组，普通模式不需要）。已安装Kafka客户端，客户端安装目录如“/op
- [同步Kafka数据至ClickHouse](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24377.md): 您可以通过创建Kafka引擎表将Kafka数据自动同步至ClickHouse集群，具体操作详见本章节描述。已创建Kafka集群。已安装Kafka客户端，详细可以参考安装客户端。已创建ClickHouse集群，并且ClickHouse集群和Kafka集群在同一VPC下，网络可以互通，并安装ClickHouse客户端。当前ClickHouse
- [Sqoop客户端使用实践](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24454.md): Sqoop是一款开源的工具，主要用于在Hadoop与传统的数据库间进行数据的传递，可以将一个关系型数据库（例如MySQL、Oracle、PostgreSQL等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导出到关系型数据库中。MRS 3.1.0及之后版本在创建集群时已勾选Sqoop组件。安装客户端，具体请参考安装客户端（
- [Sqoop1.4.7适配MRS 3.x集群](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24455.md): Sqoop是专为Apache Hadoop和结构化数据库（如关系型数据库）设计的高效传输大量数据的工具。MRS集群中未自带Sqoop组件时，如果需要在MRS中使用Sqoop进行数据迁移，可参考本文档自行安装对接使用。部分版本集群包含了Sqoop组件，在创建MRS集群时直接勾选即可，详情可参考MRS组件版本一览表。本章节仅适用于MRS 3.
- [Sqoop常用命令及参数介绍](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24456.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [报错找不到QueryProvider类](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24458.md): 报错找不到QueryProvider类。搜索MRS客户端目录，将以下两个jar包放入sqoop的lib目录下。
- [使用hcatalog方式同步数据，报错getHiveClient方法不存在](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24459.md): 使用hcatalog方式同步数据，报错getHiveClient方法不存在。将https://repo.huaweicloud.com/repository/maven/huaweicloudsdk/org/apache/hive/hcatalog/hive-hcatalog-core/源下的jar包替换到mrs客户端的hcatalog的
- [连接postgresql或者gaussdb时报错](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24460.md): 连接postgresql或者gaussdb时报错。场景一：（import场景）使用sqoop import命令抽取开源postgre到MRS hdfs或hive等。问题现象：使用sqoop命令查询postgre表可以，但是执行sqoop import命令倒数时报错：The authentication type 12 is not sup
- [使用hive-table方式同步数据到obs上的hive表报错](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24461.md): 使用hive-table方式同步数据到obs上的hive表报错。修改数据同步方式，将-hive-table改成-hcatalog-table。
- [使用hive-table方式同步数据到orc表或者parquet表失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24462.md): 使用hive-table方式同步数据到orc表或者parquet表失败。报错信息中有kite-sdk的包名。修改数据同步方式，将-hive-table改成-hcatalog-table。
- [使用hive-table方式同步数据报错](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24463.md): 使用hive-table方式同步数据报错：修改hive-site.xml，加入如下值。
- [使用hcatalog方式同步hive parquet表报错](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24464.md): 同步hive parquet表，其分区字段为非string类型，无法正常使用hive import导入，只能考虑使用hcatalog方式，但是hcatalog方式报错如下：修改sqoop源码SqoopHCatUtilities中的代码，将限制代码去掉。修改hive客户端中的hive-site.xml文件，修改hive.metastore.
- [使用Hcatalog方式同步Hive和MySQL之间的数据，timestamp和date类型字段会报错](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24465.md): 使用Hcatalog方式同步Hive和MySQL之间的数据，timestamp和date类型字段会报错：调整Sqoop源码包中的代码，将timestamp强制转换类型和Hive保持一致。将Hive中的字段类型修改为String。
- [Oozie作业执行失败常用排查手段](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24479.md): 根据任务在Yarn上的任务日志排查，首先把实际的运行任务，比如Hive SQL通过beeline运行一遍，确认Hive无问题。出现“classnotfoundException”等报错，排查“/user/oozie/share/lib”路径下各组件有没有报错的类的Jar包，如果没有，添加Jar包并执行HDFS上更新了oozie的share
- [如何关闭Hive客户端日志](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24482.md): 如何关闭Hive客户端的运行日志？cd/opt/clientsource bigdata_env安全模式，则执行以下命令，完成用户认证并登录Hive客户端。kinit组件业务用户beelinekinit组件业务用户beeline普通模式，则执行以下命令，登录Hive客户端。使用指定组件业务用户登录Hive客户端。beeline -n 组件
- [为什么在Hive自定义配置中添加OBS快删目录后不生效](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24486.md): 在配置MRS多用户访问OBS细粒度权限的场景中，在Hive自定义配置中添加OBS快删目录的配置后，删除Hive表。执行结果为成功，但是OBS目录没有删掉。由于没有给用户配置快删目录的权限，导致数据不能被删除。需要修改用户对应的委托的IAM自定义策略，在策略内容上，配置Hive快删目录的权限。
- [Spark SQL无法查询到ORC类型的Hive表的新插入数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24491.md): 为什么通过Spark SQL无法查询到存储类型为ORC的Hive表的新插入数据？主要有以下两种场景存在这个问题：对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。对于分区表，在Spark SQL中执行插入数据的操作后，如果分区信息未改变，会出现Spark SQL无法查询到
- [Hudi写入小精度Decimal数据失败](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24504.md): Hudi表初始入库采用BULK_INSERT方式入库含有Decimal类型的数据，之后执行upsert，数据写入时报错：原因：Hudi表数据含有Decimal类型数据。初始入库BULK_INSERT方式会使用Spark内部parquet文件的写入类进行写入，Spark对不同精度的Decimal类型处理是不同的。UPSERT操作时，Hudi
- [迁移Kafka节点内数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24534.md): 用户可以根据业务需求，通过Kafka客户端命令，在不停止服务的情况下，进行节点内磁盘间的分区数据迁移。也可以通过KafkaUI进行分区迁移。MRS集群管理员已明确业务需求，并准备一个Kafka用户（属于kafkaadmin组，普通模式不需要）。已安装Kafka客户端。Kafka实例状态和磁盘状态均正常。根据待迁移分区当前的磁盘空间占用情况
- [Impala常见配置参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24562.md): 本章节适用于MRS 3.x及后续版本。在Manager系统中，选择“集群 > 服务 > Impala > 配置”，选择“全部配置”。在搜索框中输入参数名称。下表仅列举了部分常用参数，实际参数以Manager页面为准，参数详情请参见官网https://docs.cloudera.com/documentation/enterprise/6/
- [Impala启用并配置动态资源池](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24563.md): 本文介绍如何使用动态资源池控制impala并发。客户需要使用动态资源池控制impala并发。登录到集群的master1节点上，然后切换到omm用户下，在/home/omm目录下创建fair-scheduler.xml、llama-site.xml文件。打开fair-scheduler.xml文件，添加如下配置。<allocations>

- [访问MRS Manager（MRS 3.x之前版本）](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24756.md): MRS 3.x之前版本集群使用MRS Manager对集群进行监控、配置和管理，用户可以在MRS控制台页面打开Manager管理页面。若用户创建集群时已经绑定弹性公网IP，如图1所示：选择待添加的安全组规则所在安全组，该安全组在创建群时配置。添加安全组规则，默认填充的是用户访问公网IP地址9022端口的规则，如需开放多个IP段为可信范围用
- [HDFS常用配置参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24758.md): 登录集群Manager具体操作，请参考访问MRS集群Manager。查看集群是否存在配置过期的服务，如果存在，需重启对应服务或角色实例使配置生效。
- [Presto配置多Hive连接](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24760.md): Presto如何配置多Hive连接。MRS 1.8.10及之前版本，登录MRS Manager页面，具体请参见访问MRS Manager，然后选择“服务管理 > Presto > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。MRS 1.8.10之后及2.x版本，单击集群名称，登录集群详情页面，选择“组件管理 > Presto 
- [在System.disks表中查询到磁盘status是fault或者abnormal](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24778.md): 在System.disks表中查询到磁盘status是fault或者abnormal。这种情况是由于磁盘存在IO错误，处理方法如下：方法一：登录FusionInsight Manager页面，检查Manager界面上是否磁盘IO异常的告警，如果有，可参考对应的告警帮助文档，通过更换硬盘恢复。方法二：登录FusionInsight Mana
- [配置FlinkServer重启策略](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24779.md): Flink支持不同的重启策略，以在发生故障时控制作业是否重启以及如何重启。若不指定重启策略，集群会使用默认的重启策略。用户也可以在提交作业时指定一个重启策略，可参考创建FlinkServer作业在作业开发界面配置（MRS 3.1.0及以后版本）。重启策略也可以通过Flink的配置文件“客户端安装目录/Flink/flink/conf/fl
- [读取Hudi数据概述](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24809.md): Hudi的读操作，作用于Hudi的三种视图之上，可以根据需求差异选择合适的视图进行查询。Hudi 支持多种查询引擎Spark和Hive，具体支持矩阵见表1和表2。当前Hudi使用Spark datasource接口读取时，不支持分区推断能力。比如bootstrap表使用datasource接口查询时，可能出现分区字段不显示，或者显示为nu
- [如何迁移Hive/HDFS的数据到ClickHouse](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24831.md): 如何迁移Hive/HDFS的数据到ClickHouse。可以将Hive中的数据导出为CSV文件，再将CSV文件导入到 ClickHouse。从Hive中导出数据为 CSV：hive -e "select * from db_hive.student limit 1000"| tr "\t" "," > /data/bigdata/hive
- [使用辅助Zookeeper或者副本数据同步表数据时，日志报错](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24837.md): 使用辅助Zookeeper或者副本数据同步表数据时，日志报错:复制表副本版本不一致存在兼容性问题，表结构中有TTL语句，ClickHouse 20.9之后版本新加了TTL_DELETE，之前的版本不识别，高版本复制表副本被选作leader时会出现该问题。可修改高版本ClickHouse 配置文件config.xml文件做规避，需尽可能保证
- [ClickHouse开启mysql_port配置](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24842.md): 本章节指导用户使用MySQL客户端连接ClickHouse。参数值可以自行设置。修改完成后，单击“保存”。
- [配置ClickHouse对接OBS源文件](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24843.md): select * from S3(path, [ak, sk,] format, structure, [compression])path：访问域名/OBS文件路径，登录OBS管理控制台，在左侧导航栏单击“并行文件系统”，在“并行文件系统”页面单击对应的文件系统名称，在“文件”页面单击文件名称，文件“链接”即path路径，如图1所示。文
- [如何为ClickHouse用户赋予数据库级别的Select权限](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24846.md): su - ommsource{客户端安装目录}/bigdata_envkinit组件用户（普通集群无需执行kinit命令）clickhouse client  --hostclickhouse实例节点IP--port 9000 -m --user clickhouse -password  'clickhouse用户密码'查看ClickH
- [数据表报错Too many parts解决方法](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24849.md): 磁盘或其他存储介质问题导致merge过慢或者中止。登录Manager页面，检查是否存在磁盘容量不足或其他磁盘告警，如果存在，请按照告警指导处理。如果是磁盘容量不足，也可以联系客户删除部分过期数据，释放空间，快速恢复业务。登录Manager页面，检查是否存在磁盘容量不足或其他磁盘告警，如果存在，请按照告警指导处理。如果是磁盘容量不足，也可以
- [加速Merge操作](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24853.md): 加速后台任务，需要优先调整Zookeeper服务配置，否则Zookeeper会因为znode等资源不足，导致ClickHouse服务异常，后台任务异常。调整Zookeeper配置：登录FusionInsight Manager界面，选择“集群 > Zookeeper > 配置 > 全部配置 > quorumpeer > 系统”，修改参数“
- [加速TTL操作](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_24855.md): ClickHouse触发TTL的时候，对CPU和内存会存在较大消耗和占用。登录FusionInsight Manager界面，选择“集群 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 自定义 > clickhouse-config-customize”，添加如下配置，保存配置，重启服务。当集群
- [ALTER TABLE修改表数据](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_248971.md): 建议慎用delete、update的mutation操作标准SQL的更新、删除操作是同步的，即客户端要等服务端返回执行结果（通常是int值）；而ClickHouse的update、delete是通过异步方式实现的，当执行update语句时，服务端立即返回执行成功还是失败结果，但是实际上此时数据还没有修改完成，而是在后台排队等着进行真正的修
- [访问Hue原生页面时间长，文件浏览器报错Read timed out](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_249290.md): 访问Hue原生页面时页面加载时间较长，访问Hue的HDFS文件浏览器报错Read timed out，如何解决。检查HDFS服务中是否安装Httpfs实例。否，请联系运维人员处理。是，重启HttpFS实例解决。
- [Impala服务是否支持磁盘热插拔](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_249291.md): MRS集群中Impala服务是否支持磁盘热插拔？Impala服务的数据一般是存储在HDFS或者OBS（对象存储服务）中，无需直接使用本地节点的磁盘。仅Impalad实例在业务查询执行过程中由于内存空间不足，才需要溢写到磁盘（由--scratch_dirs指定）。由于是非多副本存储的临时数据，不提供磁盘热插拔能力。
- [在Ranger管理界面查看不到创建的MRS用户](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2493050.md): 在MRS Manager界面创建了一个账户，登录到Ranger管理界面后查看不到该用户。登录到Ranger管理界面的用户权限不够，需要切换至rangeradmin用户或者其他具有Ranger管理员权限的用户。在Ranger WebUI界面，单击右上角用户名，选择“Log Out”，退出当前用户。使用rangeradmin用户（默认密码为R
- [MRS用户无法同步至Ranger管理界面](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2493051.md): 在MRS Manager界面创建了一个账户，在Ranger管理界面无法查看到该用户，重启UserSync后，可以查看到该用户。需要修改UserSync进程的GC内存默认为“-Xms1G -Xmx1G”，需要根据业务实际情况调整该参数值：登录到MRS Manager界面，选择“集群 > 服务 > Ranger > 配置 > 全部配置 > U
- [添加Impala的Ranger访问权限策略](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2493105.md): 本章节仅适用于MRS 3.1.5及之后版本。在创建完安装了Ranger组件的MRS集群后，Hive/Impala的权限控制集成在Ranger中，由于Impala复用Hive的权限策略，本章节主要介绍Hive组件如何集成在Ranger中。已安装Ranger服务且服务运行正常。已创建需要配置权限的用户、用户组或Role。如果未启用则需要先对H
- [如何对insert overwrite自读自写场景进行优化](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2493132.md): 对于需要使用动态分区插入（使用历史分区更新）数据到目的表中，且和数据源表是同一张表时，由于直接在原表上执行insert overwrite可能会导致数据丢失或数据不一致的风险，建议先使用一个临时表来处理数据，再执行insert overwrite操作。假设存在如下一张表：其中user_group是分区列，需要根据已有数据，按更新时间进行排
- [Hive SQL运行变慢阶段如何排查](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2493139.md): 对于一个Hive SQL任务，如果运行时间突然变长，可能有多种原因造成，如HiveServer编译变慢、访问HDFS变慢、访问Yarn变慢或访问元数据变慢。以下为Hive SQL在哪个阶段执行变慢的排查方法：HiveServer编译变慢查看HiveServer审计日志“/var/log/Bigdata/audit/hive/hiveser
- [HDFS故障排除](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_300268.md): 本章节汇总了使用HDFS时遇到的常见故障及故障处理方法。HDFS组件异常：HDFS容量达到100%导致上层服务HBase、Spark等不可用启动HDFS和Yarn服务报错“Permission denied”集群外节点访问MRS HDFS报错HDFS容量达到100%导致上层服务HBase、Spark等不可用启动HDFS和Yarn服务报错“
- [Kafka数据消费概述](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_300269.md): Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。生产者（Producer）将消
- [修改Kafka Topic配置](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_300273.md): 用户可以根据业务需要，使用集群客户端创建Kafka Topic。启用Kerberos认证的集群，需要拥有管理Kafka主题的权限。也可以通过KafkaUI修改Topic Configs。安全模式下，KafkaUI对修改Topic Configs场景，需保证KafkaUI登录用户属于kafkaadmin用户组或者单独给用户授予对应操作权限，
- [配置ClickHouse系统表的生命周期](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_300442.md): ClickHouse 默认未配置系统表的 TTL（Time To Live）机制，若长期使用且未手动设置过期策略，系统表中的历史数据将持续累积，可能导致磁盘空间被大量占用，甚至影响集群性能与存储可用性。本章节指导用户配置系统表的生命周期，仅保留近30天的数据，减少系统表的磁盘使用。本章节仅适用于MRS 3.2.0-LTS之前版本。详细操作
- [如何配置Kafka客户端Shell命令日志输出级别](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_300738.md): 如何设置客户端Shell命令的日志输出级别？例如执行后结果如下：
- [如何使用Python3.x对接开启Kerberos认证的Kafka集群](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_300739.md): 通过Python3.x环境如何对接开启Kerberos认证的Kafka集群？Python3.x的tgz包也可以去Python官网下载。推荐使用Python-3.6.X版本，3.7版本无法使用rdd的take函数。脚本样例：
- [如何针对Topic进行配置增加和删除](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_300740.md): 使用Kafka过程中常需要对特定Topic进行配置增加或者修改，应该如何操作。已安装客户端，例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。登录MRS集群Manager。登
- [如何读取“__consumer_offsets”内部Topic的内容](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_300741.md): Kafka如何将Consumer消费的offset保存在内部Topic的“ __consumer_offsets”中。登录集群Manager具体操作，请参考访问MRS集群Manager。选择“集群 > 服务 > ZooKeeper > 实例”，查看并记录任意一个ZooKeeper角色实例的业务IP地址。选择“配置 > 全部配置”，搜索“c
- [如何获取Topic的分布信息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_300742.md): 如何获取Topic在Broker实例的分布信息？下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。登录集群Manager具体操作，请参考访问MRS集群Manager。选择“集群 > 服务 > ZooKeeper > 实例”，查看并记录任意一个ZooKeeper角色实例的业务IP地址。选择“配置 > 全部配置”，搜索“client
- [如何获取Kafka Consumer Offset信息](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_300743.md): 新Producer API指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer.sh”时，默认使用此API。指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“ka
- [Kafka安全使用说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_300744.md): MRS 3.x及之后版本，Kafka不支持旧Producer API和旧Consumer API。新Producer API指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer.sh”时，默认使用此API。指org.apache.

## 最佳实践

- [使用Spark2x实现车联网车主驾驶行为分析](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0001.md): 本实践基于华为云MapReduce服务所编写，用于指导您了解MRS的基本功能，利用MRS服务的Spark2x组件，对车主的驾驶行为进行分析统计，得到用户驾驶行为的分析结果。原始数据为车主的驾驶行为信息，包括车主在日常的驾驶行为中，是否急加速、急减速、空挡滑行、超速、疲劳驾驶等信息，通过Spark2x组件的强大的分析能力，分析统计指定时间段
- [使用Hive加载HDFS数据并分析图书评分情况](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0021.md): MRS离线处理集群，可对海量数据进行分析和处理，形成结果数据，供下一步数据应用使用。离线处理对处理时间要求不高，但是所处理数据量较大，占用计算存储资源较多，通常通过Hive/SparkSQL引擎或者MapReduce/Spark2x实现。本实践基于华为云MapReduce服务，用于指导您创建MRS集群后，使用Hive对原始数据进行导入、分
- [使用Hive加载OBS数据并分析企业雇员信息](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0022.md): MRS Hadoop分析集群，提供Hive、Spark离线大规模分布式数据存储和计算，进行海量数据分析与查询。本实践基于华为云MapReduce服务，用于指导您创建MRS集群后，使用Hive对OBS中存储的原始数据进行导入、分析等操作，展示了如何构建弹性、低成本的存算分离大数据分析。本实践中，雇员信息的原始数据包含以下两张表：通过数据应用
- [数据迁移到MRS前信息收集](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0027.md): 由于离线大数据搬迁有一定的灵活性，迁移前需要掌握现有集群的详细信息，以能够更好地进行迁移决策。大数据平台及业务的架构图。大数据平台和业务的数据流图（包括峰值和均值流量等）。识别平台数据接入源、大数据平台数据流入方式（实时数据上报、批量数据抽取）、分析平台数据流向。数据在平台内各个组件间的流向，比如使用什么组件采集数据，采集完数据后数据如何
- [数据迁移到MRS前网络准备](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0028.md): 进行大数据迁移时，需要保证源端集群和目的端集群之间的网络互通，例如使用hadoop distcp命令跨集群复制数据时需要所有DataNode节点网络互通。根据不同的迁移场景需要使用不同的方式先打通两套集群之间网络连接。客户线下数据中心迁移数据到华为云MRS集群，通过云专线服务为用户搭建本地数据中心与云上VPC之间的专属连接通道。可以使用华
- [使用CDM服务迁移Hadoop数据至MRS集群](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0029.md): 云数据迁移（Cloud Data Migration，简称CDM），是一种高效、易用的批量数据迁移服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效地提高您数据迁移和集成的效率。本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据
- [使用CDM服务迁移HBase数据至MRS集群](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0030.md): 云数据迁移（Cloud Data Migration，简称CDM），是一种高效、易用的批量数据迁移服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效地提高您数据迁移和集成的效率。本章节适用于使用CDM服务将线下IDC机房或者公有云HBase
- [使用CDM服务迁移Hive数据至MRS集群](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0031.md): 云数据迁移（Cloud Data Migration，简称CDM），是一种高效、易用的批量数据迁移服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效地提高您数据迁移和集成的效率。Hive可使用CDM实现数据的全量迁移和增量迁移。对于全量迁移
- [使用BulkLoad工具向HBase中批量导入数据](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0033.md): 经常面临向HBase中导入大量数据的情景，向HBase中批量加载数据的方式有很多种，最直接方式是调用HBase的API使用put方法插入数据；另外一种是用MapReduce的方式从HDFS上加载数据。但是这两种方式效率都不是很高，因为HBase频繁进行flush、compact、split操作需要消耗较大的CPU和网络资源，并且Regio
- [准备工作](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0043.md): 本迁移将指导适用于多种不同场景下的HDFS、HBase、Hive数据向MRS集群的迁移工作。由于数据迁移过程中可能存在数据覆盖、丢失、损坏等风险，因此本指导只作为参考，具体的数据迁移方案的制定及实施需要华为云支持人员协同完成。数据迁移前源集群的准备工作，目的是防止在数据迁移过程中源集群产生新数据，导致源集群与迁移后的目标集群数据不一致。在
- [元数据导出](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0044.md): 为了保持迁移后数据的属性及权限等信息在目标集群上与源集群一致，需要将源集群的元数据信息导出，以便在完成数据迁移后进行必要的元数据恢复。需要导出的元数据包括HDFS文件属主/组及权限信息、Hive表描述信息。HDFS数据需要导出的元数据信息包括文件及文件夹的权限和属主/组信息，可通过如下HDFS客户端命令导出。其中，各参数的含义如下：$HA
- [数据复制](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0045.md): 根据源集群与目标集群分别所处的区域及网络连通性，可分为以下几种数据复制场景。当源集群与目标集群处于同一Region时，根据打通数据传输通道进行网络配置，打通网络传输通道。使用Distcp工具执行如下命令将源集群的HDFS、HBase、Hive数据文件以及Hive元数据备份文件复制至目的集群。其中，各参数的含义如下：$HADOOP_HOME
- [数据恢复](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0046.md): 根据导出的权限信息在目的集群的后台使用HDFS命令对文件的权限及属主/组信息进行恢复。在目的集群中安装并使用Sqoop命令将导出的Hive元数据导入MRS集群DBService。其中，各参数的含义如下：$Sqoop_Home：目的集群上Sqoop的安装目录。<ip>：目的集群上数据库的IP地址。<table_name>：待恢复的表名称。<
- [使用CDM服务迁移MySQL数据至MRS Hive](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0047.md): 云数据迁移（Cloud Data Migration，简称CDM），是一种高效、易用的批量数据迁移服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效地提高您数据迁移和集成的效率。Hive的分区使用HDFS的子目录功能实现，每一个子目录包含了
- [使用CDM服务迁移MRS HDFS数据至OBS](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0048.md): 云数据迁移（Cloud Data Migration，简称CDM），是一种高效、易用的批量数据迁移服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效地提高您数据迁移和集成的效率。MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用
- [通过Flink作业处理OBS数据](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0049.md): 在存算分离的大数据处理场景中，用户将海量数据存储在OBS对象存储服务中，利用MRS集群的弹性计算能力进行数据处理。这种方式可以有效降低存储成本，同时满足计算资源按需扩展的需求。那么，如何通过Flink作业高效处理OBS中的存储数据？MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做
- [通过Spark Streaming作业消费Kafka数据](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0050.md): 本文介绍如何使用MRS集群运行Spark Streaming作业以消费Kafka数据。假定某个业务Kafka每1秒就会收到1个单词记录。基于业务需要，开发的Spark应用程序实现实时累加计算每个单词的记录总数的功能。Spark Streaming样例工程的数据存储在Kafka组件中，向Kafka组件发送数据。MRS服务提供了Spark服务
- [通过Flume采集指定目录日志系统文件至HDFS](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0051.md): Flume是一个分布式、可靠和高可用的海量日志聚合的系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方，用于收集数据。同时，提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume分为客户端和服务端，两者都是FlumeAgent。服务端对应着F
- [基于Kafka的Word Count数据流统计案例](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0053.md): Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。Kafka有如下几个特点：高吞吐量消息持久化到磁盘分布式系统易扩展容错性好MRS服务提供了Kafka多种场景下的样例开发工程
- [配置对接LakeFormation概述](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0056.md): LakeFormation是企业级一站式湖仓构建服务，提供元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持无缝对接多种计算引擎及大数据云服务，使客户便捷高效地构建数据湖和运营相关业务，加速释放业务数据价值。您可以创建一个LakeFormation实例并与MRS集群对接，实现统一的数据湖元数据及权限管
- [配置LakeFormation数据连接前准备](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0057.md): MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog。确认左上角实例是新创建的LakeFormation实例名称后，进入“元数据 > 数据目录”页面。（如果当前实例已包含名称为“hive”的Catalog，则跳过Catalog的创建操作。）在Catalog页面单击“创建”
- [创建集群时配置LakeFormation数据连接](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0058.md): 该章节指导用户在创建MRS 3.3.0-LTS或之后版本集群时配置LakeFormation数据连接，并在创建完成后配置MRS集群相关参数完成与LakeFormation的对接，实现统一的数据湖元数据及权限管理。登录集群Manager具体操作，请参考访问MRS集群Manager。在Manager界面，选择“集群 > 服务 > Guardi
- [通过Ranger为MRS集群内用户绑定LakeFormation角色](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0061.md): LakeFormation与MRS集群对接后，可以在Ranger WebUI界面为MRS集群内的用户或用户组绑定LakeFormation角色，则绑定的用户或用户组拥有该角色的权限。已创建角色，并为该角色添加权限，具体操作请参考角色授权。已完成MRS与LakeFormation实例的对接。选择“集群 > 服务 > Ranger”，进入Ra
- [使用DBeaver访问Phoenix](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0062.md): DBeaver是一个SQL客户端和数据库管理工具。对于关系数据库，使用JDBC API通过JDBC驱动程序与数据库交互。对于其他数据库（NoSQL），使用专有数据库驱动程序。本章节以DBeaver 6.3.5版本为例，讲解如何使用DBeaver访问MRS 3.1.0未开启Kerberos认证的集群，且该集群的HBase服务未开启Range
- [使用DBeaver访问MRS HetuEngine](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0063.md): DBeaver是一个SQL客户端和数据库管理工具。对于关系数据库，使用JDBC API通过JDBC驱动程序与数据库交互。对于其他数据库（NoSQL），使用专有数据库驱动程序。本章节以DBeaver 7.2.0版本为例，讲解如何使用DBeaver访问MRS HetuEngine。出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多
- [使用Tableau访问MRS HetuEngine](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0064.md): Tableau是一款商业智能工具软件，将可信的数据转化为可行的见解。借助直观的人工智能分析平台，帮助人们查看和理解数据并根据数据采取行动，让每一次决策都更加明智。本章节以Tableau Desktop 2022.2版本为例，讲解如何使用Tableau访问安全模式集群的HetuEngine。出于管理和信息收集的需要，企业内部会存储海量数据，
- [Hive对接外置自建关系型数据库](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0065.md): 在已有Hive数据的集群上外置元数据库后，之前的元数据表不会自动同步。因此在安装Hive之初就要确认好元数据是外置数据库还是内置到DBService，如果是外置自建数据库，则需在安装Hive时或者暂无Hive数据时将元数据外置，安装后不允许修改，否则将会造成原有元数据丢失。Hive支持开源MySQL和Postgres元数据库，本章节以对接
- [使用永洪BI访问MRS HetuEngine](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0066.md): 永洪BI是一款一站式大数据BI平台，全面覆盖数据分析过程中的各个环节，轻松完成全流程数据分析任务，包括数据采集、清洗、整合、存储、计算、建模、训练、展现、协作等，极大降低了实施、集成、培训的成本。本章节以Yonghong Desktop 9.1版本为例，讲解如何使用永洪BI访问安全模式集群的HetuEngine。出于管理和信息收集的需要，
- [MRS Hive对接CSS服务配置说明](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0067.md): 利用Elasticsearch-Hadoop插件，完成Hive和CSS服务的Elasticsearch直接的数据交互，通过Hive外部表的方式，可以快速将Elasticsearch索引数据映射到Hive表中。Elasticsearch-Hadoop (ES-Hadoop) 连接器将Hadoop海量的数据存储和深度加工能力与Elastics
- [MRS Hive对接外部LDAP配置说明](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0068.md): 本章节介绍Hive如何对接外部LDAP并访问HiveServer。为了管理集群中数据与资源的访问控制权限，在安全模式下，客户端应用程序在访问集群中的任意资源之前均需要通过身份认证，建立安全会话链接。MRS通过KrbServer为所有组件提供Kerberos认证功能，实现了可靠的认证机制。LdapServer支持轻量目录访问协议（Light
- [使用FineBI访问MRS HetuEngine](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0127.md): FineBI是一款商业智能产品，针对企业信息化遇到的困难，为企业提供专业的商业智能解决方案。本章节以FineBI 5.1.9版本为例，讲解如何使用FineBI访问安全模式MRS集群的HetuEngine。出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临数据源种类繁多、数据集结构化混合、相关
- [使用MRS Spark SQL访问DWS表](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0128.md): 华为云提供MapReduce服务（MRS），可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件，专为分析海量企业数据而量身定制。Spark提供了类似SQL的Spark SQL语言，用于对结构化数据进行操作。使用Spark SQL，可以访问不同的数据库，用户可以从这些数据库中提取数据，处
- [使用Kafka Eagle对接MRS Kafka](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0129.md): Kafka Eagle是一款分布式、高可用的Kafka监控软件，提供丰富的Kafka监控指标，例如：Kafka集群的Broker数、Topic数、Consumer数、Topic LogSize Top10、Topic Capacity Top10、Lag挤压、CPU/Memory监控等。Eagle新版本中改名为EFAK。Kafka是一个分
- [MRS集群阈值类告警配置说明](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0130.md): MRS集群提供可视化、便捷的监控告警功能。用户可以快速获取集群关键性能指标，并评测集群健康状态。MRS支持配置监控指标阈值用于关注各指标的健康情况，如果出现异常的数据并满足预设条件后，系统将会触发告警信息，并在告警页面中出现此告警信息。如果部分阈值类监控告警经评估后对业务影响可忽略、或告警阈值可进行调整，用户也可以根据需要自定义集群监控指
- [提交Spark任务到新增Task节点](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0131.md): MRS集群可以通过增加Task节点，提升计算能力，集群Task节点主要用于处理数据，不存放持久数据。本章节指导用户通过租户资源绑定新增的Task节点，并提交Spark任务到新增的Task节点。租户是MRS大数据平台的核心概念，使传统的以用户为核心的大数据平台向以多租户为核心的大数据平台转变，更好的适应现代企业多租户应用环境，如图1所示。对
- [配置MRS集群弹性伸缩](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0132.md): 本入门指导以如下业务场景为例，介绍弹性伸缩规则与资源计划叠加使用的操作：某项实时处理业务数据量在周一、周二和周六7:00~13:00出现规律性变化，但是数据量变化并非非常平稳。假设在周一、周二和周六7:00~13:00期间，需要Task节点的数量范围是5~8个，其他时间需要Task节点数量是2~4个。因此可以在资源计划的基础上，设置基于负
- [使用Jupyter Notebook对接MRS Spark](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0134.md): 在MRS服务中可以配合Jupyter Notebook使用PySpark，能够提高机器学习、数据探索和ETL应用开发效率。本实践指导用户如何在MRS集群中配置Jupyter Notebook来使用Pyspark。Spark的应用运行架构如图1所示，运行流程如下所示：应用程序（Application）是作为一个进程的集合运行在集群上的，由D
- [使用MRS Hive表对接OBS文件系统](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0135.md): MRS支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离场景。用户通过IAM服务的“委托”机制进行简单配置，即可实现OBS的访问。Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language
- [MRS最佳实践汇总](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0136.md): 本文汇总了MapReduce（MRS）服务的常见应用场景，并为每个场景提供详细的方案描述和操作指南，您可以根据本文查看适合您业务的实践教程文档。以下所有第三方教程均来自于华为云社区，由于云服务产品持续更新与迭代，相关社区教程中的内容可能存在时效性，不一定与产品最新版本能力完全保持一致，相关内容仅供学习和参考。
- [物联网时序数据分析场景介绍](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0138.md): 在物联网场景中，海量设备采集的数据需要进行低延迟的高效接入、存储和分析，数据具有高度的时间属性相关特点，传统数据库基于二维表的数据模型，无法满足物联网场景下高效的时序数据存储和分析需求。时序数据库则是专门针对物联网时序数据场景设计的存算引擎，数据按设备管理架构和时间属性进行组织存储和访问，具备低延迟、高并发、高性价比的特点，并提供丰富的时
- [手动将CSV离线数据导入至IoTDB](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0139.md): IoTDB（物联网数据库）是一体化收集、存储、管理与分析物联网时序数据的软件系统，采用轻量式架构，具有高性能和丰富的功能。IoTDB支持以下方式批量导入或导出数据：批量导入数据：通过import-csv.sh离线方式进行数据的导入。批量导出数据：通过export-csv.sh离线方式进行数据的导出。IoTDB套件由若干个组件构成，共同形成
- [使用HetuEngine查询IoTDB时序数据](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0140.md): IoTDB（物联网数据库）是一体化收集、存储、管理与分析物联网时序数据的软件系统。 Apache IoTDB采用轻量式架构，具有高性能和丰富的功能。IoTDB数据查询及分析包括以下两种场景：IoTDB时序数据查询IoTDB以时间序列为基础，提供丰富的时间序列查询语义，包含精确点查询，时间范围查询，分组查询，最新点查询等。IoTDB时序数据
- [使用Grafana对接IoTDB数据库](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0141.md): IoTDB（物联网数据库）是一体化收集、存储、管理与分析物联网时序数据的软件系统。IoTDB支持对接Grafana，对接成功后，即可通过Grafana丰富的图形报表展示能力，对IoTDB中的时序数据进行图形化展示，以分析时序数据的变化趋势等信息。IoTDB套件由若干个组件构成，共同形成数据收集、数据写入、数据存储、数据查询、数据可视化、数
- [实时OLAP场景介绍](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0143.md): 传统数据集市场景实时数据和离线数据分离，集市层指标通过预聚合进行定制化开发，时效性低，复杂性高，灵活性差。基于Doris的实时OLAP场景离线和实时数据归一，无需离线预加工，基于海量明细数据直接进行多维秒级聚合/关联查询分析，具备实时、高效、灵活的特点。Doris全面综合的性能表现也能在轻量化大数据场景中独立承担数据从加工到查询的全链路数
- [通过CDM将Hive外表数据迁移到MRS Doris](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0144.md): 云数据迁移（Cloud Data Migration，简称CDM），是一种高效、易用的批量数据迁移服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效地提高您数据迁移和集成的效率。离线数据，端到端时延无要求的场景下，可使用CDM进行将离线的H
- [通过Doris Catalog读取Hive外表数据并写入Doris](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0145.md): 通过Doris创建Catalog成功读取Hive外表数据并写入Doris，并按照Unique指定字段自动去重。离线数据可以从数据湖加载，也可以直接加载本地文件。从数据湖加载可以使用工具CDM，在没有CDM工具时，可以直接使用外表加载、BrokerLoad的方式。本地文件加载则使用Doris自带的StreamLoad工具。场景特点：业务特点
- [通过Doris Catalog读取RDS-MySQL数据并写入Doris](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0146.md): 通过Doris创建Catalog成功读取RDS-MySQL数据并写入Doris，并按照Unique指定字段自动去重。离线数据可以从数据湖加载，也可以直接加载本地文件。从数据湖加载可以使用工具CDM，在没有CDM工具时，可以直接使用外表加载、BrokerLoad的方式。本地文件加载则使用Doris自带的StreamLoad工具。场景特点：业
- [通过Spark读取Hive外表数据并写入Doris](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0147.md): 通过Spark视图读取Hive外表数据写入到Doris，并按照Unique指定字段自动去重。离线数据可以从数据湖加载，也可以直接加载本地文件。从数据湖加载可以使用工具CDM，在没有CDM工具时，可以直接使用外表加载、BrokerLoad的方式。本地文件加载则使用Doris自带的StreamLoad工具。场景特点：业务特点为离线数据，端到端
- [通过StreamLoad将本地CSV文件导入Doris](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0148.md): 本地CSV文件数据通过StreamLoad导入到Doris，需要写入Doris的数据不重复，通过引入 Unique 数据模型保证 Key 的唯一性。离线数据可以从数据湖加载，也可以直接加载本地文件。从数据湖加载可以使用工具CDM，在没有CDM工具时，可以直接使用外表加载、BrokerLoad的方式。本地文件加载则使用Doris自带的Str
- [通过Broker Load将ORC格式的Hive数据导入Doris](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0149.md): 通过Broker Load将ORC格式的Hive表数据导入到Doris。离线数据可以从数据湖加载，也可以直接加载本地文件。从数据湖加载可以使用工具CDM，在没有CDM工具时，可以直接使用外表加载、BrokerLoad的方式。本地文件加载则使用Doris自带的StreamLoad工具。场景特点：业务特点为离线数据，端到端时延无要求，仅对数据
- [通过FlinkSQL将订单表Kafka数据实时同步到Doris](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0150.md): 创建MRS FlinkServer作业，将订单表Kafka数据通过FlinkSQL实时同步到Doris。对实时性要求较高的场景，可直接将实时流式数据通过FlinkSQL传入Doris中，在Doris中进行实时查询。如果数据在加载到Doris之前需要处理，可直接在FlinkSQL中进行数据加工，将加工后的数据实时写入Doris中。场景特点：
- [基于Unique表的单表检索查询和聚合查询](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0151.md): 本场景通过基于Unique模型表查询符合条件的数据，基于Unique模型表聚合查询，支持MIN，MAX，SUM，REPLACE四种聚合算法。Doris支持海量数据的亚秒级查询，支持单表数据的聚合查询和多表关联查询。Doris不同的表引擎，适合不同的业务场景，可以根据业务特点选择不同的表格式。表模型选择：Aggregate模型可以通过预聚合
- [配置元数据外置的MRS存算分离集群](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0152.md): 本指导为您演示如何新创建将Hive和Ranger元数据外置到RDS服务MySQL数据库中的MRS存算分离集群。本章节操作仅适用MRS 3.3.0-LTS及之后版本。本实践操作流程如下所示：步骤1：创建MRS集群：创建一个包含有Guardian、Hive、Ranger、Spark组件的MRS集群。步骤2：创建并配置RDS实例：创建并配置RD
- [MRS云服务安全最佳实践](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0153.md): 安全性是华为云与您的共同责任，华为云负责云服务自身的安全，提供安全的云；作为租户，您需要合理使用云服务提供的安全能力对数据进行保护，安全地使用云。MapReduce服务（MRS）提供租户完全可控的大数据集群，兼容开源接口，结合华为云计算、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台。同时，租户的集群部署在独
- [使用CDM迁移Hudi数据至MRS集群](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0155.md): 云数据迁移（Cloud Data Migration，简称CDM），是一种高效、易用的批量数据迁移服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效地提高您数据迁移和集成的效率。本章节适用于将线下IDC机房或者公有云Hudi集群中的数据迁移
- [通过distcp迁移自建集群HDFS数据至MRS集群](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0157.md): distcp（Distributed Copy）是Hadoop提供的一个分布式复制工具，用于在HDFS集群之间、HDFS与本地文件系统之间或同一集群内高效复制大量数据。它充分利用Hadoop的分布式计算能力，通过MapReduce框架并行处理复制任务，大幅提升大数据量的复制效率。通过distcp命令，可以将自建Hadoop集群中存储在HD
- [基于Replication能力迁移HBase数据到MRS集群](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0158.md): HBase的Replication功能是一种数据同步机制，用于实现不同HBase集群之间的数据异步复制，主要用于提高数据可用性、实现灾难恢复以及满足跨地域数据分发等需求。HBase Replication基于WAL（Write-Ahead Log，预写日志）机制实现，核心流程如下：数据写入与WAL记录客户端写入数据时，HBase先将操作记
- [使用distcp迁移Hive数据至MRS集群](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0159.md): distcp（Distributed Copy）是Hadoop提供的一个分布式复制工具，用于在HDFS集群之间、HDFS与本地文件系统之间或同一集群内高效复制大量数据。它充分利用Hadoop的分布式计算能力，通过MapReduce框架并行处理复制任务，大幅提升大数据量的复制效率。通过distcp命令，可以将自建Hive集群中存储在HDFS
- [使用CDM服务迁移Doris数据至MRS集群](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0160.md): 本章节适用于使用CDM服务将线下IDC机房或者公有云Doris集群中的数据迁移到华为云MRS服务。CDM是同构/异构数据源之间批量进行数据迁移的服务，能帮助用户实现数据的自由流动。本章节以公有云Doris数据迁移到MRS集群为例。Doris数据迁移主要包括元数据迁移和数据迁移两部分，迁移方案如图1所示。全量元数据使用SQL从源端查询，在目
- [通过CCR脚本迁移Doris数据到MRS集群](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0161.md): Doris历史元数据、增量元数据、历史数据和增量数据都是通过Syncer服务，从源集群获取Binlog ，目标集群再实时同步Binlog数据，实现全量和增量数据的迁移。使用CCR迁移数据时，Doris版本限制Doris 2.0的最低版本为2.0.15，Doris 2.1的最低版本为2.1.6。Doris 2.0的最低版本为2.0.15，D
- [使用MRS Spark SQL访问RDS表](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0162.md): 在企业级数据处理场景中，使用Spark SQL访问RDS表是实现结构化数据高效分析的重要方式，广泛应用于以下业务场景：跨数据源联合分析当企业业务数据分散在RDS关系型数据库与HDFS、HBase等大数据存储中时，通过Spark SQL的JDBC连接能力，可将RDS中的结构化业务数据（如交易记录、用户信息）与大数据平台的海量日志数据进行联合
- [使用DLI Flink作业实时同步MRS Kafka数据至CloudTable HBase集群](https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0164.md): 此章节为您介绍数据实时同步的最佳实践，通过数据湖探索服务DLI Flink作业将MRS kafka数据实时同步给HBase，实现Kafka实时入库到HBase的过程。了解DLI请参见数据湖探索产品介绍。了解Kafka请参见MRS产品介绍。MRS集群未开启Kerberos认证。为了确保网络连通，MRS集群必须与CloudTable集群的安全

## 开发指南（普通版_2.x）

- [MRS组件应用开发简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0001.md): MRS是企业级大数据存储、查询、分析的统一平台，能够帮助企业快速构建海量数据信息处理系统，通过对海量信息数据的分析挖掘，发现全新价值点和企业商机。MRS提供了各组件的常见业务场景样例程序，开发者用户可基于样例工程进行相关数据应用的开发与编译，样例工程依赖的jar包直接通过华为云开源镜像站下载，其他社区开源jar包可从各Maven公共仓库下
- [获取MRS应用开发样例工程](https://support.huaweicloud.com/devg-mrs/mrs_06_0002.md): MRS样例工程构建流程包括三个主要步骤：下载样例工程的Maven工程源码和配置文件，请参见获取MRS样例工程。配置华为镜像站中SDK的Maven镜像仓库，请参见配置华为开源镜像仓。根据用户自身需求，构建完整的Maven工程并进行编译开发。MRS样例工程下载地址为https://github.com/huaweicloud/huaweicl
- [HBase应用开发简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0005.md): HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。HBase使用场景有如下几个特点：处理海量数据（TB或PB级别以上）。具有高吞吐量。在海量数据中实现高效的随机读取。具有很好的伸缩能力。能够同时处理结构化和非结构化的数据。不需要完全拥有传统关系型数据库所具备
- [HBase应用开发常用概念](https://support.huaweicloud.com/devg-mrs/mrs_06_0006.md): 过滤器过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。协处理器允许用户执行region级的操作，并且
- [HBase应用开发流程介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0007.md): 本文档主要基于Java API对HBase进行应用开发。开发流程中各阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0009.md): 在进行二次开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。选择Windows开发环境下，安装Eclipse，安装JDK。请安装JDK1.8及以上版本。Eclipse使用支持JDK1.8及以上的版本，并安装JUnit插件。若使用IBM JDK，请确保Eclipse中的JDK配置为IBM J
- [准备HBase应用开发用户](https://support.huaweicloud.com/devg-mrs/mrs_06_0010.md): 开发用户用于运行样例工程。用户需要有HBase权限，才能运行HBase样例工程。MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。填写角色的名称，例如hbaserole。编辑角色，在权限的表格中选择HBase> HBase Scope，勾选Admin、Create、Read、Write和Execute
- [导入并配置HBase样例工程](https://support.huaweicloud.com/devg-mrs/mrs_06_0011.md): 确保本地PC的时间与MRS集群的时间差要小于5分钟。MRS集群的时间可通过MRS Manager页面右上角查看。1.在Eclipse的菜单栏中，选择“Window > Preferences”。弹出“Preferences”窗口。2.在左边导航上选择“General > Workspace”，在“Text file encoding”区域
- [HBase样例程序开发思路](https://support.huaweicloud.com/devg-mrs/mrs_06_0013.md): 通过典型场景，您可以快速学习和掌握HBase的开发过程，并且对关键的接口函数有所了解。假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，如表1所示，A业务操作流程如下：创建用户信息表。在用户信息中新增用户的学历、职称等信息。根据用户编号查询用户姓名和地址。根据用户姓名进行查询。查询年龄段在[20–29]之间的用户信息。数据统
- [创建Configuration](https://support.huaweicloud.com/devg-mrs/mrs_06_0016.md): HBase通过加载配置文件来获取配置项，包括用户登录信息配置项。下面代码片段在com.huawei.bigdata.hbase.examples包中。调用类TestMain下的init()方法会初始化Configuration对象：
- [创建Connection](https://support.huaweicloud.com/devg-mrs/mrs_06_0017.md): HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类
- [创建HBase表](https://support.huaweicloud.com/devg-mrs/mrs_06_0018.md): HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表，并指定表名、列族名。创建表有两种方式，建议采用预分Region建表方式：快速建表，即创建表后整张表只有一个Region，随着数据量的增加会自动分裂成多个Region。预分Region建表，即创建表时预先分配多个R
- [删除HBase表](https://support.huaweicloud.com/devg-mrs/mrs_06_0019.md): HBase通过org.apache.hadoop.hbase.client.Admin的deleteTable方法来删除表。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的dropTable方法中。样例代码获取方式请参考获取MRS应用开发样例工程。注[1]只有表被disa
- [修改HBase表](https://support.huaweicloud.com/devg-mrs/mrs_06_0020.md): HBase通过org.apache.hadoop.hbase.client.Admin的modifyTable方法修改表信息。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testModifyTable方法中。注[1]modifyTable只有表被disable时，才能
- [插入HBase数据](https://support.huaweicloud.com/devg-mrs/mrs_06_0021.md): HBase是一个面向列的数据库，一行数据，可能对应多个列族，而一个列族又可以对应多个列。通常，写入数据的时候，需要指定要写入的列（含列族名称和列名称）。HBase通过HTable的put方法来Put数据，可以是一行数据也可以是数据集。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExamp
- [删除HBase数据](https://support.huaweicloud.com/devg-mrs/mrs_06_0022.md): HBase通过Table实例的delete方法来Delete数据，可以是一行数据也可以是数据集。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testDelete方法中。样例代码获取方式请参考获取MRS应用开发样例工程。代码样例：
- [使用Get读取HBase数据](https://support.huaweicloud.com/devg-mrs/mrs_06_0023.md): 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的test
- [使用Scan读取HBase数据](https://support.huaweicloud.com/devg-mrs/mrs_06_0024.md): 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象中，每行数据以Result对象形式存储，Result中存储了多个Cell。以下代码片段在com.hua
- [使用HBase过滤器Filter](https://support.huaweicloud.com/devg-mrs/mrs_06_0025.md): HBase Filter主要在Scan和Get过程中进行数据过滤，通过设置一些过滤条件来实现，如设置RowKey、列名或者列值的过滤条件。以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testFilterList方法中。样例代码获取方式请参考获取MRS应用开发样例工程。
- [HBase Region的多点分割](https://support.huaweicloud.com/devg-mrs/mrs_06_0028.md): 一般通过org.apache.hadoop.hbase.client.HBaseAdmin进行多点分割。分割操作只对空Region起作用。可在创建表时对表进行预分区，或者对某些region直接进行split操作来替代。本例使用multiSplit进行多点分割将HBase表按照“A~D”、“D~F”、“F~H”、“H~Z”分为四个Regio
- [HBase ACL安全配置](https://support.huaweicloud.com/devg-mrs/mrs_06_0029.md): 访问权限控制，在关系型数据库中是一个已经很成熟的技术，HBase实现了一个较为简单的特性。这些特性归纳为读（R）、写（W）、创建（C）、执行（X）和管理（A）等。在普通模式下，该功能只有在开启HBase权限管理时才支持。ACL的方法定义在工具类org.apache.hadoop.hbase.security.access.AccessCo
- [安装客户端时编译并运行HBase应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0031.md): HBase应用程序支持在安装HBase客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。已安装HBase客户端。Linux环境已安装JDK，版本号需要和Eclipse导出Jar包使用的JDK版本一致。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地
- [未安装客户端时编译并运行HBase应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0032.md): HBase应用程序支持在未安装HBase客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。Linux环境已安装JDK，版本号需要和Eclipse导出Jar包使用的JDK版本一致。当Linux环境所在主机不是集群中的节点时，需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址
- [查看HBase应用调测结果](https://support.huaweicloud.com/devg-mrs/mrs_06_0033.md): HBase应用程序运行完成后，可直接通过运行结果查看应用程序运行情况。也可以通过HBase日志获取应用运行情况。运行结果会有如下成功信息：
- [HBase SQL查询样例代码说明](https://support.huaweicloud.com/devg-mrs/mrs_06_0035.md): Phoenix是构建在HBase之上的一个SQL中间层，提供一个客户端可嵌入的JDBC驱动，Phoenix查询引擎将SQL输入转换为一个或多个HBase scan，编译并执行扫描任务以产生一个标准的JDBC结果集。客户端hbase-example/conf/hbase-site.xml中配置存放查询中间结果的临时目录，如果客户端程序在Li
- [HBase Shell接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0039.md): 您可以使用Shell在服务端直接对HBase进行操作。HBase的Shell接口同开源社区版本保持一致，请参见https://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/。Shell命令执行方法：source /opt/client/bigdata_env人机用户：ki
- [HBase Java API接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0040.md): HBase采用的接口与Apache HBase保持一致，请参见https://hbase.apache.org/apidocs/index.html。HBase 0.98.3建议使用org.apache.hadoop.hbase.Cell作为Key-value数据对象，而不是HBase 0.94的org.apache.hadoop.hba
- [HBase Phoenix API接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0041.md): 若使用Phoenix，需下载与当前使用MRS集群相对应的Phoenix版本，具体请参见https://phoenix.apache.org。其对应关系如表1所示：MRS 3.x之前的版本需要去官网下载第三方的phoenix包，然后进行如下配置，MRS 3.x版本已支持Phoenix，可直接在已安装HBase客户端的节点使用Phoenix，
- [HBase REST API接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0042.md): MRS1.6之后，支持采用REST的方式来对HBASE进行相应的业务操作，REST API支持curl命令和Java client来操作HBase，有关curl命令的详细使用方法与Apache HBase保持一致，具体请参见https://hbase.apache.org/book.html#_rest。由于当前默认使用 SSL prot
- [运行HBase应用开发程序产生异常如何处理](https://support.huaweicloud.com/devg-mrs/mrs_06_0044.md): 提示信息包含org.apache.hadoop.hbase.ipc.controller.ServerRpcControllerFactory的解决办法
- [HBase BulkLoad和Put应用场景说明](https://support.huaweicloud.com/devg-mrs/mrs_06_0045.md): HBase支持使用bulkload和put方式加载数据，在大部分场景下bulkload提供了更快的数据加载速度，但bulkload并不是没有缺点的，在使用时需要关注bulkload和put适合在哪些场景使用。bulkload是通过启动MapReduce任务直接生成HFile文件，再将HFile文件注册到HBase，因此错误地使用bulkl
- [Hive应用开发简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0053.md): Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。Hive主要特点如下：通过HiveQL语言非常容易地完成数据提取、转换和加载（ETL）。通过Hi
- [Hive应用开发常用概念](https://support.huaweicloud.com/devg-mrs/mrs_06_0054.md): 客户端客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。本文中的Hive客户端特指Hive client的安装目录，里面包含通过Java API访问Hive的样例代码。客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。本文中的Hive客户端特指
- [Hive应用开发流程介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0055.md): 开发流程中各阶段的说明如图1和表1所示。
- [Hive应用开发环境简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0057.md): 在进行应用开发时，要准备的本地开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0058.md): 选择Windows开发环境下，安装Eclipse，安装JDK。JDK使用1.8版本，Eclipse使用4.3.2及以上版本。若使用IBM JDK，请确保Eclipse中的JDK配置为IBM JDK。若使用Oracle JDK，请确保Eclipse中的JDK配置为Oracle JDK。不同的Eclipse不要使用相同的workspace和相
- [准备Hive应用开发用户](https://support.huaweicloud.com/devg-mrs/mrs_06_0059.md): 开发用户用于运行样例工程。用户需要有Hive权限，才能运行Hive样例工程。MRS服务集群开启了Kerberos认证需要执行该步骤，没有开启Kerberos认证的集群忽略该步骤。填写角色的名称，例如hiverole。在权限的表格中选择Hive> Hive Read Write Privileges，勾选Select、Delete、Inse
- [准备Hive JDBC开发环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0060.md): 为了运行Hive组件的JDBC接口样例代码，需要完成下面的操作。以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。选择“File > Import > General > Existing Projects into Workspace > Next >Browse”。显示“浏览文件夹”对话框。显示“浏览文件夹”对话
- [准备Hive HCatalog开发环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0061.md): 为了运行Hive组件的HCatalog接口样例代码，需要完成下面的操作。以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。选择“File > Import > General > Existing Projects into Workspace > Next >Browse”。显示“浏览文件夹”对话框。显示“
- [Hive样例程序开发思路](https://support.huaweicloud.com/devg-mrs/mrs_06_0063.md): 假定用户开发一个Hive数据分析应用，用于管理企业雇员信息，如表1、表2所示。创建三张表，雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended”。雇员信息表“employees_info”的字段为雇员编号、姓名、支付薪水币种、薪水金
- [创建Hive表](https://support.huaweicloud.com/devg-mrs/mrs_06_0065.md): 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式。自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。内部表，如果对数据的处理都由Hive完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。外部表，如果数据要被多种工具共同处理，则应该使用外部表，可避免对该数据的误操作。删除外部表时，只
- [加载Hive数据](https://support.huaweicloud.com/devg-mrs/mrs_06_0066.md): 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。加载数据的实质是将数据拷贝到HDFS上指定表的目录下。LOAD DATA LOCAL INPATH命令可以完成从本地文件系统加载文件到Hive的需求，但是当指定LOCAL时，这里的路径指的是当前连接的HiveServer的本地
- [查询Hive数据](https://support.huaweicloud.com/devg-mrs/mrs_06_0067.md): 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。SELECT查询的常用特性，如JOIN等。加载数据进指定分区。如何使用Hive自带函数。如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见开发Hive用户自定义函数。配置Hive中间过程的数据加密指定表的格式为RCFile(推荐使用)或Sequenc
- [开发Hive用户自定义函数](https://support.huaweicloud.com/devg-mrs/mrs_06_0068.md): 当Hive的内置函数不能满足需要时，可以通过编写用户自定义函数UDF（User-Defined Functions）插入自己的处理代码并在查询中使用它们。按实现方式，UDF分为有如下分类：普通的UDF，用于操作单个数据行，且产生一个数据行作为输出。用户定义聚集函数UDAF（User-Defined Aggregating Function
- [分析Hive数据](https://support.huaweicloud.com/devg-mrs/mrs_06_0069.md): 本小节介绍了如何使用样例程序完成分析任务。样例程序主要有以下方式。使用JDBC接口提交数据分析任务。使用HCatalog接口提交数据分析任务。使用Hive JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。定义HiveQL。HiveQL必须为单条语句，注意HiveQL不能包含;。// 定义HQL，不能包含“;
- [在Linux中调测Hive JDBC应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0071.md): 将1导出的hive-examples-1.0.jar拷贝到/opt/hive_examples下。将客户端下的配置文件拷贝到“conf”下，开启Kerberos认证的安全集群下把从5获取的user.keytab和krb5.conf拷贝到的/opt/hive_examples/conf下，未开启Kerberos认证集群可不必拷贝user.k
- [在Linux中调测Hive HCatalog应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0072.md): 导入上述环境变量前需确认当前引入的jar包是否存在，具体的版本号可从客户端Hive的lib目录下获取。如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。当前用户为准备Hive应用开发用户时增加的开发用户。人机用户：kinit MRS集群用户例如: kinit hiv
- [Hive JDBC接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0074.md): Hive JDBC接口遵循标准的JAVA JDBC驱动标准，详情请参见JDK1.7 API。Hive作为数据仓库类型数据库，其并不能支持所有的JDBC标准API。例如事务类型的操作：rollback、setAutoCommit等，执行该类操作会产生Method not supported的SQLException异常。
- [HiveQL接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0075.md): HiveQL支持当前使用的MRS Hive与对应开源Hive版本中的所有特性，详情请参见https://cwiki.apache.org/confluence/display/hive/languagemanual。MRS Hive版本与开源Hive版本的对应关系如表1所示。
- [Hive WebHCat接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0076.md): 以下示例的IP为WebHCat所在节点的业务IP，端口为安装时设置的WebHCat HTTP端口。除:version、status、version、version/hive、version/hadoop以外，其他API都需要添加user.name参数。描述查询WebHCat支持的返回类型列表。查询WebHCat支持的返回类型列表。URLh
- [MapReduce应用开发简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0083.md): Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个MapReduce作业（application/job）通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对m
- [MapReduce应用开发常用概念](https://support.huaweicloud.com/devg-mrs/mrs_06_0084.md): Hadoop shell命令Hadoop基本shell命令，包括提交MapReduce作业，kill MapReduce作业，进行HDFS文件系统各项操作等。Hadoop基本shell命令，包括提交MapReduce作业，kill MapReduce作业，进行HDFS文件系统各项操作等。MapReduce输入输出(InputFormat，
- [MapReduce应用开发流程介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0085.md): 开发流程中各阶段的说明如图1和表1所示。
- [MapReduce应用开发环境简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0087.md): 在进行应用开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。
- [准备MapReduce应用开发用户](https://support.huaweicloud.com/devg-mrs/mrs_06_0088.md): 开发用户用于运行样例工程。用户需要有组件权限，才能运行样例工程。MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。填写角色的名称，例如mrrole。编辑角色，在权限的表格中选择Yarn > Scheduler Queue > root，勾选Submit、Admin。在“权限”表格中选择“HBase >
- [准备Eclipse与JDK](https://support.huaweicloud.com/devg-mrs/mrs_06_0089.md): 选择Windows开发环境下，安装Eclipse，安装JDK。若使用IBM JDK，请确保Eclipse中的JDK配置为IBM JDK。若使用Oracle JDK，请确保Eclipse中的JDK配置为Oracle JDK。不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。
- [准备MapReduce应用运行环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0090.md): MapReduce的运行环境可以部署在Linux环境下。您可以按照如下操作完成运行环境准备。MRS集群的时间可通过登录主管理节点（集群管理IP地址所在节点）运行date命令查询。登录MRS Manager系统。在浏览器地址栏中输入访问地址，地址格式为“https://MRS Manager系统的WebService浮动IP地址:8080/
- [导入并配置MapReduce样例工程](https://support.huaweicloud.com/devg-mrs/mrs_06_0091.md): MapReduce针对多个场景提供样例工程，帮助客户快速学习MapReduce工程。以下操作步骤以导入MapReduce样例代码为例。打开Eclipse，选择File > Import。显示Import窗口，选择Existing Maven Projects，单击next按钮。在Import Maven Projects窗口单击Brows
- [配置MapReduce应用安全认证](https://support.huaweicloud.com/devg-mrs/mrs_06_0092.md): 在kerberos认证集群环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写入安全认证代码，确保MapReduce程序能够正常运行。安全认证有两种方式。命令行认证提交M
- [MapReduce统计样例程序开发思路](https://support.huaweicloud.com/devg-mrs/mrs_06_0095.md): 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发MapReduce应用程序实现如下功能。统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“,”。log1.txt：周六网民停留日志log2.txt：周日网民停留日志首
- [MapReduce访问多组件样例程序开发思路](https://support.huaweicloud.com/devg-mrs/mrs_06_0098.md): 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。该样例逻辑过程如下。以HDFS文本文件为输入数据log1.txt：数据输入文件Map阶段获取输入数据的一行并提取姓名信息。查询HBase一条数据。查询Hive一条数据。将HBase
- [编译并运行MapReduce应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0101.md): 在程序代码完成开发后，可以在Linux环境中运行应用。MapReduce应用程序只支持在Linux环境下运行，不支持在Windows环境下运行。执行mvn package生成jar包，在工程目录target目录下获取，比如“mapreduce-examples-1.0.jar”。在$YARN_CONF_DIR/core-site.xml中
- [查看MapReduce应用调测结果](https://support.huaweicloud.com/devg-mrs/mrs_06_0102.md): MapReduce应用程序运行完成后，可以通过WebUI查看应用程序运行情况，也可以通过MapReduce日志获取应用运行情况。通过MapReduce服务的WebUI进行查看登录MRS Manager，单击“服务管理 > MapReduce > JobHistoryServer”进入Web界面后查看任务执行状态。JobHistory We
- [MapReduce Java API接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0103.md): MapReduce中常见的类如下。org.apache.hadoop.mapreduce.Job：用户提交MR作业的接口，用于设置作业参数、提交作业、控制作业执行以及查询作业状态。org.apache.hadoop.mapred.JobConf：MapReduce作业的配置类，是用户向Hadoop提交作业的主要配置接口。
- [提交MapReduce任务时客户端长时间无响应](https://support.huaweicloud.com/devg-mrs/mrs_06_0105.md): 向YARN服务器提交MapReduce任务后，客户端长时间无响应。对于上述出现的问题，ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息，对于一个已经提交到YARN上的MapReduce任务，用户可以通过该诊断信息获取当前作业的状态以及处于该状态的原因。具体操作：在公有云管理控制台，选择基本信息Y
- [HDFS应用开发简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0112.md): HDFS（Hadoop Distributed File System）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，适合大规模数据集应用。HDFS适用于如下场景。处理海量数据（TB或PB级别以上）需要很高的吞吐量需要高可靠性需要很好的可扩展能力HDFS支持使用Java语言进行程序开发，具体的API
- [HDFS应用开发常用概念](https://support.huaweicloud.com/devg-mrs/mrs_06_0113.md): 将文件切分成大小相同的块（称为“数据块”），存储在不同的DataNode上，并且周期性地向NameNode报告该DataNode的数据存放情况。用于管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制等。Active NameNode：主NameNode，管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息；记录写入的每
- [HDFS应用开发流程介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0114.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0116.md): 在进行应用开发时，要准备的开发环境如表1所示。
- [准备HDFS应用开发用户](https://support.huaweicloud.com/devg-mrs/mrs_06_0117.md): MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。开发用户用于运行样例工程。用户需要有HDFS权限，才能运行HDFS样例工程。填写角色的名称，例如hdfsrole。编辑角色，在权限的表格中选择HDFS > File System > hdfs://hacluster/，勾选Read、Write和Exe
- [准备Eclipse与JDK](https://support.huaweicloud.com/devg-mrs/mrs_06_0118.md): MRS服务集群开启了Kerberos认证在Windows环境下需要安装Eclipse和JDK。若使用IBM JDK，请确保Eclipse中的JDK配置为IBM JDK。若使用Oracle JDK，请确保Eclipse中的JDK配置为Oracle JDK。不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。
- [准备HDFS应用运行环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0119.md): 1. 确认服务端HDFS组件已经安装，并正常运行。2. 客户端运行环境已安装1.7或1.8版本的JDK3. 获取客户端安装包MRS_Services_Client.tar在Linux上安装客户端。MRS集群的时间可通过登录主管理节点（集群管理IP地址所在节点）运行date命令查询。登录MRS Manager系统。选择“服务管理 >  下载
- [导入并配置HDFS样例工程](https://support.huaweicloud.com/devg-mrs/mrs_06_0120.md): HDFS针对多个场景提供样例工程，帮助客户快速学习HDFS工程。以下操作步骤以导入HDFS样例代码为例。第一种方法：打开Eclipse，选择File > New > Java Project。去掉对Use default location的勾选，单击Browse。显示浏览文件夹对话框。显示浏览文件夹对话框。选择样例工程文件夹hdfs-ex
- [HDFS样例程序开发思路](https://support.huaweicloud.com/devg-mrs/mrs_06_0123.md): 通过典型场景，可以快速学习和掌握HDFS的开发过程，并对关键的接口函数有所了解。HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。本代码样例讲解顺序为：HDFS初始化 初始
- [初始化HDFS](https://support.huaweicloud.com/devg-mrs/mrs_06_0125.md): 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为：加载HDFS服务配置文件，并进行kerberos安全认证。认证通过后，实例化Filesystem。使用HDFS的API。此处kerberos安全认证需要使用到的keytab文件，请提前准备。登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到hdfs-exam
- [写HDFS文件](https://support.huaweicloud.com/devg-mrs/mrs_06_0126.md): 写文件过程为：实例化一个FileSystem。由此FileSystem实例获取写文件的各类资源。将待写内容写入到HDFS的指定文件中。在写完文件后，需关闭所申请资源。如下是写文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类和HdfsWriter类。
- [追加HDFS文件内容](https://support.huaweicloud.com/devg-mrs/mrs_06_0127.md): 追加文件内容，是指在HDFS的某个指定文件后面，追加指定的内容。过程为：实例化一个FileSystem。由此FileSystem实例获取各类相关资源。将待追加内容添加到HDFS的指定文件后面。在完成后，需关闭所申请资源。如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类和H
- [读HDFS文件](https://support.huaweicloud.com/devg-mrs/mrs_06_0128.md): 获取HDFS上某个指定文件的内容。在完成后，需关闭所申请资源。如下是读文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。
- [删除HDFS文件](https://support.huaweicloud.com/devg-mrs/mrs_06_0129.md): 删除HDFS上某个指定文件或者文件夹。被删除的文件或文件夹，会被放在当前用户目录下的.Trash/Current文件夹中。若发生误删除，可从该文件夹中恢复。如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。
- [HDFS Colocation](https://support.huaweicloud.com/devg-mrs/mrs_06_0130.md): 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。在使用Colocation功能之前，建议用户对Colocation的内部机制有一定了
- [设置HDFS存储策略](https://support.huaweicloud.com/devg-mrs/mrs_06_0131.md): 为HDFS上某个文件或文件夹指定存储策略。在${HADOOP_HOME}/etc/hadoop/下的Hdfs-site.xml中设置如下参数。<name>dfs.storage.policy.enabled</name>
<value>true</value>重启HDFS，如图1 所示。重启hdfs登录MRSManager，选择服务管理H
- [HDFS访问OBS](https://support.huaweicloud.com/devg-mrs/mrs_06_0133.md): 访问OBS过程为：设置“fs.obs.access.key”和“fs.obs.secret.key”。由此FileSystem实例可以读取、新增和删除各类资源。不支持追加操作。对接OBS前需要提前在OBS服务中创建相关目录，并确保访问用户具有对应目录的访问操作权限。如下是实例化FileSystem的代码片段，详细代码请参考com.huaw
- [在Linux环境中调测HDFS应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0137.md): HDFS应用程序支持在安装HDFS客户端的Linux环境中运行。在程序代码完成开发后，可以上传Jar包至Linux客户端环境中运行应用。HDFS应用程序只支持在Linux环境下运行，不支持在Windows环境下运行。已安装HDFS客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主
- [查看HDFS应用调测结果](https://support.huaweicloud.com/devg-mrs/mrs_06_0138.md): HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。查看运行结果获取应用运行情况HdfsMain Linux样例程序安全集群运行结果如下所示：[root@node-master1dekG client]# hadoop jar hdfs-examples-1.0.jar com.hu
- [HDFS Java API接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0140.md): HDFS完整和详细的接口可以直接参考官方网站上的描述：https://hadoop.apache.org/docs/r2.7.2/api/index.html。HDFS常用的Java类有以下几个。FileSystem：是客户端应用的核心类。常用接口参见表1。FileStatus：记录文件和目录的状态信息。常用接口参见表2。DFSColoc
- [HDFS C API接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0141.md): C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法：https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/LibHdfs.html。下面代码片段仅为演示，具体代码
- [HDFS HTTP REST API接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0142.md): REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用：https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/WebHDFS.html。确认服务端HDFS组件已经安装，并正
- [HDFS Shell命令介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0143.md): 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。执行HDFS Shell的方法：source /opt/client/bigdata_env人机用户：kinitMRS集群用户例如：kinit hdfsuser机机用户：kinit -kt 认证凭据路径MRS集群用户例如：kinit -kt /opt/
- [Spark应用开发简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0149.md): Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 适用以下场景：数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。迭代计算（Iterative Computation）：支持迭代计算，有效应对多步的数据处理逻辑。数据挖掘（D
- [Spark应用开发常用概念](https://support.huaweicloud.com/devg-mrs/mrs_06_0150.md): RDD即弹性分布数据集（Resilient Distributed Dataset），是Spark的核心概念。指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。RDD的生成：从HDFS输入创建，或从与Hadoop兼容的其他存储系统中输入创建。从父RDD转换得到新RDD。从数据集合转换而来，通
- [Spark应用开发流程介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0151.md): Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程相同。开发流程中各阶段的说明如图1和表1所示。
- [Spark应用开发环境简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0153.md): 在进行应用开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。
- [准备Spark应用开发用户](https://support.huaweicloud.com/devg-mrs/mrs_06_0154.md): MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。开发用户用于运行样例工程。用户需要有HDFS、YARN和Hive权限，才能运行Spark样例工程。填写角色的名称，例如sparkrole。在“权限”表格中选择“HBase > HBase Scope > global”，勾选default的“Creat
- [准备Spark应用Java开发环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0156.md): Java开发环境可以搭建在Windows环境下，而运行环境（即客户端）只能部署在Linux环境下。JDK使用1.7版本（或1.8版本）IntelliJ IDEA（版本：13.1.6）Spark不支持当客户端程序使用IBM JDK 1.7运行时，使用yarn-client模式向服务端提交Spark任务。Oracle JDK需进行安全加固，具
- [准备Spark应用Scala开发环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0157.md): Scala开发环境可以搭建在Windows环境下，而运行环境（即客户端）只能部署在Linux环境下。JDK使用1.7版本（或1.8版本）IntelliJ IDEA（版本：13.1.6）Scala（版本：2.11.8）Scala插件（版本：0.35.683）Spark不支持当客户端程序使用IBM JDK 1.7运行时，使用yarn-clie
- [准备Spark应用Python开发环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0158.md): Python开发环境可以搭建在Windows环境下，而运行环境（即客户端）只能部署在Linux环境下。使用FTP工具，将运行调测环境的客户端包文件“MRS_Service_client”下载到本地，并解压得到目录“MRS_Services_ClientConfig”。
- [准备Spark应用运行环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0163.md): Spark的运行环境（即客户端）只能部署在Linux环境下。您可以执行如下操作完成运行环境准备。弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。弹性云服务器的VPC需要与MRS集群在同一个VPC中。弹性云服务器的网卡需要与MRS集群在同一个网段中。执行以下命令解压客户端包。tar -xvf /opt/MRS_Servic
- [导入并配置Spark样例工程](https://support.huaweicloud.com/devg-mrs/mrs_06_0164.md): Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*.py）即可。以下操作步骤以导入Java样例代码为例。操作流程如图1所示。打开IntelliJ IDE
- [新建Spark应用开发工程（可选）](https://support.huaweicloud.com/devg-mrs/mrs_06_0165.md): 除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。
- [配置Spark应用安全认证](https://support.huaweicloud.com/devg-mrs/mrs_06_0166.md): MRS服务集群开启了Kerberos认证。在集群开启Kerberos认证的环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。用户在开发Spark应用程序时，某些场景下，需要Spark与Hadoop、HBase等之间进行通信。那么Spark应用程序中需要写入安全认证代码，确保Spark程序能够
- [场景说明](https://support.huaweicloud.com/devg-mrs/mrs_06_0169.md): 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能：统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为,。log1.txt：周六网民停留日志LiuYang,female,20
YuanJi
- [Java样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0170.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类。样例代码获取方式请参考获取MRS应用开发样例工程。代码样例：
- [Scala样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0171.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection。样例代码获取方式请参考获取MRS应用开发样例工程。代码样例：
- [Python样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0172.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见collectFemaleInfo.py。样例代码获取方式请参考获取MRS应用开发样例工程。代码样例：
- [场景说明](https://support.huaweicloud.com/devg-mrs/mrs_06_0174.md): 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能：统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为,。log1.txt：周六网民停留日志LiuYang,female,20
YuanJi
- [Java样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0175.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection：上面是简单示例，其它sparkSQL特性请参见如下链接：https://spark.apache.org/docs/latest/sq
- [Scala样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0176.md): 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection：上面是简单示例，其它sparkSQL特性请参见如下链接：https://spark.apache.org/docs/latest/sq
- [场景说明](https://support.huaweicloud.com/devg-mrs/mrs_06_0178.md): 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能：实时统计连续网购时间超过半个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为,。log1.txt：周六网民停留日志LiuYang,female,20
YuanJing,male
- [Java样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0179.md): 实时统计连续网购时间超过半个小时的女性网民信息，将统计结果直接打印或者输出写入到Kafka中。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollectionPrint：下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.exam
- [Scala样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0180.md): 实时统计连续网购时间超过半个小时的女性网民信息，将统计结果直接打印或者输出写入到Kafka中。下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollectionPrint：上述代码会引用以下函数下面代码片段仅为演示，具体代码参见com.huawei.bigdata
- [场景说明](https://support.huaweicloud.com/devg-mrs/mrs_06_0182.md): 用户自定义JDBCServer的客户端，使用JDBC连接来进行数据表的创建、数据加载、查询和删除。示例<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<configuration>
    <property>
        <name>spark.thriftserver.
- [Java样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0183.md): 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。样例工程中的data文件需要放到HDFS上的home目录下保证data文件和创建的表的所属的用户和用户组保持一致HA模式下url的host和port必须为ha-cluster。普通集群需要将样例代码中com.huawei.bigdata.spark.examples.Thrift
- [Scala样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0184.md): 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。样例工程中的data文件需要放到JDBCServer所在机器的home目录下保证本地的data文件和创建的表的所属的用户和用户组保持一致HA模式下url的host和port必须为ha-cluster。普通集群需要将样例代码中com.huawei.bigdata.spark.exa
- [场景说明](https://support.huaweicloud.com/devg-mrs/mrs_06_0186.md): 用户可以使用Spark调用HBase的接口来操作HBase表的功能。在Spark应用中，用户可以自由使用HBase的接口来实现创建表、读取表、往表中插入数据等操作。首先需要把数据文件放置在HDFS系统里。本地新建文本文件，将以下内容复制保存到input_data1.txt。20,30,40,xxx在HDFS上建立一个文件夹，“/tmp/i
- [Java样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0187.md): 在Spark应用中，通过使用HBase接口来实现创建表，读取表，往表中插入数据等操作。下面代码片段仅为演示，具体代码参见SparkOnHbaseJavaExample：样例：创建HBase表样例：在HBase表中插入数据样例：读取HBase表数据
- [Scala样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0188.md): 在Spark应用中，通过使用HBase接口来实现创建表，读取表，往表中插入数据等操作。下面代码片段仅为演示，具体代码参见SparkOnHbaseScalaExample：样例：创建HBase表样例：在HBase表中插入数据样例：读取HBase表数据
- [场景说明](https://support.huaweicloud.com/devg-mrs/mrs_06_0190.md): 假定HBase的table1表存储用户当天消费的金额信息，table2表存储用户历史消费的金额信息。现table1表有记录key=1,cf:cid=100，表示用户1在当天消费金额为100元。table2表有记录key=1,cf:cid=1000，表示用户1的历史消息记录金额为1000元。基于某些业务要求，要求开发Spark应用程序实现如
- [Java样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0191.md): 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHbasetoHbase。样例代码获取方式请参考获取MRS应用开发样例工程。代码样
- [Scala样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0192.md): 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHbasetoHbase。样例代码获取方式请参考获取MRS应用开发样例工程。代码样
- [场景说明](https://support.huaweicloud.com/devg-mrs/mrs_06_0194.md): 假定Hive的person表存储用户当天消费的金额信息，HBase的table2表存储用户历史消费的金额信息。现person表有记录name=1,account=100，表示用户1在当天消费金额为100元。table2表有记录key=1,cf:cid=1000，表示用户1的历史消息记录金额为1000元。基于某些业务要求，要求开发Spark
- [Java样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0195.md): 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase。样例代码获取方式请参考获取MRS应用开发样例工程。代码样例：
- [Scala样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0196.md): 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase。样例代码获取方式请参考获取MRS应用开发样例工程。代码样例：
- [场景说明](https://support.huaweicloud.com/devg-mrs/mrs_06_0198.md): 假定某个业务Kafka每30秒就会收到5个用户的消费记录。Hbase的table1表存储用户历史消费的金额信息。现table1表有10条记录，表示有用户名分别为1-10的用户，用户的历史消费金额初始化都是0元。基于某些业务要求，开发的Spark应用程序实现如下功能：实时累加计算用户的消费金额信息：即用户总消费金额=用户的消费金额(kafk
- [Java样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0199.md): 在Spark应用中，通过使用Streaming调用kafka接口来获取数据,然后把数据经过分析后，找到对应的HBase表记录，再写到HBase表。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkOnStreamingToHbase。样例代码获取方式请参考获取MRS应用开发样
- [Scala样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0200.md): 在Spark应用中，通过使用Streaming调用kafka接口来获取数据，然后把数据经过分析后，找到对应的HBase表记录，再写到HBase表。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkOnStreamingToHbase。样例代码获取方式请参考获取MRS应用开发样
- [场景说明](https://support.huaweicloud.com/devg-mrs/mrs_06_0202.md): 假定某个业务Kafka每1秒就会收到1个单词记录。基于某些业务要求，开发的Spark应用程序实现如下功能：实时累加计算每个单词的记录总数。“log1.txt”示例文件：Spark Streaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有kafka权限用户）。确保集群安装完成，包括HDFS、Yarn、Spar
- [Java样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0203.md): 在Spark应用中，通过使用Streaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SecurityKafkaWordCount。样例代码下载地址请参见获取MRS应
- [Scala样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0204.md): 在Spark应用中，通过使用Streaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SecurityKafkaWordCount。普通集群需要将样例代码中com.h
- [场景说明](https://support.huaweicloud.com/devg-mrs/mrs_06_0206.md): 在Spark应用中，通过使用StructuredStreaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。StructuredStreaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有kafka权限用户）。确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。
- [Java样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0207.md): 在Spark应用中，通过使用StructuredStreaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SecurityKafkaWordCount。普通集群需要将样例代码中com.huawei.
- [Scala样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0208.md): 在Spark应用中，通过使用StructuredStreaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SecurityKafkaWordCount。普通集群需要将样例代码中com.huawei.
- [编包并运行Spark应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0213.md): 在程序代码完成开发后，您可以将打包好的jar包上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。Spark应用程序只支持在Linux环境下运行，不支持在Windows环境下运行。使用Python开发的Spark应用程序无需打包成jar，只需将样例工程拷贝到编译机器上即可。
- [查看Spark应用调测结果](https://support.huaweicloud.com/devg-mrs/mrs_06_0214.md): Spark应用程序运行完成后，您可以查看运行结果数据，也可以通过Spark WebUI查看应用程序运行情况。查看Spark应用运行结果数据。结果数据存储路径和格式已经与Spark应用程序指定，您可以通过指定文件中获取到运行结果数据。结果数据存储路径和格式已经与Spark应用程序指定，您可以通过指定文件中获取到运行结果数据。查看Spark应
- [数据序列化](https://support.huaweicloud.com/devg-mrs/mrs_06_0221.md): Spark支持两种方式的序列化 ：Java原生序列化JavaSerializerKryo序列化KryoSerializer序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性能可以达到JavaSerializer的10倍以上，而对于一些Int之类的基本类型数据，性能的提升就几乎可以
- [配置内存](https://support.huaweicloud.com/devg-mrs/mrs_06_0222.md): Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。监控节点进程的GC情况（在客户端的conf/spark-defaults.conf配置文件中，在spark.driver.extraJava
- [设置并行度](https://support.huaweicloud.com/devg-mrs/mrs_06_0223.md): 并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到最优。查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群
- [使用广播变量](https://support.huaweicloud.com/devg-mrs/mrs_06_0224.md): Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。每个任务分片在执行中都需要同一份数据集合时，就可以把公共数据集Broadc
- [使用External Shuffle Service提升性能](https://support.huaweicloud.com/devg-mrs/mrs_06_0225.md): Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据，给其他Executor提供shuffle数据。当Executor进程任务过重，导致GC而不能为其他Executor提供shuffle数据时，会影响任务运行。External shuffle Service是长期存在于Nod
- [Yarn模式下动态资源调度](https://support.huaweicloud.com/devg-mrs/mrs_06_0226.md): 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），若分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时地增减Execut
- [配置进程参数](https://support.huaweicloud.com/devg-mrs/mrs_06_0227.md): Spark on YARN模式下，有Driver、ApplicationMaster、Executor三种进程。在任务调度和运行的过程中，Driver和Executor承担了很大的责任，而ApplicationMaster主要负责container的启停。因而Driver和Executor的参数配置对spark应用的执行有着很大的影响意义
- [设计DAG](https://support.huaweicloud.com/devg-mrs/mrs_06_0228.md): 合理的设计程序结构，可以优化执行效率。在程序编写过程中要尽量减少shuffle操作，合并窄依赖操作。以“同行车判断”例子讲解DAG设计的思路。数据格式：通过收费站时间、车牌号、收费站编号......逻辑：以下两种情况下判定这两辆车是同行车如果两辆车都通过相同序列的收费站，通过同一收费站之间的时间差小于一个特定的值。如果两辆车都通过相同序列
- [经验总结](https://support.huaweicloud.com/devg-mrs/mrs_06_0229.md): 如果每条记录的开销太大，例则可以使用MapPartitions，按每个分区计算结果，如使用mapPartitions可以更灵活地操作数据，例如对一个很大的数据求TopN，当N不是很大时，可以先使用mapPartitions对每个partition求TopN，collect结果到本地之后再做排序取TopN。这样相比直接对全量数据做排序取To
- [Spark SQL join优化](https://support.huaweicloud.com/devg-mrs/mrs_06_0231.md): Spark SQL中，当对两个表进行join操作时，利用Broadcast特性（请参见使用广播变量），将小表BroadCast到各个节点上，从而转变成非shuffle操作，提高任务执行性能。这里join操作，只指inner join。在Spark SQL中进行Join操作时，可以按照以下步骤进行优化。为了方便说明，设表A和表B，且A、B表
- [INSERT...SELECT操作调优](https://support.huaweicloud.com/devg-mrs/mrs_06_0234.md): 在以下几种情况下，执行INSERT...SELECT操作可以进行一定的调优操作。查询的数据是大量的小文件。查询的数据是较多的大文件。在beeline/thriftserver模式下使用非spark用户操作。可对INSERT...SELECT操作做如下的调优操作。如果建的是Hive表，将存储类型设为Parquet，从而减少执行INSERT.
- [Spark Streaming调优](https://support.huaweicloud.com/devg-mrs/mrs_06_0235.md): Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是秒级时延和高吞吐量。因此Streaming调优的目标是在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。本章节适用于输入数据源为Kafka的使用场景。一个简单的流处理系统由以下三部分组件组成：数据源 + 接收器 + 处理器。数
- [Spark CBO调优](https://support.huaweicloud.com/devg-mrs/mrs_06_0236.md): SQL语句转化为具体执行计划是由SQL查询编译器决定的，同一个SQL语句可以转化成多种物理执行计划，如何指导编译器选择效率最高的执行计划，这就是优化器的主要作用。传统数据库（例如Oracle）的优化器有两种：基于规则的优化器(Rule-Based Optimization,RBO)和基于代价的优化器(Cost-Based Optimiza
- [Spark Java API接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0238.md): 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的开源API。Spark主要使用到如下这几个类：JavaSparkContext：是Spark的对外接口，负责向调用该类的Java应用提供Spark的各种功能，如连接Spark集群，创建RDD，累积量和广播量等。它的作用相当于一个容器。SparkConf：
- [Spark Scala API接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0239.md): 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的开源API。Spark主要使用到如下这几个类：SparkContext：是Spark的对外接口，负责向调用该类的scala应用提供Spark的各种功能，如连接Spark集群，创建RDD等。SparkConf：Spark应用配置类，如设置应用名称，执行模式
- [Spark Python接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0240.md): 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的开源API。Spark主要使用到如下这几个类：pyspark.SparkContext：是Spark的对外接口。负责向调用该类的python应用提供Spark的各种功能，如连接Spark集群、创建RDD、广播变量等。pyspark.SparkConf：S
- [Spark REST API接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0241.md): Spark的REST API以JSON格式展现Web UI的一些指标，提供用户一种更简单的方法去创建新的展示和监控的工具，并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Stages、Storage、Environment和Executors的信息进行查询，MRS版本中添加了查询SQ
- [Spark ThriftServer接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0242.md): ThriftServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。ThriftServer是一个JDBC接口，用户可以通过JDBC连接ThriftServer来访问SparkSQL的数据。ThriftServer在启动的时候，会启动一个SparkSQL
- [Spark常用命令介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0244.md): Spark命令详细的使用方法参考官方网站的描述：https://spark.apache.org/docs/latest/quick-start.html。Shell命令执行方法：source /opt/client/bigdata_envkinit MRS集群用户例如：开发用户为“机机”用户时请执行：kinit -kt user.key
- [如何添加自定义代码的依赖包](https://support.huaweicloud.com/devg-mrs/mrs_06_0246.md): 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？在Project Structure页面，选择Artifacts页签。在右侧窗口中单击+，选择Library Files添加依赖包。添加Library Files选择需要添加的依赖包，然后单击OK。Choose Library
- [如何处理自动加载的依赖包](https://support.huaweicloud.com/devg-mrs/mrs_06_0247.md): 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？建议在导入工程后，手动删除自动加载的依赖。步骤如下。在IDEA工具中，选择FileProject Structures...,。选择Li
- [运行SparkStreamingKafka样例工程时报“类不存在”问题](https://support.huaweicloud.com/devg-mrs/mrs_06_0248.md): 通过spark-submit脚本提交KafkaWordCount（org.apache.spark.examples.streaming.KafkaWordCount）任务时，日志中报Kafka相关的类不存在的错误。KafkaWordCount样例为Spark开源社区提供的。Spark部署时，如下jar包存放在客户端的$SPARK_HOM
- [执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出](https://support.huaweicloud.com/devg-mrs/mrs_06_0249.md): 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出，日志内容如下。用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。
- [Spark应用名在使用yarn-cluster模式提交时不生效](https://support.huaweicloud.com/devg-mrs/mrs_06_0250.md): Spark应用名在使用yarn-cluster模式提交时不生效，在使用yarn-client模式提交时生效，如图1所示，第一个应用是使用yarn-client模式提交的，正确显示代码里设置的应用名Spark Pi，第二个应用是使用yarn-cluster模式提交的，设置的应用名没有生效。导致这个问题的主要原因是，yarn-client和y
- [如何采用Java命令提交Spark应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0251.md): 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：如果您使用Java语言开发程序，您可以参考如下示例，编写SparkLauncher类。public static
- [SparkSQL UDF功能的权限控制机制](https://support.huaweicloud.com/devg-mrs/mrs_06_0252.md): SparkSQL中UDF功能的权限控制机制是怎样的？目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备admin权限的用户注册，由admin用户保证自定义的函数的安全性。
- [由于kafka配置的限制，导致Spark Streaming应用运行失败](https://support.huaweicloud.com/devg-mrs/mrs_06_0253.md): 使用运行的Spark Streaming任务回写kafka时，kafka上接收不到回写的数据，且kafka日志报错信息如下：如下图所示，Spark Streaming应用中定义的逻辑为，从kafka中读取数据，执行对应处理之后，然后将结果数据回写至kafka中。例如：Spark Streaming中定义了批次时间，如果数据传入Kafka的
- [如何使用IDEA远程调试](https://support.huaweicloud.com/devg-mrs/mrs_06_0254.md): 在Spark二次开发中如何使用IDEA远程调试？以调试SparkPi程序为例，演示如何进行IDEA的远程调试。打开工程，在菜单栏中选择“Run > Edit Configurations”。在弹出的配置窗口中用鼠标左键单击左上角的“+”号，在下拉菜单中选择Remote，如图1所示。选择Remote选择对应要调试的源码模块路径，并配置远端调
- [使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息](https://support.huaweicloud.com/devg-mrs/mrs_06_0255.md): 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息问题原因：在IBM JDK下建立的JDBC connection时间超过登录用户的认证超时时间（默认一天），导致认证失败。IBM JDK的机制跟Oracle JDK的机制不同，IBM JDK在认证登录后的使用过程中做了时间检查却没有检测外部的时间
- [Storm应用开发简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0262.md): 本文档提供给需要Storm二次开发的用户使用。本指南主要适用于具备Java开发经验的开发人员。Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。Storm有很多适用的场景：实时分析、在线机器
- [Storm应用开发常用概念](https://support.huaweicloud.com/devg-mrs/mrs_06_0263.md): Topology拓扑是一个计算流图。其中每个节点包含处理逻辑，而节点间的连线则表明了节点间的数据是如何流动的。Spout在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据，然后转换为Topology内部的源数据。Bolt在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作
- [Storm应用开发流程介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0264.md): 本文档主要基于Java API进行Storm拓扑的开发。开发流程如图1所示。
- [Storm应用开发环境简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0267.md): 本开发指南提供了MRS产品Storm组件基于开源Storm的Eclipse样例工程和常用接口说明，便于开发者快速熟悉Storm开发。开发环境准备分为应用开发客户端和应用提交客户端；应用开发一般是在Windows环境下进行；应用提交一般是在Linux环境下进行。在进行二次开发时，要准备的开发环境如表1所示。
- [准备Eclipse与JDK](https://support.huaweicloud.com/devg-mrs/mrs_06_0268.md): 开发环境可以搭建在Windows环境下。若使用IBM JDK，请确保Eclipse中的JDK配置为IBM JDK。若使用Oracle JDK，请确保Eclipse中的JDK配置为Oracle JDK。不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。
- [导入并配置Storm样例工程](https://support.huaweicloud.com/devg-mrs/mrs_06_0269.md): Storm客户端安装程序目录中包含了Storm开发样例工程，将工程导入到Eclipse开始样例学习。确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过MRS Manager页面右上角查看。选择“File > Import > General > Existing Projects into Wor
- [准备Linux客户端环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0270.md): 安装Linux客户端用于拓扑的提交。确认Storm组件已经安装，并正常运行。客户端机器的时间与集群的时间要保持一致，时间差要小于5分钟。登录MRS Manager系统。选择“服务管理 > Storm > 下载客户端 > 完整客户端”，下载客户端程序到“远端主机”，即目标ECS。tar -xvf MRS_Storm_Client.tarta
- [Storm样例程序开发思路](https://support.huaweicloud.com/devg-mrs/mrs_06_0272.md): 通过典型场景，您可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。一个动态单词统计系统，数据源为持续生产随机文本的逻辑单元，业务处理流程如下：数据源持续不断地发送随机文本给文本拆分逻辑，如“apple orange apple”。单词拆分逻辑将数据源发送的每条文本按空格进行拆分，如“apple”，“orange”，“a
- [创建Storm Spout](https://support.huaweicloud.com/devg-mrs/mrs_06_0275.md): Spout是Storm的消息源，它是Topology的消息生产者，一般来说消息源会从一个外部源读取数据并向Topology中发送消息（Tuple）。一个消息源可以发送多条消息流Stream，可以使用OutputFieldsDeclarer.declarerStream来定义多个Stream，然后使用SpoutOutputCollector
- [创建Storm Bolt](https://support.huaweicloud.com/devg-mrs/mrs_06_0276.md): 所有的消息处理逻辑都被封装在各个Bolt中。Bolt包含多种功能：过滤、聚合等。如果Bolt之后还有其他拓扑算子，可以使用OutputFieldsDeclarer.declareStream定义Stream，使用OutputCollector.emit来选择要发射的Stream。下面代码片段在com.huawei.storm.exampl
- [创建Storm Topology](https://support.huaweicloud.com/devg-mrs/mrs_06_0277.md): 一个Topology是Spouts和Bolts组成的有向无环图。应用程序是通过storm jar的方式提交，则需要在main函数中调用创建Topology的函数，并在storm jar参数中指定main函数所在类。下面代码片段在com.huawei.storm.example.wordcount.WordCountTopology类中，作
- [生成Storm应用Jar包](https://support.huaweicloud.com/devg-mrs/mrs_06_0279.md): 通过命令行生成示例代码的jar包。在Storm示例代码根目录执行如下命令打包：mvn package执行成功后，将会在target目录生成storm-examples-1.0.jar。
- [在Linux环境中调测Storm应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0281.md): Storm应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。在Linux环境下可以使用storm命令行完成拓扑的提交。已安装Storm客户端。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。已执行生成Storm应用Jar包步骤，生成s
- [查看Storm应用调测结果](https://support.huaweicloud.com/devg-mrs/mrs_06_0282.md): Topology stats统计了最近各个不同时间段的算子之间发送数据的总数据量。Spouts中统计了spout算子从启动到现在发送的消息总量。Bolts中统计了Count算子和split算子的发送消息总量，如图2所示。
- [Storm-Kafka开发指引](https://support.huaweicloud.com/devg-mrs/mrs_06_0284.md): 本文档主要说明如何使用Storm-Kafka工具包，完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能；KafkaBolt主要完成Storm向Kafka中写入数据的功能。本章节代码样例基于Kafka新API，对应Eclipse工程中c
- [Storm-JDBC开发指引](https://support.huaweicloud.com/devg-mrs/mrs_06_0285.md): 本文档主要说明如何使用开源Storm-JDBC工具包，完成Storm和JDBC之间的交互。Storm-JDBC中包含两类Bolt：JdbcInsertBolt和JdbcLookupBolt。其中，JdbcLookupBolt主要负责从数据库中查数据，JdbcInsertBolt主要向数据库中存数据。当然，JdbcLookupBolt和Jd
- [Storm-HDFS开发指引](https://support.huaweicloud.com/devg-mrs/mrs_06_0286.md): 本章节只适用于Storm和HDFS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。安全模式下登录方式分为两种，票据登录和keytab文件登录，两种方式操作步骤基本一致，票据登录方式为开源提供的能力，后期需要人工上传票据，存在可靠性和易用性问题，因此推荐使用keytab方式。keytab方式：需要从管理员处获取一个“人机”用
- [Storm-OBS开发指引](https://support.huaweicloud.com/devg-mrs/mrs_06_0287.md): 本章节只适用于MRS产品中Storm和OBS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。在安装好的HDFS客户端目录下找到目录“/opt/client/HDFS/hadoop/etc/hadoop”，在该目录下获取到配置文件“core-site.xml”和“hdfs-site.xml”。将这些文件拷贝到示例工程的 sr
- [Storm-HBase开发指引](https://support.huaweicloud.com/devg-mrs/mrs_06_0288.md): 本章节只适用于MRS产品中Storm和HBase交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。安全模式下登录方式分为两种，票据登录和keytab文件登录，两种方式操作步骤基本一致。票据登录方式为开源提供的能力，存在票据过期问题，后期需要人工上传票据，并且可靠性和易用性较差，因此推荐使用keytab方式。keytab方式：
- [Flux开发指引](https://support.huaweicloud.com/devg-mrs/mrs_06_0289.md): 本章节只适用于MRS产品中Storm组件使用Flux框架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。Flux框架是Storm 0.10.0版本提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm jar命令来提交拓扑的一种方式，极大地方便了拓扑的部
- [Storm接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0290.md): Storm采用的接口同开源社区版本保持一致，详情请参见：https://storm.apache.org/documentation/Home.html。Storm-HDFS采用的接口同开源社区版本保持一致，详情参见：https://github.com/apache/storm/tree/v0.10.0/external/storm-h
- [Kafka应用开发简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0296.md): Kafka是一个分布式的消息发布-订阅系统。 它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。Kafka有如下几个特点：高吞吐量消息持久化到磁盘分布式系统易扩展容错性好支持online和offline场景Kafka主
- [Kafka应用开发常用概念](https://support.huaweicloud.com/devg-mrs/mrs_06_0297.md): TopicKafka维护的同一类的消息称为一个Topic。Kafka维护的同一类的消息称为一个Topic。Partition每一个Topic可以被分为多个Partition，每个Partition对应一个可持续追加的、有序不可变的log文件。每一个Topic可以被分为多个Partition，每个Partition对应一个可持续追加的、有序
- [Kafka应用开发流程介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0298.md): Kafka客户端角色包括Producer和Consumer两个角色，其应用开发流程是相同的。开发流程中各个阶段的说明如图1和表1所示。
- [Kafka应用开发环境简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0300.md): Kafka开发应用时，需要准备的开发环境如下表所示：
- [准备Maven和JDK](https://support.huaweicloud.com/devg-mrs/mrs_06_0301.md): 开发环境搭建在Windows环境下。开发环境安装Eclipse程序，安装要求如下。Eclipse使用3.0及以上版本。IntelliJ IDEA使用15.0以上版本。Eclipse使用3.0及以上版本。IntelliJ IDEA使用15.0以上版本。开发环境安装JDK环境，安装要求如下。JDK使用1.7或者1.8版本。支持IBM JDK和
- [导入并配置Kafka样例工程](https://support.huaweicloud.com/devg-mrs/mrs_06_0302.md): 打开Eclipse，选择File > Import。显示Import窗口，选择Existing Maven Projects，单击next按钮。在Import Maven Projects窗口单击Browse。显示Select Root Folder对话框。选择样例工程文件夹kafka-examples，单击确定按钮。在Import Ma
- [准备Kafka应用安全认证](https://support.huaweicloud.com/devg-mrs/mrs_06_0303.md): MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。在开启Kerberos认证的环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。Kafka应用开发需要进行Kafka、ZooKeeper、Kerberos的安全认证，这些安全认证只需要生成一个jaas文件并
- [Kafka样例程序开发思路](https://support.huaweicloud.com/devg-mrs/mrs_06_0305.md): Kafka是一个分布式消息系统，在此系统上可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外，还需要实现一个Consumer，订阅该Topic，实时消费该类消息。使用Linux客户端创建一个Topic。开发一个Producer向该Topic生产数据。开发一个Consu
- [Kafka Old Producer API使用样例](https://support.huaweicloud.com/devg-mrs/mrs_06_0307.md): Producer是消息生产者的角色，负责发布消息到Kafka Broker。下面代码片段在com.huawei.bigdata.kafka.example.Old_Producer类中，作用在于每秒向指定的Topic发送一条消息。（注意：Old Producer API仅支持通过不启用Kerberos认证模式端口访问未设置ACL的Topi
- [Kafka Old Consumer API使用样例](https://support.huaweicloud.com/devg-mrs/mrs_06_0308.md): 每一个Consumer实例都属于一个Consumer group，每一条消息只会被同一个Consumer group里的一个Consumer实例消费（不同的Consumer group可以同时消费同一条消息）。下面代码片段在com.huawei.bigdata.kafka.example.Old_Consumer类中，作用在于订阅指定To
- [Kafka Producer API使用样例](https://support.huaweicloud.com/devg-mrs/mrs_06_0309.md): 下面代码片段在com.huawei.bigdata.kafka.example.Producer类中，用于实现新Producer API向安全Topic生产消息。Producer线程run方法中的消费逻辑。样例代码获取方式请参考获取MRS应用开发样例工程。代码样例：
- [Kafka Consumer API使用样例](https://support.huaweicloud.com/devg-mrs/mrs_06_0310.md): 下面代码片段在com.huawei.bigdata.kafka.example.Consumer类中，用于消费订阅的Topic消息。Consumer线程的dowork方法逻辑，该方法是run方法的重写。样例代码获取方式请参考获取MRS应用开发样例工程。代码样例：
- [Kafka 多线程Producer API使用样例](https://support.huaweicloud.com/devg-mrs/mrs_06_0311.md): 在Kafka Producer API使用样例基础上，实现了多线程Producer，可启动多个Producer线程，并通过指定相同key值的方式，使每个线程对应向特定Partition发送消息。下面代码片段在com.huawei.bigdata.kafka.example.ProducerMultThread类中，用于实现多线程生产数据。
- [Kafka 多线程Consumer API 使用样例](https://support.huaweicloud.com/devg-mrs/mrs_06_0312.md): 在Kafka Consumer API使用样例基础上，实现了多线程并发消费，可根据Topic的Partition数目起相应个数的Consumer线程来对应消费消息。下面代码片段在com.huawei.bigdata.kafka.example.ConsumerMultThread类中，用于实现对指定Topic的并发消费。Kafka不支持无
- [Kafka SimpleConsumer API使用样例](https://support.huaweicloud.com/devg-mrs/mrs_06_0313.md): 下面代码片段在com.huawei.bigdata.kafka.example.SimpleConsumerDemo类中，用于实现使用新SimpleConsumer API订阅Topic，并进行消息消费。（注意：SimpleConsumer API仅支持访问未设置ACL的Topic，安全接口说明见Kafka安全接口介绍）SimpleCon
- [Kafka 样例工程配置文件说明](https://support.huaweicloud.com/devg-mrs/mrs_06_0314.md): Conf目录下各配置文件及重要参数配置说明。Producer API配置项。producer.properties文件配置项参数描述备注security.protocol安全协议类型生产者使用的安全协议类型，当前Kerberos开启的模式下仅支持SASL协议，需要配置为SASL_PLAINTEXT。Kerberos未开启的模式下配置为PL
- [调测Kafka应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0317.md): 客户端本地能登录MRS服务的弹性云服务器，登录方式详见“弹性云服务器《用户指南》”中“入门 > 登录弹性云服务器”的SSH登录方式。样例工程在已经通过Maven编译。执行mvn package生成jar包，在工程目录target目录下获取，比如:kafka-examples-1.6.0.jar。执行mvn dependency:copy-
- [Kafka Shell命令介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0319.md): Kafka的Linux客户端已安装。安装方法可参考安装客户端。Shell命令执行方法：source /opt/client/bigdata_envkinit MRS集群用户例如：kinit admin常用的命令如下：查看当前集群Topic列表。sh kafka-topics.sh --list --zookeeper <ZooKeeper
- [Kafka Java API接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0320.md): Kafka相关接口同开源社区保持一致。Kafka Java API接口介绍可直接参考开源社区。详情请参见https://kafka.apache.org/documentation.html#api。
- [Kafka安全接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0321.md): 访问开启Kerberos认证模式Kafka集群端口默认为21007，访问没有开启Kerberos认证模式集群端口默认为21005。旧API仅支持访问9092端口；新API兼容访问没有开启Kerberos模式集群端口9092和开启Kerberos认证模式集群端口21007。
- [运行Producer.java样例运行获取元数据失败如何处理](https://support.huaweicloud.com/devg-mrs/mrs_06_0323.md): 检查工程conf目录下“client.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确。如果IP与Kafka集群部署的业务IP不一致，那么需要修改为当前集群正确的IP地址。如果配置中的端口为21007（开启kerberos认证模式端口），那么修改该端口为9092（没有开启kerberos
- [添加HBase二级索引](https://support.huaweicloud.com/devg-mrs/mrs_06_0328.md): 您可以使用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中提供的方法来管理HIndexes。 该类提供了将索引添加到现有表的方法：根据用户是否希望在添加索引操作期间构建索引数据，有两种不同的方法可将索引添加到表中：addIndicesWithData()addIndices()以下代码片
- [启用/禁用HBase二级索引](https://support.huaweicloud.com/devg-mrs/mrs_06_0329.md): 您可以使用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中提供的方法来管理HIndexes。 这个类提供了启用/禁用现有索引的方法。根据用户是否想要启用/禁用表，HIndexAdmin提供以下API：disableIndices ()enableIndices ()以下代码片段在com.
- [查询HBase二级索引列表](https://support.huaweicloud.com/devg-mrs/mrs_06_0330.md): 您可以使用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中提供的方法来管理HIndexes。 该类提供了列出表的现有索引的方法。HIndexAdmin为给定表格列出索引提供以下API：listIndices(): 该API可用于列出给定表的所有索引。以下代码片段在com.huawei.b
- [使用HBase二级索引读取数据](https://support.huaweicloud.com/devg-mrs/mrs_06_0331.md): 在具有HIndexes的用户表中，HBase使用Filter来查询数据。以下代码片段在com.huawei.bigdata.hbase.examples包的“HIndexExample”类的scanDataByHIndex方法中。样例代码获取方式请参考获取MRS应用开发样例工程。代码样例：
- [删除HBase二级索引](https://support.huaweicloud.com/devg-mrs/mrs_06_0332.md): 您可以使用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中提供的方法来管理HIndexes。 该类提供了从表中删除现有索引的方法。根据用户是否希望删除索引数据以及索引删除操作，有两种不同的API可将索引删除到表中：dropIndices()dropIndicesWithData()以下代
- [Presto应用开发简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0336.md): Presto是一种开源、分布式SQL查询引擎，用于对千兆字节至PB级大小的数据源进行交互式分析查询。Presto主要特点如下：多数据源：Presto可以支持MySQL、Hive、JMX等多种Connector。支持SQL：Presto完全支持ANSI SQL，用户可以直接使用SQL Shell进行查询。混合计算：用户可以对多个Catalo
- [Presto应用开发常用概念](https://support.huaweicloud.com/devg-mrs/mrs_06_0337.md): ConnectorConnector将Presto适配到如Hive或关系型数据库的数据源。Connector将Presto适配到如Hive或关系型数据库的数据源。CatalogCatalog包含schema以及引用通过connector连接的数据源Catalog包含schema以及引用通过connector连接的数据源SchemaSche
- [Presto应用开发流程介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0338.md): 开发流程中各阶段的说明如图1和表1所示。
- [Presto应用开发环境简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0340.md): 在进行应用开发时，要准备的本地开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行是否正常。
- [准备Presto应用开发环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0341.md): 选择Windows开发环境下，安装Eclipse，安装JDK。建议JDK使用1.8版本，Eclipse使用4.3.2及以上版本。若使用IBM JDK，请确保Eclipse中的JDK配置为IBM JDK。若使用Oracle JDK，请确保Eclipse中的JDK配置为Oracle JDK。若使用ODBC进行二次开发，请确保JDK版本为1.8
- [准备Presto应用开发用户](https://support.huaweicloud.com/devg-mrs/mrs_06_0342.md): 开发用户用于运行样例工程。用户需要有Presto权限，才能运行Presto样例工程。若MRS集群开启了Kerberos认证需要执行该步骤，没有开启Kerberos认证的集群请忽略该步骤。如果修改了组件的配置参数，需重新下载客户端配置文件并更新运行调测环境上的客户端。
- [准备Presto JDBC应用开发环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0343.md): 为了运行Presto组件的JDBC接口样例代码，需要完成下面的操作。此处以在Windows环境下开发JDBC方式连接Presto服务的应用程序为例。选择“File > Import > General > Existing Projects into Workspace > Next >Browse”。显示“浏览文件夹”对话框。显示“浏览
- [准备Presto HCatalog应用开发环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0344.md): 为了运行Presto组件的HCatalog接口样例代码，需要完成下面的操作。此处以在Windows环境下开发HCatalog方式连接Presto服务的应用程序为例。选择“File > Import > General > Existing Projects into Workspace > Next >Browse”。显示“浏览文件夹”对
- [Presto样例程序开发思路](https://support.huaweicloud.com/devg-mrs/mrs_06_0346.md): 假定用户开发一个Presto数据分析应用，用于获取Presto提供的TPCDS Catalog的call_center表。创建三张表，雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended”。雇员信息表“employees_info”
- [Presto JDBC使用样例](https://support.huaweicloud.com/devg-mrs/mrs_06_0347.md): 以下示例为Presto JDBC使用样例。以下代码片段用于实现JDBC连接Presto TPCDS Catalog。详情请参考PrestoJDBCExample类。
- [Presto接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0349.md): Presto接口介绍如下：Presto JDBC接口遵循标准的JAVA JDBC驱动标准，详情请参见JDK1.7 API。
- [调测HBase Phoenix样例程序](https://support.huaweicloud.com/devg-mrs/mrs_06_0351.md): HBase支持通过Phoenix调用JDBC接口来访问HBase服务。调测HBase Phoenix样例程序，默认集群已完成HBase对接Phoenix服务，具体对接步骤详情请参考HBase配置Phoenix。1.修改样例工程src/main/resources目录下的“jaas.conf”文件，keyTab、principal分别对应用
- [调测HBase Python样例程序](https://support.huaweicloud.com/devg-mrs/mrs_06_0352.md): 仅MRS 1.9.x及之前版本支持HBase python样例代码调测。HBase支持使用自带的ThriftServer2服务通过python来访问HBase服务。python样例仅支持在Linux环境中运行，调测HBase python样例程序需有与集群环境网络相通的ECS，详情请参见准备本地应用开发环境，并需要安装python环境，安
- [OpenTSDB应用开发简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0355.md): OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息，并可实现数据的秒级查询，解决海量监控类数据在普通数据库中查询存储的局限性。OpenTSDB使用场景有如下几个特点：采集指标在某一时间点具有唯一值，没有复杂的结构及关系。监控的指标具有随着时间不断变化的特点。具
- [OpenTSDB应用开发常用概念](https://support.huaweicloud.com/devg-mrs/mrs_06_0356.md): data point：时间序列数据点，包括metric、timestamp、value和tag。表示某个metric在某个时间点的数值。metric：指标项。例如，在系统监控中的CPU使用率、内存、IO等指标。timestamp：UNIX时间戳（自Epoch以来的秒或毫秒），即value产生的时间。value：某个metric的值，是JS
- [OpenTSDB应用开发流程介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0357.md): 开发流程中各阶段的说明如图1和表1所示。
- [OpenTSDB应用开发环境简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0359.md): 在进行二次开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。
- [准备OpenTSDB应用开发环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0360.md): 选择Windows开发环境下，安装Eclipse，安装JDK。请安装JDK1.8及以上版本。Eclipse使用支持JDK1.8及以上的版本，并安装JUnit插件。若使用IBM JDK，请确保Eclipse中的JDK配置为IBM JDK。若使用Oracle JDK，请确保Eclipse中的JDK配置为Oracle JDK。不同的Eclips
- [准备OpenTSDB应用开发用户](https://support.huaweicloud.com/devg-mrs/mrs_06_0361.md): 开发用户用于运行样例工程。用户需要有HBase权限，才能运行OpenTSDB样例工程。MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。填写角色的名称，例如opentsdbrole。编辑角色，在权限的表格中选择HBase> HBase Scope > global，勾选Read、Write和Execu
- [导入并配置OpenTSDB样例工程](https://support.huaweicloud.com/devg-mrs/mrs_06_0362.md): 确保本地PC的时间与MRS集群的时间差要小于5分钟。MRS集群的时间可通过MRS Manager页面右上角查看，如图1所示。选择“File > Import > General >  Existing Projects into Workspace > Next >Browse”。显示“浏览文件夹”对话框。显示“浏览文件夹”对话框。选择样
- [OpenTSDB样例程序开发思路](https://support.huaweicloud.com/devg-mrs/mrs_06_0364.md): 通过典型场景，您可以快速学习和掌握OpenTSDB的开发过程，并且对关键的接口函数有所了解。假定用户开发一个应用程序，用于记录和查询城市的气象信息，记录数据如下表表1，表2和表3所示。该场景里记录了深圳市龙岗区在2017年7月1日零时的温度和湿度数据，这里通过OpenTSDB的方式建模实质上是两组数据点。其中这两组指标数据点都有2个标签：
- [配置OpenTSDB参数](https://support.huaweicloud.com/devg-mrs/mrs_06_0367.md): tsd_hostname：修改为连接OpenTSDB服务的TSD实例的主机名或IP。若当前运行环境与OpenTSDB安装环境处于同一个VPC网络中，使用连接的TSD实例IP或主机名均可。若当前运行环境与OpenTSDB安装环境位于不同VPC中，仅可使用主机名进行访问。同时需在连接的TSD实例上绑定EIP，并把该EIP及该TSD实例的主机名
- [写入OpenTSDB数据](https://support.huaweicloud.com/devg-mrs/mrs_06_0368.md): 使用OpenTSDB的接口(/api/put)写入数据。函数genWeatherData()模拟生成的气象数据，函数putData()发送气象数据到OpenTSDB服务端。以下代码片段在com.huawei.bigdata.opentsdb.examples包的"OpentsdbExample"类的putData方法中。private v
- [查询OpenTSDB数据](https://support.huaweicloud.com/devg-mrs/mrs_06_0369.md): 使用OpenTSDB的查询接口(/api/query)读取数据。函数genQueryReq()生成查询请求，函数queryData()把查询请求发送到OpenTSDB服务端。以下代码片段在com.huawei.bigdata.opentsdb.examples包的"OpentsdbExample"类的queryData方法中。
- [删除OpenTSDB数据](https://support.huaweicloud.com/devg-mrs/mrs_06_0370.md): 在OpenTSDB的查询接口中增加delete参数，并且设置delete参数为true。函数genQueryReq()生成删除请求，函数deleteData()把删除请求发送到OpenTSDB服务端。以下代码片段在com.huawei.bigdata.opentsdb.examples包的“OpentsdbExample”类的delete
- [调测OpenTSDB应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0373.md): 在程序代码完成开发后，您可以在Windows开发环境中运行应用。使用Windows访问MRS集群来操作OpenTSDB，有如下两种方式：申请一台Windows的ECS访问MRS集群操作OpenTSDB。安装开发环境后运行样例代码。申请ECS访问MRS集群的步骤如下：在“现有集群”列表中，单击已创建的集群名称。记录集群的“可用分区”、“虚拟
- [查看OpenTSDB应用调测结果](https://support.huaweicloud.com/devg-mrs/mrs_06_0374.md): OpenTSDB样例程序运行完后，可直接通过运行结果查看应用程序运行情况，也可以通过运行日志获取应用运行情况。运行结果会有如下成功信息：日志说明日志级别默认为INFO，可以通过调整日志打印级别（DEBUG，INFO，WARN，ERROR，FATAL）来显示更详细的信息。可以通过修改log4j.properties文件来实现，如：
- [调测OpenTSDB应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0376.md): OpenTSDB应用程序支持在安装OpenTSDB客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。Linux环境已安装JDK，版本号需要和Eclipse导出Jar包使用的JDK版本一致。当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机
- [查看OpenTSDB应用调测结果](https://support.huaweicloud.com/devg-mrs/mrs_06_0377.md): OpenTSDB样例程序运行完后，可直接通过运行结果查看应用程序运行情况，也可以通过运行日志获取应用运行情况。运行结果会有如下成功信息：日志说明日志级别默认为INFO，可以通过调整日志打印级别（DEBUG，INFO，WARN，ERROR，FATAL）来显示更详细的信息。可以通过修改log4j.properties文件来实现，如：
- [OpenTSDB CLI Tools介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0379.md): OpenTSDB提供了客户端工具，可以直接调用相关命令对OpenTSDB进行操作。客户端工具同开源社区版本保持一致，请参见https://opentsdb.net/docs/build/html/user_guide/cli/index.html。客户端工具使用方法：source /opt/client/bigdata_envkinit 
- [OpenTSDB HTTP API接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0380.md): OpenTSDB提供了基于HTTP或HTTPS的应用程序接口。请求方式是通过向资源对应的路径发送标准的HTTP请求，请求包含GET、POST方法。它的接口与开源OpenTSDB保持一致，请参见https://opentsdb.net/docs/build/html/api_http/index.html。请求以及响应实体的类型为：appl
- [Flink应用开发简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0384.md): Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。Flink整个系统包含三个部分：ClientFlink Client主要给用户提供向Fli
- [Flink应用开发常用概念](https://support.huaweicloud.com/devg-mrs/mrs_06_0385.md): DataStream数据流，是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入，可以通过socket、Kafka和文件等形式导入，在Flink系统处理后，通过Socket、Kafka和文件等输出到外部系统，这是Flink的核心概念。数据流，是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入，可以通过sock
- [Flink应用开发流程介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0386.md): 开发流程中各阶段的说明如图1和表1所示。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0388.md): 在进行应用开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。
- [准备Flink应用开发用户](https://support.huaweicloud.com/devg-mrs/mrs_06_0389.md): 开发用户用于运行样例工程。在安全集群中，用户需要有HDFS、YARN、Kafka和Flink权限，才能运行Flink样例工程。MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。填写角色的名称，例如flinkrole。在“权限”的表格中选择“HDFS > File System > hdfs://hac
- [安装Flink客户端](https://support.huaweicloud.com/devg-mrs/mrs_06_0390.md): Flink使用Windows环境进行开发，运行环境则建议部署在Linux环境下，MRS客户端不支持安装在Windows环境。您可以执行如下操作完成客户端的配置。确认服务端Flink组件已经安装。下载Flink客户端程序。登录MRS Manager。单击“服务管理 > Flink > 下载客户端”，在“客户端类型”勾选“完整客户端”，“下载
- [配置并导入Flink样例工程](https://support.huaweicloud.com/devg-mrs/mrs_06_0391.md): Flink针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Flink工程。针对Java和Scala不同语言的工程，其导入方式相同。以下操作步骤以导入Java样例代码为例。操作流程如图1所示。“lib”文件夹：只包含Flink依赖jar包，Kafka依赖jar包请去对应组件的服务端安装目录查找并添加。“
- [新建Flink样例工程（可选）](https://support.huaweicloud.com/devg-mrs/mrs_06_0392.md): 除了导入Flink样例工程，您还可以使用IDEA新建一个Flink工程。如下步骤以创建一个Scala工程为例进行说明。如果您需要新建Java语言的工程，选择对应参数即可。
- [准备Flink应用安全认证](https://support.huaweicloud.com/devg-mrs/mrs_06_0393.md): MRS服务集群开启了Kerberos认证需要执行以下步骤，没有开启Kerberos认证的集群忽略该步骤。在安全集群环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。用户在提交Flink应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交Flink的应用程序中需要设置安全认证，确保Fl
- [Flink DataStream应用开发思路](https://support.huaweicloud.com/devg-mrs/mrs_06_0396.md): 假定用户有某个网站网民周末网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能：DataStream应用程序可以在Windows环境和Linux环境中运行。实时统计总计网购时间超过2个小时的女性网民信息。周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符
- [Flink DataStream Java样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0397.md): 统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印。下面代码片段仅为演示，具体代码参见com.huawei.flink.example.stream.FlinkStreamJavaExample：执行之后打印结果如下所示：
- [Flink DataStream Scala样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0398.md): 实时统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印出来。下面代码片段仅为演示，具体代码参见com.huawei.flink.example.stream.FlinkStreamScalaExample：执行之后打印结果如下所示：
- [Flink向Kafka生产并消费数据应用开发思路](https://support.huaweicloud.com/devg-mrs/mrs_06_0400.md): 假定某个Flink业务每秒就会收到1个消息记录。基于某些业务要求，开发的Flink应用程序实现功能：实时输出带有前缀的消息内容。Flink样例工程的数据存储在Kafka组件中。Flink向Kafka组件发送数据（需要有kafka权限用户），并从Kafka组件获取数据。在服务端配置用户创建topic的权限。开启Kerberos认证的安全集群
- [Flink向Kafka生产并消费数据Java样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0401.md): 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。用户在开发前需要使用对接安全模式的Kafka，则需要引入MRS的kafka-client-xx.x.x.jar，该jar包可在MRS client目录下获取。下面列出producer和consumer主要逻辑代码作为演示。完整代码参见com.hu
- [Flink向Kafka生产并消费数据Scala样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0402.md): 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。用户在开发前需要使用对接安全模式的Kafka，则需要引入MRS的kafka-client-xx.x.x.jar，该jar包可在MRS client目录下获取。下面列出producer和consumer主要逻辑代码作为演示。完整代码参见com.hu
- [Flink异步Checkpoint应用开发思路](https://support.huaweicloud.com/devg-mrs/mrs_06_0404.md): 假定用户需要每隔1秒钟需要统计4秒窗口中数据的量，并做到状态严格一致性，即：当应用出现异常并恢复后，各个算子的状态能够处于统一的状态。使用自定义算子每秒钟产生大约10000条数据。产生的数据为一个四元组（Long，String，String，Integer）。数据经统计后，统计结果打印到终端输出。打印输出的结果为Long类型的数据。sou
- [Flink异步Checkpoint Java样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0405.md): 假定用户需要每隔1秒钟需要统计4秒窗口中数据的量，并做到状态严格一致性。快照数据该数据在算子制作快照时，用于保存到目前为止算子记录的数据条数。import java.io.Serializable;
// 该类作为快照的一部分，保存用户自定义状态
public class UDFState implements Serializable 
- [Flink异步Checkpoint Scala样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0406.md): 假定用户需要每隔1秒钟需要统计4秒窗口中数据的量，并做到状态严格一致性。发送数据形式case class SEvent(id: Long, name: String, info: String, count: Int)快照数据该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。// 用户自定义状态
class UDFStateSc
- [Flink Stream SQL Join应用开发思路](https://support.huaweicloud.com/devg-mrs/mrs_06_0408.md): 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。基于某些业务要求，开发的Flink应用程序实现功能：实时地以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询。业务1的数据存储在Kafka
- [Flink Stream SQL Join Java样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0409.md): 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。用户在开发前需要使用对接安全模式的Kafka，则需要引入MRS的kafka-client-xx.x.x.jar，该jar包可在MRS client目录下获取。下面列出producer和consumer，以及Flink Stream SQL Joi
- [编译并运行Flink应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0411.md): 在程序代码完成开发后，建议您上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。在IDEA主页面，选择“File > Project Structures...”进入“Pro
- [查看Flink应用运行结果](https://support.huaweicloud.com/devg-mrs/mrs_06_0412.md): Flink应用程序运行完成后，您可以查看运行结果数据，也可以通过Flink  WebUI查看应用程序运行情况。查看Flink应用运行结果数据。当用户查看执行结果时，需要在Flink的web页面上查看Task Manager的Stdout日志。当执行结果输出到文件或者其他由Flink应用程序指定途径，您可以通过指定文件或其他途径获取到运行结
- [Flink应用性能调优建议](https://support.huaweicloud.com/devg-mrs/mrs_06_0413.md): Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。GC的配置：在客户端的“conf/flink
- [Flink Savepoints CLI介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0415.md): Savepoints在持久化存储中保存某个checkpoint，以便用户可以暂停自己的应用进行升级，并将状态设置为savepoint的状态，并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照，并将快照的元数据（meta-data）写入到一个额外的持久化文件系统中。如果需要使用savepoints的功能，强烈推荐用
- [Flink Client CLI介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0416.md): Flink CLI详细的使用方法参考官网描述：https://nightlies.apache.org/flink/flink-docs-release-1.7/ops/cli.html。Flink常用的CLI如下所示：yarn-session.sh可以使用yarn-session.sh启动一个常驻的Flink集群，接受来自客户端提交的任
- [Savepoints相关问题解决方案](https://support.huaweicloud.com/devg-mrs/mrs_06_0418.md): 用户必须为job中的所有算子均分配ID吗？严格地说，用户只给有状态的算子分配IDs即可，因为在savepoint中仅包括有状态的算子的状态，没有状态的算子并不包含在savepoint中。在实际应用中，强烈建议用户给所有的算子均分配ID，因为有些Flink的内置算子，如window算子是有状态的。具体哪个算子是有状态的，哪个算子是无状态的，
- [如何处理checkpoint设置RocksDBStateBackend方式，且当数据量大时，执行checkpoint会很慢的问题？](https://support.huaweicloud.com/devg-mrs/mrs_06_0419.md): 如何处理checkpoint设置RocksDBStateBackend方式，且当数据量大时，执行checkpoint会很慢的问题？由于窗口使用自定义窗口，这时窗口的状态使用ListState，且同一个key值下，value的值非常多，每次新的value值到来都要使用RocksDB的merge()操作；触发计算时需要将该key值下所有的va
- [如何处理blob.storage.directory配置/home目录时，启动yarn-session失败的问题？](https://support.huaweicloud.com/devg-mrs/mrs_06_0420.md): 当用户设置“blob.storage.directory”为“/home”时，用户没有权限在“/home”下创建“blobStore-UUID”的文件，导致yarn-session启动失败。建议将"blob.storage.directory"配置选项设置成“/tmp”或者“/opt/Bigdata/tmp”。当用户将"blob.stor
- [为什么非static的KafkaPartitioner类对象去构造FlinkKafkaProducer010，运行时会报错？](https://support.huaweicloud.com/devg-mrs/mrs_06_0421.md): Flink内核升级到1.3.0之后，当kafka调用带有非static的KafkaPartitioner类对象为参数的FlinkKafkaProducer010去构造函数时，运行时会报错。报错内容如下：Flink的1.3.0版本，为了兼容原有那些使用KafkaPartitioner的API接口，如FlinkKafkaProducer010
- [为什么新创建的Flink用户提交任务失败，报ZooKeeper文件目录权限不足？](https://support.huaweicloud.com/devg-mrs/mrs_06_0422.md): 创建一个新的Flink用户，提交任务，ZooKeeper目录无权限导致提交Flink任务失败，日志中报如下错误：由于在Flink配置文件中“high-availability.zookeeper.client.acl”默认为“creator”，即谁创建谁有权限，由于原有用户已经使用ZooKeeper上的/flink目录，导致新创建的用户访
- [为什么Flink Web页面无法直接连接？](https://support.huaweicloud.com/devg-mrs/mrs_06_0423.md): 无法通过“http://JobManager IP:JobManager的端口”访问Web页面。由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过以下步骤来解决问题。查看客户端的配置文件“conf/flink-conf.yaml”。确认配置项“jobmanager.web.ssl.enabled”的值是“false”。
- [编译并运行HBase应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0425.md): 在程序代码完成开发后，您可以在Windows开发环境中运行应用。使用windows访问MRS集群来操作HBase，有如下两种方式：申请一台windows的ECS访问MRS集群操作hbase。安装开发环境后运行样例代码。申请ECS访问MRS集群的步骤如下：在“现有集群”列表中，单击已创建的集群名称。记录集群的“可用分区”、“虚拟私有云”、“
- [查看HBase应用调测结果](https://support.huaweicloud.com/devg-mrs/mrs_06_0426.md): HBase应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HBase日志获取应用运行情况。运行结果会有如下成功信息：...
2020-01-09 10:43:49,338 INFO  [main] examples.HBaseExample: Entering dropTable.
2020-01-09 10:43:
- [在Windows中调测Hive JDBC应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0430.md): 依照准备Hive JDBC开发环境中导入和修改样例后，并从集群的任一Master节点的路径/opt/client/Hive/config/hiveclient.properties下获取hiveclient.properties文件，并放置到样例工程的conf下，即hive-examples/conf，即可在开发环境中（例如Eclipse
- [Spark on Yarn的client模式下spark-submit提交任务出现FileNotFoundException异常](https://support.huaweicloud.com/devg-mrs/mrs_06_0431.md): 在omm用户（非root用户）下，通过spark-submit提交yarn-client模式的任务，会出现FileNotFoundException异常，任务还能继续执行，但无法查看Driver端日志。例如：执行命令 spark-submit --class org.apache.spark.examples.SparkPi --mast
- [Impala应用开发简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0436.md): Impala直接对存储在HDFS，HBase 或对象存储服务（OBS）中的Hadoop数据提供快速，交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue中的Impala查询UI）。这为实时或面向批处理的查询提供了一个熟悉
- [Impala应用开发常用概念](https://support.huaweicloud.com/devg-mrs/mrs_06_0437.md): 客户端客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Impala的相关操作。本文中的Impala客户端特指Impala client的安装目录，里面包含通过Java API访问Impala的样例代码。客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Impala的相关操作。本文中
- [Impala应用开发流程介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0438.md): 开发流程中各阶段的说明如图1和表1所示。
- [Impala应用开发环境简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0440.md): 在进行应用开发时，要准备的本地开发环境如表1所示。同时需要准备运行调测的环境，用于验证应用程序运行正常。
- [准备本地应用开发环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0441.md): 选择Windows开发环境下，安装Eclipse，安装JDK。JDK使用1.8版本，Eclipse使用4.3.2及以上版本。若使用IBM JDK，请确保Eclipse中的JDK配置为IBM JDK。若使用Oracle JDK，请确保Eclipse中的JDK配置为Oracle JDK。若使用ODBC进行二次开发，请确保JDK版本为1.8及以
- [准备Impala应用开发用户](https://support.huaweicloud.com/devg-mrs/mrs_06_0442.md): 开发用户用于运行样例工程。用户需要有Impala权限，才能运行Impala样例工程。MRS服务集群开启了Kerberos认证时请执行该步骤，没有开启Kerberos认证的集群忽略该步骤。如果修改了组件的配置参数，需重新下载客户端配置文件并更新运行调测环境上的客户端。
- [准备Impala JDBC客户端](https://support.huaweicloud.com/devg-mrs/mrs_06_0443.md): 为了运行Impala组件的JDBC接口样例代码，需要完成下面的操作。以在Windows环境下开发JDBC方式连接Impala服务的应用程序为例。选择“File > Import > General > Existing Projects into Workspace > Next >Browse”。显示“浏览文件夹”对话框。显示“浏览文件
- [Impala样例程序开发思路](https://support.huaweicloud.com/devg-mrs/mrs_06_0445.md): 假定用户开发一个Impala数据分析应用，用于管理企业雇员信息，如表1、表2所示。创建三张表，雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended”。雇员信息表“employees_info”的字段为雇员编号、姓名、支付薪水币种、薪
- [创建Impala表](https://support.huaweicloud.com/devg-mrs/mrs_06_0447.md): 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。内部表，如果对数据的处理都由Impala完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。外部表，如果数据要被多种工具共同处理，则应该使用外部表，可避免对该数据的误操作。
- [加载Impala数据](https://support.huaweicloud.com/devg-mrs/mrs_06_0448.md): 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。加载数据的实质是将数据拷贝到HDFS上指定表的目录下。LOAD DATA LOCAL INPATH命令可以完成从本地文件系统加载文件到Impala的需求，但是当指定LOCAL时，这里的路径指的是当前连接的Impa
- [查询Impala数据](https://support.huaweicloud.com/devg-mrs/mrs_06_0449.md): 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。SELECT查询的常用特性，如JOIN等。加载数据进指定分区。如何使用Impala自带函数。如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见开发Impala用户自定义函数。自定义函数，具体内容请参见开发Impala用户自定义函数。
- [开发Impala用户自定义函数](https://support.huaweicloud.com/devg-mrs/mrs_06_0450.md): 当Impala的内置函数不能满足需要时，可以通过编写用户自定义函数UDF（User-Defined Functions）插入自己的处理代码并在查询中使用它们。按实现方式，UDF有如下分类：普通的UDF，用于操作单个数据行，且产生一个数据行作为输出。用户定义聚集函数UDAF（User-Defined Aggregating Function
- [分析Impala数据](https://support.huaweicloud.com/devg-mrs/mrs_06_0451.md): 本小节介绍了如何使用样例程序完成分析任务。本章节以使用JDBC接口提交数据分析任务为例。使用Impala JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。修改以下变量为false，标识连接集群的认证模式为普通模式。// 所连接集群的认证模式是否在安全模式 
   boolean isSecureVer = 
- [在Windows中调测Impala JDBC应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0454.md): 依照准备Impala JDBC客户端中导入和修改样例后，并从集群Manager获取到keytab文件放置到样例工程的conf下（普通模式集群可忽略），即impala-examples/conf。即可在开发环境中（例如Eclipse中），右击“JDBCExample.java”，单击“Run as > Java Application”运行
- [在Linux中调测Impala JDBC应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0456.md): Linux环境运行成功结果会有如下信息。Create table success!
_c0
0
Delete table success!
- [Impala JDBC接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0458.md): Impala使用Hive的JDBC接口，Hive JDBC接口遵循标准的JAVA JDBC驱动标准，详情请参见JDK1.7 API。Impala并不能支持所有的Hive JDBC标准API。执行某些操作会产生Method not supported的SQLException异常。
- [Impala SQL接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0459.md): Impala SQL提供对HiveQL的高度兼容性，Impala使用SQL作为其查询语言，为了保护用户在技能开发和查询设计上的投资，Impala提供了与Hive查询语言（HiveQL）的高度兼容性。由于Impala使用与Hive相同的元数据存储来记录有关表结构和属性的信息，因此Impala可以访问通过本机Impala CREATE TAB
- [Alluxio开发环境简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0467.md): 在进行应用开发时，要准备的本地开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行是否正常。
- [准备Alluxio应用开发环境](https://support.huaweicloud.com/devg-mrs/mrs_06_0468.md): 选择Windows开发环境下，安装Eclipse，安装JDK。建议JDK使用1.8版本，Eclipse使用4.3.2及以上版本。若使用IBM JDK，请确保Eclipse中的JDK配置为IBM JDK。若使用Oracle JDK，请确保Eclipse中的JDK配置为Oracle JDK。若使用ODBC进行二次开发，请确保JDK版本为1.8
- [导入并配置Alluxio样例工程](https://support.huaweicloud.com/devg-mrs/mrs_06_0470.md): 在获取MRS样例工程，下载样例工程到本地。导入样例工程到Eclipse开发环境。打开Eclipse，选择“File > Import”。显示“Import”窗口，选择Existing Maven Projects，单击“next”按钮。在“Import Maven Projects”窗口单击“Browse”。显示“Select Root 
- [Alluxio样例程序开发思路](https://support.huaweicloud.com/devg-mrs/mrs_06_0472.md): 通过典型场景，可以快速学习和掌握Alluxio的开发过程，并对关键的接口函数有所了解。Alluxio的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件和对文件的读写；Alluxio还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。本代码样例讲解顺序为：文件系统初始化。写文件。读文件。调用F
- [Alluxio初始化](https://support.huaweicloud.com/devg-mrs/mrs_06_0473.md): 在使用Alluxio提供的API之前，需要先进行Alluxio初始化操作。加载HDFS服务配置文件。实例化Filesystem。使用HDFS的API。如下是代码片段，详细代码请参考ExampleClient类。
- [写Alluxio文件](https://support.huaweicloud.com/devg-mrs/mrs_06_0474.md): 写文件过程为：实例化一个FileSystem。由此FileSystem实例获取写文件的各类资源。将待写内容写入到Alluxio的指定文件中。
- [读Alluxio文件](https://support.huaweicloud.com/devg-mrs/mrs_06_0475.md): 获取Alluxio上某个指定文件的内容。用于获取Alluxio上某个指定文件的内容。以下为部分代码片段：
- [调测Alluxio应用](https://support.huaweicloud.com/devg-mrs/mrs_06_0476.md): 将1导出的alluxio-examples-mrs-1.9-jar-with-dependencies.jar拷贝到/opt/alluxio_examples下。将客户端下的配置文件/opt/client/Alluxio/alluxio/conf/alluxio-site.properties拷贝到“conf”下。当Alluxio集群启动
- [Alluxio API接口介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0477.md): Alluxio接口遵循标准的Alluxio Parent API标准，详情请见https://docs.alluxio.io/os/javadoc/2.0/index.html。Master REST API：https://docs.alluxio.io/os/restdoc/2.0/master/index.htmlWorker RE
- [MRS各组件样例工程汇总](https://support.huaweicloud.com/devg-mrs/mrs_06_0479.md): 样例工程获取地址参见获取MRS应用开发样例工程，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。MRS样例代码库提供了各组件的基本功能样例工程供用户使用，当前版本各组件提供的样例工程汇总参见表1。
- [Python样例代码](https://support.huaweicloud.com/devg-mrs/mrs_06_0480.md): 通过连接zookeeper上的对应znode获取到当前主JDBCServer的IP和PORT，然后使用pyhive连接到这个JDBCServer，从而实现在JDBCServer-ha模式下，出现主备倒换后不需要修改代码依旧就能直接访问新的主JDBCServer服务。该功能仅支持普通集群（未开启Kerberos认证的集群）使用。安装支持环境
- [Spark任务读取HBase报错“had a not serializable result”](https://support.huaweicloud.com/devg-mrs/mrs_06_0481.md): Spark任务读取HBase报错，报错信息：Task 0.0 in stage 0.0 (TID 0) had a not serializable result: org.apache.hadoop.hbase.io.ImmutableBytesWritable，应该如何处理？可通过如下两种方式处理：在代码的SparkConf初始化之前
- [Alluxio应用开发简介](https://support.huaweicloud.com/devg-mrs/mrs_06_0482.md): Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易、更快地被访问。同时使得应用程序能够通过一个公共接口连接到许多存储系统。Alluxio主要特点如下：提供内存级I/O 吞吐率，同时降低具有弹性扩张特性的数据驱动型
- [Alluxio常用概念](https://support.huaweicloud.com/devg-mrs/mrs_06_0483.md): 由两个进程组成，一个是处理用户请求和管理Journal存储系统元数据的Alluxio Master，另一个是调度文件系统操作的Alluxio Job Master。负责管理用户可配置的本地资源（例如：内存、SDD、HDD），对底层存储进行数据操作。Alluxio Client主要包括三种方式：Java API、Shell、HTTP RES
- [Alluxio应用开发流程介绍](https://support.huaweicloud.com/devg-mrs/mrs_06_0484.md): 开发流程中各阶段的说明如图1和表1所示。
- [在集群外节点运行PrestoJDBCExample缺少证书](https://support.huaweicloud.com/devg-mrs/mrs_06_0485.md): presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar在集群内节点运行时正常，但在集群外节点运行PrestoJDBCExample连接开启Kerberos认证的集群缺少证书，报错如下:通过https协议连接安全集群，服务端的证书没有被认证，导致连接失败。可以用集群内节点上java jd
- [在集群外节点连接开启Kerberos认证的集群，HTTP在Kerberos数据库中无法找到相应的记录](https://support.huaweicloud.com/devg-mrs/mrs_06_0486.md): presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar在集群内节点运行时正常，但在集群外节点运行PrestoJDBCExample连接开启Kerberos的集群时出现以下两种报错。报错1：报错2：客户端拼接出的HTTP的principal与Kerberos数据库中的不一致（报错1）或获
- [登录MRS Manager](https://support.huaweicloud.com/devg-mrs/mrs_06_0606.md): MRS Manager支持监控、配置和管理MRS集群，用户可以在MRS控制台页面打开Manager管理页面。本章节介绍如何打开MRS Manager方法。若用户创建集群时已经绑定弹性公网IP，如图1所示。选择待添加的安全组规则所在安全组，该安全组在创建群时配置。添加安全组规则，默认填充的是用户访问公网IP地址9022端口的规则，如需开放多
- [下载MRS客户端](https://support.huaweicloud.com/devg-mrs/mrs_06_0607.md): 如果使用SSH登录ECS的默认端口22被修改，请将主机端口设置为新端口。保存路径最多可以包含256个字符。如果使用其他用户，请确保该用户对保存目录拥有读取、写入和执行权限。密码：输入创建集群时设置的root用户密码。SSH私钥：选择并上传创建集群时使用的密钥文件。若界面显示以下提示信息表示客户端包已经成功保存。单击关闭。客户端文件请到下载
- [在Windows中调测Presto应用开发](https://support.huaweicloud.com/devg-mrs/mrs_06_0608.md): 在“现有集群”列表中，单击已创建的集群名称。记录集群的“可用分区”、“虚拟私有云”，以及Master节点的“默认安全组”。记录集群的“可用分区”、“虚拟私有云”，以及Master节点的“默认安全组”。在弹性云服务管理控制台，创建一个新的弹性云服务器。弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。选择一
- [在Linux中调测Presto应用开发](https://support.huaweicloud.com/devg-mrs/mrs_06_0609.md): 将1导出的presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar拷贝到/opt/presto_examples下。presto.properties样例：Linux环境运行成功结果会有如下信息：NY Metro : 2
Mid Atlantic : 6
Mid Atlantic : 6
- [本地运行Spark程序连接MRS集群的Hive、HDFS](https://support.huaweicloud.com/devg-mrs/mrs_06_0610.md): 本地运行Spark程序时，如何连接MRS集群的Hive和HDFS？

## API参考

- [集群添加组件-AddComponent](https://support.huaweicloud.com/api-mrs/AddComponent.md): 该API用于为已有MRS集群添加新的服务组件，扩展集群的功能。仅MRS 3.1.2及之后普通版本和MRS 3.1.2-LTS.2及之后的LTS版本的自定义集群支持添加组件功能。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权
- [批量添加集群标签-BatchCreateClusterTags](https://support.huaweicloud.com/api-mrs/BatchCreateClusterTags.md): 为指定MRS集群批量添加标签，用于集群的分类与管理。一个集群上最多有20个标签。该接口为幂等接口：同一集群不允许重复key，如数据已存在则覆盖。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果
- [批量删除集群标签-BatchDeleteClusterTags](https://support.huaweicloud.com/api-mrs/BatchDeleteClusterTags.md): 为指定MRS集群批量删除标签。一个集群上最多有20个标签。该接口为幂等接口：删除不存在的标签默认处理成功，不对标签字符集范围做校验。Key长度为128个字符，value为255个字符。删除时tags结构体不能缺失，key不能为空，或者空字符串。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，
- [批量删除作业-BatchDeleteJobs](https://support.huaweicloud.com/api-mrs/BatchDeleteJobs.md): 在MRS集群中批量删除作业，适用于清理已完成或已失败的作业，释放管理资源。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，需具备如下身份策略权限。授权项访问级别资源类型（*为
- [取消SQL执行任务-CancelSql](https://support.huaweicloud.com/api-mrs/CancelSql.md): 在MRS集群中取消一条正在执行的SQL任务，适用于SQL执行时间过长或需要中断的场景，可通过查询SQL结果接口确认取消结果。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，需
- [指定用户、用户组取消同步-CancelSyncIamUser](https://support.huaweicloud.com/api-mrs/CancelSyncIamUser.md): 取消指定IAM用户或用户组到MRS集群Manager的同步，取消后该用户或用户组将无法通过Manager进行集群管理操作。与IAM同步接口配合使用。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如
- [新增作业并执行（废弃）](https://support.huaweicloud.com/api-mrs/CreateAndExecuteJob.md): 在MRS集群中新增一个作业，并执行作业。该接口不兼容Sahara。 集群ID可参考查询集群列表接口获取。MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。DistCp作业需要配置文件操作类型(file_action)。Spark SQL需要配置Spark SQL语句(hql)和sql程序路径(hive_
- [创建弹性伸缩策略-CreateAutoScalingPolicy](https://support.huaweicloud.com/api-mrs/CreateAutoScalingPolicy.md): 为指定MRS集群创建弹性伸缩策略，配置集群节点的自动扩缩容规则。与查看弹性伸缩策略接口配合使用，可查看已创建的策略详情。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前AP
- [给指定集群添加标签-CreateClusterTag](https://support.huaweicloud.com/api-mrs/CreateClusterTag.md): 为指定MRS集群添加一个标签，用于集群的分类和检索。一个集群上最多有20个标签。该接口为幂等接口：如果添加的标签key已存在，则覆盖原有标签值。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果
- [创建数据连接-CreateDataConnector](https://support.huaweicloud.com/api-mrs/CreateDataConnector.md): 该API用于创建MRS集群的外部数据连接。MRS提供了数据连接管理功能，支持将集群中组件（如Hive、Ranger）元数据存储到外部数据源，实现与数据存储层（如HDFS）和计算引擎（如 Spark、Flink）的解耦。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API
- [新增并执行作业-CreateExecuteJob](https://support.huaweicloud.com/api-mrs/CreateExecuteJob.md): 在MRS集群中新增并提交一个作业，支持MapReduce、Spark、Hive等多种作业类型。需要先在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步，然后再通过该接口提交作业。如需使用OBS加密功能，请先参考“MRS用户指南 > 管理现有集群 > 作业管理 > 使用OBS加密数据运行作业”页面进行相关配置
- [配置弹性伸缩规则-CreateAutoScalingPolicy](https://support.huaweicloud.com/api-mrs/CreateScalingPolicy.md): 对MRS集群的弹性伸缩规则进行编辑配置，设置自动扩缩容的触发条件和调整规则。也可在创建集群并执行作业接口中同时创建弹性伸缩规则。与查看弹性伸缩策略接口配合使用，可验证配置结果。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体
- [删除弹性伸缩策略-DeleteAutoScalingPolicy](https://support.huaweicloud.com/api-mrs/DeleteAutoScalingPolicy.md): 删除指定MRS集群的弹性伸缩策略。删除后集群将不再根据规则自动扩缩容节点，请确认业务需求后再操作。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限
- [删除集群-DeleteCluster](https://support.huaweicloud.com/api-mrs/DeleteCluster.md): 数据完成处理分析后或者集群运行异常无法提供服务时可删除集群服务。该接口兼容Sahara。处于如下状态的集群不允许删除：scaling-out：扩容中scaling-out：扩容中scaling-in：缩容中scaling-in：缩容中starting：启动中starting：启动中terminating：删除中terminating：删除
- [删除指定集群的标签-DeleteClusterTag](https://support.huaweicloud.com/api-mrs/DeleteClusterTag.md): 删除指定MRS集群的某个标签，删除不存在的标签默认处理成功。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v1.1/{pro
- [删除数据连接-DeleteDataConnector](https://support.huaweicloud.com/api-mrs/DeleteDataConnector.md): 该API用于删除MRS服务内已创建的数据连接，删除前请确保该数据连接未被集群中的作业或服务引用，否则可能导致相关功能异常。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，需具备
- [删除作业执行对象（废弃）](https://support.huaweicloud.com/api-mrs/DeleteJobExecution.md): 删除指定的作业执行对象。该接口兼容Sahara。MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。无您可以在API Explorer中调试该接口。DELETE /v1.1/{project_id}/job-executions/{job_execution_id}无无删除作业执行对象请求示例无请参见错误
- [错误码](https://support.huaweicloud.com/api-mrs/ErrorCode.md): 当您调用API时，如果遇到“APIGW”开头的错误码，请参见API网关错误码进行处理。
- [提交SQL语句-ExecuteSql](https://support.huaweicloud.com/api-mrs/ExecuteSql.md): 在MRS集群中提交并执行一条SQL语句，适用于通过API方式运行数据查询和分析任务，可通过获取SQL结果接口查询执行结果。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，需具
- [扩容集群-ExpandCluster](https://support.huaweicloud.com/api-mrs/ExpandCluster.md): 该API用于对MRS集群进行扩容，增加指定节点组中的节点数量。仅处于运行中状态的MRS集群允许扩容。可通过查询集群详情接口查看扩容进度，与缩容集群接口配合，实现集群容量的动态调整。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具
- [查询所有标签-ListAllTags](https://support.huaweicloud.com/api-mrs/ListAllTags.md): 查询租户在指定区域下所有MRS集群的标签集合，用于了解已有标签的分布情况，便于标签的统一规划和管理。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略
- [查询指定集群切换委托任务状态-ListAgencyTaskStatus](https://support.huaweicloud.com/api-mrs/ListAsyncTaskStatus.md): 查询指定MRS集群切换IAM委托任务的执行状态，用于确认委托切换操作是否完成。可与更新用户（组）与IAM委托的映射关系接口配合使用。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授
- [查询可用区信息-ListAvailableZones](https://support.huaweicloud.com/api-mrs/ListAvailableZones.md): 查询MRS服务当前区域下可用的可用区信息，包括可用区ID和名称。在创建集群时，需要通过该接口获取可用区ID来配置集群节点所在的位置。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授
- [查询集群界面授权状态-ListClusterManagerAuthState](https://support.huaweicloud.com/api-mrs/ListClusterManagerAuthState.md): 该API用于查询指定MRS集群的界面授权状态。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/clus
- [查询集群节点授权状态-ListClusterSshState](https://support.huaweicloud.com/api-mrs/ListClusterSshState.md): 查询MRS集群节点的授权状态，可与开启/关闭集群节点授权接口配合使用。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/clust
- [查询指定集群的标签-ListClusterTags](https://support.huaweicloud.com/api-mrs/ListClusterTags.md): 查询指定MRS集群的所有标签信息，用于了解集群当前的标签配置，便于集群的分类检索和权限管理。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。G
- [查询集群列表-ListClusters](https://support.huaweicloud.com/api-mrs/ListClusters.md): 查看当前用户创建的MRS集群列表信息，支持按集群名称、状态、标签和企业项目等条件进行筛选和分页查询。该接口不兼容Sahara。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，
- [查询特定标签的集群列表-ListClustersByTags](https://support.huaweicloud.com/api-mrs/ListClustersByTags.md): 使用标签过滤查询MRS集群列表，支持多个标签组合筛选（标签之间为与的关系）。集群默认按创建时间倒序排列，便于通过标签快速定位目标集群。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策
- [查询数据连接列表-ListDataConnector](https://support.huaweicloud.com/api-mrs/ListDataConnector.md): 该API用于查询指定MRS集群的数据连接列表，包括数据连接的名称、类型和连接状态等信息，用于管理和查看集群已配置的外部数据源连接。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权
- [查询作业exe对象列表（废弃）](https://support.huaweicloud.com/api-mrs/ListExecuteJob.md): 查询所有作业的exe对象列表。该接口不兼容Sahara。MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。无您可以在API Explorer中调试该接口。GET /v1.1/{project_id}/job-exes无状态码： 200查询作业exe对象列表请求示例状态码： 200查询作业exe对象列表成
- [查询主机列表-ListHosts](https://support.huaweicloud.com/api-mrs/ListHosts.md): 该接口用于查询指定MRS集群的主机列表详情，包括主机名称、IP地址、节点类型、运行状态等信息，用于集群运维和故障排查。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前AP
- [查询集群节点列表-ListNodes](https://support.huaweicloud.com/api-mrs/ListNodes.md): 查询指定MRS集群的节点列表信息，包括节点名称、IP地址、节点类型和运行状态等，用于了解集群的节点组成和各节点的运行情况。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前A
- [获取当前集群通信安全授权状态-ListSecurityRuleStatus](https://support.huaweicloud.com/api-mrs/ListSecurityRuleStatus.md): 该API用于获取指定MRS集群通信安全授权状态，MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策
- [查询指定集群的IAM同步情况-ListClusterSyncStatus](https://support.huaweicloud.com/api-mrs/ListSyncRequirements.md): 查询指定MRS集群的IAM用户同步情况，包括最近一次同步的时间和同步状态，用于了解集群的IAM用户同步进度。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身
- [查询当前集群是否在IAM同步进行中-ListClusterSyncTaskStatus](https://support.huaweicloud.com/api-mrs/ListSyncStatus.md): 查询指定MRS集群当前是否正在进行IAM用户同步操作，用于在执行IAM同步前确认集群同步状态，避免重复同步。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身
- [创建集群并提交作业-CreateClusterAndSubmitJob](https://support.huaweicloud.com/api-mrs/RunJobFlow.md): 创建一个MRS集群并提交作业，并支持作业完成后删除集群，支持MRS 1.8.9及以上集群版本使用。使用接口前，您需要先获取以下的资源信息。通过VPC创建或查询VPC、子网通过VPC创建或查询VPC、子网通过ECS创建或查询密钥对通过ECS创建或查询密钥对通过终端节点获取区域信息通过终端节点获取区域信息参考MRS服务支持的组件获取MRS版本
- [查询用户（组）与IAM委托的映射关系-ShowAgencyMapping](https://support.huaweicloud.com/api-mrs/ShowAgencyMapping.md): 获取用户（组）与IAM委托之间的映射关系的详细信息，用于了解集群访问外部云服务资源时的权限委托配置，与更新用户（组）与IAM委托的映射关系接口配合使用。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权
- [查看弹性伸缩策略-ShowAutoScalingPolicy](https://support.huaweicloud.com/api-mrs/ShowAutoScalingPolicy.md): 查看指定集群的所有的弹性伸缩策略信息，包括自动扩缩容规则、触发条件和当前状态等。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，需具备如下身份策略权限。授权项访问级别资源类型
- [查询集群详情-ShowClusterDetails](https://support.huaweicloud.com/api-mrs/ShowClusterDetails.md): 查看指定MRS集群的详细信息，包括集群版本、组件列表、节点配置、运行状态和VPC网络等。该接口不兼容Sahara。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调
- [查询作业列表信息-ShowJobList](https://support.huaweicloud.com/api-mrs/ShowJobExeListNew.md): 在MRS指定集群中查询作业管理里提交的作业列表信息，支持按作业状态和类型进行筛选，用于监控和管理集群中的作业运行情况。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，需具备如
- [查询作业exe对象详情（废弃）](https://support.huaweicloud.com/api-mrs/ShowJobExes.md): 查询指定作业的exe对象详细信息。该接口不兼容Sahara。MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。无您可以在API Explorer中调试该接口。GET /v1.1/{project_id}/job-exes/{job_exe_id}无状态码： 200查询作业exe对象详情请求示例状态码： 
- [查询MRS集群版本可用的规格-ShowMrsFlavors](https://support.huaweicloud.com/api-mrs/ShowMrsFlavors.md): 查询指定MRS集群版本可用的节点规格信息，包括CPU、内存等配置。在创建集群或扩容节点前，可通过该接口了解可用的节点规格。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前A
- [展示MRS版本列表-ShowMrsVersionList](https://support.huaweicloud.com/api-mrs/ShowMrsVersionList.md): 查询MRS服务当前支持的版本列表信息，用于在创建集群前了解可用的MRS版本。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{p
- [查询对应版本元数据-ShowMrsVersionMetadata](https://support.huaweicloud.com/api-mrs/ShowMrsVersionMetadata.md): 查询指定MRS版本的元数据信息，包括版本支持的组件列表、组件版本和配置参数等。如果参数中指定集群ID，则可查询该集群更新补丁后的最新元数据。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身
- [查询单个作业信息-ShowSingleJob](https://support.huaweicloud.com/api-mrs/ShowSingleJobExe.md): 在MRS集群中查询指定作业的详细信息，包括作业类型、执行状态、启动时间、结束时间等，用于跟踪和排查单个作业的运行情况。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，需具备如
- [查询SQL结果-ShowSqlResult](https://support.huaweicloud.com/api-mrs/ShowSqlResult.md): 在MRS集群中查询一条SQL的执行结果，与提交SQL语句接口配合使用，用于获取异步提交的SQL任务的运行结果。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，需具备如下身份策
- [获取SQL结果-ShowSqlResultWithJob](https://support.huaweicloud.com/api-mrs/ShowSqlResultWithJob.md): 在MRS集群中查询SparkSql和SparkScript两种类型作业的SQL语句运行完成后返回的查询结果，可与新增并执行作业接口配合使用，用于获取异步提交的Spark SQL作业的运行结果。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色
- [获取已经同步的IAM用户和用户组-ShowSyncIamUser](https://support.huaweicloud.com/api-mrs/ShowSyncIamUser.md): 获取已同步到MRS集群Manager的IAM用户和用户组列表，用于确认IAM用户同步操作的结果和当前已同步的用户信息。与IAM同步接口和指定用户/用户组取消同步接口配合使用。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限
- [查询标签配额-ShowTagQuota](https://support.huaweicloud.com/api-mrs/ShowTagQuota.md): 查询MRS服务的标签配额信息，包括单个集群允许的最大标签数量等限制，用于在添加标签前确认配额是否充足。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略
- [查询默认标签状态-ShowDefaultTagStatus](https://support.huaweicloud.com/api-mrs/ShowTagStatus.md): 查询MRS集群的默认标签启用状态，用于确认集群内节点是否已自动打上集群默认标签，便于节点资源的分类和管理。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份
- [缩容集群-ShrinkCluster](https://support.huaweicloud.com/api-mrs/ShrinkCluster.md): 该API用于对MRS集群进行缩容，减少指定节点组中的节点数量。支持按数量缩容和指定节点缩容两种方式：按数量缩容时系统自动选择删除节点；指定节点缩容时支持删除状态异常的ECS节点，可通过查询集群详情接口查看缩容进度。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需
- [终止作业-StopJob](https://support.huaweicloud.com/api-mrs/StopJob.md): 在MRS集群中终止指定作业，适用于作业运行异常或需要手动停止的场景。可通过查询单个作业信息接口确认终止结果。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，需具备如下身份策略
- [集群操作默认标签-SwitchClusterTags](https://support.huaweicloud.com/api-mrs/SwitchClusterTags.md): 对已有MRS集群启用或关闭集群默认标签功能。开启后，集群内节点会自动打上集群默认标签，便于节点资源的分类管理。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需
- [更新用户（组）与IAM委托的映射关系-UpdateAgencyMapping](https://support.huaweicloud.com/api-mrs/UpdateAgencyMapping.md): 更新用户（组）与IAM委托之间的映射关系，用于配置集群访问外部云服务资源时的权限委托。与查询用户（组）与IAM委托的映射关系接口配合使用，可验证更新结果。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授
- [更新弹性伸缩策略-UpdateAutoScalingPolicy](https://support.huaweicloud.com/api-mrs/UpdateAutoScalingPolicy.md): 更新指定MRS集群的弹性伸缩策略配置，可调整自动扩缩容的规则和阈值。与查看弹性伸缩策略接口配合使用，可验证更新结果。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调
- [开启/关闭集群界面授权-UpdateClusterAuthTros](https://support.huaweicloud.com/api-mrs/UpdateClusterAuthTros.md): 该API用于开启/关闭指定MRS集群的界面授权。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/cl
- [修改集群名称-UpdateClusterName](https://support.huaweicloud.com/api-mrs/UpdateClusterName.md): 修改指定MRS集群的名称，修改后立即生效。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，需具备如下身份策略权限。授权项访问级别资源类型（*为必须）条件键别名依赖的授权项mr
- [调整集群节点-ModifyClusterNode](https://support.huaweicloud.com/api-mrs/UpdateClusterScaling.md): 对MRS集群的Core节点或Task节点进行扩容或缩容操作。MRS集群创建成功后不支持调整Master节点数量。仅处于运行中状态的集群允许调整，其他状态则不允许。该接口不兼容Sahara。可通过查询集群详情接口查看调整进度。建议优先使用扩容集群接口和缩容集群接口分别执行扩缩容操作。 集群状态和集群ID可参考查询集群列表接口获取。 本章节的
- [开启/关闭集群节点授权-UpdateClusterSsh](https://support.huaweicloud.com/api-mrs/UpdateClusterSsh.md): 开启或关闭MRS集群的节点授权，与查询集群节点授权状态接口配合使用，可查询当前授权状态。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT 
- [更新数据连接-UpdateDataConnector](https://support.huaweicloud.com/api-mrs/UpdateDataConnector.md): 该API用于更新指定MRS数据连接的配置信息，包括数据源连接参数和认证信息等。与查询数据连接列表接口配合使用，可验证更新结果。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，需
- [IAM同步-UpdateSyncIamUser](https://support.huaweicloud.com/api-mrs/UpdateSyncIamUser.md): 将IAM用户和用户组同步到MRS集群Manager，使IAM用户能够通过Manager对集群进行管理操作。指定用户时，会同时将该用户关联的IAM用户组也同步到Manager。与获取已同步的IAM用户和用户组接口配合使用，可验证同步结果。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用
- [MRS所使用的裸金属服务器规格](https://support.huaweicloud.com/api-mrs/mrs_01_9001.md): 针对不同的应用场景，MRS使用到如下类型的裸金属服务器。鲲鹏 V1实例AB.C.D例如m2.8xlarge.8其中，A表示系列，例如：s表示通用型、c表示计算型、m表示内存型。B表示系列号，例如：s1中的1表示通用型I代，s2中2表示通用型II代。C表示规格，当前系列中的规格大小，例如：medium、large、xlarge。D表示内存、
- [MRS所使用的弹性云服务器规格](https://support.huaweicloud.com/api-mrs/mrs_01_9006.md): 针对不同的应用场景，MRS使用到如下类型的弹性云服务器。通用计算增强型：C3型、C3ne型、C6型、C6s型、C7型内存优化型：M3型、M6型、M7型超高I/O型：I3型、IR3型鲲鹏内存优化型：KM1型鲲鹏超高I/O型：KI1型鲲鹏通用计算增强型：KC1型通用计算型（S3型、S6型）通用计算增强型（C3型）通用计算增强型（C6型、C6s
- [使用前必读](https://support.huaweicloud.com/api-mrs/mrs_02_0001.md): 欢迎使用MapReduce服务（MapReduce Service，MRS）。MRS服务提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。您可以使用本文档提供API对MRS服务进行相关操作，如创建集群、删除集群、调整集群节点、创建作业并执行等。支持的全部操作请参见A
- [API版本选择建议](https://support.huaweicloud.com/api-mrs/mrs_02_0006.md): 当前MRS服务对外API提供云服务自定义规范的API V1.1和V2两类接口，V2版本目前仅部分接口支持，主要用于提交作业和提交SQL语句。在接口功能相同的情况下，推荐您优先使用V2接口。MRS所有版本均支持V1.1接口。针对MRS 1.X版本的集群，MRS 1.8.7及之后版本支持V2接口。针对MRS 2.X版本的集群，MRS 2.0.
- [API概览](https://support.huaweicloud.com/api-mrs/mrs_02_0007.md): MRS提供的符合RESTful API的设计规范的接口，如表1和表2所示。如何选择不同版本的接口请参见API版本选择建议。MRS版本演进过程中逐步废弃部分接口，具体请参见表3。
- [构造请求](https://support.huaweicloud.com/api-mrs/mrs_02_0008.md): 本节介绍REST API请求的组成，并以调用IAM服务的管理员创建IAM用户说明如何调用API，该API获取用户的Token，Token可以用于调用其他API时鉴权。您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987 。请求URI由如下部分组成：{URI-
- [认证鉴权](https://support.huaweicloud.com/api-mrs/mrs_02_0009.md): 调用接口有如下两种认证方式，您可以选择其中一种进行认证鉴权。AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。Token认证：通过Token认证通用请求。AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。Token认
- [返回结果](https://support.huaweicloud.com/api-mrs/mrs_02_0010.md): 请求发送以后，您会收到响应，包含状态码、响应消息头和消息体。状态码是一组从1xx到5xx的数字代码，状态码表示了请求响应的状态，完整的状态码列表请参见状态码。对于管理员创建IAM用户接口，如果调用后返回状态码为201，则表示请求成功。对应请求消息头，响应同样也有消息头，如Content-Type。对于管理员创建IAM用户接口，返回如图1所
- [获取项目ID](https://support.huaweicloud.com/api-mrs/mrs_02_0011.md): 在调用接口的时候，部分URL中需要填入项目编号（project_id），所以需要获取到项目编号。项目编号获取步骤如下：登录管理控制台。单击用户名，在下拉列表中单击“我的凭证”。在“API凭证”页面的项目列表中查看项目ID。在“API凭证”页面的项目列表中查看项目ID。多项目时，展开“所属区域”，从“项目ID”列获取子项目ID。项目ID可以
- [状态码](https://support.huaweicloud.com/api-mrs/mrs_02_0015.md): 状态码如表1所示。
- [获取账号ID](https://support.huaweicloud.com/api-mrs/mrs_02_0016.md): 在调用接口的时候，部分URL中需要填入账号ID（domain-id），所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下：登录管理控制台。单击用户名，在下拉列表中单击我的凭证。在“API凭证”页面中查看账号ID。获取账号ID在“API凭证”页面中查看账号ID。
- [创建集群并执行作业-CreateClusterAndSubmitJob](https://support.huaweicloud.com/api-mrs/mrs_02_0028.md): 创建一个MRS集群，并在集群中提交一个作业。该接口不兼容Sahara。建议优先使用创建集群V2接口和创建集群并提交作业V2接口来完成创建集群或创建集群并提交作业的功能。支持同一时间并发创建10个集群。使用接口前，您需要先获取以下的资源信息：通过VPC创建或查询VPC、子网。通过VPC创建或查询VPC、子网。通过ECS创建或查询密钥对。通过
- [权限及授权项说明](https://support.huaweicloud.com/api-mrs/mrs_02_0083.md): 如果您需要对您所拥有的MapReduce服务（MRS）进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），如果华为账号所具备的权限功能已经能满足您的要求，您可以跳过本章节，不影响您使用MRS服务的其他功能。通过IAM，您可以通过授权控制主体（IAM用户、用户组、IAM
- [获取指定目录文件列表-ShowHdfsFileList](https://support.huaweicloud.com/api-mrs/mrs_02_0096.md): 在MRS集群中获取HDFS指定目录下的文件列表信息，包括文件名称、大小、权限和修改时间等，用于浏览和检查集群HDFS中的数据文件。无请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授
- [创建集群-CreateCluster](https://support.huaweicloud.com/api-mrs/mrs_02_0101.md): 该API用于创建一个MRS集群。使用该接口前，您需要先获取以下的资源信息：通过VPC创建或查询VPC、子网。通过VPC创建或查询VPC、子网。通过ECS创建或查询密钥对。通过ECS创建或查询密钥对。通过终端节点获取区域信息。通过终端节点获取区域信息。参考MRS服务支持的组件获取MRS版本及对应版本支持的组件信息。参考MRS服务支持的组件获
- [MRS支持的角色与组件对应表](https://support.huaweicloud.com/api-mrs/mrs_02_0106.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [创建MRS集群](https://support.huaweicloud.com/api-mrs/mrs_02_0112.md): 本章节指导用户通过API创建一个MRS分析集群。API的调用方法请参见如何调用API。已在待创建集群区域通过虚拟私有云服务创建VPC，子网。创建VPC请参考查询VPC列表和创建VPC。创建子网请参考查询子网列表和创建子网。已获取待创建集群区域的区域和可用区信息，具体请参考终端节点。已获取待创建集群区域的项目ID，请参考获取项目ID获取。已
- [扩容集群](https://support.huaweicloud.com/api-mrs/mrs_02_0113.md): 创建集群后，扩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量，即不支持扩缩容Master节点。API的调用方法请参见如何调用API。集群已创建成功并处于“运行中”。已获取待创建集群区域的项目ID，请参考获取项目ID获取。已获取集群ID，即创建集群成功后返回结果中的“cluster_id” 或参考获取
- [缩容集群](https://support.huaweicloud.com/api-mrs/mrs_02_0114.md): 创建集群后，缩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量，即不支持扩缩容Master节点。API的调用方法请参见如何调用API。集群已创建成功并处于“运行中”。已获取待创建集群区域的项目ID，请参考获取项目ID获取。已获取集群ID，即创建集群成功后返回结果中的“cluster_id” 或参考获取
- [删除集群](https://support.huaweicloud.com/api-mrs/mrs_02_0115.md): 数据完成处理分析后或者集群运行异常无法提供服务时可删除集群服务。处于如下状态的集群不允许删除：scaling-out：扩容中scaling-in：缩容中starting：启动中terminating：删除中terminated：已删除failed：失败scaling-out：扩容中scaling-in：缩容中starting：启动中ter
- [新增作业](https://support.huaweicloud.com/api-mrs/mrs_02_0116.md): 在MRS集群中新增并提交一个作业。API的调用方法请参见如何调用API。集群已创建成功并处于“运行中”。已获取待创建集群区域的项目ID，请参考获取项目ID获取。已获取集群ID，即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。IAM用户已同步完成，可通过在集群详情页的“概览”页签，单击IAM用户同步右侧的“单击
- [终止作业](https://support.huaweicloud.com/api-mrs/mrs_02_0117.md): 当作业提交后未执行完成时，手动终止作业。API的调用方法请参见如何调用API。集群已创建成功并处于“运行中”。已获取待创建集群区域的项目ID，请参考获取项目ID获取。已获取集群ID，即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。已获取作业ID，即作业提交成功后返回结果中的“job_id”或参考获取作业ID获
- [策略授权参考](https://support.huaweicloud.com/api-mrs/mrs_02_0221.md): 本章节介绍MRS服务策略授权场景下支持的策略授权项。策略包含系统策略和自定义策略，如果系统策略不满足授权要求，管理员可以创建自定义策略，并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应，授权项列表说明如下：权限：允许或拒绝某项操作。对应API接口：自定义策略实际调用的API接口。授权项：自定义策略中支持的Ac
- [身份策略授权参考](https://support.huaweicloud.com/api-mrs/mrs_02_0222.md): 云服务在IAM预置了常用授权项，称为系统身份策略。如果IAM系统身份策略无法满足授权要求，管理员可以根据各服务支持的授权项，创建IAM自定义身份策略来进行精细的访问控制，IAM自定义身份策略是对系统身份策略的扩展和补充。除IAM服务外，Organizations服务中的服务控制策略（Service Control Policy，以下简称S
- [获取MRS集群信息](https://support.huaweicloud.com/api-mrs/mrs_02_9001.md): MRS 3.6.0-LTS支持的组件信息如下：自定义集群包含的组件有：Hadoop,Spark,HBase,Hive,Kafka,Flume,Flink,Oozie,ZooKeeper,HetuEngine,Ranger,Tez,JobGateway,ClickHouse,Guardian,MemArtsCC,Sqoop,Kudu,Imp

## SDK参考

- [SDK概述](https://support.huaweicloud.com/sdkreference-mrs/mrs_11_000001.md): 本文介绍了MRS服务提供的SDK语言版本，列举了最新版本SDK的获取地址。API Explorer能根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码，如图1所示。当您在中间的填充栏填入对应内容时， 右侧代码示例栏会自动拼装参

## CLI参考

- [CLI命令参考（V1）](https://support.huaweicloud.com/clir-mrs/MRS-cli_v1.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [CLI命令参考（V2）](https://support.huaweicloud.com/clir-mrs/MRS-cli_v2.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [如何使用CLI](https://support.huaweicloud.com/clir-mrs/mrs_02_0248.md): 华为云命令行工具服务（Koo Command Line Interface，KooCLI，原名HCloud CLI）是为发布在API Explorer上的云服务API提供的命令行管理工具。您可以通过此工具调用API Explorer中MRS开放的API，管理和使用您的MRS资源。关于KooCLI的详细信息，请参见什么是KooCLI。在使用

## 场景代码示例

- [](https://support.huaweicloud.com/scenecode-mrs/https://codelabs.developer.huaweicloud.com/codelabs/home?pageno=1&product_group=%E5%A4%A7%E6%95%B0%E6%8D%AE&productshorts=MRS): 场景代码示例

## 常见问题

- [MRS可以做什么？](https://support.huaweicloud.com/mrs_faq/mrs_03_0001.md): MapReduce Service（MRS）可以做什么？MapReduce服务（MapReduce Service）为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎，支持数据湖、数据仓库、BI、AI融合等能力，完全兼容开源，快速帮助客户上云构建低成本、灵活开放、安全可靠、全
- [如何查看所有MRS集群？](https://support.huaweicloud.com/mrs_faq/mrs_03_1002.md): MRS所有的集群都展示在MRS管理控制台的MRS集群页面中。登录MRS管理控制台。进入MRS集群页面，可查看所有集群。集群数量较多时，可采用翻页显示，您可以查看任何状态下的集群。现有集群：包括除了“失败”和“已删除”状态以外的所有集群。历史集群：仅包含“已删除”状态的集群，目前界面只显示6个月内创建且已删除的集群，如果需要查看6个月以前删
- [如何查看MRS服务的操作日志信息？](https://support.huaweicloud.com/mrs_faq/mrs_03_1003.md): 操作日志页面记录了用户对集群和作业的操作的日志信息。目前，MRS界面记录的日志信息分为以下几类：集群操作创建集群、删除集群、扩容集群和缩容集群等操作创建目录、删除目录和删除文件等操作创建集群、删除集群、扩容集群和缩容集群等操作创建目录、删除目录和删除文件等操作作业操作：创建作业、停止作业和删除作业等操作数据操作：IAM用户任务、新增用户、
- [如何查看MRS集群配置信息？](https://support.huaweicloud.com/mrs_faq/mrs_03_1004.md): 集群创建完成后在MRS控制台单击集群名称进入集群基本信息页面，可以查看到集群的基本配置信息，包括集群的名称、ID、付费类型、工作地域、创建时间、Hadoop组件版本及节点的实例规格、容量。节点的实例规格和容量决定了该集群对数据的分析处理能力。节点实例规格越高，容量越大，集群运行速度越快，分析处理能力越强，相应的成本也越高。在集群的基本信息
- [MRS支持什么类型的分布式存储？](https://support.huaweicloud.com/mrs_faq/mrs_03_1005.md): MRS集群支持什么类型的分布式存储？有哪些版本？MRS集群内使用主流的大数据Hadoop，目前支持Hadoop 3.x版本，并且随集群演进更新版本。同时MRS也支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式。更多信息MRS各版本支持的组件情况请参见MRS组件版本一览表。
- [创建MRS集群时计价器为什么未显示价格？](https://support.huaweicloud.com/mrs_faq/mrs_03_1007.md): 创建MRS集群时计价器为什么未显示出价格？只选择磁盘个数，没有选择集群虚拟机实例个数时，产品报价是不会产生收费的。客户选择了实例个数，产品报价才会在浏览器下方即时显示出来。
- [MRS集群中的弹性伸缩功能如何收费？](https://support.huaweicloud.com/mrs_faq/mrs_03_1008.md): MRS集群中的弹性伸缩功能如何收费？在创建集群时，Task节点只配置了弹性伸缩的取值范围，而没有配置实例数量时，产品报价不会产生收费。如果客户配置了实例数量，产品报价会在浏览器下方即时显示出来。如果在集群使用时，配置的弹性伸缩功能新增了节点，则包年/包月集群和按需计费集群新增节点的计费都是按实际使用时长计费，计费周期为一小时。
- [如何使用自定义安全组创建MRS集群？](https://support.huaweicloud.com/mrs_faq/mrs_03_1012.md): 如何使用自定义安全组创建MRS集群？使用自定义安全组创建MRS集群有以下两种方式：用户购买集群时，选择使用自己创建的安全组时，需要放开9022端口。用户购买集群时，安全组选择“自动创建”。
- [如何准备MRS的数据源？](https://support.huaweicloud.com/mrs_faq/mrs_03_1015.md): MRS既可以处理OBS中的数据，也可以处理HDFS中的数据。在使用MRS分析数据前，需要先准备数据。将本地数据上传OBS。登录OBS管理控制台。在OBS上创建userdata并行文件系统，然后在userdata文件系统下创建program、input、output和log文件夹。单击并行文件系统 > 创建并行文件系统，创建一个名称为use
- [MRS集群是否支持重装系统？](https://support.huaweicloud.com/mrs_faq/mrs_03_1017.md): 问：MRS集群是否支持重装系统？答：MRS集群内节点操作系统为ECS初始镜像，不支持重装操作系统。
- [MRS是否支持更换网段？](https://support.huaweicloud.com/mrs_faq/mrs_03_1019.md): MRS集群内节点是否支持更换网段？MRS集群内节点支持更换网段。在集群详情页“默认生效子网”右侧单击“切换子网”。选择当前集群所在VPC下的其他子网，即可实现可用子网IP的扩充。新增子网不会影响当前已有节点的IP地址和子网。新增子网不会影响当前已有节点的IP地址和子网。
- [如果不开启Kerberos认证，MRS集群能否支持访问权限细分？](https://support.huaweicloud.com/mrs_faq/mrs_03_1020.md): MRS 1.8.0版本之前未开启Kerberos认证的集群不支持访问权限细分。只有开启Kerberos认证才有角色管理权限，MRS 1.8.0及之后版本的所有集群均拥有角色管理权限。MRS 2.1.0及之前版本：在MRS Manager页面选择系统设置>配置>权限配置查询。MRS 3.x及之后版本：在FusionInsight Manag
- [MRS是否支持升级集群内组件的内核版本？](https://support.huaweicloud.com/mrs_faq/mrs_03_1021.md): 问：MRS是否支持升级集群内组件的内核版本？答：MRS不支持单独升级集群内组件的内核版本，如需体验新版本MRS集群所支持组件的特性内容，建议删除当前集群之后重新创建集群。MRS组件版本信息请参见MRS组件版本一览表。
- [升级Master节点规格需要关机吗？](https://support.huaweicloud.com/mrs_faq/mrs_03_1022.md): 问：在MRS集群中升级Master节点规格时需要手动关机吗？答：随着用户业务的增长，Core节点的扩容，CPU使用率变高，而Master节点规格已经不满足用户需求时，则需要升级Master节点规格。MRS服务集群的Master节点规格升级时会自动触发关机操作，当升级完成后会自动触发开机操作，无需人工干预。
- [登录MRS集群Manager的用户是什么？](https://support.huaweicloud.com/mrs_faq/mrs_03_1027.md): 问：MRS集群创建成功后，登录集群Manager界面的用户是什么？答：登录Manager的系统默认账号为admin，密码为购买集群时用户自己设置的密码。
- [MRS集群中安装的组件能否删除？](https://support.huaweicloud.com/mrs_faq/mrs_03_1028.md): 问：MRS集群创建成功后，集群中已安装的组件能否删除？答：已经创建的MRS 3.1.0及之前版本集群中的组件不可以删除，如果不使用的话可以登录集群Manager页面在服务管理中找到对应的组件将其停止。MRS 3.1.2-LTS.3及之后版本的自定义类型集群支持删除组件，具体请参见管理服务操作。
- [MRS集群内节点的登录方式如何切换？](https://support.huaweicloud.com/mrs_faq/mrs_03_1029.md): 问：MRS集群内节点的登录方式（密码或密钥对）如何切换？答：不可以切换。创建集群时选择了节点登录方式后不能更改登录方式。
- [MRS是否支持变更MRS集群节点？](https://support.huaweicloud.com/mrs_faq/mrs_03_1034.md): MRS管理控制台不支持变更集群节点，也不建议用户在ECS管理控制台直接修改MRS集群节点。如果手动在ECS管理控制台对集群节点执行停止ECS、删除ECS、修改或重装ECS操作系统，以及修改ECS规格的操作，可能影响集群稳定运行。如果您对MRS集群节点进行了上述操作，MRS会自动识别并直接删除发生变更的集群节点。您可以登录MRS管理控制台，
- [如何给集群内用户添加租户管理权限？](https://support.huaweicloud.com/mrs_faq/mrs_03_1035.md): 分析集群和混合集群支持添加租户管理权限，流式集群不支持添加租户管理权限。给新建账号添加租户管理权限方法如下：MRS 3.x之前版本：绑定Manager_tenant角色，则该账号拥有租户管理的查看权限。绑定Manager_administrator角色，则该账号拥有租户管理的查看和操作权限。MRS 3.x及之后版本：根据实际情况，修改对应
- [如何在MRS集群中手动添加组件？](https://support.huaweicloud.com/mrs_faq/mrs_03_1036.md): 问：如何在已创建好的MRS集群中手动添加服务？答：已经创建的MRS 3.1.0及之前版本集群不支持安装新的组件。如果需要使用当前集群未安装的组件，则需要重新创建一个集群，并且选择所需要的组件。MRS 3.1.2-LTS.3及之后版本的自定义类型集群支持手动添加组件，具体请参见管理服务操作。
- [为什么在Manager中找不到用户管理页面？](https://support.huaweicloud.com/mrs_faq/mrs_03_1037.md): 问：为什么在MRS Manager中找不到用户管理页面？答：当前登录用户没有Manager_administrator角色权限，所以在MRS Manager中无法查看“用户管理”相关内容。请使用admin用户或者其他具有Manager管理权限的用户重新登录Manager。
- [已创建的MRS集群如何修改Kerberos状态？](https://support.huaweicloud.com/mrs_faq/mrs_03_1038.md): 问：已创建的MRS集群如何修改Kerberos认证的开启状态？答：MRS服务暂不支持集群创建完成后手动开启和关闭Kerberos服务，如需更换Kerberos认证状态，建议重新创建MRS集群，然后进行数据迁移。
- [MRS是否支持对DLI服务的业务表进行读写操作？](https://support.huaweicloud.com/mrs_faq/mrs_03_1039.md): 问：MRS是否支持对DLI服务的业务表进行读写操作？答：如果数据存放在OBS上，则支持使用MRS服务中的Spark读取DLI表，对表数据进行灵活处理，结果存入另一张DLI表。如果数据不存放在OBS上，则不支持。
- [MRS是否支持通过Hive的HBase外表将数据写入到HBase？](https://support.huaweicloud.com/mrs_faq/mrs_03_1044.md): 问：MRS是否支持通过Hive的HBase外表将数据写入到HBase？答：不支持。Hive on HBase只支持查询，不支持更改数据。
- [如何查看HBase日志？](https://support.huaweicloud.com/mrs_faq/mrs_03_1045.md): 使用root用户登录集群的Master节点。执行su - omm命令，切换到omm用户。执行cd /var/log/Bigdata/hbase/命令，进入到“/var/log/Bigdata/hbase/”目录，即可查看HBase日志信息。
- [DynamoDB的number在Hive表中用什么类型比较好？](https://support.huaweicloud.com/mrs_faq/mrs_03_1047.md): 问：DynamoDB的number在Hive表中用什么类型比较好？答：Hive支持smallint，推荐使用smallint类型。
- [MRS集群是否支持Hive on Spark？](https://support.huaweicloud.com/mrs_faq/mrs_03_1048.md): MRS集群是否支持Hive on Spark？MRS 1.9.x版本集群支持Hive on Spark。MRS 3.x及之后版本的集群支持Hive on Spark。其他版本可使用Hive on Tez替代。
- [Hive Driver是否支持对接dbcp2？](https://support.huaweicloud.com/mrs_faq/mrs_03_1049.md): 问：Hive Driver是否支持对接dbcp2？答：Hive driver不支持对接dbcp2数据库连接池。dbcp2数据库连接池调用isValid方法检查连接是否可用，而Hive对于这个方法的实现就是直接报错。
- [MRS集群支持提交哪些形式的Spark作业？](https://support.huaweicloud.com/mrs_faq/mrs_03_1050.md): 问：MRS集群支持提交哪些形式的Spark作业？答：当前在MRS页面，集群支持提交Spark、Spark Script和Spark SQL形式的Spark作业。
- [MRS集群租户资源最小值为0时只能同时运行一个任务吗？](https://support.huaweicloud.com/mrs_faq/mrs_03_1052.md): 问：MRS集群的租户资源最小值设置为0后，只能同时运行一个Spark任务吗？答：租户资源最小值改为0后，只能同时运行一个Spark任务。
- [Kerberos认证服务的端口有哪些？](https://support.huaweicloud.com/mrs_faq/mrs_03_1054.md): 问：Kerberos认证服务的端口有哪些？答：Kerberos认证服务的常用端口有21730（TCP）、21731（TCP/UDP）、21732（TCP/UDP）。
- [MRS集群中Kafka Topic监控是否支持发送告警？](https://support.huaweicloud.com/mrs_faq/mrs_03_1055.md): 问：在MRS流式集群中，Kafka Topic的监控是否支持发送告警？答：暂不支持Kafka Topic监控发送邮件和短信告警，用户可以在集群Manager界面查看组件相关告警信息。
- [如何修改FlumeClient的日志为标准输出日志？](https://support.huaweicloud.com/mrs_faq/mrs_03_1058.md): 登录Flume客户端安装节点。进入Flume客户端安装目录，假设Flume客户端安装路径为/opt/FlumeClient，可以执行以下命令。cd /opt/FlumeClient/fusioninsight-flume-1.9.0/bincd /opt/FlumeClient/fusioninsight-flume-1.9.0/bin执
- [MRS是否支持同时运行多个Flume任务？](https://support.huaweicloud.com/mrs_faq/mrs_03_1059.md): Flume客户端可以包含多个独立的数据流，即在一个配置文件properties.properties中配置多个Source、Channel、Sink。这些组件可以链接以形成多个数据流。例如在一个配置中配置两个数据流，示例如下：
- [如何修改HDFS的副本数？](https://support.huaweicloud.com/mrs_faq/mrs_03_1061.md): 进入HDFS服务配置页面：MRS 1.8.10及之前版本，登录MRS Manager页面，具体请参见访问MRS Manager，然后选择“服务管理 > HDFS > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。MRS 1.8.10之后及2.x版本，单击集群名称，登录集群详情页面，选择“组件管理 > HDFS > 服务配置”，单
- [数据存储在OBS和HDFS有什么区别？](https://support.huaweicloud.com/mrs_faq/mrs_03_1062.md): MRS集群处理的数据源来源于OBS或HDFS，HDFS是Hadoop分布式文件系统（Hadoop Distributed File System），OBS（Object Storage Service）即对象存储服务，是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。MRS可以直接处理OBS中的数据，客户可
- [Hadoop组件jar包位置和环境变量的位置在哪里？](https://support.huaweicloud.com/mrs_faq/mrs_03_1064.md): hadoopstreaming.jar位置在/opt/share/hadoop-streaming-*目录下。其中*由Hadoop版本决定。jdk环境变量：/opt/client/JDK/component_envHadoop组件的环境变量位置：/opt/client/HDFS/component_envHadoop客户端路径：/opt/
- [Kudu支持的压缩算法有哪些？](https://support.huaweicloud.com/mrs_faq/mrs_03_1067.md): 问：Kudu支持的压缩算法有哪些？答：Kudu目前支持的压缩算法有snappy、lz4和zlib，默认是lz4。
- [MRS是否支持Hive on Kudu？](https://support.huaweicloud.com/mrs_faq/mrs_03_1068.md): MRS是否支持Hive on Kudu？MRS不支持Hive on Kudu。目前MRS只支持两种方式访问Kudu：通过Impala表访问Kudu。通过客户端应用程序访问操作Kudu表。
- [如何查看Kudu日志？](https://support.huaweicloud.com/mrs_faq/mrs_03_1069.md): 登录集群的Master节点。执行su - omm命令，切换到omm用户。执行cd /var/log/Bigdata/kudu/命令，进入到/var/log/Bigdata/kudu/目录，即可查看Kudu日志信息。
- [OpenTSDB是否支持Python的接口？](https://support.huaweicloud.com/mrs_faq/mrs_03_1070.md): 问：OpenTSDB是否支持Python的接口？答：OpenTSDB基于HTTP提供了访问其的RESTful接口，而RESTful接口本身具有语言无关性的特点，凡是支持HTTP请求的语言都可以对接OpenTSDB，所以OpenTSDB支持Python的接口。
- [如何获取MRS集群ZooKeeper的IP地址和端口？](https://support.huaweicloud.com/mrs_faq/mrs_03_1071.md): ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。方法一：通过MRS控制台获取在MRS集群详情页的“概览”页签，单击IAM用户同步右侧的“同步”进行IAM用户同步。选择“组件管理  > ZooKeeper > 实例”，获取ZooKeeper实例的“业务IP”地址。ZooKeeper地址选择“服务配置”页签
- [如何关闭MRS集群内节点的防火墙服务？](https://support.huaweicloud.com/mrs_faq/mrs_03_1072.md): 如何关闭MRS集群内节点的防火墙服务？例如，EulerOS环境下执行systemctl status firewalld.service命令。例如，EulerOS环境下执行systemctl stop firewalld.service命令。
- [什么是区域和可用区？](https://support.huaweicloud.com/mrs_faq/mrs_03_1073.md): 通常用区域和可用区来描述数据中心的位置，用户可以在特定的区域、可用区创建云服务资源。区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region
- [不同版本的Hive之间是否可以兼容？](https://support.huaweicloud.com/mrs_faq/mrs_03_1081.md): Hive 3.1版本与Hive 1.2版本相比不兼容内容主要如下：字段类型约束：Hive 3.1不支持String转成int。UDF不兼容：Hive 3.1版本UDF内的Date类型改为Hive内置。索引功能废弃。驱动不兼容：Hive 3.1和Hive 1.2版本的JDBC驱动不兼容。Hive 3.1对ORC文件列名大小写，下划线敏感。H
- [用户A如何查看用户B创建的Hive表？](https://support.huaweicloud.com/mrs_faq/mrs_03_1082.md): MRS 3.x之前版本：登录MRS Manager，选择“系统设置 > 权限配置 > 角色管理”。单击“添加角色”，输入“角色名称”和“描述”。在“权限”的表格中选择“Hive > Hive Read Write Privileges”。在数据库列表中单击用户B创建的表所在的数据库名称，显示用户B创建的表。在用户B创建的表的“权限”列，勾
- [MRS服务是否支持安全删除的能力？](https://support.huaweicloud.com/mrs_faq/mrs_03_1087.md): 问：MRS服务是否支持安全删除（删除后防止非法恢复）的能力？答：MRS集群目前仅支持恢复用户备份的数据，即MRS服务的删除都是安全删除。
- [MRS集群版本如何进行升级？](https://support.huaweicloud.com/mrs_faq/mrs_03_1089.md): MRS普通版本集群MRS普通版本集群无法实现低版本到高版本的平滑升级。如需体验新版本集群相关能力，建议重新创建一个新版本的集群，然后将老版本集群的数据迁移到新的集群。MRS普通版本集群无法实现低版本到高版本的平滑升级。如需体验新版本集群相关能力，建议重新创建一个新版本的集群，然后将老版本集群的数据迁移到新的集群。MRS LTS版本集群MR
- [如何提高集群Core节点的资源使用率？](https://support.huaweicloud.com/mrs_faq/mrs_03_1090.md): 进入 Yarn服务配置页面：MRS 1.8.10及之前版本，登录MRS Manager页面，然后选择“服务管理 > Yarn > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。MRS 1.8.10之后及2.x版本，单击集群名称，登录集群详情页面，选择“组件管理 > Yarn > 服务配置”，单击“基础配置”下拉菜单，选择“全部配
- [HBase同步数据到CSS为什么没有映射字段？](https://support.huaweicloud.com/mrs_faq/mrs_03_1091.md): 问：HBase同步数据到CSS为什么没有映射字段？答：从MRS的HBase同步数据到CSS服务后，整库没有映射字段，要单表才有映射的字段。
- [Hadoop压力测试工具如何获取？](https://support.huaweicloud.com/mrs_faq/mrs_03_1092.md): 问：Hadoop压力测试工具如何获取？答：Hadoop压力测试工具社区获取地址：https://github.com/Intel-bigdata/HiBench。
- [MRS集群上层应用开发是否支持Python？](https://support.huaweicloud.com/mrs_faq/mrs_03_1099.md): 问：MRS集群上层应用开发是否支持Python语言进行开发？答：MRS服务中提供的样例工程和直接进行应用开发没有区别，两者都可以选择。MRS服务支持Python代码，部分提供了Python样例代码的组件样例工程可参考开发指南文档相关章节。
- [OBS是否支持ListObjectsV2协议？](https://support.huaweicloud.com/mrs_faq/mrs_03_1102.md): 问：OBS是否支持ListObjectsV2协议？答：不支持。
- [如何重置MRS Kafka数据？](https://support.huaweicloud.com/mrs_faq/mrs_03_1106.md): 删除Kafka topic信息即重置Kafka数据，具体命令请参考：删除topic：kafka-topics.sh --delete --zookeeperZooKeeper集群业务IP:2181/kafka --topic topicname查询所有topic：kafka-topics.sh --zookeeperZooKeeper集群
- [MRS集群的Task节点如何收费？](https://support.huaweicloud.com/mrs_faq/mrs_03_1108.md): 问：Mapreduce服务（MRS）集群的Task节点如何收费？答：包年/包月集群和按需计费集群的Task节点的计费模式为按需计费，即按实际使用时长计费，计费周期为一小时。
- [如何使用PySpark连接MRS Spark？](https://support.huaweicloud.com/mrs_faq/mrs_03_1115.md): 问：如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？答：将Spark的spark-defaults.conf文件中spark.yarn.security.credentials.hbase.enabled修改为true，然后使用spark-submit --master yarn --keyt
- [MRS集群内的节点中可以部署爬虫服务吗？](https://support.huaweicloud.com/mrs_faq/mrs_03_1116.md): 问：MRS集群内的节点中可以部署爬虫服务吗？答：为正常保障集群稳定运行，MRS集群内节点中不能部署爬虫服务或其他第三方服务。
- [退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1117.md): 退订MRS集群后，在ECS中退订弹性云服务器时报异常如何处理？在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。在ECS控制台上找到需要退订的服务器单击MRS使用中将机器进行解锁。再次单击退订。如果依然显示退订异常，请收集弹性云服务器的ID并联系华为云支持人员。
- [如何查看MRS Hive元数据？](https://support.huaweicloud.com/mrs_faq/mrs_03_1119.md): Hive的元数据存放在MRS服务集群的GaussDB中，可执行如下步骤查看：以root用户登录到DBServer主节点。执行以下命令登录Hive元数据库：su - ommsource $DBSERVER_HOME/.dbservice_profilegsql -p 20051 -UUSER-WPASSWD-d hivemeta执行以下命令
- [Hue WebUI有配置账号权限的功能吗？](https://support.huaweicloud.com/mrs_faq/mrs_03_1121.md): MRS集群内的Hue WebUI界面中有配置账号权限的功能吗？Hue WebUI界面服务没有配置账号权限的功能。用户可以通过在Manager管理界面中配置集群用户角色和用户组来管理用户的权限，从而实现Hue权限的配置。
- [MRS集群内节点是否支持降配操作？](https://support.huaweicloud.com/mrs_faq/mrs_03_1125.md): 问：MRS集群内节点是否支持降配操作？答：MRS集群内节点暂不支持降级配置规格。
- [MRS的Storm集群提交任务时如何指定日志路径？](https://support.huaweicloud.com/mrs_faq/mrs_03_1127.md): 问：MRS的Storm集群提交任务时如何指定日志路径？答：用户可以根据自己的需求，修改MRS的流式Core节点上的“/opt/Bigdata/MRS_XXX /1_XX _Supervisor/etc/worker.xml”文件，将标签filename的值设定为客户需要的路径，然后在Manager页面重启对应实例。建议用户尽量不要修改MR
- [Hive样例工程中的com.huawei.gaussc10依赖包在哪里下载？](https://support.huaweicloud.com/mrs_faq/mrs_03_1128.md): 问：Hive样例工程中的com.huawei.gaussc10依赖包在哪里下载？答：MRS目前暂没有com.huawei.gaussc10依赖包，且此为gaussDB依赖包可以不配置。建议用户在构建maven工程时不包含此包即可。
- [如何取消MRS集群风险告警的消息通知？](https://support.huaweicloud.com/mrs_faq/mrs_03_1130.md): 登录MRS管理控制台。单击集群名称进入集群详情页面。选择“告警管理 > 消息订阅规则”。在待修改的规则所在行的“操作”列单击“编辑”，在“订阅规则”中取消对应风险告警。单击“确定”完成修改。
- [10亿级数据量场景的解决方案有哪些？](https://support.huaweicloud.com/mrs_faq/mrs_03_1133.md): 10亿级数据量场景的解决方案有哪些？有数据更新、联机事务处理OLTP、复杂分析的场景，建议使用云数据库TaurusDB。MRS的Impala + Kudu也能满足该场景，Impala + Kudu可以在join操作时，把当前所有的join表都加载到内存中来实现。
- [MRS集群是否支持对接外部KDC？](https://support.huaweicloud.com/mrs_faq/mrs_03_1134.md): 问：MRS集群是否支持对接外部KDC？答：MRS服务只支持使用自带的内部KDC。
- [如何修改DBService的IP地址？](https://support.huaweicloud.com/mrs_faq/mrs_03_1137.md): 问：如何修改DBService的浮动IP地址？答：MRS集群内不支持修改DBService的IP地址。
- [使用调整集群节点接口时参数node_id如何配置？](https://support.huaweicloud.com/mrs_faq/mrs_03_1139.md): 问：使用调整集群节点接口时（/v1.1/{project_id}/cluster_infos/{cluster_id}），请求参数“node_id”如何配置？答：使用调整集群节点接口时，请求参数“node_id”的值固定为“node_orderadd”。
- [HBase表如何设置和修改数据保留期？](https://support.huaweicloud.com/mrs_faq/mrs_03_1140.md): 创建表时指定创建t_task_log表，列族f, TTL设置86400秒过期create 't_task_log',{NAME => 'f', TTL=>'86400'}创建t_task_log表，列族f, TTL设置86400秒过期在已有表的基础上指定：alter "t_task_log",NAME=>'data',TTL=>'8640
- [如何通过happybase连接到MRS服务的HBase？](https://support.huaweicloud.com/mrs_faq/mrs_03_1142.md): 问：大数据应用如何通过happybase连接到MRS服务的HBase？答：MRS服务集群的HBase服务使用的是thriftserver2，thriftserver1和thriftserver2不能同时并存，但happybase只能通过thriftserver1接口连接到HBase。因此建议客户使用Python直接连接到HBase，具体实
- [Presto如何配置其他数据源？](https://support.huaweicloud.com/mrs_faq/mrs_03_1147.md): 本指导以连接MySQL数据源为例。MRS 1.x及MRS 3.x版本。登录MRS管理控制台。单击集群名称进入集群详情页面。选择“组件管理 > Presto”。设置“参数类别”为“全部配置”，进入Presto配置界面修改参数配置。搜索“connector-customize”配置。按照配置项说明填写对应参数。名称：mysql.connect
- [Hive查询数据是否支持导出？](https://support.huaweicloud.com/mrs_faq/mrs_03_1149.md): 问：MRS集群Hive组件的查询数据是否支持导出？答：Hive查询数据支持导出，请参考如下语句进行导出：
- [如何修改开源组件Web页面会话超时时间？](https://support.huaweicloud.com/mrs_faq/mrs_03_1151.md): 用户可以参考以下操作配置Manager页面及开源组件Web页面超时时间。请根据实际业务需要设置最短会话时长，过长的会话超时时间，可能导致安全风险。MRS 3.x版本集群（MRS 3.3.0及之后版本）：登录Manager，选择“系统 > OMS”。在列表中单击“tomcat”所在行的“修改配置”。在打开的页面中根据需要设置“会话超时时间”
- [开源Kylin 3.x与MRS 1.9.3对接时存在Jetty兼容性问题如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1154.md): 出于安全考虑，MRS对部分存在严重安全漏洞的开源三方组件进行了版本升级，导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty版本的兼容性问题。按以下步骤进行操作可以完成部署和对接。在一个ECS节点进行MRS Client安装，具体请参考集群外节点使用MRS客户端。本操作以MRS客户端安装路径为“/srv/client/”为例
- [MRS集群内节点的sudo log能否清理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1155.md): MRS集群内节点上的sudo log能否清理？MRS集群内节点上的sudo log文件是omm用户的操作记录，以方便问题的定位，用户可以清理。因为日志占用了一部分存储空间，建议管理员清除比较久远的操作日志释放资源空间。日志文件较大，可以将此文件目录添加到/etc/logrotate.d/syslog中，让系统做日志老化 ，定时清理久远的日
- [MRS租户管理中的动态资源计划页面无法刷新怎么办？](https://support.huaweicloud.com/mrs_faq/mrs_03_1156.md): MRS租户管理中的动态资源计划页面无法刷新怎么办？
- [MRS如何连接spark-shell？](https://support.huaweicloud.com/mrs_faq/mrs_03_1157.md): 用root用户登录集群Master节点。配置环境变量。source客户端安装目录/bigdata_envsource客户端安装目录/bigdata_env如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。kinit MRS集群业务用户例如：“机机”用户请执行：kin
- [MRS如何连接spark-beeline？](https://support.huaweicloud.com/mrs_faq/mrs_03_1158.md): 用root用户登录集群Master节点。配置环境变量。source客户端安装目录/bigdata_envsource客户端安装目录/bigdata_env如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。kinitMRS集群业务用户例如：“机机”用户请执行：kini
- [Spark Job对应的运行日志保存在哪里？](https://support.huaweicloud.com/mrs_faq/mrs_03_1159.md): 问：Spark Job对应的运行日志保存在哪里？答：Spark Job没有完成的任务日志保存在Core节点的“/srv/BigData/hadoop/data1/nm/containerlogs/”目录内。Spark Job完成的任务日志保存在HDFS的“/tmp/logs/用户名/logs”目录内。
- [Hue WebUI界面中下载的Excel无法打开如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1160.md): 本案例适用于MRS 3.x之前版本。以root用户登录任意一个Master节点，切换到omm用户。su - ommsu - omm使用如下命令查看当前节点是否为OMS主节点。sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms.sh回显active即为主节点，否则请登录另一个Master节点。oms主节点
- [为什么MRS集群显示的资源池内存小于实际集群内存？](https://support.huaweicloud.com/mrs_faq/mrs_03_1161.md): 问：为什么MRS集群显示的资源池内存小于实际集群内存？答：在MRS集群中，MRS默认为Yarn服务分配集群内存的50%，用户从逻辑上对Yarn服务的节点按照资源池进行分区管理，所以集群中显示的资源池总内存仅有集群总内存的50%。
- [如何配置MRS集群knox内存？](https://support.huaweicloud.com/mrs_faq/mrs_03_1162.md): su ommvim /opt/knox/bin/gateway.shsh /opt/knox/bin/gateway.sh stopsh /opt/knox/bin/gateway.sh start
- [如何检查Yarn的ResourceManager配置是否正常？](https://support.huaweicloud.com/mrs_faq/mrs_03_1163.md): 本示例适用于MRS 3.x之前版本。root-default在Manager页面隐藏，在页面看不到属于正常现象。是，则说明配置正常。否，则说明配置异常，请执行后续步骤修复。请在Manager页面没有其他操作后重启Controller，重启Controller对大数据组件业务无影响。配置同步完成后Manager页面可能显示配置过期，该显示不
- [MRS 1.9.3 Ranger证书如何更新？](https://support.huaweicloud.com/mrs_faq/mrs_03_1164.md): 本指导以MRS 1.9.3版本为例，其他版本请替换成具体集群版本号。参考本指导完成证书更新后，请手动清除证书文件失效或证书文件即将过期告警。Ranger证书更新后，证书有效期为10年。Ranger证书过期后，Ranger WEBUI还能够继续访问，功能不影响。仅在访问前有不信任的证书提示。如果集群未安装Ranger组件，则分别登录Mast
- [Kafka Topic监控页签在Manager页面不显示如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1166.md): Kafka Topic监控页签在Manager页面不显示怎么办？cd /opt/Bigdata/apache-tomcat-7.0.78/webapps/web/WEB-INF/lib/components/Kafka/cp /opt/share/zookeeper-3.5.1-mrs-2.0/zookeeper-3.5.1-mrs-2.
- [如何避免Kerberos认证过期？](https://support.huaweicloud.com/mrs_faq/mrs_03_1167.md): 对于JAVA应用在连接HBase、HDFS或者其他大数据组件前，先调用loginUserFromKeytab()创建UGI，然后启动一个定时线程进行检查是否过期并在过期前重新登录。private static void startCheckKeytabTgtAndReloginJob() {
        //10分钟循环，达到距离到期
- [MRS导出数据到OBS加密桶失败如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1168.md): 问：MRS导出数据到OBS加密桶失败如何处理？答：目前仅MRS 1.9.x及之后版本支持OBS加密桶功能，MRS 1.8.x及之前版本不支持OBS加密桶功能。如需使用OBS加密桶请使用MRS 1.9.x及之后版本集群。
- [新建集群Kudu服务异常如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1169.md): 登录MRS管理控制台。单击集群名称进入集群详情页面。选择“组件管理 > Kudu > 实例”，找到异常实例所属的IP。如果集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击IAM用户同步右侧的“同步”进行IAM用户同步）。如果集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“
- [MRS集群安装的Python版本是多少？](https://support.huaweicloud.com/mrs_faq/mrs_03_1171.md): 以root用户登录任意一个Master节点，然后执行python3命令即可获取MRS集群安装的Python版本。
- [如何查看MRS作业的日志？](https://support.huaweicloud.com/mrs_faq/mrs_03_1172.md): launcherJob作业的日志，一般会在stderr和stdout中打印错误日志，如下图所示：realJob的日志，可以通过MRS Manager中Yarn服务提供的ResourceManager Web UI查看。
- [提交作业时系统提示当前用户在Manager不存在如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1173.md): 问：安全集群在提交作业时，未进行IAM用户同步，会出现“当前用户在MRS Manager不存在，请先在IAM给予该用户足够的权限，再在概览页签进行IAM用户同步”的错误提示。答：在提交作业之前，用户需要先在集群详情页的“概览”页签，单击IAM用户同步右侧的“同步”进行IAM用户同步，然后再提交作业。
- [LauncherJob作业执行失败，报错信息为“jobPropertiesMap is null”如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1174.md): 问：Launcher作业失败的，提示原因为：提交作业用户无“hdfs /mrs/job-properties”目录的写权限如何处理？答：该问题已在MRS 2.1.0.6的补丁中修复，也可通过在MRS Manager页面给同步的提交作业用户赋予该目录“/mrs/job-properties”的写入权限进行处理。
- [为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致？](https://support.huaweicloud.com/mrs_faq/mrs_03_1175.md): 问：为什么MRS Console页面Flink作业状态与Yarn上的作业状态不一致？答：为了节约存储空间，用户修改了Yarn的配置项yarn.resourcemanager.max-completed-applications，减少Yarn上历史作业的记录保存个数。由于Flink是长时作业，在yarn上realJob还在运行，但launc
- [SparkStreaming作业运行后报OBS访问403如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1176.md): 问：SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？答：当用户提交作业需要读写OBS时，提交作业程序会默认为用户添加访问OBS的临时accesskey和secretkey，但是临时accesskey和secretkey有过期时间。如果需要运行像Flink和SparkStreaming这样的长时作业时，用户
- [MRS 2.1.0版本集群对Storm日志的大小有什么限制？](https://support.huaweicloud.com/mrs_faq/mrs_03_1178.md): MRS 2.1.0版本的集群对Storm日志的大小有什么限制？MRS 2.1.0版本的集群对Storm日志有不超过20G的限制，超出后会循环删除。因为日志是保存在系统盘上，有空间限制。如需长期保存，则需要将日志挂载出来。
- [Kafka支持的访问协议类型有哪些？](https://support.huaweicloud.com/mrs_faq/mrs_03_1180.md): 问：Kafka支持的访问协议类型有哪些？答：Kafka支持四种协议类型的访问，分别为：PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL。
- [MRS节点访问OBS报错408如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1181.md): MRS节点访问OBS报错408，怎么办？MRS节点访问OBS报错408时，用户需要更换OBS域名。修改OBS域名为myhuaweicloud.com后缀的域名即可。
- [zstd压缩算法有什么优势？](https://support.huaweicloud.com/mrs_faq/mrs_03_1182.md): 问：zstd压缩算法有什么优势？答：ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式。具体详细请参考https://github.com/L-Angel/compress-demo。
- [作业提交参数间用空格隔开导致参数信息不被识别如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1183.md): 问：作业提交参数间用空格隔开会导致参数信息不被识别吗？答：不同参数间用空格隔开，可通过在参数名前添加@的方式防止参数信息被明文存储，例如: @password=XXXXXX进行使用。
- [Spark作业的Client模式和Cluster模式有什么区别？](https://support.huaweicloud.com/mrs_faq/mrs_03_1184.md): 理解YARN-Client和YARN-Cluster深层次的区别之前先清楚一个概念：Application Master。在YARN中，每个Application实例都有一个ApplicationMaster进程，它是Application启动的第一个容器。它负责和ResourceManager打交道并请求资源，获取资源之后告诉NodeM
- [Hive使用beeline -e执行多条语句报错如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1194.md): MRS 3.x版本Hive使用beeline执行beeline -e "use default;show tables;"命令报错：处理方法：方法一：使用beeline --entirelineascommand=false -e "use default;show tables;"命令。方法二：在Hive客户端如“/opt/Bigdat
- [如何修改HDFS主备倒换类？](https://support.huaweicloud.com/mrs_faq/mrs_03_1196.md): 当MRS 3.x版本集群使用HDFS连接NameNode时，报“org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider”类无法找到时，是由于MRS 3.x版本集群HDFS的主备倒换类默认为该类，可通过如下方式解决。方式一：添加hadoop-plugin
- [消费Kafka Topic时报错“Not Authorized to access group XXX”如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1197.md): 该问题是由于集群的Ranger鉴权和集群自带的ACL鉴权冲突导致。Kafka集群使用自带的ACL进行权限访问控制，且集群的Kafka服务也开启Ranger鉴权控制时，该组件所有鉴权将由Ranger统一管理，原鉴权插件设置的权限将会失效，导致ACL权限授权未生效。可通过关闭Kafka的Ranger鉴权并重启Kafka服务来处理该问题。操作步
- [如何查看MRS集群各组件配置文件路径？](https://support.huaweicloud.com/mrs_faq/mrs_03_1198.md): 常用组件配置文件路径如下所示：
- [如何上传本地文件到集群内节点？](https://support.huaweicloud.com/mrs_faq/mrs_03_1199.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [添加Hive服务后，提交hivesql/hivescript作业失败如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1200.md): 该问题是由于提交作业的用户所在用户组绑定的MRS CommonOperations策略权限在同步到Manager中后没有Hive相关权限，处理方法如下：添加Hive服务完成。登录IAM管理控制台。创建一个用户组，该用户组所绑定策略和提交作业用户所在用户组权限相同。将提交作业的用户添加到新用户组中。刷新MRS控制台集群详情页面，“IAM用户
- [ClickHouse客户端执行SQL查询时报内存不足如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1201.md): ClickHouse会限制group by使用的内存量，在使用ClickHouse客户端执行SQL查询时报如下错误：在执行SQL语句前，执行如下命令。注意执行前保证集群有足够内存可以设置。SET max_memory_usage = 128000000000; #128G如果没有上述大小内存可用，ClickHouse可以通过如下设置将“溢
- [购买MRS集群时找不到HDFS、Yarn、MapReduce组件如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1202.md): 问：购买MRS集群时，为什么找不到HDFS、Yarn、MapReduce组件？答：HDFS、Yarn和MapReduce组件包含在Hadoop组件中，当购买MRS集群时无法看到HDFS、Yarn和MapReduce组件，勾选Hadoop组件并等待集群创建完成后即可在“组件管理”页签看到HDFS、Yarn和MapReduce组件。
- [MRS集群是否支持切换操作系统？](https://support.huaweicloud.com/mrs_faq/mrs_03_1203.md): 问：MRS集群是否支持切换操作系统？答：MRS集群内节点操作系统为ECS初始镜像，不支持切换操作系统。
- [购买MRS集群时，找不到ZooKeeper组件如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1204.md): 购买MRS集群时，为什么找不到ZooKeeper组件？创建MRS 3.x之前版本集群时，ZooKeeper组件为默认安装的组件，不在创建集群的界面上显示。集群创建完成后可在集群“组件管理”页签看到ZooKeeper组件。集群创建完成后可在集群“组件管理”页签看到ZooKeeper组件。创建MRS 3.x及之后版本集群时，可以在创建集群的界
- [Spark运行作业报错“java.io.IOException: Connection reset by peer”如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1205.md): 问：Spark作业运行一直不结束，查看日志报错：java.io.IOException: Connection reset by peer。答：修改作业提交参数，加上参数“executor.memoryOverhead”。
- [执行Spark任务报内存不足告警如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1206.md): 执行Spark任务就会报内存不足告警，告警id：18022，可用内存会陡降到0。在SQL脚本前设置executor参数，限制executor的核数和内存。例如设置如下：参数值大小请根据实际业务情况调整。
- [Spark作业访问OBS报错“requestId=XXX”如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1207.md): 问：Spark作业访问OBS报错，错误信息如下，如何处理？答：登录Spark客户端节点，进入conf目录，修改配置文件“core-site.xml”中的“fs.obs.metrics.switch”参数值为“false”。重新运行作业。
- [DataArts Studio调度Spark作业偶现失败如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1208.md): DataArts Studio调度spark作业，偶现失败，重跑失败，作业报错：使用root用户登录Spark客户端节点，调高“spark-defaults.conf”文件中“spark.driver.memory”参数值。
- [如何修改ClickHouse服务的allow_drop_detached配置项?](https://support.huaweicloud.com/mrs_faq/mrs_03_1210.md): cd /opt/客户端安装目录sourcebigdata_envkinit MRS集群用户该用户必须具有Clickhouse管理员权限。例如：设置allow_drop_detached=1set allow_drop_detached=1;SELECT * FROM system.settings WHERE name = 'allow_
- [MRS集群节点时间信息不正确如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1211.md): 如果集群内节点时间不正确，请分别登录集群内时间不正确的节点，并从2开始执行。如果集群内节点与集群外节点时间不同步，请登录集群外节点，并从1开始执行。执行vi /etc/ntp.conf命令编辑NTP客户端配置文件，并增加MRS集群中Master节点的IP并注释掉其他server的地址。server master1_ip prefer
se
- [MRS集群内节点互信异常如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1212.md): 当Manager报“ALM-12066 节点间互信失效”告警，或者发现节点间无ssh互信时，可参考如下步骤操作。分别在互信集群的两端节点执行ssh-add -l 确认是否有identities信息。如果没有identities信息，执行ps -ef|grep ssh-agent找到ssh-agent进程，并kill该进程等待该进程自动重启
- [访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错或部分页面不可用如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1213.md): 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错，或部分功能不可用怎么办？访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI的用户不具备对应组件的管理权限，导致界面报错或部分功能不可用。例如：使用当前用户登录Flink WebUI后，部分内容不能正常显示，且没有权限
- [Hue连接HiveServer报错“over max user connections”如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1214.md): 适用版本：MRS 3.1.0及之前的MRS 3.x版本。修改所有Hue节点上的以下配置文件：/opt/Bigdata/FusionInsight_Porter_8.*/install/FusionInsight-Hue-*/hue/apps/beeswax/src/beeswax/models.py/opt/Bigdata/FusionI
- [运行Flink任务报错“java.lang.NoSuchFieldError: SECURITY_SSL_ENCRYPT_ENABLED”如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1215.md): 问：Flink任务运行失败，报错如下：答：客户代码里面打包的第三方依赖包和集群包冲突，提交到MRS集群运行失败。需修改相关的依赖包，并将pom文件中的开源版本的Hadoop包和Flink包的作用域设置为provide，添加完成后重新打包运行任务。
- [MRS集群中Spark任务支持哪些Python版本？](https://support.huaweicloud.com/mrs_faq/mrs_03_1216.md): 问：MRS 3.1.0版本的集群，Spark任务支持哪些python版本？答：MRS 3.1.0版本的集群，Spark任务建议使用python2.7或3.x版本。
- [如何关闭ZooKeeper的SASL认证？](https://support.huaweicloud.com/mrs_faq/mrs_03_1219.md): 怎么关闭ZooKeeper SASL认证？登录FusionInsight Manager。选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”。在左侧导航栏选择“quorumpeer > 自定义”添加参数名称和值：zookeeper.sasl.disable = false。保存配置后，重启ZooKeeper服务。保存配
- [如何让不同的业务程序分别用不同的Yarn队列？](https://support.huaweicloud.com/mrs_faq/mrs_03_1221.md): 如何让不同的业务程序分别用不同的Yarn队列？在Manager页面上创建一个新的租户，然后将不同的集群业务用户绑定至不同的租户。创建租户时将自动创建租户对应的角色、计算资源和存储资源。新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制，不支持通过“系统 > 权限> 角色”进行手动管理，角色名称为“租户名称_集群ID”。首个集
- [产生Yarn队列资源不足告警时正在运行的资源队列如何查看？](https://support.huaweicloud.com/mrs_faq/mrs_03_1222.md): 产生“ALM-18022 Yarn队列资源不足”告警时，正在运行的资源队列可以在哪查看？Yarn资源队列可以登录Manager界面，选择“集群 > 服务 > Yarn > ResourceManager(主)”，登录Yarn的原生页面进行查看。具体的告警处理方法可查看该告警的联机帮助文档进行处理。
- [提交的Yarn作业在界面上查看不到如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1223.md): 问：创建完Yarn作业后，以admin用户登录Manager界面查看不到运行的作业。答：admin用户为集群管理页面用户，检查是否有supergroup权限，通常需要使用具有supergroup权限的用户才可以查看作业。使用提交作业的用户登录查看Yarn上的作业，不使用admin管理账号查看。
- [如何修改现有集群的HDFS fs.defaultFS？](https://support.huaweicloud.com/mrs_faq/mrs_03_1224.md): 问：如何修改现有集群的HDFS NameSpace（fs.defaultFS）？答：当前不建议在服务端修改或者新增集群内HDFS NameSpace（fs.defaultFS），如果只是为了客户端更好的识别，则一般可以通过修改客户端内“core-site.xml”，“hdfs-site.xml”两个文件的相关参数进行实现。
- [如何调整MRS集群manager-executor进程内存？](https://support.huaweicloud.com/mrs_faq/mrs_03_1228.md): MRS服务在集群的Master1和Master2节点上部署了manager-executor进程，该进程主要用于将管控面对集群的操作进行封装，比如作业的提交、心跳上报、部分告警信息上报、集群创扩缩等操作。当客户从MRS管控面提交作业，随着任务量的增大或者任务并发较高，有可能会导致Executor内存不足，导致占用CPU较高、Executo
- [提交Flink任务时launcher-job被Yarn终止如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1229.md): 管控面提交Flink任务时launcher-job因heap size不足被Yarn终止如何处理？调大launcher-job的heap size值。使用omm用户登录主OMS节点。修改“/opt/executor/webapps/executor/WEB-INF/classes/servicebroker.xml”中参数“job.lau
- [如何获取Spark Jar包？](https://support.huaweicloud.com/mrs_faq/mrs_03_1232.md): 华为提供开源镜像站（网址为https://mirrors.huaweicloud.com/），各服务样例工程依赖的jar包都可在华为开源镜像站下载，剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。本地环境使用开发工具下载依赖的jar包前，需要确认以下信息。确认本地环境网络正常。打开浏览器访问：华为提供开源
- [MRS管理控制台和集群Manager页面功能区别有哪些？](https://support.huaweicloud.com/mrs_faq/mrs_03_1233.md): MRS管理控制台和集群Manager页面有什么区别与联系？用户可以通过MRS管理控制台页面登录到MRS的Manager页面。Manager分为MRS Manager和FusionInsight Manager，其中：MRS 2.x及之前版本集群的Manager界面称为MRS Manager。MRS 3.x及之后版本集群的Manager界面
- [如何通过集群外的节点访问MRS集群？](https://support.huaweicloud.com/mrs_faq/mrs_03_1234.md): ECS节点的可用区、虚拟私有云、安全组，需要和待访问集群的配置相同。具体请参见申请弹性公网IP。在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”配置ECS节点的IP和放开所有端口。安全组规则添加完成后，可以直接下载并安装客户端到集群外ECS节点，具体请参考安装客户
- [提交Flink作业时报错slot request timeout如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1237.md): Flink作业提交时，jobmanager启动成功，但taskmanager一直是启动中直到超时，报错如下：Yarn队列中资源不足，导致创建taskmanager启动不成功。用户的jar包与环境中的jar包冲突导致，可以通过执行wordcount程序是否成功来判断。如果集群为安全集群，可能是Flink的SSL证书配置错误，或者证书过期。增
- [DistCP作业导入导出数据常见问题](https://support.huaweicloud.com/mrs_faq/mrs_03_1238.md): 问：DistCP类型作业导入导出数据时，是否会对比数据的一致性？答：DistCP类型作业导入导出数据时不会对比数据的一致性，只是对数据进行复制，不会修改数据。答：DistCP类型作业导入导出数据时不会对比数据的一致性，只是对数据进行复制，不会修改数据。问：DistCP类型作业在导出时，遇到OBS里已经存在的文件是如何处理的？答：DistC
- [MRS集群是否支持调整Master节点规格？](https://support.huaweicloud.com/mrs_faq/mrs_03_1239.md): 问：MRS集群是否支持调整Master节点规格？答：已创建的MRS集群支持修改Master节点。目前系统支持2个及以上Master节点的集群升级Master节点规格 ，具体操作请参考升级Master节点规格。
- [HBase操作请求次数指标中的多级图表统计如何理解？](https://support.huaweicloud.com/mrs_faq/mrs_03_1243.md): HBase操作请求次数指标中的多级图表统计如何理解？以“RegionServer级别操作请求次数”监控项为例：登录FusionInsight Manager，选择“集群 > 服务 > HBase > 资源”，在该界面即可查看“RegionServer级别操作请求次数”图表，选中“all”，则显示当前集群所有RegionServer的所有操
- [MRS服务如何对接云日志服务？](https://support.huaweicloud.com/mrs_faq/mrs_03_1244.md): 当用户需要将MRS集群中的服务日志集中采集、存储和分析时，可以通过对接华为云日志服务（LTS）实现日志的统一管理。LTS提供日志采集、存储、检索和分析等功能，帮助用户快速定位集群问题和监控系统运行状态。本章节指导用户在MRS集群主机上安装ICAgent采集代理，并配置日志采集规则将MRS服务日志接入LTS。ICAgent： ICAgent
- [修改hdfs-site.xml文件后未及时重启NameNode导致产生告警如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1245.md): 问：修改hdfs-site.xml文件后未重启NameNode进程却产生了告警如何处理？答：用户修改了比如dfs.namenode.checkpoint.period参数后，如果不重启NameNode进程，可能会产生误报的告警，需尽快重启NameNode进程。
- [MRS集群如何解绑已绑定至Manager的EIP？](https://support.huaweicloud.com/mrs_faq/mrs_03_1246.md): MRS集群如何解绑已绑定至Manager的EIP？在为集群Manager绑定了EIP后，通常不建议用户进行解绑，以免影响其他用户正常访问集群的Manager管理界面。如需解绑，可通过MRS控制台管理界面或者调用EIP服务的相关API接口进行解绑。例如使用当前用户登录API Explorer后，根据实际情况选择Region信息，设置“pro
- [SparkSQL访问Hive分区表启动Job前耗时较长如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1248.md): 使用SparkSql访问Hive的一个数据存放于OBS的一个分区表，但是运行速度却很慢，并且会大量调用OBS的查询接口。SQL样例：按照设定，任务应该只扫描b=xxx的分区，但是查看任务日志可以发现，实际上任务却扫描了所有的分区再来计算b=xxx的数据，因此任务计算的很慢。并且因为需要扫描所有文件，会有大量的OBS请求发送。MRS默认开启
- [集群内用户密码的过期时间如何查询和修改？](https://support.huaweicloud.com/mrs_faq/mrs_03_1249.md): 查询组件运行用户（人机用户、机机用户）密码有效期：cd /opt/Bigdata/clientsource bigdata_envkadmin -p kadmin/adminkadmin/admin的默认密码为“Admin@123”，首次登录后需修改密码，请按照提示修改并妥善保存。getprinc 系统内部用户名例如：getprinc u
- [如何查询MRS节点的启动时间？](https://support.huaweicloud.com/mrs_faq/mrs_03_1250.md): date -d "$(awk -F. '{print $1}' /proc/uptime) second ago" +"%Y-%m-%d %H:%M:%S"
- [在MRS集群外客户端中执行kinit报错“Permission denied”如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1251.md): 在MRS集群外节点上安装了客户端后并执行kinit命令报错如下：执行java命令也报错如下：执行ll /java安装路径/JDK/jdk/bin/java命令查看该文件执行权限信息正常。执行mount | column -t查看挂接的分区状态，发现java执行文件所在的挂载点的分区状态是“noexec”。当前环境中将安装MRS客户端所在的
- [为什么IAM子账号添加了MRS权限却无法在控制台提交作业？](https://support.huaweicloud.com/mrs_faq/mrs_03_1252.md): IAM子账号添加了MRS ReadOnlyAccess、MRS FullAccess权限，无法在控制台提交作业，怎么办？用户子账号同时添加了MRS ReadOnlyAccess、MRS FullAccess权限，由于权限优先级的问题导致了当前在控制台界面无法添加作业。当IAM子账号所在组同时有MRS FullAccess、MRS Read
- [MRS集群的节点如何安装主机安全服务？](https://support.huaweicloud.com/mrs_faq/mrs_03_1253.md): MRS集群中的节点可以使用主机安全服务（Host Security Service，HSS）提供的主机管理、风险预防、入侵检测等功能，识别并管理主机中的信息资产，实时监测主机中的风险并阻止非法入侵行为，帮助企业构建服务器安全体系，降低当前服务器面临的主要安全风险。MRS集群的节点的操作系统版本需在HSS的Agent支撑的操作系统列表范围内
- [如何通过Yarn WebUI查看Hive作业对应的SQL语句？](https://support.huaweicloud.com/mrs_faq/mrs_03_1254.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [如何切换访问MRS Manager方式？](https://support.huaweicloud.com/mrs_faq/mrs_03_1255.md): 问：MRS 3.x版本集群，用户通过专线访问MRS Manager后，如何切换到通过EIP访问？答：在集群“概览”页面，单击“前往Manager”后的，即可切换访问方式。
- [购买MRS集群提交订单时报无效认证如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1256.md): 购买MRS集群，提交订单时，报无效认证，怎么办？通过管理人员检查API请求日志发现告警信息为细粒度策略中未赋予IAM用户“mrs:cluster:create”的权限导致。分析原因为当前IAM用户归属在多个用户组内，多个用户组分别赋予了不同的MRS默认策略，由于权限是优先匹配低权限策略，该策略缺少“mrs:cluster:create”权
- [Spark作业报错“UnknownScannerException”如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1257.md): Spark作业运行查看日志有些WARN日志，作业运行很慢，Caused by显示：UnknownScannerException。运行Spark作业前，调整hbase.client.scanner.timeout.period参数（例如从60秒调高到120秒）。登录Manage界面，选择“集群 > 服务 > HBase > 配置 > 全部
- [ClickHouse系统表日志过大时如何添加定期删除策略？](https://support.huaweicloud.com/mrs_faq/mrs_03_1261.md): 客户使用ClickHouse，系统表产生的日志过大，一次性删除会耗费较长时间，客户可以添加定期删除策略，即添加TTL。MRS 3.3.0及之后版本，在Manager页面，选择“集群 > 服务 > ClickHouse> 配置 > 全部配置”，可以通过参数“query_log.ttl”和“trace_log.ttl”配置数据清理周期，默认为
- [MRS集群内节点的操作系统是什么？](https://support.huaweicloud.com/mrs_faq/mrs_03_1262.md): MRS集群内节点的操作系统是什么？不同版本的集群对应的主机操作系统不同，具体对应关系如表1所示。
- [spark.yarn.executor.memoryOverhead设置不生效如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1263.md): Spark任务需要调整executor的overhead内存，设置了参数spark.yarn.executor.memoryOverhead=4096，但实际计算的时候依旧按照默认值1024申请资源。从Spark 2.3版本开始，推荐使用新参数spark.executor.memoryOverhead设置executor的overhead
- [如何修改ClickHouse服务时区？](https://support.huaweicloud.com/mrs_faq/mrs_03_1264.md): 用户插入数据到ClickHouse时发现时区不对，差了八小时。ClickHouse时区默认设置为Europe/Moscow，需要修改为当地时区。timezone参数值请与当地所在时区保持一致，UTC+8时区为Asia/Shanghai，UTC+0时区为Europe/London。
- [连接ClickHouse服务端异常报错“code: 516”如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_1265.md): 使用clickhouse client命令连接ClickHouse服务端，报错：执行连接ClickHouse服务端命令时，用户名或者密码错误。在执行连接ClickHouse服务端命令时，请输入正确的用户名或者密码，具体操作参考从零开始使用ClickHouse。
- [如何查看指定Yarn任务的日志？](https://support.huaweicloud.com/mrs_faq/mrs_03_1266.md): source客户端安装目录/bigdata_envkinit MRS集群用户yarn logs -applicationId待查看作业的application_ID
- [Hive服务运行状态为亚健康是否会影响上层业务？](https://support.huaweicloud.com/mrs_faq/mrs_03_1267.md): 问：MRS集群内的Hive服务运行状态显示为“亚健康”，是否会影响上层业务？答：集群中服务运行状态为“亚健康”表示服务部分增强功能无法正常工作。在本示例场景中，登录Manager查看集群其他服务状态，发现HBase服务被停止。当HBase已安装且状态不正常时，Hive、Spark和Loader服务将处于亚健康状态。此时并不会影响基于Hiv
- [MRS集群磁盘如何分区的？](https://support.huaweicloud.com/mrs_faq/mrs_03_1270.md): MRS集群即发即用，不需用户自行规划磁盘分区。集群节点创建成功后，节点的操作系统磁盘分区说明如表1所示。MRS集群节点创建成功后，节点的非操作系统磁盘会挂载至“/srv/BigData/dataN”目录，例如节点有4块数据盘，则磁盘挂载目录为“/srv/BigData/data1”、“/srv/BigData/data2”、“/srv/B
- [如何设置Spark作业执行时自动获取更多资源？](https://support.huaweicloud.com/mrs_faq/mrs_03_2024.md): 如何设置Spark作业执行时自动获取更多资源？对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），如果分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。动态资源调度就是为了解决这种场景，根
- [提交作业失败，报错与OBS相关如何处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_2026.md): 为什么提交作业失败，报错与OBS相关？与OBS相关的报错，一般与读写OBS相关，可通过以下步骤进行排查。
- [MRS集群组件如何管理和使用第三方jar包](https://support.huaweicloud.com/mrs_faq/mrs_03_2031.md): MRS集群内部分组件支持使用自定义的第三方jar包来满足组件的定制化需求，如果用户应用在使用组件时调用了第三方jar包，可放置到每个节点上指定目录中，重启组件后该目录下的jar会被相应的组件程序自动加载。放置目录为：组件安装节点的“<集群安装目录>/third_lib/<组件名>”目录。例如：将使用HBase服务要用到的jar包文件放入H
- [MRS集群用户绑定多个队列时系统如何选择队列？](https://support.huaweicloud.com/mrs_faq/mrs_03_2034.md): 问：MRS集群内属于同一个用户组，并且权限也相同的两个用户A和B，同时绑定了queueA以及queueB两个队列。为什么用户A的任务一直提交到queueA队列，用户B的任务却一直提交到queueB队列？答：MRS集群内用户绑定了多个队列时，系统在提交任务时会随机选择队列，建议合理设置用户的队列权限，最好一个用户只绑定一个队列。如果客户必须
- [MRS最小化委托权限整改](https://support.huaweicloud.com/mrs_faq/mrs_03_2036.md): 当前MRS集群（MRS 3.3.1-LTS及之后版本）已支持配置最小化权限的MRS服务委托，而存量的MRS集群（MRS 3.3.0-LTS及之前版本）用户服务委托均为Tenant Administrator授权，权限较大，需要进行最小化委托权限整改。集群如果不依赖IAM同步则无需整改。参与该变更的用户，如果完成了完整的集群整改后进行委托权
- [如何提高Presto资源使用率？](https://support.huaweicloud.com/mrs_faq/mrs_03_2037.md): 节点资源利用不均衡，执行Presto任务几小时后仍未完成。调小Yarn节点内存比例：登录Manager页面，选择“集群 > 服务 > Presto > 实例”，查看并记录所有Presto实例所在节点主机名称。选择“集群 > 服务 > Yarn > 实例”，单击NodeManager实例名（仅需修改与Presto实例在同一节点的NodeMa
- [MRS集群默认的MRS_ECS_DEFAULT_AGENCY、EVSAccessKMS委托权限过大，应该怎么进行权限最小化处理？](https://support.huaweicloud.com/mrs_faq/mrs_03_2039.md): 在2026年3月之前，在MRS第一次创建使用了默认委托的集群时，系统会自动创建MRS_ECS_DEFAULT_AGENCY和EVSAccessKMS委托，其中包含OBS OperateAccess、CES Administrator、KMS Administrator等较大权限。为了满足权限最小化的要求，您可以参考如下操作，修改系统创建的
- [主ResourceManager节点下电后多长时间可以正常提交作业？](https://support.huaweicloud.com/mrs_faq/mrs_03_2040.md): MRS集群Yarn ResourceManager所在的节点下电之后，需要多长时间才可以通过MRS管理控制台正常提交作业？ResourceManager所在的节点为控制节点，节点下电或故障可能会导致底层组件异常，例如ZooKeeper的Leader节点。管理控制台提交作业需要等待JobGateway依赖的组件都恢复，例如提交Hive SQ

## 故障排除

- [删除大量文件后重启NameNode耗时长](https://support.huaweicloud.com/trouble-mrs/mrs_01_1691.md): 删除大量文件之后立刻重启NameNode（例如删除100万个文件），NameNode启动慢。由于在删除了大量文件之后，DataNode需要时间去删除对应的Block。当立刻重启NameNode时，NameNode会去检查所有DataNode上报的Block信息，发现已删除的Block时，会输出对应的INFO日志信息，如下所示：每一个被删除
- [dfs.datanode.data.dir中定义的磁盘数量等于dfs.datanode.failed.volumes.tolerated的值时，DataNode启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_01_1696.md): 当dfs.datanode.data.dir（DataNode在本地文件系统中存储块的位置。）中定义的磁盘数量等于dfs.datanode.failed.volumes.tolerated（DataNode停止提供服务前允许失败的卷数）的值时，DataNode启动失败。默认情况下，单个磁盘的故障将会引起HDFS DataNode进程关闭，
- [当备NameNode存储元数据时，断电后备NameNode启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_01_1698.md): 当Standby NameNode存储元数据（命名空间）时，出现断电的情况，Standby NameNode启动失败并发生如下错误信息。当Standby NameNode存储元数据（命名空间）时，出现断电的情况，Standby NameNode启动失败，MD5文件会损坏。通过移除损坏的fsimage，然后启动Standby NameNod
- [HDFS调用FileInputFormat的getsplit的时候出现数组越界](https://support.huaweicloud.com/trouble-mrs/mrs_01_1700.md): HDFS调用FileInputFormat的getSplit方法的时候，出现ArrayIndexOutOfBoundsException: 0，日志如下：每个block对应的机架信息组成为：/default/rack0/:,/default/rack0/datanodeip:port。该问题是由于某个block块损坏或者丢失，导致该blo
- [HDFS写数据时报错“java.net.SocketException”](https://support.huaweicloud.com/trouble-mrs/mrs_01_1705.md): 为什么在往HDFS写数据时报“java.net.SocketException: No buffer space available”异常？这个问题发生在往HDFS写文件时。查看客户端和DataNode的错误日志。客户端日志如下：DataNode日志如下：上述问题可能是因为网络内存枯竭而导致的。问题的解决方案是根据实际场景适当增大网络设备
- [EditLog不连续导致NameNode启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_01_1709.md): 在JournalNode节点有断电，数据目录磁盘占满，网络异常时，会导致JournalNode上的EditLog不连续。此时如果重启NameNode，很可能会失败。重启NameNode会失败。在NameNode运行日志中会报如下的错误：找到重启前的主NameNode，进入其数据目录（查看配置项“dfs.namenode.name.dir”
- [访问Spark应用获取的restful接口信息有误](https://support.huaweicloud.com/trouble-mrs/mrs_01_2055.md): 当Spark应用结束后，访问该应用的restful接口获取job信息，发现job信息中numActiveTasks的值是负数，如图1所示。numActiveTasks是指当前正在运行task的个数。通过下面两种途径获取上面的job信息：配置spark.history.briefInfo.gather=true，查看JobHistory的b
- [从Yarn Web UI页面无法跳转到Spark Web UI界面](https://support.huaweicloud.com/trouble-mrs/mrs_01_2056.md): 在客户端采用yarn-client模式运行Spark应用，然后从Yarn的页面打开该应用的Web UI界面，出现下面的错误：从YARN ResourceManager的日志看到：2016-07-21 16:35:27,099 | INFO  | Socket Reader #1 for port 8032 | Auth successfu
- [HistoryServer缓存的应用被回收，导致此类应用页面访问时出错](https://support.huaweicloud.com/trouble-mrs/mrs_01_2057.md): 在History Server页面中访问某个Spark应用的页面时，发现访问时出错。查看相应的HistoryServer日志后，发现有“FileNotFound”异常，相关日志如下所示：在History Server页面加载Task个数较多的Spark应用时，由于无法把全部的数据放入内存中，导致数据溢出到磁盘时，会产生前缀为“temp_s
- [加载空的part文件时，app无法显示在JobHistory的页面上](https://support.huaweicloud.com/trouble-mrs/mrs_01_2058.md): 在分组模式下执行应用，当HDFS上的part文件为空时，发现JobHistory首页面上不显示该part对应的app。JobHistory服务更新页面上的app时，会根据HDFS上的part文件大小变更与否判断是否刷新首页面的app显示信息。如果文件为第一次查看，则将当前文件大小与0做比较，如果大于0则读取该文件。分组的情况下，如果执行的
- [Spark导出带有相同字段名的表失败](https://support.huaweicloud.com/trouble-mrs/mrs_01_2059.md): 在Spark的spark-shell上执行如下代码失败：Spark导出带有相同字段名的表，会导出失败。Spark中对join语句重名字段做了判断，需要修改代码保证保存的数据中无重复字段。
- [多次运行Spark应用程序引发JRE错误](https://support.huaweicloud.com/trouble-mrs/mrs_01_2060.md): 为什么多次运行Spark应用程序会引发致命JRE错误？多次运行Spark应用程序会引发致命的JRE错误，这个错误由Linux内核导致。升级内核版本到4.13.9-2.ge7d7106-default来解决这个问题。
- [Spark如何访问外部集群组件](https://support.huaweicloud.com/trouble-mrs/mrs_01_2062.md): 存在两个集群：cluster1和cluster2，如何使用cluster1中的Spark访问cluster2中的HDFS、Hive、HBase和Kafka组件。可以有条件地实现两个集群间组件互相访问，但是存在以下限制：仅允许访问一个Hive MetaStore，不支持同时访问cluster1的Hive MetaStore和cluster2
- [对同一目录创建多个外表导致外表查询失败](https://support.huaweicloud.com/trouble-mrs/mrs_01_2063.md): 假设存在数据文件路径“/test_data_path”，用户userA对该目录创建外表tableA，用户userB对该目录创建外表tableB，当userB对tableB执行insert操作后，userA将查询tableA失败，出现Permission denied异常。当userB对tableB执行insert操作后，会在外表数据路径下
- [访问Spark JobHistory中某个应用的原生页面时页面显示错误](https://support.huaweicloud.com/trouble-mrs/mrs_01_2064.md): 提交一个Spark应用，包含单个Job百万个task。应用结束后，在JobHistory中访问该应用的原生页面，浏览器会等待较长时间才跳转到应用原生页面，如果10分钟内无法跳转，则页面会显示Proxy Error信息。在JobHistory界面中跳转到某个应用的原生页面时，JobHistory需要回放该应用的Event log，如果应用包
- [通过spark-beeline指定location到OBS建表失败](https://support.huaweicloud.com/trouble-mrs/mrs_01_2340.md): 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。HDFS上ssl.jceks文件权限不足，导致建表失败。使用omm用户登录Spark2x所在节点，执行如下命令：vi ${BIGDATA_HOME}/FusionInsight_Spark2x_xxx/install/FusionI
- [Spark shuffle异常处理](https://support.huaweicloud.com/trouble-mrs/mrs_01_24176.md): 在部分场景Spark shuffle阶段会有如下异常：JDBC连接：登录FusionInsight Manager管理界面，修改JDBCServer的参数“spark.authenticate.enableSaslEncryption”值为“false”，并重启对应的实例。登录FusionInsight Manager管理界面，修改JDB
- [使用集群外客户端连接Spark端口失败](https://support.huaweicloud.com/trouble-mrs/mrs_01_248952.md): 安装集群外客户端或使用集群外客户端时，有时会出现连接Spark任务端口失败的问题。异常信息：Failed to bind SparkUi应用无法访问到SparkUI的IP:PORT。可能有以下原因：可能原因一：集群节点与客户端节点网络不通。解决方法：查看客户端节点“/etc/hosts”文件中是否配置集群节点映射，在客户端节点执行命令：p
- [Datasource Avro格式查询异常](https://support.huaweicloud.com/trouble-mrs/mrs_01_248983.md): Datasource Avro格式查询报错，提示Caused by: org.apache.spark.sql.avro.IncompatibleSchemaException。针对avro格式表查询报错，根本原因是avro格式表schema不匹配导致，需要考虑增量和存量avro格式表查询两个场景：增量avro格式表，需要创建表之前设置参
- [通过Spark-sql创建Hudi表或者Hive表，未插入数据前查询表统计信息为空](https://support.huaweicloud.com/trouble-mrs/mrs_01_249161.md): 通过spark-sql创建Hudi表或者Hive表，未插入数据之前，查询表统计信息都为空。可以通过以下两种方式生成：手动通过analyze命令，触发统计信息收集。如果没有插入数据，analyze命令执行完之后，再通过desc formatted table_name命令查询totalsize等于0。配置spark.sql.statisti
- [建表语句分区列为timestamp时，使用非标准格式的时间指定分区查询表统计失败](https://support.huaweicloud.com/trouble-mrs/mrs_01_249238.md): 建表语句分区列为timestamp时，使用非标准格式的时间指定分区查询表统计失败以及show partitions table结果编码不对。执行desc formatted test_hive_orc_snappy_internal_table partition(a='2016-8-1 11:45:5'); 查询报错，如下所示：spar
- [SQL语法兼容TIMESTAMP/DATE特殊字符](https://support.huaweicloud.com/trouble-mrs/mrs_01_249250.md): 在Spark 3.2.0社区版本之后，将不再支持TIMESTAMP(*)或DATE(*)的语法，其中*代表如下特殊时间字符：epochtodayyesterdaytomorrownow默认只支持timestamp '*' 或者date '*'的格式，如果使用之前的语法插入数据表，会得到NULL值。在Spark客户端中执行以下命令设置“sp
- [备NameNode节点长时间未启动，导致启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_01_2493131.md): 长时间没有启动备NameNode，edits文件由于老化策略被自动清理后，重新启动NameNode时找不到所需的edits文件，从而报错。dfs.namenode.name.dir：表示DFS NameNode在本地文件系统存储fsimage的目录。如果设置为一个以逗号分隔的目录列表，那fsimage会复制到该列表中的所有目录以进行冗余备
- [JDBCServer节点磁盘空间不足导致实例异常](https://support.huaweicloud.com/trouble-mrs/mrs_01_300586.md): JDBCServer启动的Yarn任务长时间运行后将部分节点的磁盘打满，磁盘空间不足，导致节点上的JDBCServer实例异常。MRS 3.1.2-LTS之前版本：登录FusionInsight Manager界面，选择“集群 > 服务 > Spark >实例”，重启对应JDBCServer实例即可清理磁盘。登录FusionInsight
- [单BE实例分配多个数据盘的Doris集群中，任意BE实例的一个数据盘异常后，创建3副本表失败](https://support.huaweicloud.com/trouble-mrs/mrs_01_300810.md): MRS 3.6.0.1及之后版本，Doris集群中安装了3个BE实例，且为每个BE实例分配了多个数据盘，任意BE实例的其中一个数据盘异常后，创建3副本表失败。当创建三副本表时，存在故障数据盘的BE节点上不允许写入副本信息，因此导致创建3副本表失败。处理方法包括以下两种，根据实际需求任选其一即可：创建3副本表时，当其中一个BE节点出现数据盘
- [如何解除网络ACL的关联子网](https://support.huaweicloud.com/trouble-mrs/mrs_03_0022.md): 用户可根据自身网络需求，解除网络ACL与子网的关联关系。
- [Flume向Spark Streaming提交作业后报类找不到错误](https://support.huaweicloud.com/trouble-mrs/mrs_03_0023.md): Flume向Spark Streaming提交作业，提交到集群后报类找不到的错误。Spark Streaming代码打成jar包提交到集群后报类找不到错误，通过以下两种方式依然不生效。在提交Spark作业的时候使用--jars 命令引用类所在的jar包。将类所在的jar包引入Spark Streaming的jar包。执行Spark作业时无
- [Hue界面中查看到未知Job在运行](https://support.huaweicloud.com/trouble-mrs/mrs_03_0024.md): 用户查到Hue上有未知的Job在运行。MRS集群创建好后， Hue上查到有Job在运行 ，并且该Job并不是用户主动提交的。此Job为Spark服务启动之后，系统自身连接JDBC的一个默认任务，是常驻的。非问题，无需处理。
- [运行Spark应用时修改MapReduce分片值报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0025.md): 用户需要通过修改一个split最大值来实现多个mapper，从而达到提速的目的，但是执行set命令修改Hive的配置时报错。在安全模式下配置白名单启停参数hive.security.whitelist.switch时，需要运行的参数必须在hive.security.authorization.sqlstd.confwhitelist中配置
- [集群启动Yarn后产生大量作业占用资源](https://support.huaweicloud.com/trouble-mrs/mrs_03_0027.md): MRS 2.x及之前版本集群，用户的MRS集群启动Yarn后产生大量作业，占用集群计算资源。集群安全组入口方向的Any协议源地址配置为0.0.0.0/0，导致集群可能遭受了外部网络攻击。如果是，修改入口方向Any协议的远端为指定IP地址。如果不是，则无需修改。关闭入口方向的Any协议，或者指定入口方向的Any协议远端为指定IP。
- [提交Spark任务时提示参数格式错误](https://support.huaweicloud.com/trouble-mrs/mrs_03_0029.md): 用户在使用Spark组件时，提交集群任务运行失败，提示参数格式错误。执行的命令包含了非法字符。上传的jar包属主属组异常。
- [缩容Task节点失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0030.md): 在MRS 2.x集群详情页面调整集群Task节点，将Task节点调整成0个，最终缩容失败，提示如下：用户将Core节点的NodeManager服务停止了，导致在检查Task节点退服过程中发现Task如果全部退订，则将没有NodeManager，则Yarn服务就不可用，而MRS判断剩余的NodeManager必须大于等于1才能退服Task节
- [如何处理集群内部OBS证书过期](https://support.huaweicloud.com/trouble-mrs/mrs_03_0031.md): 用户在MRS集群中访问OBS服务过程中出现证书过期问题。MRS集群产生“ALM-12054 证书文件失效”或“ALM-12055 证书文件即将过期”告警，且告警详情中触发告警的证书为OBS证书。OBS系统生成的证书有有效期限制，到达有效期后，证书文件失效，因此产生告警。使用root用户登录MRS集群的主OMS节点，执行以下命令查询是否存在
- [Storm WebUI页面中events超链接地址无效](https://support.huaweicloud.com/trouble-mrs/mrs_03_0034.md): Storm组件的Storm UI页面中events超链接地址无效。用户提交拓扑后无法查看拓扑数据处理日志，按钮events地址无效。MRS集群提交拓扑时默认不开启拓扑数据处理日志查看功能。MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理”。如果集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“
- [修改RPC端口后HDFS NameNode实例都变为备状态](https://support.huaweicloud.com/trouble-mrs/mrs_03_0035.md): 通过页面更改NameNode的RPC端口，随后重启HDFS服务，出现所有NameNode一直是备状态，导致集群异常。所有NameNode都是备状态，导致集群异常。集群安装启动后，如果修改NameNode的RPC端口，则需要重新格式化Zkfc服务来更新zookeeper上的节点信息。在停止HDFS时，建议不要停止相关服务。如果两个Maste
- [节点磁盘容量不足导致Spark服务不可用](https://support.huaweicloud.com/trouble-mrs/mrs_03_0036.md): 用户创建的集群显示磁盘容量不足，产生告警导致Spark、Hive和Yarn服务不可用。由于集群磁盘容量不足，会影响到HDFS的数据写入，HDFS磁盘空间使用率超过阈值，因此导致HDFS服务异常。HDFS服务异常则会导致Spark、Hive和Yarn服务不可用。根据该集群出现磁盘容量不足产生Spark、Hive和Yarn服务不可用的报警，扩
- [引入jar包不正确导致Spark任务无法运行](https://support.huaweicloud.com/trouble-mrs/mrs_03_0037.md): 执行Spark任务，任务无法运行。执行Spark任务时，引入的jar包不正确，导致Spark任务运行失败。jar包名最多为1023字符，不能包含;|&>,<'$特殊字符，且不可为空或全空格。OBS存储路径：以“obs://”开头。示例：obs://wordcount/program/hadoop-mapreduce-examples-2.
- [Spark任务由于内存不足或未添加Jar包导致异常](https://support.huaweicloud.com/trouble-mrs/mrs_03_0038.md): Spark提交作业内存不足或提交作业时未添加Jar包导致任务长时间处于pending状态或者运行中内存溢出。使用Spark提交作业后，长期卡住不动。反复运行作业后报错，内容如下：内存不足或提交作业时未添加Jar包，导致Spark提交的作业任务长时间处于pending状态。是，执行2。否，添加Jar包，执行作业正常，操作结束。如果执行作业任
- [通过公网IP连接使用HDFS客户端报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0039.md): 通过公网IP连接主机，不能使用HDFS客户端，运行hdfs命令后提示“-bash: hdfs: command not found”。用户登录Master节点执行命令之前，未设置环境变量。
- [修改节点主机名后导致MRS集群状态异常](https://support.huaweicloud.com/trouble-mrs/mrs_03_0041.md): 修改节点主机名后，MRS集群状态异常。修改节点hostname导致兼容性问题和故障。${newhostname}：表示新的hostname取值。
- [连接到HBase响应慢](https://support.huaweicloud.com/trouble-mrs/mrs_03_0042.md): 在相同的VPC下，外部集群通过Phoenix连接到HBase时，响应较慢。客户配置了DNS服务，由于客户端连接到HBase先通过DNS来解析服务器端，所以导致响应慢。例如，#1.1.1.1。
- [提交Spark任务时报错“ClassNotFoundException”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0043.md): 运行Spark任务报找不到指定的类“ClassNotFoundException”。详细报错内容如下：用户配置的默认路径不正确。执行vim客户端安装目录/Spark/spark/conf/spark-defaults.conf命令，打开spark-defaults.conf文件，设置spark.executor.extraClassPat
- [获取Kafka Topic时报错“InvalidReplicationFactorException”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0044.md): 运行Kafka客户端获取Topic时报错，报错内容如下：由特殊字符导致获取的ZooKeeper地址变量错误。
- [使用Python远程连接HDFS的端口失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0046.md): 使用Python远程连接HDFS的端口失败，如何解决？用户使用Python远程连接HDFS的50070端口失败。HDFS开源3.0.0以下版本的默认端口为50070，3.0.0及以上的默认端口为9870。用户使用的端口和HDFS版本不匹配导致连接端口失败。根据版本号确认开源组件的端口号，查询开源组件的端口号可参考开源组件端口列表，获取对应
- [HDFS容量达到100%导致上层服务HBase、Spark等不可用](https://support.huaweicloud.com/trouble-mrs/mrs_03_0047.md): 集群的HDFS容量使用达到100%，HDFS服务状态为只读，导致上层服务HBase、Spark等上报服务不可用告警。HDFS使用容量100%，磁盘容量只使用85%左右，HDFS服务状态为只读，导致上层服务HBase、Spark等上报服务不可用。当前NodeManager和DataNode共数据盘使用，MRS默认预留15%的数据磁盘空间给非
- [启动HDFS和Yarn服务报错“Permission denied”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0048.md): 启动HDFS和Yarn时报错。无法启动HDFS、Yarn服务组件，报错内容：/dev/null Permission denied。用户修改了虚机系统的/dev/null的权限值为775。
- [MRS备份任务执行失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0050.md): MRS的备份任务总是执行失败。备份目录软链接到系统盘，系统盘满了之后备份任务失败。以root用户登录集群主备Master节点。执行df -h命令查看磁盘情况，检查系统盘的存储情况。执行 ll /srv/BigData/LocalBackup命令， 查看备份目录是否软连接到/opt/Bigdata/LocalBackup。检查备份文件是否软
- [HBase用户认证失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0051.md): HBase用户认证失败。客户侧HBase用户认证失败，报错信息如下：用户使用的JDK中的jar包与MRS服务认证的jar包版本不一致。ll /opt/share/local_policy/local_policy.jarll /opt/Bigdata/jdk{version}/jre/lib/security/local_policy.j
- [调用API接口创建集群失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0052.md): 按照参考文档创建集群并执行作业，调用创建集群接口：POST /v1.1/{project_id}/run-job-flow返回500。调用创建集群接口：POST /v1.1/{project_id}/run-job-flow返回500。用户没有创建集群的权限。检查是否拥有创建MRS集群的权限，可参考文档权限管理。
- [Flume客户端安装失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0053.md): 安装Flume客户端失败，提示JAVA_HOME is null或flume has been installed。Flume客户端安装时会检查环境变量，如果没有可用的JAVA，会报错并退出安装。指定的目录下已经安装有Flume客户端。export JAVA_HOME=java路径设置JAVA_HOME，重新运行安装脚本。
- [Flume客户端无法连接服务端](https://support.huaweicloud.com/trouble-mrs/mrs_03_0054.md): 安装Flume客户端并设置Avro Sink与服务端通信，发现无法连接Flume服务端。服务端配置错误，监测端口启动失败，例如服务端Avro Source配置了错误的IP，或者已经被占用了的端口。查看Flume运行日志：2016-08-31 17:28:42,092 | ERROR | [lifecycleSupervisor-1-9] 
- [Flume数据写入组件失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0055.md): Flume进程启动后，Flume数据无法写入到对应组件（本示例以服务端写入到HDFS为例）。HDFS未启动或故障。查看Flume运行日志：2019-02-26 11:16:33,564 | ERROR | [SinkRunner-PollingRunner-DefaultSinkProcessor] |  operation the hd
- [Flume服务端进程故障](https://support.huaweicloud.com/trouble-mrs/mrs_03_0056.md): Flume运行一段时间后，Manager界面Flume实例显示运行状态“故障”。Flume文件或文件夹权限异常，重启后Manager界面提示如下信息：与运行正常的Flume节点进行文件和文件夹权限对比，更改错误文件或文件夹权限。
- [Flume数据采集慢](https://support.huaweicloud.com/trouble-mrs/mrs_03_0057.md): Flume启动后，Flume数据采集慢。Flume堆内存设置不合理，导致Flume进程一直处于频繁GC。查看Flume运行日志：2019-02-26T13:06:20.666+0800: 1085673.512: [Full GC:[CMS: 3849339k->3843458K(3853568K), 2.5817610 secs] 41
- [Flume启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0058.md): 安装Flume服务或重启Flume服务失败。Flume堆内存设置的值大于机器剩余内存，查看Flume启动日志：[CST 2019-02-26 13:31:43][INFO] [[checkMemoryValidity:124]] [GC_OPTS is invalid: Xmx(40960000MB) is bigger than the
- [Flume正常连接Kafka后发送消息失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0059.md): 使用MRS版本安装集群，主要安装ZooKeeper、Flume、Kafka。在使用Flume向Kafka发送数据功能时，发现Flume发送数据到Kafka失败。Kafka服务异常。Flume连接Kafka地址错误，导致发送失败。Flume发送超过Kafka大小限制的消息，导致发送失败。Flume发送数据到Kafka失败，可能原因是Flum
- [Producer发送数据失败，报错“NullPointerException”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0060.md): 使用MRS安装集群，主要安装ZooKeeper、Kafka。在使用Producer向Kafka发送数据功能时，发现客户端报错NullPointerException。Kafka服务异常。客户端Producer侧jaas文件和keytab文件错误。Producer发送数据到Kafka失败，可能原因为客户端Producer侧问题或者Kafka
- [Producer发送数据失败，报错“TOPIC_AUTHORIZATION_FAILED”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0061.md): 使用MRS安装集群，主要安装ZooKeeper、Kafka。在使用Producer向Kafka发送数据功能时，发现客户端报错：TOPIC_AUTHORIZATION_FAILED。Kafka服务异常。客户端Producer侧采用非安全访问，服务端配置禁止访问。客户端Producer侧采用非安全访问，Kafka Topic设置ACL。Pro
- [Producer发送数据失败，报错“Too many open files in system”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0062.md): 在使用Producer向Kafka发送数据功能时，发现客户端发送失败。Kafka服务异常。网络异常。Kafka Topic异常。查看Kafka服务状态：MRS Manager界面操作：登录MRS Manager，依次选择“服务管理 > Kafka”，查看当前Kafka状态，发现状态为良好，且监控指标内容显示正确。FusionInsight
- [Consumer初始化成功，但无法从Kafka中获取指定Topic消息](https://support.huaweicloud.com/trouble-mrs/mrs_03_0063.md): 使用MRS安装集群，主要安装ZooKeeper、Flume、Kafka、Storm、Spark。使用Storm、Spark、Flume或者自己编写consumer代码来消费Kafka中指定Topic的消息时，发现消费不到任何数据。Kafka服务异常。Consumer中ZooKeeper相关连接地址配置错误，导致无法消费。Consumer发
- [Consumer消费数据失败，Consumer一直处于等待状态](https://support.huaweicloud.com/trouble-mrs/mrs_03_0064.md): 使用MRS服务安装集群，主要安装ZooKeeper、Kafka。在使用Consumer从Kafka消费数据时，发现客户端一直处于等待状态。Kafka服务异常。客户端Consumer侧采用非安全访问，服务端配置禁止访问。客户端Consumer侧采用非安全访问，Kafka Topic设置ACL。Consumer向Kafka消费数据失败，可能原
- [SparkStreaming消费Kafka消息失败，报错“Error getting partition metadata”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0065.md): 使用SparkStreaming来消费Kafka中指定Topic的消息时，发现无法从Kafka中获取到数据。提示如下错误： Error getting partition metadata。Kafka服务异常。客户端Consumer侧采用非安全访问，服务端配置禁止访问。客户端Consumer侧采用非安全访问，Kafka Topic设置AC
- [端口被占用导致RegionServer启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0066.md): Manager页面监控发现RegionServer状态为Restoring。通过查看RegionServer日志（/var/log/Bigdata/hbase/rs/hbase-omm-xxx.log）。使用lsof -i:21302（MRS1.7.X及以后端口号是16020）查看到pid，然后根据pid查看到相应的进程，发现Region
- [节点剩余内存不足导致HBase启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0067.md): HBase的RegionServer服务一直是Restoring状态。查看RegionServer的日志（/var/log/Bigdata/hbase/rs/hbase-omm-XXX.out），发现显示以下打印信息：There is insufficient memory for the Java Runtime Environment
- [HDFS性能差导致HBase服务不可用告警](https://support.huaweicloud.com/trouble-mrs/mrs_03_0068.md): HBase组件不断上报服务不可用告警。该问题多半为HDFS性能较慢，导致健康检查超时，从而导致监控告警。可通过以下方式判断：首先查看HMaster日志（/var/log/Bigdata/hbase/hm/hbase-omm-xxx.log），确认HMaster日志中没有频繁打印“system pause”或“jvm”等GC相关信息。然后可
- [参数不合理导致HBase启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0069.md): 修改部分参数后，无法正常启动HBase。查看HMaster日志（/var/log/Bigdata/hbase/hm/hbase-omm-xxx.log）显示，hbase.regionserver.global.memstore.size + hfile.block.cache.size总和大于0.8导致启动不成功，因此需要调整参数配置值总
- [残留进程导致Regionsever启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0070.md): HBase服务启动失败，健康检查报错。查看启动HBase服务时manager页面的详细打印信息，提示the previous process is not quit。
- [DBServer实例状态异常](https://support.huaweicloud.com/trouble-mrs/mrs_03_0071.md): DBServer实例状态一直是concerning。数据目录下文件或目录的权限不对，GaussDB要求文件权限至少是600，目录权限至少为700。
- [DBServer实例一直处于Restoring状态](https://support.huaweicloud.com/trouble-mrs/mrs_03_0072.md): DBServer实例状态一直是Restoring状态，重启之后仍然不恢复。DBService组件会对“${BIGDATA_HOME}/MRS_XXX/install/dbservice/ha/module/harm/plugin/script/gsDB/.startGS.fail”这个文件监控。其中XXX是产品版本号。如果这个文件中的值大
- [DBService默认端口20050或20051被占用](https://support.huaweicloud.com/trouble-mrs/mrs_03_0073.md): 执行DBService服务重启操作时，DBService服务启动失败，打印的错误日志中出现20050或20051端口被占用等信息。由于DBService使用的默认端口20050或20051被其他进程占用。DBService进程没有停止成功，使用的端口未释放。该解决办法以20051端口被占用为例，20050端口被占用的解决办法与该办法类似。
- [/tmp目录权限不对导致DBserver实例状态一直处于Restoring](https://support.huaweicloud.com/trouble-mrs/mrs_03_0074.md): DBServer实例状态一直是Restoring状态，重启之后仍然不恢复。查看/var/log/Bigdata/dbservice/healthCheck/dbservice_processCheck.log，可以看到gaussdb异常。gaussdb异常检查发现/tmp权限不对。/tmp权限chmod 1777 /tmp
- [内存不足导致HDFS NameNode启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0075.md): 场景一：重启HDFS服务后，HDFS的状态为Bad，且NameNode实例状态异常，并且很久没有退出安全模式。场景二：NameNode启动时，启动超时后启动失败，原生页面无法打开。在NameNode运行日志（/var/log/Bigdata/hdfs/nn/hadoop-omm-namenode-XXX.log）中搜索“WARN”，可以看
- [ntpdate修改时间导致HDFS出现大量丢块](https://support.huaweicloud.com/trouble-mrs/mrs_03_0076.md): 用ntpdate修改了集群时间，修改时未停止集群，修改后HDFS进入安全模式，无法启动。退出安全模式后启动，hfck检查丢了大概1 TB数据。查看NameNode原生页面发现有大量的块丢失。块丢失查看原生页面Datanode Information发现显示的DataNode节点数和实际的相差10个节点。查看DataNode节点数查看Dat
- [DataNode偶现CPU占用接近100%导致节点无法连接](https://support.huaweicloud.com/trouble-mrs/mrs_03_0077.md): DataNode概率性出现CPU占用接近100%，导致节点丢失（ssh连得很慢或者连不上）。DataNode有许多写失败的日志。DataNode写失败的日志短时间内写入大量文件导致这种情况，因此DataNode内存不足。写入大量文件导致DataNode内存不足
- [单NameNode长期故障时如何使用客户端手动checkpoint](https://support.huaweicloud.com/trouble-mrs/mrs_03_0078.md): 在备NameNode长期异常的情况下，会积攒大量的editlog，此时如果重启HDFS或者主NameNode，主NameNode会读取大量的未合并的editlog，导致耗时启动较长，甚至启动失败。备NameNode会周期性做合并editlog，生成fsimage文件的过程叫做checkpoint。备NameNode在新生成fsimage后
- [HDFS读写文件失败，报错“Failed to place enough replicas”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0079.md): 当用户在HDFS上执行写操作时，出现“Failed to place enough replicas:expected…”信息。DataNode的数据接收器不可用。此时DataNode会有如下日志：2016-03-17 18:51:44,721 | WARN | org.apache.hadoop.hdfs.server.datanode
- [文件最大打开句柄数设置太小导致读写文件异常](https://support.huaweicloud.com/trouble-mrs/mrs_03_0080.md): 文件最大打开句柄数设置太小，导致文件句柄不足。写文件到HDFS很慢，或者写文件失败。DataNode日志/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log，存在异常提示java.io.IOException: Too many open files。2016-05-19 17:18:5
- [HDFS客户端写文件close失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0081.md): HDFS客户端写文件close失败，客户端提示数据块没有足够副本数。客户端日志：HDFS客户端开始写Block。例如：HDFS客户端是在2015-05-27 18:50:24,232开始写/20150527/10/6_20150527105000_20150527105500_SR5S14_1432723806338_128_11.pkg
- [文件错误导致上传文件到HDFS失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0082.md): 用hadoop dfs -put把本地文件拷贝到HDFS上，有报错。上传部分文件后，报错失败，从NameNode原生页面看，临时文件大小不再变化。查看NameNode日志/var/log/Bigdata/hdfs/nn/hadoop-omm-namenode-主机名.log，发现该文件一直在被尝试写，直到最终失败。2015-07-13 1
- [界面配置dfs.blocksize后上传数据，block大小未改变](https://support.huaweicloud.com/trouble-mrs/mrs_03_0083.md): 界面配置dfs.blocksize，将其设置为268435456，上传数据，block大小还是原来的大小。HDFS客户端的hdfs-site.xml文件中的dfs.blocksize大小没有更改，以客户端配置为准。
- [HDFS读取文件失败，报错“FileNotFoundException”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0084.md): 有MapReduce任务所有map任务均成功，但reduce任务失败，查看日志发现报异常“FileNotFoundException...No lease on...File does not exist”。FileNotFoundException...No lease on...File does not exist，该日志说明文件在
- [HDFS写文件失败，报错“item limit of xxx is exceeded”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0085.md): 客户端或者上层组件日志报往HDFS的某目录写文件失败，报错为：The directory item limit of /tmp is exceeded: limit=5 items=5。查看客户端或者NameNode运行日志“/var/log/Bigdata/hdfs/nn/hadoop-omm-namenode-XXX.log”存在异常
- [调整HDFS Shell客户端日志级别](https://support.huaweicloud.com/trouble-mrs/mrs_03_0086.md): 临时调整，关闭该Shell客户端窗口后，日志会还原为默认值。执行export HADOOP_ROOT_LOGGER命令可以调整客户端日志级别。执行export HADOOP_ROOT_LOGGER=日志级别,console，可以调整shell客户端的日志级别。export HADOOP_ROOT_LOGGER=DEBUG,console，
- [HDFS读文件失败，报错“No common protection layer”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0087.md): shell客户端或者其他客户端操作HDFS失败，报“No common protection layer between client and server”。在集群外的机器，执行任意hadoop命令，如hadoop fs -ls /均失败，最底层的报错为"No common protection layer between client
- [HDFS目录配额不足导致写文件失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0088.md): 给某目录设置quota后，往目录中写文件失败，出现如下问题“The DiskSpace quota of/tmp/tquota2 isexceeded”。目录配置的剩余的空间小于写文件实际需要的空间。HDFS支持设置某目录的配额，即限制某目录下的文件最多占用空间大小，例如如下命令是设置“/tmp/tquota”目录最多写入150MB的文件
- [执行distcp跨集群拷贝文件报错“Source and target differ in block-size”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0089.md): 执行distcp跨集群拷贝文件时，出现部分文件拷贝失败“ Source and target differ in block-size. Use -pb to preserve block-sizes during copy. ”distcp默认拷贝文件时不记录原block大小导致在原文件block.size不是128M时校验失败，需要在
- [查询或者删除HDFS文件失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0090.md): 使用HDFS的shell客户端查询或者删除文件失败，父目录可以看见此文件（不可见字符）。可能是该文件写入时有异常，写入了不可见字符。可以将该文件名重定向写入本地文本中，使用vi命令打开。hdfs dfs -ls父目录>   /tmp/t.txtvi /tmp/t.txt然后输入命令“:set list”将文件名的不可见字符显示出来。如这里
- [非HDFS数据残留导致数据分布不均衡](https://support.huaweicloud.com/trouble-mrs/mrs_03_0091.md): 数据出现不均衡，某磁盘过满而其他磁盘未写满。HDFS DataNode数据存储目录配置为/export/data1/dfs--/export/data12/dfs，看到的现象是大量数据都是存储到了/export/data1/dfs，其他盘的数据比较均衡。磁盘为卸载重装，有一个目录在上次卸载时未卸载干净，即添加的磁盘，未格式化，残留历史垃圾
- [HDFS客户端安装在数据节点导致数据分布不均衡](https://support.huaweicloud.com/trouble-mrs/mrs_03_0092.md): HDFS的DataNode数据分布不均匀，在某节点上磁盘使用率很高，甚至达到100%，其他节点空闲很多。客户端安装在该节点，根据HDFS数据副本机制，第一个副本会存放在本地机器，最终导致节点磁盘被占满，而其他节点空闲很多。/opt/client/HDFS/hadoop/sbin/start-balancer.sh -threshold 1
- [节点内DataNode磁盘使用率不均衡](https://support.huaweicloud.com/trouble-mrs/mrs_03_0093.md): 单个节点内DataNode的各磁盘使用率不均匀。例如：部分磁盘故障，更换为新盘，因此新盘使用率低。增加了磁盘个数，如原先4个数据盘，现扩容为5个数据盘。DataNode节点内写block磁盘时，有两种策略“轮询”和“优先写剩余磁盘空间多的磁盘”。参数说明：dfs.datanode.fsdataset.volume.choosing.pol
- [执行balance常见问题定位方法](https://support.huaweicloud.com/trouble-mrs/mrs_03_0094.md): 问题描述：执行start-balancer.sh，“hadoop-root-balancer-主机名.out”日志显示“Access denied for user test1. Superuser privilege is required”问题根因：执行balance需要使用管理员账户解决方法安全版本使用hdfs或者其他属于super
- [MRS集群上报HDFS磁盘空间不足告警但是实际磁盘空间未被占满](https://support.huaweicloud.com/trouble-mrs/mrs_03_0095.md): MRS集群上报了“ALM-14001 HDFS磁盘空间使用率超过阈值”告警。通过客户端命令或者HDFS WebUI页面，查看磁盘空间使用率非常高，但是并未完全被占满。HDFS中用户可以自行配置DataNode预留磁盘空间百分比，配置参数为“dfs.datanode.du.reserved.percentage”，该参数用于指定DataNo
- [提交Storm拓扑失败排查思路](https://support.huaweicloud.com/trouble-mrs/mrs_03_0096.md): 使用MRS流式集群，主要安装ZooKeeper、Storm、Kafka。使用客户端命令，提交Topology失败。Storm服务异常。客户端用户没有进行安全认证或者认证过期。提交拓扑中包含storm.yaml文件和服务端冲突。用户提交拓扑失败，可能原因客户端侧问题或者Storm侧问题。查看Storm状态。对于MRS 3.x之前的版本集群：
- [提交Storm拓扑失败，提示Failed to check principle for keytab](https://support.huaweicloud.com/trouble-mrs/mrs_03_0097.md): 使用MRS流式安全集群，主要安装ZooKeeper、Storm、Kafka等。定义拓扑访问HDFS、HBase等组件，使用客户端命令，提交Topology失败。提交拓扑中没有包含用户的keytab文件。提交拓扑中包含的keytab和提交用户不一致。客户端/tmp目录下已存在user.keytab，且宿主非运行用户。查看日志发现异常信息Ca
- [提交Storm拓扑后Worker日志为空](https://support.huaweicloud.com/trouble-mrs/mrs_03_0098.md): 在Eclipse中远程提交拓扑成功之后，无法在Storm WebUI查看拓扑的详细信息，并且每个拓扑的Bolt和Spout所在Worker节点在一直变化。查看Worker日志，日志内容为空。Worker进程启动失败，触发Nimbus重新分配任务，在其他Supervisor上启动Worker。由于Worker启动失败后会继续重启，导致Wor
- [提交Storm拓扑后Worker运行异常，日志提示Failed to bind to XXX](https://support.huaweicloud.com/trouble-mrs/mrs_03_0099.md): 提交业务拓扑后，发现Worker无法正常启动。查看Worker日志，日志提示Failed to bind to: Host_ip:Port。随机端口范围配置错误。检查worker相关信息日志。检查绑定端口的进程信息。检查随机端口范围配置。通过SSH登录Worker启动失败主机，通过netstat -anp | grep <port>命令，
- [使用jstack命令查看进程堆栈提示“well-known file is not secure”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0100.md): 使用jstack命令查看进程堆栈信息时报以下错误：由于执行命令的用户与当前查看pid信息的进程提交用户不一致导致。Storm引入区分用户执行任务特性，在启动worker进程时将给进程的uid和gid改为提交用户和ficommon，目的是为了logviewer可以访问到worker进程的日志同时日志文件只开放权限到640。这样会导致切换到提
- [使用Storm-JDBC插件开发Oracle写入Bolt时发现数据无法写入](https://support.huaweicloud.com/trouble-mrs/mrs_03_0101.md): 使用Storm-JDBC插件开发Oracle写入Bolt，发现能连上Oracle数据库，但是无法向Oracle数据库里面写数据。拓扑定义异常。数据库表结果定义异常。通过Storm WebUI查看拓扑DAG图，发现DAG图与拓扑定义一致。查看KeyWordFilter Bolt输出流字段定义和发送消息字段发现一致。查看Oracle数据库中表
- [Consumer消费数据失败，报错“GROUP_COORDINATOR_NOT_AVAILABLE”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0102.md): 新建Kafka集群，部署Broker节点数为2，使用Kafka客户端可以正常生产，但是无法正常消费。Consumer消费数据失败，提示GROUP_COORDINATOR_NOT_AVAILABLE，关键日志如下：__consumer_offsets无法创建。查看日志，发现大量__consumer_offset创建异常。查看集群发现当前Br
- [SparkStreaming消费Kafka消息失败，报错“Couldn't find leader offsets”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0103.md): 使用SparkStreaming来消费Kafka中指定Topic的消息时，发现无法从Kafka中获取到数据。提示如下错误： Couldn't find leader offsets。Kafka服务异常。网络异常。Kafka Topic异常。执行Kafka相关命令，获取Topic分布信息和副本同步信息，观察返回结果。kafka-topics
- [Consumer消费数据失败，报错“SchemaException: Error reading field”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0104.md): Consumer来消费Kafka中指定Topic的消息时，发现无法从Kafka中获取到数据。提示如下错误：org.apache.kafka.common.protocol.types.SchemaException: Error reading field 'brokers': Error reading field 'host': Er
- [Kafka Consumer消费数据丢失如何处理](https://support.huaweicloud.com/trouble-mrs/mrs_03_0105.md): 用户将消费完的数据存入数据库，发现数据与生产数据不一致，怀疑Kafka消费丢数据。业务代码原因Kafka生产数据写入异常Kafka消费数据异常Kafka排查：new-consumer:kafka-console-consumer.sh --topic <topic name> --bootstrap-server <IP1:PORT, I
- [账号锁定导致启动Kafka组件失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0106.md): 新创建的MRS集群，启动Kafka服务失败。查看服务启动日志，显示认证失败。查看Kerberos日志“/var/log/Bigdata/kerberos/krb5kdc.log”，发现有集群外的IP使用Kafka用户连接，导致多次认证失败，最终导致Kafka账号被锁定。Jul 11 02:49:16 192-168-1-91 krb5kd
- [Kafka Broker上报进程异常，报错“IllegalArgumentException”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0107.md): 使用Manager提示进程故障告警，查看告警进程为Kafka Broker。Broker配置异常。在Manager页面，在告警页面得到主机信息。通过SSH登录Kafka Broker，执行cd /var/log/Bigdata/kafka/broker命令进入日志目录。查看server.log发现如下日志抛出IllegalArgument
- [删除Kafka Topic时发现无法删除](https://support.huaweicloud.com/trouble-mrs/mrs_03_0108.md): 在使用以下Kafka客户端命令删除Topic时（例如Topic名称为“test”），发现Topic无法被删除。Kafka服务异常，Kafka部分节点处于停止或故障状态。具体处理步骤请参考Kafka节点状态异常。客户端命令连接ZooKeeper地址错误，报错“ZkTimeoutException”。具体处理步骤请参考客户端命令连接ZooKe
- [提交Spark任务时Driver端提示运行内存超限](https://support.huaweicloud.com/trouble-mrs/mrs_03_0109.md): 运行内存超限导致提交Spark任务失败。在Driver日志中直接打印申请的executor memory超过集群限制。... INFO Client: Verifying our application has not requested more than the maximum memory capability of the clu
- [Yarn-cluster模式下提交Spark任务报“Can't get the Kerberos realm”异常](https://support.huaweicloud.com/trouble-mrs/mrs_03_0110.md): 认证异常导致提交Spark任务失败，报“Can't get the Kerberos realm”异常。在Driver端打印异常找不到连接HDFS的Token信息，报错如下：16/03/22 20:37:10 WARN Client: Exception encountered while connecting to the server
- [JDK版本不匹配导致启动spark-sql和spark-shell失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0111.md): JDK版本不匹配导致客户端启动spark-sql、spark-shell失败。在Driver端打印异常如下：Exception Occurs: BadPadding 16/02/22 14:25:38 ERROR Schema: Failed initialising database. Unable to open a test con
- [Yarn-client模式提交Spark任务时ApplicationMaster尝试启动两次失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0112.md): Yarn-client模式提交任务AppMaster尝试启动两次失败。Driver端异常:16/05/11 18:10:56 INFO Client: 
client token: N/A
diagnostics: Application application_1462441251516_0024 failed 2 times due 
- [HDFS上设置配额导致HBase启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0113.md): HBase启动失败。查看HMaster日志信息（/var/log/Bigdata/hbase/hm/hbase-omm-xxx.log），出现如下异常，The DiskSpace quota of /hbase is exceeded。
- [HBase version文件损坏导致启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0115.md): HBase启动失败。HBase启动时会读取hbase.version文件，但是日志显示读取存在异常。通过hadoop fs -cat  /hbase/hbase.version命令发现文件不能正常查看，该文件损坏。
- [无业务情况下，RegionServer占用CPU高](https://support.huaweicloud.com/trouble-mrs/mrs_03_0116.md): 无业务情况下，RegionServer占用CPU较高。通过top命令获取RegionServer的进程使用CPU情况信息，查看CPU使用率高的进程号。根据RegionServer的进程编号，获取该进程下线程使用CPU情况。top -H -p <PID>（根据实际RegionServer的进程ID进行替换），具体如下图所示，发现部分线程CP
- [HBase启动失败，RegionServer日志中提示“FileNotFoundException”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0117.md): HBase启动失败，RegionServer一直处于Restoring状态。查看RegionServer的日志（/var/log/Bigdata/hbase/rs/hbase-omm-XXX.log），发现显示以下打印信息：| ERROR | RS_OPEN_REGION-ab-dn01:21302-2 | ABORTING region
- [Storm业务拓扑配置GC参数不生效](https://support.huaweicloud.com/trouble-mrs/mrs_03_0118.md): 业务拓扑代码中配置参数topology.worker.childopts不生效，关键日志如下：通过ps -ef | grep worker命令查看worker进程信息如下：由于topology.worker.gc.childopts、topology.worker.childopts和worker.gc.childopts(服务端参数)有
- [Storm UI查看信息时显示Internal Server Error](https://support.huaweicloud.com/trouble-mrs/mrs_03_0119.md): 使用MRS版本安装集群，主要安装ZooKeeper、Storm。通过MRS Manager中的Storm Status页面UI连接访问信息时显示如下信息：Storm服务中Nimbus异常。Storm集群信息较多超过系统默认Thrift传输大小的设置。查看Storm服务状态及监控指标：MRS Manager界面操作：登录MRS Manage
- [删除Kafka Topic时报错“AdminOperationException”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0120.md): 在使用以下Kafka客户端命令删除Topic时报错。提示错误ERROR kafka.admin.AdminOperationException: Error while deleting topic test4。具体如下：用户不属于kafkaadmin组，Kafka提供安全访问接口，kafkaadmin组用户才可以进行topic删除操作。
- [创建Kafka Topic时报错“NoAuthException”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0121.md): 在使用Kafka客户端命令创建Topic时，发现Topic无法被创建。提示错误NoAuthException，KeeperErrorCode = NoAuth for /config/topics。具体如下：用户不属于kafkaadmin组，Kafka提供安全访问接口，kafkaadmin组用户才可以进行topic删除操作。使用客户端命令
- [设置Kafka Topic ACL权限时报错“NoAuthException”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0122.md): 在使用Kafka客户端命令设置Topic ACL权限时，发现Topic无法被设置。提示错误NoAuthException: KeeperErrorCode = NoAuth for /kafka-acl-changes/acl_changes_0000000002。具体如下：用户不属于kafkaadmin组，Kafka提供安全访问接口，k
- [创建Kafka Topic时报错“NoNode for /brokers/ids”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0123.md): 在使用Kafka客户端命令创建Topic时，发现Topic无法被创建。提示错误NoNodeException: KeeperErrorCode = NoNode for /brokers/ids。具体如下：Kafka服务处于停止状态。客户端命令中ZooKeeper地址参数配置错误。使用客户端命令，打印NoNodeException异常。E
- [创建Kafka Topic时报错“replication factor larger than available brokers”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0124.md): 在使用Kafka客户端命令创建Topic时，发现Topic无法被创建。提示错误replication factor larger than available brokers。具体如下：Kafka服务处于停止状态。Kafka服务当前可用Broker小于设置的replication-factor。客户端命令中ZooKeeper地址参数配置错
- [Consumer消费数据时，存在重复消费现象](https://support.huaweicloud.com/trouble-mrs/mrs_03_0125.md): 当数据量较大时会频繁地发生rebalance导致出现重复消费的情况，关键日志如下：其中Preparing to restabilize group DemoConsumer with old generation表示正在发生rebalance。参数设置不合理。原因：由于参数设置不当，数据量大时数据处理时间过长，导致频繁发生balance，
- [DBService备份任务执行失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0126.md): 查看备份文件路径中没有DBService的备份文件。ls /srv/BigData/LocalBackup/default_20190720222358/ -rlth查看DBService的备份日志/var/log/Bigdata/dbservice/scriptlog/backup.log，其实备份已经成功，只是上传至OMS节点时失败。
- [DBService状态正常，组件无法连接DBService](https://support.huaweicloud.com/trouble-mrs/mrs_03_0127.md): 上层组件连接DBService失败，检查DBService组件状态正常，两个实例状态也正常。上层组件是通过dbservice.floatip连接的DBService。在DBServer所在节点执行命令netstat -anp | grep 20051，发现DBService的Gauss进程在启动时并未绑定floatip，只监测了127.0
- [DBServer启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0128.md): DBService组件启动失败，重启还是失败，实例状态一直为正在恢复状态。查看DBService的日志/var/log/Bigdata/dbservice/DB/gs_ctl-current.log，报如下错误。检查发现/tmp权限不正确，正确的权限应该为777。
- [浮动IP不通导致DBService备份失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0129.md): 在默认备份default中DBService备份失败，其他备份（NameNode、LdapServer、OMS备份）成功。查看DBService的备份页面错误信息，有如下错误信息提示：Clear temporary files at backup checkpoint DBService_test_DBService_DBService_
- [DBService配置文件丢失导致启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0130.md): 节点异常下电，重启备DBService失败。查看/var/log/Bigdata/dbservice/DB/gaussdb.log日志没有内容。查看/var/log/Bigdata/dbservice/scriptlog/preStartDBService.log日志，发现如下信息，判断为配置信息丢失。The program "gauss
- [提交Spark任务时连接ResourceManager异常](https://support.huaweicloud.com/trouble-mrs/mrs_03_0131.md): 连接ResourceManager异常，导致Spark任务提交失败。在Driver端打印异常如下，打印连接两个ResourceManager主备节点的26004端口均被拒绝：15/08/19 18:36:16 INFO RetryInvocationHandler: Exception while invoking getClusterM
- [HDFS的DataNode一直显示退服中](https://support.huaweicloud.com/trouble-mrs/mrs_03_0132.md): HDFS的DataNode一直显示退服中。HDFS的某个DataNode退服（或者对Core节点进行缩容）任务失败，但是DataNode在任务失败后一直处于退服中的状态。在对HDFS的某个DataNode进行退服（或者对core节点进行缩容）过程中，因为Master节点重启或者nodeagent进程意外退出等情况出现，使得退服（或缩容）任
- [Flink客户端执行命令报错“Error while parsing YAML configuration file : security.kerberos.login.keytab”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0133.md): 客户端安装成功，执行客户端命令例如yarn-session.sh时报错，提示如下：在安全集群环境下，Flink需要进行安全认证。当前客户端未进行相关安全认证设置。Flink整个系统有两种认证方式：使用kerberos认证：Flink  yarn client、Yarn Resource  Manager、JobManager、HDFS、T
- [Flink客户端执行命令报错“Error while parsing YAML configuration file : security.kerberos.login.principal:pippo”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0134.md): 客户端安装成功，执行客户端命令例如yarn-session.sh时报错，提示如下：配置文件“flink-conf.yaml”中配置项格式错误。修改“flink-conf.yaml”中配置，配置项名称和值之间存在一个空格。
- [Flink客户端执行命令报错“Could not connect to the leading JobManager”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0135.md): 创建Flink集群，执行yarn-session.sh命令卡住一段时间后报错：Flink开启了SSL通信加密，却没有正确的配置SSL证书。针对MRS 2.x及之前版本，操作如下：方法1：关闭Flink SSL通信加密，修改客户端配置文件conf/flink-conf.yaml。security.ssl.internal.enabled: 
- [使用不同用户执行yarn-session创建Flink集群失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0136.md): 使用Flink过程中，具有两个相同权限用户testuser和bdpuser。使用用户testuser创建Flink集群正常，但是切换至bdpuser用户创建Flink集群时，执行yarn-session.sh命令报错：高可用配置项未修改。由于在Flink的配置文件中，high-availability.zookeeper.client.a
- [进程被终止如何定位原因](https://support.huaweicloud.com/trouble-mrs/mrs_03_0137.md): 在某环境出现DataNode异常重启，且确认此时未从页面做重启DataNode的操作，需要定位是什么进程终止了DataNode服务端进程。常见的进程被异常终止有2种原因：Java进程OOM被终止一般Java进程都会配置OOM Killer，当检测到OOM会自动终止进程，OOM日志通常被打印到out日志中，此时可以看运行日志（如DataNo
- [创建Kafka Topic时，发现Partition的Leader显示为none](https://support.huaweicloud.com/trouble-mrs/mrs_03_0139.md): 在使用Kafka客户端命令创建Topic时，发现创建Topic Partition的Leader显示为none。Kafka服务处于停止状态。找不到用户组信息。查看Kafka服务状态：MRS Manager界面操作：登录MRS Manager，依次选择“服务管理 > Kafka”，查看当前Kafka状态，发现状态为良好，且监控指标内容显示正
- [通过客户端hadoop jar命令提交任务后返回“GC overhead”报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0141.md): 通过客户端提交任务，客户端返回内存溢出的报错结果：从报错堆栈可以看出是任务在提交过程中分片时在读取HDFS文件阶段内存溢出了，一般是由于该任务要读取的小文件很多导致内存不足。
- [HBase启动后原生页面显示RegionServer个数多于实际个数](https://support.huaweicloud.com/trouble-mrs/mrs_03_0142.md): HBase启动后，HMaster原生页面显示RegionServer个数多于实际RegionServer个数。查看HMaster原生页面，显示有4个RegionServer在线，如下图示：如下图可以看出，第三行hostname为controller-192-168-1-3节点和第四行hostname为eth0节点为同一RegionServ
- [RegionServer实例异常，处于Restoring状态](https://support.huaweicloud.com/trouble-mrs/mrs_03_0143.md): HBase启动失败，RegionServer一直处于Restoring状态。查看异常的RegionServer实例的运行日志（/var/log/Bigdata/hbase/rs/hbase-omm-XXX.log），发现显示以下打印信息ClockOutOfSyncException...，Reported time is too far 
- [新安装的集群HBase启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0144.md): 新安装的集群HBase启动失败，查看RegionServer日志报如下错误：/etc/hosts中同一个IP地址配置了多个主机名映射关系。
- [acl表目录丢失导致HBase启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0145.md): 集群HBase启动失败查看HBase的HMaster日志，报如下错误：检查HDFS上HBase的路径发现acl表路径丢失。例如：hadoop03:~ # source /opt/client/bigdata_env
hadoop03:~ # kinit hbase
Password for hbase@HADOOP.COM: 
hadoo
- [集群上下电之后HBase启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0146.md): 集群的ECS关机重启后，HBase启动失败。查看HMaster的运行日志，发现有报大量的如下错误：节点上下电，RegionServer的wal分裂失败导致。hdfs fsck  /hbase/WALs输出如下表示文件都正常，如果有异常则需要先处理异常的文件，再执行后面的操作。hdfs dfs -mv /hbase/WALs /hbase/
- [Hive常见日志说明](https://support.huaweicloud.com/trouble-mrs/mrs_03_0147.md): 对于审计日志来说，记录了某个时间点某个用户从哪个IP发起对HiveServer或者MetaStore的请求以及记录执行的语句是什么。如下的HiveServer审计日志，表示在2016-02-01 14:51:22 用户user_chen向HiveServer发起了show tables请求，客户端IP为192.168.1.18。如下的Me
- [Hive服务启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0148.md): Hive服务启动失败最常见的原因是metastore实例无法连接上DBservice，可以查看metastore日志中具体的错误信息。DBservice没有初始化好Hive的元数据库hivemeta。DBservice的浮动IP配置有误，导致metastore节点IP无法正确连接浮动IP，或者是在与该ip建立互信的时候失败导致metast
- [安全集群执行set命令的时候报错“Cannot modify xxx at runtime”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0149.md): 执行set命令时报以下错误：方案1：MRS Manager界面操作：登录MRS Manager页面，选择“服务管理 > Hive > 服务配置 > 全部配置 > HiveServer > 安全”。FusionInsight Manager界面操作：登录FusionInsight Manager页面，选择“集群 > 服务 > Hive > 
- [连接impala-shell失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0150.md): 用户连接impala-shell失败。用户在“组件管理”页面修改任意组件的配置并重启服务后，连接impala-shell，会出现连接失败，报错no such file/directory。修改服务配置并重启服务后，部分服务的目录结构会删除并重新创建，如服务的etc目录等。如果重启服务前所在的目录为etc或者其子目录，由于重启后目录重建，仍
- [提交Hive任务时如何指定队列？](https://support.huaweicloud.com/trouble-mrs/mrs_03_0151.md): 怎样在Hive提交任务的时候指定队列？set mapred.job.queue.name=QueueA;select count(*) from rc;队列的名称区分大小写，如写成queueA，Queuea均无效；且该队列为叶子队列，不支持提交任务到非叶子队列。
- [怎么通过客户端设置Map/Reduce内存？](https://support.huaweicloud.com/trouble-mrs/mrs_03_0152.md): 客户端怎么设置Map/Reduce内存？Hive在执行SQL语句前，可以通过set命令来设置Map/Reduce相关客户端参数。以下为与Map/Reduce内存相关的参数：set mapreduce.map.memory.mb=4096;// 每个Map Task需要的内存量
set mapreduce.map.java.opts=-Xm
- [如何在导入Hive表时指定输出的文件压缩格式？](https://support.huaweicloud.com/trouble-mrs/mrs_03_0153.md): 如何在导入Hive表时指定输出的文件压缩格式？当前Hive支持以下几种压缩格式：org.apache.hadoop.io.compress.BZip2Codec
org.apache.hadoop.io.compress.Lz4Codec
org.apache.hadoop.io.compress.DeflateCodec
org.apa
- [Hive表desc描述过长导致无法完整显示](https://support.huaweicloud.com/trouble-mrs/mrs_03_0154.md): desc描述表过长时，如何让描述显示完整？
- [Hive表中增加分区列后再插入数据显示为NULL](https://support.huaweicloud.com/trouble-mrs/mrs_03_0155.md): 执行如下命令创建表create table test_table(
col1 string,
col2 string
)
PARTITIONED BY(p1 string)
STORED AS orc tblproperties('orc.compress'='SNAPPY');修改表结构，添加分区并插入数据alter table tes
- [集群中创建的新用户执行查询Hive操作时无权限](https://support.huaweicloud.com/trouble-mrs/mrs_03_0156.md): 创建了新用户，但是执行查询的时候报无权限的错。创建的新用户没有Hive组件的操作权限。MRS Manager界面操作：FusionInsight Manager界面操作：
- [使用IE浏览器在Hue中执行HQL失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0159.md): 使用IE浏览器在Hue中访问Hive Editor并执行所有HQL失败，界面提示“There was an error with your query.”。IE浏览器存在功能问题，不支持在307重定向中处理含有form data的AJAX POST请求，建议更换兼容的浏览器。推荐使用Google Chrome浏览器21及以上版本。
- [执行SQL提交任务到指定队列时报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0160.md): 执行SQL提交任务到Yarn报如下错误：当前登录的用户无YARN队列提交权限。用户无YARN队列提交权限，需要赋予YARN相应队列的提交权限。在Manager页面的“系统 >权限 > 用户”中给用户绑定队列提交权限的角色。
- [执行load data inpath命令报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0161.md): 执行load data inpath报如下错误：错误1：HiveAccessControlException Permission denied. Principal [name=user1, type=USER] does not have following privileges on Object [type=DFS_URI, na
- [执行load data local inpath命令报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0162.md): 执行load data local inpath报如下错误：错误1：HiveAccessControlException Permission denied. Principal [name=user1, type=USER] does not have following privileges on Object [type=LOCAL
- [执行create external table命令报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0163.md): 执行命令：create external table xx(xx int) stored as textfile location '/tmp/aaa/aaa'，报以下错误：当前登录的用户不具备该目录或者其父目录的读写权限。创建外部表时，会判断当前用户对指定的目录以及该目录下其它目录和文件是否有读写权限，如果该目录不存在，会去判断其父目录
- [在beeline客户端执行dfs -put命令报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0164.md): 执行命令：dfs -put /opt/kv1.txt /tmp/kv1.txt报以下错误：当前登录的用户不具备操作此命令的权限。如果登录的当前用户具有admin角色，请用set role admin来切换成admin角色操作。如果不具备admin角色，在Manager页面中给用户绑定对应角色的权限。
- [执行set role admin命令报无权限](https://support.huaweicloud.com/trouble-mrs/mrs_03_0165.md): 执行命令：set role admin报下述错误：当前登录的用户不具有Hive的admin角色的权限。MRS 3.x之前版本，执行7。MRS 3.x及之后版本，选择“集群 > 服务 > Hive”，在服务“概览”页面右上角单击“更多”，查看“启用Ranger鉴权”是否置灰。是，执行2。否，执行7。是，执行2。否，执行7。
- [在beeline客户端创建UDF时报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0166.md): 执行命令：create function fn_test3 as 'test.MyUDF' using jar 'hdfs:///tmp/udf2/MyUDF.jar'报以下错误：Hive中创建永久函数需要特殊的role admin。在执行语句前执行set role admin命令即可解决。
- [Hive服务状态为故障如何处理](https://support.huaweicloud.com/trouble-mrs/mrs_03_0167.md): DBservice服务不可用会导致Hive服务状态为Bad。HDFS服务不可用会导致Hive服务状态为Bad。ZooKeeper服务不可用会导致Hive服务状态为Bad。LDAP/KrbServer服务不可用会导致Hive服务状态为Bad。MetaStore实例不可用会导致Hive服务状态为Bad。DBservice服务不可用请参考ALM
- [Hive服务健康状态和Hive实例健康状态的区别](https://support.huaweicloud.com/trouble-mrs/mrs_03_0169.md): Hive服务健康状态和Hive实例健康状态的区别是什么？Hive服务的健康状态（也就是在Manager界面看到的健康状态）有Good，Bad，Partially Healthy，Unknown四种状态 ，四种状态除了取决于Hive本身服务的可用性（会用简单的SQL来检测Hive服务的可用性），还取决于Hive服务所依赖的其他组件的服务状态
- [Shell客户端连接提示“authentication failed”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0171.md): 安全集群中，HiveServer服务正常的情况下，Shell客户端中执行beeline命令失败，界面提示“authentication failed”，如下：客户端用户没有进行安全认证kerberos认证超期可通过klist命令查看本地是否有有效票据，如下信息表明票据在16年12月24日14:11:42生效，将在16年12月25日14:1
- [客户端提示访问ZooKeeper失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0172.md): 安全集群中，HiveServer服务正常的情况下，通过jdbc接口连接HiveServer执行sql时报出ZooKeeper认证异常"The ZooKeeper client is AuthFailed"，如下：或者报出无法读取"Hiveserver2 configs from ZooKeeper"，如下：客户端连接HiveServer时
- [使用UDF函数时提示“Invalid function”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0173.md): 在Hive客户端中使用Spark创建UDF函数时，报出"ERROR 10011","invalid function"的异常，如下：在多个HiveServer之间使用UDF也存在上述问题。例如，在HiveServer1中使用HiveServer2创建的UDF，如果不及时同步元数据信息，连接HiveServer1的客户端也会提示上述错误信息
- [【Hue WebUI】Hue（主）无法打开web网页](https://support.huaweicloud.com/trouble-mrs/mrs_03_0174_0.md): 访问Hue（主）的WebUI界面提示如下：Hue配置过期。MRS 2.0.1及之后版本的单Master节点集群中，Hue服务需要手动修改配置。Hue配置过期，重启Hue服务即可。在MRS 2.0.1及之后版本，单Master节点的集群Hue服务需要手动修改配置。登录Master节点。执行hostname -i获取本机IP。执行如下命令获取
- [Hive服务状态为Unknown](https://support.huaweicloud.com/trouble-mrs/mrs_03_0175.md): Hive服务状态为unknown。Hive服务停止。尝试重启Hive服务。
- [HiveServer或者MetaStore实例的健康状态为unknown](https://support.huaweicloud.com/trouble-mrs/mrs_03_0176.md): HiveServer或者MetaStore实例的健康状态为unknown。HiveServer或者MetaStore实例被停止。重启HiveServer或者MetaStore实例。
- [HiveServer或者MetaStore实例的健康状态为Concerning](https://support.huaweicloud.com/trouble-mrs/mrs_03_0177.md): HiveServer或者MetaStore实例的健康状态为Concerning。HiveServer或者MetaStore实例在启动的时候发生异常，无法正常启动。如，当修改MetaStore/HiveServer GC参数时，可通过查看对应进程的启动日志，如hiveserver.out(hadoop-omm-jar-192-168-1-1
- [TEXTFILE类型文件使用ARC4压缩时查询结果乱码](https://support.huaweicloud.com/trouble-mrs/mrs_03_0178.md): Hive查询结果表做压缩存储（ARC4），对结果表做select * 查询时返回结果为乱码。Hive默认压缩格式不是ARC4格式或者未开启输出压缩。set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.encryption.arc4.ARC4Bl
- [MRS配置跨集群互信失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0179.md): MRS 1.8.2之前的版本和MRS 1.8.2~2.x版本的两个集群之间跨集群互信不通。配置跨集群互信后，互信的两个集群均会增加用户“krbtgt/本集群域名@外部集群域名”、“krbtgt/外部集群域名@本集群域名”，由于两个版本集群的用户默认密码不一致导致跨集群互信配置失败。若未配置互信场景：配置互信前，登录MRS 1.8.2~2.
- [Hive任务运行过程中失败，重试成功](https://support.huaweicloud.com/trouble-mrs/mrs_03_0180.md): 当Hive任务在正常运行时失败，在客户端报出错误，类似的错误打印：而此任务提交到Yarn上的MapReduce任务运行成功。出错的集群有两个HiveServer实例，首先查看其中一个HiveServer日志发现里面的报错与客户端中的错误一样均是Error:Invalid OperationHandler，查看另一个HiveServer发现
- [执行select语句时报错“Execution Error return code 2”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0181.md): 执行语句select count(*) from XXX;时客户端报错：这个报错return code2说明是在执行mapreduce任务期间报错导致任务失败。进入Yarn原生页面查看MapReduce任务的日志看到报错是无法识别到压缩方式导致错误，看文件后缀是gzip压缩，堆栈却报出是zlib方式。因此怀疑此语句查询的表对应的HDFS上
- [有大量分区时执行drop partition操作失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0182.md): 执行drop partitions操作，执行异常：查看对应MetaStore日志，有StackOverFlow异常：drop partition的处理逻辑是将找到所有满足条件的分区，将其拼接起来，最后统一删除。由于分区数过多，拼删元数据堆栈较深，出现StackOverFlow异常。分批次删除分区。
- [执行join操作时localtask启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0183.md): 执行join等操作，数据量较小时，会启动localtask执行，执行过程会报错：jdbc:hive2://10.*.*.*:21066/> select a.name ,b.gender from student a join student1 b on (a.name = b.name);
ERROR : Execution faile
- [修改hostname后导致WebHCat启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0184.md): 用户修改hostname导致WebHCat启动失败。查看对应节点WebHCat启动日志（ /var/log/Bigdata/hive/webhcat/hive.log），发现报如下错误：MRS WebHCat角色的服务端账户中涉及到hostname，如果安装完集群后再修改hostname，就会导致启动失败。/etc/hosts中配置了一对
- [集群修改域名后Hive样例程序运行报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0185.md): Hive的二次开发代码样例运行报No rules applied to ****的错误：Hive的二次开发样例代码会加载core-site.xml，此文件默认是通过classload加载，所以使用的时候要把此配置文件放到启动程序的classpath路径下面。如果修改了集群的域名，那么core-site.xml将发生变化，需要下载最新的co
- [DBService超过最大连接数后导致Hive MetaStore异常](https://support.huaweicloud.com/trouble-mrs/mrs_03_0186.md): 业务量较大导致DBService连接数超过了默认的最大值（可查看DBService的“dbservice.database.max.connections”参数获取），MetaStore出现异常，并报错“slots are reserved for non-replication superuser connections”：业务量大导致
- [beeline客户端报错“Failed to execute session hooks: over max connections”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0187.md): HiveServer连接的最大连接数默认为200，当超过200时，beeline会报Failed to execute session hooks: over max connections：查看HiveServer日志（/var/log/Bigdata/hive/hiveserver/hive.log）报over max connect
- [beeline客户端报错“OutOfMemoryError”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0188.md): beeline客户端查询大量数据时，报OutOfMemoryError：Java heap space，具体报错信息如下：客户查询大量数据，数据量过大。客户在检索数据时使用select * from table_name;，进行全表查询，表内数据过多。beeline默认启动内存128M，查询时返回结果集过大，导致beeline无法承载导致
- [输入文件数超出设置限制导致任务执行失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0189.md): Hive执行查询操作时报Job Submission failed with exception 'java.lang.RuntimeException(input file number exceeded the limits in the conf;input file num is: 2380435,max heap memory 
- [Hive任务执行中报栈内存溢出导致任务执行失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0190.md): Hive执行查询操作时报错Error running child : java.lang.StackOverflowError，具体报错信息如下：java.lang.StackOverflowError这是内存溢出错误的一种，即线程栈的溢出，方法调用层次过多（比如存在无限递归调用）或线程栈太小都会导致此报错。通过调整mapreduce阶段
- [对同一张表或分区并发覆写数据导致任务失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0191.md): Hive执行插入语句时，报错HDFS上文件或目录已存在或被清除，具体报错如下：根据HiveServer的审计日志，确认该任务的开始时间和结束时间。在上述时间区间内，查找是否有对同一张表或分区进行插入数据的操作。Hive不支持对同一张表或分区进行并发覆写插入数据，这样会导致多个任务操作同一个数据临时目录，一个任务将另一个任务的数据移走，导致
- [Hive任务失败，报没有HDFS目录的权限](https://support.huaweicloud.com/trouble-mrs/mrs_03_0192.md): Hive任务报错，提示执行用户没有HDFS目录权限：根据堆栈信息，可以看出在检查子目录的权限时失败。org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkSubAccess(FSPermissionChecker.java:300)检查HDFS上表目录下所有文件目录
- [Load数据到Hive表失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0193.md): 用户在建表成功后，通过Load命令往此表导入数据，但导入操作中遇到如下问题：经分析，发现在建表时没有指定存储格式，所以采用了缺省存储格式RCFile。在导入数据时，被导入数据格式是TEXTFILE格式，最终导致此问题。属于应用侧问题，解决办法有多种。只要保证表所指定存储格式和被导入数据格式是一致的，可以根据实际情况采用合适方法。方法1：可
- [参考Hive JDBC代码用例开发的业务应用运行失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0194.md): 用户参考Hive组件的“jdbc-examples”样例工程，完成其自身业务应用开发后，运行此应用失败。应用侧报如下异常：初步分析怀疑是没有完成kerberos认证就去进行业务交互。深入分析日志发现日志上虽然有打印“com.xxx.bigdata.security.LoginUtil  - Login success!!!!!!!!!!!
- [Flink业务程序无法读取NFS盘上的文件](https://support.huaweicloud.com/trouble-mrs/mrs_03_0195.md): 用户开发的Flink业务程序中需要读取用户定义的配置文件，该配置文件放在NFS盘上，NFS盘是挂载在集群节点上的，集群的所有节点均可以访问该盘。用户提交Flink程序后，业务代码访问不到客户自定义的配置文件，导致业务程序启动失败。该问题的根因是NFS盘上的根目录权限不足，导致Flink程序启动后无法访问该目录。MRS的Flink任务是在Y
- [使用Kafka Shell命令无法操作Kafka集群](https://support.huaweicloud.com/trouble-mrs/mrs_03_0199.md): 用户执行Kafka命令查看当前Topic信息，但发现业务执行失败。具体信息如下：用户反馈已经排查了执行此命令的账号权限，此账号具有操作Kafka组件的最高权限，不应该仍然会有权限不足的问题。经确认执行命令有问题，访问ZooKeeper上所存放的Kafka信息，其路径（Znode）应该加上/kafka，完整的查询命令应该是：该故障属于命令操
- [Kafka生产者写入单条记录过长](https://support.huaweicloud.com/trouble-mrs/mrs_03_0200.md): 用户在开发一个Kafka应用，作为一个生产者调用新接口（org.apache.kafka.clients.producer.*）往Kafka写数据，单条记录大小为1100055，超过了kafka配置文件server.properties中message.max.bytes=1000012。用户修改了Kafka服务配置中message.ma
- [Kafka消费者读取单条记录过长](https://support.huaweicloud.com/trouble-mrs/mrs_03_0201.md): 和“Kafka生产者写入单条记录过长问题”相对应的，在写入数据后，用户开发一个应用，以消费者调用新接口（org.apache.kafka.clients.consumer.*）到Kafka上读取数据，但读取失败，报异常大致如下：经分析因为在读取数据时Kafka客户端会比较待读取数据大小和配置项“max.partition.fetch.by
- [配置sql-standard-with-group创建schema失败报Access Denied](https://support.huaweicloud.com/trouble-mrs/mrs_03_0203.md): 配置sql-standard-with-group创建schema失败，报Access Denied的错误。报错如下：Presto中创建schema需要Hive的管理者权限，当前用户权限不足。MRS Manager界面操作：方法一：登录MRS Manager页面，选择“系统设置 > 用户管理”。在对应用户所在行的“操作”列，单击“修改”。
- [Alluxio在HA模式下出现Does not contain a valid host:port authority报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0204.md): 安全集群Alluxio在HA模式下出现Does not contain a valid host:port authority的报错，如何处理？安全集群中，Alluxio在HA模式下出现Does not contain a valid host:port authority的报错。org.apache.hadoop.security.Se
- [Core节点出现df显示的容量和du显示的容量不一致](https://support.huaweicloud.com/trouble-mrs/mrs_03_0205.md): Core节点出现df显示的容量和du显示的容量不一致：分别使用命令df -h 和命令du -sh /srv/BigData/hadoop/data1/查询得到的/srv/BigData/hadoop/data1/目录磁盘占用量相差较大（大于10 GB）。使用命令lsof |grep deleted可以查询到此目录下有大量log文件处于de
- [使用普通模式集群的HDFS客户端时报错“error creating DomainSocket”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0206.md): 普通模式集群在Core节点新建用户，安装使用HDFS客户端报错“error creating DomainSocket”。普通集群在Core节点新建用户安装使用客户端报错如下：用户使用 useradd 命令来创建用户，此用户默认用户组不包含ficommon用户组，导致在使用hdfs的get命令的时候出现上述报错。使用命令usermod -
- [如何重置或修改MRS集群用户密码？](https://support.huaweicloud.com/trouble-mrs/mrs_03_0207.md): MRS集群中包含多种类型用户，您可以按照需要修改密码的用户类型，选择对应处理步骤。重置或修改MRS集群Manager界面登录用户密码如果忘记了admin用户密码无法登录Manager，需重置admin用户密码，请参考修改组件运行用户密码。如果已知Manager用户旧密码，需修改MRS集群admin用户或其他自行创建的集群人机用户密码，请参
- [Hue界面无法加载HBase表](https://support.huaweicloud.com/trouble-mrs/mrs_03_0209.md): 用户在Hue界面将hive数据导入hbase后，报检测不到hbase表的错误。Kerberos集群中，IAM子账户权限不足导致无法加载hbase表。IAM子账户权限不足。MRS Manager界面操作：FusionInsight Manager界面操作：如果是开启Kerberos认证的集群，页面出现No data available优先排
- [通过MRS客户端连接ZooKeeper报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0211.md): MRS集群如何访问ZooKeeper？在MRS的Master节点使用zkcli.sh访问ZooKeeper存在报错。用户使用的命令有误，造成报错的发生。source /opt/client/bigdata_envzkCli.sh -serverZooKeeper所在节点的IP:端口ZooKeeper所在节点的IP即为1中查到的结果，多个I
- [MRS集群节点使用pip3安装Python时提示网络不可达](https://support.huaweicloud.com/trouble-mrs/mrs_03_0212.md): 执行pip3 install安装Python时报错网络不可达。具体如下图所示：用户未给Master节点绑定弹性公网IP，造成报错的发生。
- [MRS集群更换磁盘（适用于2.x及之前）](https://support.huaweicloud.com/trouble-mrs/mrs_03_0213.md): 磁盘无法访问。客户创建本地盘系列MRS集群，其中1个Core节点的磁盘存在硬件损坏，导致读取文件失败。磁盘硬件故障。该指导适用于MRS 3.x之前版本分析集群，如需为流式集群或混合集群更换磁盘，请联系华为云技术支持处理。该主机下若还有其他实例，请参考该步骤方式进行退服。例如：mkfs.ext4 /dev/sdhmount 新磁盘 挂载点例
- [MRS集群更换磁盘（适用于3.x）](https://support.huaweicloud.com/trouble-mrs/mrs_03_0213_3x.md): 磁盘无法访问。客户创建本地盘系列MRS集群，其中1个Core节点的磁盘存在硬件损坏，导致读取文件失败。磁盘硬件故障。该指导适用于本地盘系列（d/i/ir/ki系列）MRS集群，针对Core、Task类型节点的磁盘存在硬件故障。Kafka组件不支持更换磁盘，如果存储Kafka数据的节点故障，请联系华为云技术支持处理。该主机下若存在DataN
- [HiveServer和HiveHCat进程故障](https://support.huaweicloud.com/trouble-mrs/mrs_03_0215.md): 客户集群HiveServer和WebHCat进程状态均为故障。客户MRS集群Master2节点上的HiveServer和WebHCat进程状态显示为故障，重启之后仍为故障状态。在Manager界面单独启动故障的HiveServer进程，登录后台查找hiveserver.out日志中对应时间点的报错，报错信息为：error parsing 
- [MRS Hive连接ZooKeeper时报错“ConnectionLoss for hiveserver2”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0216.md): 使用MRS 1.8集群的Hive 1.2.1通过Hive的JDBC接口连接MRS集群成功，但是使用MRS 1.9.0集群的Hive 2.3.2，通过Hive的JDBC接口连接MRS集群进行计算任务报错。报错信息如下：MRS 1.8版本和开源版本认证方式一样，在Hive的URL中直接将Kerberos认证的文件传进去进行认证。而在MRS 1
- [文件块过大导致HBase数据导入失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0217.md): 导入数据到hbase报错：NotServingRegionException。当一个block size大于2G时，hdfs在seek的时候会出现读取异常，持续频繁写入regionserver时出现了full gc，且时间比较久，导致hmaster与regionserver之间的心跳异常，然后hmaster把regionserver标记为
- [通过DataArts Studio调度Spark作业失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0218.md): DataArts Studio作业调度失败，显示读取“/thriftserver/active_thriftserver”路径下的数据失败。报错信息为：DataArts Studio提交Spark作业时调用Spark的JDBC方式，而Spark会启动一个名为thriftserver的进程以供客户端提供JDBC连接，JDBCServer在启
- [自定义Flink log4j日志输出级别不生效](https://support.huaweicloud.com/trouble-mrs/mrs_03_0220.md): 在使用MRS 3.1.0集群Flink数据分析时，将“$Flink_HOME/conf”目录下的“log4j.properties”文件中日志级别修改为INFO级别日志。任务正常提交后，运行控制台未打印出INFO级别日志，输出的日志级别还是ERROR级别。修改“$Flink_HOME/conf”目录下的log4j.properties文件
- [获取MRS集群主机列表接口时提示用户无权限](https://support.huaweicloud.com/trouble-mrs/mrs_03_0221.md): 使用AK/SK获取MRS集群主机列表/v1.1/<project_id>/clusters/<cluster_id>/hosts接口时，提示用户无权限“User do not have right to access cluster”。使用AK/SK获取MRS集群主机列表时，请求头中未填充project_id等参数导致云服务解析token
- [开源confluent-kafka-go连接MRS安全集群](https://support.huaweicloud.com/trouble-mrs/mrs_03_0223.md): 开源confluent-kafka-go如何连接MRS的安全集群？开源confluent-kafka-go连接MRS的安全集群失败。confluent-kafka-go依赖的库librdkafka默认将broker所在hostname作为了server principle的一部分来使用，导致认证失败。librdkafka具体修改步骤：li
- [没有/tmp目录权限导致执行访问OBS的作业报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0226.md): 在使用MRS多用户访问OBS的场景中，执行Spark、Hive、Presto等作业时，出现“/tmp”目录没有权限的报错。作业执行过程中有临时目录，提交作业的用户对临时目录没有操作权限。策略名称：请输入策略名称。作用范围：请选择“全局级服务”。策略配置方式：请选择“可视化视图”。策略内容：“允许”选择“允许”。“云服务”选择“对象存储服务
- [使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误](https://support.huaweicloud.com/trouble-mrs/mrs_03_0227.md): 执行hadoop fs -rm obs://<obs_path>出现如下报错：hadoop删除文件时会将文件先移动到.Trash目录，若该目录没有权限则出现403报错。方案一：使用hadoop fs -rm -skipTrash命令来删除文件。方案二：在集群对应的委托中添加访问.Trash目录的权限。策略名称：请输入策略名称。作用范围：请
- [Hive执行insert into语句报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0228.md): 使用MRS Hive执行一条SQL，有如下报错：查看HiveServer日志，在对应时间点，有如下的报错信息。HiveServer日志在如上报错信息中未发现重要信息，但从堆栈中发现metadata字样，怀疑报错是和MetaStore有关。堆栈中metadata字样查看MetaStore日志，发现如下报错。MetaStore日志查看如上错误
- [Yarn汇聚日志过大导致节点磁盘被占满](https://support.huaweicloud.com/trouble-mrs/mrs_03_0230.md): 集群的磁盘使用率很高。Manager管理页面下主机管理显示磁盘使用率过高。Yarn WebUI界面上显示只有少量任务在运行。登录到集群的Master节点执行hdfs dfs -du -h /命令发现如下文件占用大量磁盘空间。Mapreduce服务的汇聚日志配置参数如下：客户提交任务的操作过于频繁，且聚合后的日志文件被删除的时间配置为129
- [MRS集群周期备份任务执行失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0231.md): MRS 1.7.2版本集群周期备份故障，在MRS Manager页面的“告警管理中”出现“ALM-12034 周期备份任务失败”告警。集群在周期性的备份中，由于备份产生了软连接，将/srv/BigData/LocalBackup连接到了/opt/Bigdata/LocalBackup，会使用到根目录磁盘空间，因为根目录磁盘空间不足，导致无
- [MRS集群客户端无法下载](https://support.huaweicloud.com/trouble-mrs/mrs_03_0232.md): 通过Master节点给MRS集群外的一台远端节点下载MRS集群客户端进行使用，但是一直提示网络或者参数有问题。可能是两台主机处于不同VPC网络中。密码填写错误。远端主机开启了防火墙。两台主机处于不同VPC网络中放开远端主机的22端口。放开远端主机的22端口。密码填写错误请检查密码是否正确，密码中不能有特殊符号。请检查密码是否正确，密码中不
- [开启Kerberos认证的MRS集群提交Flink作业报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0233.md): 用户在开启Kerberos认证的MRS集群中提交Flink作业报错。用户提交Flink样例程序./flink run /opt/client/Flink/flink/examples/streaming/WordCount.jar时报错：unable to establish the security context。MRS集群开启了Ke
- [通过Hive beeline命令行执行插入命令的时候报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0235.md): 在MRS Hive的beeline中执行insert into插入语句时系统报以下错误：对于Join操作，由于集群配置不理想和Tez资源设置不合理导致该问题。可以在beeline上设置配置参数进行解决。设置hive.auto.convert.sortmerge.join = true设置hive.optimize.bucketmapjoi
- [增加Hive表字段超时](https://support.huaweicloud.com/trouble-mrs/mrs_03_0236.md): 增加Hive表字段报错。Hive对包含10000+分区的表执行ALTER TABLE table_name ADD COLUMNS(column_name string) CASCADE;，报错如下：MetaStore客户端连接超时，MRS默认MetaStore客户端和服务端连接的超时时间是600s，在Manager页面调大hive.me
- [通过API提交Spark作业后作业状态为error](https://support.huaweicloud.com/trouble-mrs/mrs_03_0237.md): 使用API提交Spark作业后，作业状态显示为error。修改“/opt/client/Spark/spark/conf/log4j.properties”中的日志级别，使用API V1.1接口作业提交后，状态显示为error。executor会监控作业日志回显，确定作业执行结果，改为error后，检测不到输出结果，因此过期后判断作业状态
- [由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0256.md): 集群访问OBS上报403异常。集群Master节点NTP时间与集群外节点的NTP服务器时间不同步，时间相差超过15min，导致集群访问OBS时鉴权失败，上报403异常。ntpq -np例如执行后结果如下：
- [MRS集群节点如何进行操作系统漏洞升级](https://support.huaweicloud.com/trouble-mrs/mrs_03_0257.md): EulerOS系统底层存在漏洞时，MRS集群如何进行操作系统漏洞升级？在使用安全软件测试集群时，发现有EulerOS系统底层存在漏洞。MRS集群内服务部署在EulerOS系统中，因此需要进行漏洞升级。操作系统漏洞升级后无法回退，请谨慎操作。升级过程中需要停止实例和重启集群节点，期间会影响集群的业务正常运行，请在业务空闲期操作。修复漏洞前请
- [Hue中的输入框输入中文会出现混乱](https://support.huaweicloud.com/trouble-mrs/mrs_03_0258.md): Hue中的输入框输入中文会出现混乱。Hue的输入框中输入中文时，会出现混乱，第一次输入不了的情况，也即输入的中文会首先出现英文，中文并未输入，再次输入会带上之前的内容，示例如下：Hue对中文的处理存在混乱的情况，需要进行修正。该方案仅适用于MRS 2.x及之前版本集群。su - ommcd /opt/Bigdata/MRS_Current
- [集群外节点安装客户端上传HDFS文件失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0259.md): 集群外节点安装客户端使用hdfs命令上传文件失败。在集群节点上安装客户端，在该客户端使用hdfs命令上传一个文件，报如下错误：从错误截图可以看到报错是no route to host，且报错信息里面有192.168的ip，也即客户端节点到集群的DN节点的内网路由不通，导致上传文件失败。在客户端节点的客户端目录下，找到HDFS的客户端配置目
- [重启Hive服务失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0260.md): 修改Hive服务配置后，保存配置失败，Manager页面Hive服务的配置状态为配置失败。用户A在MRS节点后台上打开了Hive相关配置文件且未关闭，此时用户B在MRS Manager页面的“服务管理”中修改Hive配置项，保存配置并重启Hive服务，此时保存配置失败，并且Hive服务启动失败。由于用户B在MRS Manager页面修改配
- [使用CDM服务迁移数据至MRS HDFS时任务运行失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0261.md): 使用CDM从旧的集群迁移数据至新集群的HDFS过程失败。使用CDM从源HDFS导入目的端HDFS，发现目的端MRS集群故障，NameNode无法启动。查看日志发现在启动过程中存在“Java heap space”报错，需要修改NameNode的JVM参数。使用CDM迁移数据的过程中，HDFS的数据量过大，导致在合并元数据时发生堆栈异常。M
- [Kafka集群节点内，多磁盘数据量占用高如何处理](https://support.huaweicloud.com/trouble-mrs/mrs_03_0262.md): Kafka流式集群节点内有多块磁盘的使用量很高。当达到100%时就会造成kafka不可用如何处理？客户购买的MRS Kafka流式集群节点内有多块磁盘，由于分区不合理及业务原因导致某几个磁盘的使用量很高。当达到100%时就会造成kafka不可用。需要提前干预处理磁盘数据，全局的log.retention.hours修改需要重启服务。为了不
- [MRS集群频繁产生节点间心跳中断告警](https://support.huaweicloud.com/trouble-mrs/mrs_03_0263.md): MRS集群频繁上报Manager主备节点间心跳中断、DBService主备节点间心跳中断、节点故障等告警，偶尔会造成Hive不可用，影响上层业务。在出现告警时间点发现虚拟机发生了重启，告警发生的原因是因虚拟机重启导致的。经OS定位虚拟机发生重启的原因是节点没有可用的内存，系统发生内存溢出触发了oom-killer，当进程处于被调用的状态会
- [PMS进程占用内存高](https://support.huaweicloud.com/trouble-mrs/mrs_03_0264.md): 针对MRS 3.2.0及之前版本集群，主Master节点内存使用率高如何处理？主Master节点内存使用率高，且用top -c命令查询的内存占用量高的是如下idle的进程。PostgreSQL缓存：除了常见的执行计划缓存、数据缓存，PostgreSQL为了提高生成执行计划的效率，还提供了catalog，relation等缓存机制。长连接场
- [MRS集群反复上报JobHistory进程堆内存使用超出阈值告警](https://support.huaweicloud.com/trouble-mrs/mrs_03_0265.md): 集群出现告警“ALM-43006 JobHistory进程堆内存使用超出阈值”并且按照指导处理以后，运行一段时间又会出现同样的告警。可能存在JobHistory内存泄露问题，需要安装相应的补丁修复。适当调大JobHistory进程堆内存。如果已经调大堆内存，可以通过重启JobHistory实例规避。
- [Knox进程占用内存高](https://support.huaweicloud.com/trouble-mrs/mrs_03_0267.md): knox进程占用内存高。主Master节点内存使用率高，用top -c命令查看到占用内存较高的进程中有knox进程，且此进程占用内存超过4 GB。knox进程没有单独配置内存，进程会自动根据系统内存大小按照比例划分可用内存，导致knox占用内存大。su - ommsh /opt/knox/bin/restart-knox.sh
- [Hive分区数过多导致删除表失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0268.md): Hive创建的二级分区表有两万多个分区，导致用户在执行truncate table ${TableName},drop table ${TableName}时失败。删除文件操作是单线程串行执行的，Hive分区数过多导致在元数据数据库会保存大量元数据信息，在执行删除表语句时删除元数据就要用很长时间，最终在超时时间内删除不完，就会导致操作失败
- [集群外节点提交Spark作业时报错无法连接Driver](https://support.huaweicloud.com/trouble-mrs/mrs_03_0269.md): 集群外节点和集群各个节点网络已经互通，在集群外节点使用client模式提交Spark任务到Yarn上，任务失败，报错信息为无法连接Driver。使用client模式提交Spark任务的时候，Spark的driver进程是在客户端这边，而后面的executor都需要和Driver进行交互来运行作业。如果NodeManager连不上客户端所在
- [在spark-beeline中创建或删除表失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0270.md): 在spark-beeline频繁创建和删除大量用户的场景下，个别用户偶现创建/删除表失败。创建表过程：报错:查看MetaStore日志。查看HDFS日志。权限对比（test001为异常用户创建表，test002为正常用户创建表）。drop表时报类似下面的错。dataplan_modela_csbch2;
Error: Error whil
- [安全集群外的客户端访问HBase很慢](https://support.huaweicloud.com/trouble-mrs/mrs_03_0271.md): 用户创建了MRS安全集群，在集群外节点安装了集群客户端，并使用客户端命令hbase shell访问HBase，发现访问HBase非常慢。安全集群需要进行Kerberos认证，需要在客户端节点的hosts中配置信息，访问速度才不会受到影响。将集群节点上的hosts文件内容复制到安装客户端节点的hosts文件中。
- [Presto的coordinator进程无法正常启动](https://support.huaweicloud.com/trouble-mrs/mrs_03_0273.md): Presto的coordinator未知原因被终止，或者Presto的coordinator进程无法正常启动。Presto的coordinator无法正常启动，Manager页面上显示presto coordinator进程正常启动且状态正常，但查看后台日志coordinator进程未真正启动，只有如下日志：Presto的coordina
- [运行Spark任务发现大量shuffle结果丢失](https://support.huaweicloud.com/trouble-mrs/mrs_03_0274.md): Spark任务运行失败，查看任务日志发现大量打印shuffle文件丢失。Spark运行的时候会将临时产生的shuffle文件放在executor的临时目录中，方便后面获取。而当某个executor异常退出时，NodeManager会把这个executor所在的container临时目录删除，随后其他executor再来申请这个execut
- [作业无法提交如何定位？](https://support.huaweicloud.com/trouble-mrs/mrs_03_0275.md): 通过DataArts Studio或者在MRS管理控制台无法提交作业。作业无法提交，业务中断。查看作业日志中收到的错误码，确认错误码是属于APIG还是MRS。若是公共APIG的错误码（APIG的错误码是APIGW开头），联系公共APIG维护人员。若是MRS侧错误，继续下一步。登录Manager界面确认是否有服务故障，如果有作业相关服务故障
- [JDBCServer长时间运行导致磁盘空间不足](https://support.huaweicloud.com/trouble-mrs/mrs_03_0277.md): 连接Spark的JDBCServer服务提交spark-sql任务到yarn集群上，在运行一段时间以后会出现Core节点的数据盘被占满的情况。客户连接Spark的JDBCServer服务提交spark-sql任务到yarn集群上，在运行一段时间以后会出现Core节点的数据盘被占满的情况。后台查看磁盘使用情况，主要是JDBCServer服务
- [Presto查询Kudu表时系统报错找不到表](https://support.huaweicloud.com/trouble-mrs/mrs_03_0278.md): 使用Presto查询Kudu表报错。使用Presto查询Kudu表，报表找不到的错误：后台报错：在实际的运行节点（worker实例所在节点）没有Kudu相关配置。配置文件保存路径：/opt/Bigdata/MRS_xxx/1_x_Worker/etc/catalog/ (请根据集群实际版本修改路径)配置文件内容：KuduMaster节点I
- [ZooKeeper上数据错乱导致ClickHouse启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0281.md): ClickHouse集群中某实例节点启动失败，该实例节点启动日志中有如下类似报错信息：使用ClickHouse过程中，ClickHouse实例异常场景下，重复创建集群ReplicatedMergeTree引擎表，后续又进行删除表等操作导致ZooKeeper上的数据异常，致使ClickHouse启动失败。备份表数据：MRS 3.0.5及之前
- [Hive执行msck repair table命令时报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0282.md): Hive执行msck repair tabletable_name命令报错：查看HiveServer日志/var/log/Bigdata/hive/hiveserver/hive.log，发现目录名不符合分区格式。方法一：删除错误的文件或目录。方法二：执行set hive.msck.path.validation=skip;，跳过无效的目
- [通过spark-shell加载数据到Hive表失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0283.md): 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令，并且原数据和目标表存储位置不是同一套文件系统，上述两种方式MapReduce任务启动时会报错。当使用load导入数据到Hive表的时候，属于需要跨文件系统的情况（例如原数据在HDFS上，而Hive表数据存放在OBS上），并且
- [Spark任务提交失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0284.md): Spark提交任务直接提示无法提交任务。Spark提示无法获取到yarn的相关jar包。提示多次提交一个文件。问题1：最常见的无法提交任务原因是认证失败，还有可能是参数设置不正确。最常见的无法提交任务原因是认证失败，还有可能是参数设置不正确。问题2：集群默认会把分析节点的hadoop相关jar包添加到任务的classpath中，如果提示y
- [Spark任务运行失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0285.md): 报错显示executor出现OOM。失败的task信息显示失败原因是lost task xxx。问题1：一般出现executor OOM，都是因为数据量过大，也有可能是因为同一个executor上面同时运行的task太多。问题2：有些task运行失败会报上述错误。当看到这个报错的时候，需要确认的是丢失的这个task在哪个节点上面运行，一般
- [JDBCServer连接失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0286.md): 提示ha-cluster不识别（unknownHost或者必须加上端口）。提示连接JDBCServer失败。问题1：使用spark-beeline命令连接JDBCServer，因为MRS_3.0以前的JDBCServer是HA模式，因此需要使用特定的URL和MRS Spark的自带的jar包来连接JDBCServer。问题2：确认JDBC
- [查看Spark任务日志失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0287.md): 任务运行中查看日志失败。任务运行完成，但是查看不到日志。问题1：可能原因是MapReduce服务异常。问题2：可能原因如下：Spark的JobHistory服务异常。日志太大，NodeManager在做日志汇聚的时候出现超时。HDFS存放日志目录权限异常（默认/tmp/logs/用户名/logs）。日志已被清理（spark的JobHist
- [Spark Streaming任务提交失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0288.md): 连接Kafka时系统报类找不到的错误。连接带Kerberos的Kafka，报认证错误。SparkStreaming任务运行一段时间后开始报TOKEN过期问题。问题1：Spark提交任务默认不会加载kafka的相关包，所以需要在启动命令中增加--jars来指定对应kafka版本的jar包问题2：连接Kafka无法使用Spark的认证信息，需
- [Spark连接HBase认证错误](https://support.huaweicloud.com/trouble-mrs/mrs_03_0289.md): Spark连接HBase，报认证失败或者连接不到HBase表。Spark连接HBase报找不到jar包。问题1：HBase没有获取到当前任务的认证信息，导致连接HBase的时候认证失败，无法读取到相应数据。问题2：Spark默认没有加载HBase相关的jar包，需要使用--jars添加到任务中。问题1：可以尝试开启HBase认证开关：sp
- [HDFS写文件并发较大时报副本不足](https://support.huaweicloud.com/trouble-mrs/mrs_03_0291.md): 用户运行作业时写文件到HDFS，偶现写文件失败的情况。操作日志如下：HDFS写文件的预约机制：无论文件是10 MB还是1 GB，开始写的每个块都会被预约128 MB。如果需要写入一个10 MB的文件，HDFS会预约一个块来写，当文件写完后，这个块只占实际大小10 MB，释放多余预约的118 MB空间。如果需要写入一个1 GB的文件，HDF
- [Presto查询Hive表无数据](https://support.huaweicloud.com/trouble-mrs/mrs_03_0293.md): 使用Presto查询Hive表无数据。通过Tez引擎执行union相关语句写入的数据，Presto无法查询。由于Hive使用Tez引擎在执行union语句时，生成的输出文件会保存在HIVE_UNION_SUBDIR目录中，而Presto默认不读取子目录下的文件，所以没有读取到HIVE_UNION_SUBDIR目录下的数据。
- [HBase日志文件过大导致OS盘空间不足](https://support.huaweicloud.com/trouble-mrs/mrs_03_0294.md): OS盘/var/log分区空间不足。“/var/log/Bigdata/hbase/*/hbase-omm-*.out”日志文件过大，造成OS盘/var/log分区空间不足。在HBase长时间运行场景下，操作系统会把JVM创建的“/tmp/.java_pid*”文件定期清理。因为HBase的内存监控使用了JVM的jinfo命令，而jinf
- [Spark连接Kafka认证错误](https://support.huaweicloud.com/trouble-mrs/mrs_03_0295.md): MRS 2.1.0版本集群中Spark消费kafka数据，过一天以后就会出现认证失败的报错：集群版本和运行的程序包版本不匹配。参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。当前集群为MRS 2.1.0版本，请如需使用Maven库中的提供的样例程序，请获取spark-streaming-kafka-0-
- [SparkSQL读取ORC表报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0296.md): Hive创建ORC存储格式的表，用SparkSQL读取该表时报错：该问题为一个开源社区问题：https://issues.apache.org/jira/browse/HIVE-11102，使用开源的hive 1.2.1版本包就有可能触发此问题。MRS的Hive for Spark相关模块已修复该问题。使用MRS集群自带的Hive for
- [MapReduce任务异常，临时文件未删除](https://support.huaweicloud.com/trouble-mrs/mrs_03_0298.md): MapReduce任务异常临时文件为什么没有删除？MR任务即MapReduce任务，关于MapReduce介绍请参考MapReduce。HDFS临时目录文件过多，占用内存。MapReduce任务提交时会将相关配置文件、jar包和-files参数后添加的文件都上传至HDFS的临时目录，方便Container启动后获取相应的文件。系统通过配置
- [Hive启用Ranger鉴权后，在Hue页面能查看到没有权限的表和库](https://support.huaweicloud.com/trouble-mrs/mrs_03_0300.md): 普通集群（未开启Kerberos认证）中，Hive启用Ranger鉴权后，集群用户在Hue页面能查看到没有被授权的数据表和数据库内容。本章节仅适用于MRS 3.2.1及之后版本。Hive启用Ranger鉴权后，默认的Hive策略中有2个关于database的public组策略， 所有用户都属于public组，默认给public组配有def
- [Spark WebUI页面无法跳转到任务日志页面](https://support.huaweicloud.com/trouble-mrs/mrs_03_0301.md): 使用MRS 3.x版本集群，运行Spark任务，在Spark2x服务的WebUI页面上无法直接单击stderr和stdout跳转到日志页面。配置项“spark.httpdProxy.enable”未开启。查看运行完成任务日志在Spark2x原生页面最上方有一个按钮，可以查看汇聚后任务日志：AggregatedLogsAggregatedL
- [并发提交大量oozie任务时，任务一直没有运行](https://support.huaweicloud.com/trouble-mrs/mrs_03_0302.md): 并发提交大量oozie任务的时候，任务一直没有运行。Oozie提交任务会先启动一个oozie-launcher，然后由oozie-launcher提交真正的作业运行。默认情况下launcher和真实作业会在同一个队列中。当并发提交大量oozie任务的时候就有可能出现启动了一堆oozie-launcher，将队列的资源耗完，而没有更多资源启
- [Yarn客户端的端口信息错误导致提交任务后报错connection refused](https://support.huaweicloud.com/trouble-mrs/mrs_03_0306.md): 请求提交任务的Yarn的ResourceManager报错connection refused，且配置的Yarn端口为8032。MRS的Yarn ResourceManager中的一个节点无法连接，且配置的Yarn端口为8032。该业务应用在集群外部运行，且使用的是老集群的客户端，配置的Yarn端口是8032，与MRS服务的Yarn Re
- [创建Kudu表报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0316.md): 创建Kudu表报错。新建了集群，在创建表时，报错如下：用户未在impala sql中指定kudu.master_addresses地址导致报错。参考使用Impala操作Kudu文档在创建Kudu表时指定“kudu.master_addresses”地址。
- [HDFS客户端无法删除超长目录](https://support.huaweicloud.com/trouble-mrs/mrs_03_0319.md): 执行hadoop fs -rm -r -f obs://<obs_path>命令，删除OBS超长目录出现如下报错：使用rm命令从HDFS中删除某些内容时，文件或目录不会立即被清除，它们将被移动到回收站Current目录（/user/${username}/.Trash/current）中。使用skipTrash命令可以跳过HDFS回收站，
- [MRS集群节点规格升级异常](https://support.huaweicloud.com/trouble-mrs/mrs_03_0704.md): 升级节点规格可能存在规格升级成功后组件启动失败或组件异常导致节点升级后出现异常的情况，现象如下：升级失败的节点规格已经升级成功。失败任务管理中有新增的升级规格失败任务。若IAM用户已同步，可在组件管理观察到存在异常角色。若未同步，可在集群Manager页面观察到存在异常角色。若未同步，可在集群Manager页面观察到存在异常角色。需解决异
- [用户名过长导致下载认证凭据失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0706.md): MRS 3.0.2~MRS 3.1.0版本集群，当用户名超过20位时（添加用户时最长限制为32位），下载Keytab文件会下载失败，状态代码：400 Bad Request。MRS 3.0.2~MRS 3.1.0版本集群，当用户名超过20位时（添加用户时最长限制为32位），下载Keytab文件会下载失败，状态代码：400 Bad Requ
- [Sqoop如何连接MySQL](https://support.huaweicloud.com/trouble-mrs/mrs_03_0708.md): Sqoop如何连接MySQL数据库。source bigdata_env如果集群已启用Kerberos认证，执行以下命令认证具有操作权限的用户，否则跳过此步骤。kinit MRS集群用户sqoop list-databases --connect jdbc:mysql://数据库IP地址:3306/ --username数据库登录用户名 
- [Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常](https://support.huaweicloud.com/trouble-mrs/mrs_03_0709.md): 使用MRS的Sqoop客户端（1.4.7版本），从MySQL数据库中指定表抽取数据，存放到HBase（2.2.3版本）指定的表中，报出异常：完整异常信息如图所示：执行Sqoop抽取数据命令样例，Sqoop客户端安装完成之后，没有直接引入HBase相关的依赖jar包，需要通过手动导入指定低版本的HBase相关依赖jar包。解决方法步骤如下：
- [通过Hue创建Sqoop任务将数据从HBase导入HDFS时报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0710.md): 利用Hue的Sqoop操作把HBase中的数据导入HDFS时报错：本章节仅适用于MRS 1.9.2版本集群。Sqoop任务运行成功，但HDFS中的CSV文件无内容。由于jar包冲突或者缺少相关jar包导致。进入Sqoop节点的“/opt/Bigdata/MRS_1.9.2/install/FusionInsight-Sqoop-1.99.
- [通过Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误](https://support.huaweicloud.com/trouble-mrs/mrs_03_0711.md): 本章节仅适用于MRS 3.1.0版本集群。MRS 3.1.0集群Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误。通过日志判断得知是格式异常。确认分隔符、表字段的格式无问题，在sqoop语句中添加--columns绑定对应字段。sqoop export --connect jdbc:mysql://数据库IP地址:端口号/
- [通过sqoop import命令从PgSQL导出数据到Hive时报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0712.md): 使用sqoop import命令抽取开源PgSQL数据库内容到MRS HDFS或Hive中。使用sqoop命令可以查询PgSQL表，但是执行sqoop import命令导入导出时报错：连接PgSQL MD5认证不通过，需要在“pg_hba.conf”中配置白名单。在执行sqoop import命令时，会启动MapReduce任务，由于MR
- [通过Sqoop读取MySQL数据并写parquet文件到OBS时失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0713.md): 通过Sqoop读取MySQL数据，然后直接写到OBS，指定parquet格式时写入报错，不指定parquet时不报错。parquet格式不支持hive3，用Hcatalog方式写入。采用Hcatalog的方式，参数指定对应的Hive库和表，需要修改SQL语句指定到具体字段（需要修改脚本）。原来的脚本：修改后的脚本（可以执行成功）：
- [通过Yarn WebUI查看作业日志时提示“Could not access logs page!”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0714.md): 登录Yarn WebUI界面查看作业日志“Logs”，然后单击“Local logs”，界面提示“Could not access logs page!”。该Local logs是用来访问服务的日志，但由于安全考虑，该功能暂不支持从Yarn WebUI界面访问。用户可以登录ResourceManager主节点查看ResourceManag
- [使用Phoenix创建HBase表后，向索引表中加载数据报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0715.md): 使用Phoenix创建HBase表后，使用命令向索引表中加载数据报错：MRS 2.x及之前版本：Mutable secondary indexes must have the hbase.regionserver.wal.codec property set to org.apache.hadoop.hbase.regionserver.
- [在MRS集群客户端无法执行hbase shell命令](https://support.huaweicloud.com/trouble-mrs/mrs_03_0716.md): 在MRS集群客户端无法执行hbase shell命令。执行hbase shell命令前未配置环境变量。当前MRS集群未安装HBase客户端。是，执行2。否，下载并安装HBase客户端，详细操作请参考安装客户端章节。source bigdata_envkinit MRS集群用户hbase shell
- [Hive执行insert into命令报用户权限不足](https://support.huaweicloud.com/trouble-mrs/mrs_03_0717.md): 用户在Beeline命令行执行insert into命令报错：当前提交任务的用户不具备Yarn对应队列的权限。在Manager界面为当前用户绑定对应权限的角色，例如：default，详细操作请参考修改用户信息章节。若Hive启用了Ranger鉴权，也可以参考添加Yarn的Ranger访问权限策略章节设置当前用户在指定Yarn队列提交任务的
- [通过Yarn WebUI查看队列信息时提示“ERROR 500”错误](https://support.huaweicloud.com/trouble-mrs/mrs_03_0718.md): 在Yarn使用Capacity调度器时，单击Yarn WebUI页面的队列名称时，系统上报“ERROR 500”的错误。页面链接无法识别符号“^”，导致页面访问失败。
- [在Hive中drop表后如何完全释放磁盘空间](https://support.huaweicloud.com/trouble-mrs/mrs_03_0719.md): 在Hive命令行执行drop表的操作后，通过命令hdfs dfsadmin -report查看磁盘空间，发现表没有删除。在Hive命令行执行drop表只删除了外部表的表结构，并没有删除该表存储在HDFS上的表数据。cd客户端安装目录source bigdata_envkinit组件业务用户（未开启Kerberos认证的集群跳过此操作）ha
- [HBase shell客户端在使用中有INFO信息打印在控制台导致显示混乱](https://support.huaweicloud.com/trouble-mrs/mrs_03_0720.md): 在使用HBase shell中会有INFO信息打印在控制台，导致显示混乱，用户在输入命令前需要按回车符清理控制台。如下图所示：HBase客户端中默认日志打印设置为“INFO,console”，所以在使用期间会有INFO日志输出到控制台，影响HBase shell窗口的显示。HBase客户端命令繁多，例如：hbase shell、hbase
- [Manager页面新建的租户删除失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0721.md): 在FusionInsight Manager的“租户资源”页面添加租户后，删除租户时，报“删除租户角色失败”。在创建租户时会生成对应的角色，执行删除租户操作时会首先删除对应的角色。此时如果支持权限配置的组件状态异常，则会导致删除这个角色对应的资源权限失败。
- [JSON表中有破损数据导致Hive查询异常](https://support.huaweicloud.com/trouble-mrs/mrs_03_0722.md): 在Hive客户端查询JSON数据，JSON表中有破损数据导致查询异常：在Hive客户端上使用默认开源的JSON序列化建表语句创建表：create external table if not existstest(name string)row format serde 'org.apache.hive.hcatalog.data.Json
- [使用Yarn客户端命令查询历史作业报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0723.md): 执行Yarn客户端命令查询历史作业报错，进程被终止。具体错误如下:客户端分配内存不足，导致提交命令报错。vim /opt/client/HDFS/component_envsource bigdata_env
- [Hue上执行Impala SQL查询中文报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0724.md): Hue上执行Impala SQL，查询SQL结果中包含中文字符，出现报错“UnicodeDecodeError: 'utf-8' codec can't decode byte  in position 0: unexpected end of data”。Hive中一个中文字符长度为“1”；而Impala中一个中文字符的长度为“3”，从
- [Hive客户端执行SQL报错连接超时](https://support.huaweicloud.com/trouble-mrs/mrs_03_0725.md): Hive客户端执行SQL失败，报错：Timed out waiting for a free available connection。DBService连接较多，获取连接超时。是，检查连接的URL中超时参数，将其修改为600，执行7。否，执行2。Hive、HiveServer、MetaStore、WebHCat中均有该参数，请确保它们的
- [RegionServer剩余内存不足导致HBase服务启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0726.md): RegionServer剩余内存不足导致HBase服务启动失败。RegionServer启动时节点剩余内存不足，导致无法启动实例。排查步骤如下：登录Master节点，到“/var/log/Bigdata”查找HBase相关日志，HMaster的日志中报错“connect regionserver timeout ”。登录到1中HMaste
- [WebHCat健康状态异常导致启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0727.md): WebHCat实例启动失败。在Manager页面上查看到WebHCat实例的健康状态为“故障”，并上报“ALM-12007 进程故障”告警，该告警的服务名称为“Hive”，实例名称为“WebHCat”。且重启Hive服务报错。查看WebHCat实例的日志“/var/log/Bigdata/hive/webhcat/webhcat.log”
- [mapred-default.xml文件解析异常导致WebHCat启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0728.md): MRS的Hive服务故障，重新启动后，Master2节点上的HiveServer和WebHCat进程启动失败，Master1节点进程正常。登录Master2节点，查看“/var/log/Bigdata/hive/hiveserver/hive.log”日志，发现HiveServer一直加载“/opt/Bigdata/*/*_HiveSer
- [MRS集群切换VPC后集群状态异常不可用](https://support.huaweicloud.com/trouble-mrs/mrs_03_0729.md): 客户MRS集群，在ECS侧将所有节点的VPC切换后集群状态异常。所有服务不可用，其中Hive beeline报错如下：MRS不支持切换VPC，切换VPC后，节点的内网IP变化，但是配置文件和数据库还是原有的IP，导致集群通信等功能异常，集群状态也会异常。所以要恢复集群，就需要将节点切回到原来的VPC，并且IP和hosts文件中的IP主机映
- [spark-beeline查询Hive视图报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0730.md): MRS 3.1.2版本，spark-beeline查询Hive视图报错，报错如下：根据提示set spark.sql.hive.manageFilesourcePartitions=false后，查不到数据（但是实际在Hive查询中是有数据的）。转换格式失败，spark-sql使用其内置的Metastore，而不是Hive中使用的Meta
- [Kafka连接ZooKeeper客户端时发生断连](https://support.huaweicloud.com/trouble-mrs/mrs_03_0731.md): Kafka客户端连接ZooKeeper客户端时发生断连。客户端日志出现报错“Received event :disconnected::none: with disconnected Writer Zookeeper”。在Kafka客户端连接Zookeeper客户端过程中，fsync操作时间过长，导致超时。cd客户端安装目录source 
- [MRS管理控制台上提交作业异常处理](https://support.huaweicloud.com/trouble-mrs/mrs_03_0732.md): MRS控制台作业管理提交作业“状态”为“已接受”，“执行结果”为“未定”，作业未成功提交到Yarn上，如下图所示：由于管理控制台的作业管理功能是由集群管理模块Executor来负责调度执行，因此作业未提交到Yarn上，根因需要查看Executor。而管理控制台的作业管理功能，正常情况添加作业后会自动在Yarn上启动两个任务，一个提交到la
- [集群外节点访问MRS HDFS报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0733.md): 集群外节点访问MRS HDFS的时候报错：Class org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider not found。出现这个报错可能的场景有：开源HDFS客户端访问MRS集群的HDFS时报错。使用jar包连接MRS集群的HDFS（包括提交
- [集群扩容之后新节点HRegionServer启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0734.md): 集群扩容完成之后，新节点的HRegionServer启动失败，一直处于异常状态，无法正常提供服务。登录故障RegionServer所在节点，jps查看RegionServer进程没有启动，在Manager上手动重启故障的RegionServer实例失败，查看对应RegionServer节点/var/log/Bigdata/hbase/rs
- [NameNode节点存在ALM-12027主机PID使用率超过阈值告警](https://support.huaweicloud.com/trouble-mrs/mrs_03_0735.md): 3.1.2及之前的3.x版本集群，NameNode节点存在ALM-12027主机PID使用率超过阈值告警，节点Java进程可能出现“unable to create new native thread”报错。使用以下命令统计节点进程的线程数并排序。ps -efT | awk '{print $2}' |sort -n |uniq -c |
- [ClickHouse消费Kafka数据异常](https://support.huaweicloud.com/trouble-mrs/mrs_03_0736.md): 用户在ClickHouse集群创建Kafka引擎表test.user_log_kafka消费Kafka数据，查看Kafka监控发现凌晨开始出现消息堆积，数据一直没有被消费。Kafka出现消息堆积，说明ClickHouse消费数据时出现异常，需要查看ClickHouse的日志。登录MRS集群，进入ClickHouse实例所在的节点，查看“/
- [Oozie调度HiveSQL作业报错处理](https://support.huaweicloud.com/trouble-mrs/mrs_03_0738.md): MRS 3.x集群Oozie调度Hive作业任务失败，查看日志HiveSQL，实际上是运行成功的，但Yarn任务总体失败，报错如下：由于HiveSQL脚本中一次提交的作业量太大，其中包含的信息超过Oozie Launcher一次容许的最大值2KB（2048 Bytes），需要调大默认的输出参数值，调整该参数不会对集群性能造成影响。
- [查看MRS集群详情失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0739.md): 在MRS管理控制台，单击集群名称，进入MRS集群详情页面失败。用户MRS集群选的是企业项目A（包含MRS FULLACCESS和ECS FULLACCESS权限）。VPC选的是企业项目B。安全组选的是企业项目A。IAM这边加入的组没有任何权限设置。经过分析用户的VPC企业项目B里缺少vpc readonly权限导致了该报错的发生。给VPC
- [由于HDFS块丢失导致DataNode退服失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0740.md): 在退服DataNode过程中，一直提示退服失败。查看退服失败报错日志，日志中显示总计1564个块，有一个块一直没法被备份。登录集群Master节点，进入HDFS客户端，执行hdfs fsck /命令查看损坏的块，并记录文件路径。例如：/tmp/hive-scratch/omm/_tez_session_dir/xxx-resources/
- [通过Yarn WebUI查看作业日志时提示“ERROR 500”错误](https://support.huaweicloud.com/trouble-mrs/mrs_03_0741.md): 在MRS上提交的SparkStreaming流式作业执行一段时间后，查看Yarn WebUI页面全量日志报“HTTP ERROR 500 org.apache.http.ConnectionCloseException: Premature end of chunk coded message body:closing chunk exp
- [由于主备Master节点时间未同步导致ZooKeeper服务不可用](https://support.huaweicloud.com/trouble-mrs/mrs_03_0742.md): MRS集群ZooKeeper服务无法启动，出现ZooKeeper服务不可用告警。以root用户登录主、备Master节点，执行ntpq -p命令查看两节点时间未同步。例如执行后结果如下，则当前节点的浮动IP为192.168.0.3。service ntpd stop/usr/sbin/ntpdate1查询到的浮动IPservice ntp
- [集群出现ALM-14012 Journalnode数据不同步告警](https://support.huaweicloud.com/trouble-mrs/mrs_03_0743.md): MRS集群出现ALM-14012 Journalnode数据不同步告警。登录告警节点，查找日志路径“/var/log/Bigdata/hdfs/nn”下Journalnode实例的startDetail.log日志信息，发现Journalnode实例停止过。分别查看告警节点和其他JournalNode节点的“/srv/BigData/jo
- [TimelineServer目录文件数量到达上限](https://support.huaweicloud.com/trouble-mrs/mrs_03_0744.md): MRS 3.x版本集群，ResourceManager日志显示TimelineServer数据目录数量到达上限打印大量错误日志。异常日志内容如下：TimelineServer在MRS 3.x版本会使用一个HDFS的目录（例如以上报错中的/tmp/hadoop-omm/yarn/timeline/generic-history/Applic
- [HDFS日志文件过大导致OS盘空间不足](https://support.huaweicloud.com/trouble-mrs/mrs_03_0761.md): OS盘/var/log分区空间不足。“/var/log/Bigdata/hdfs/*/hdfs-omm-*.out”日志文件过大，造成OS盘/var/log分区空间不足。在HDFS长时间运行场景下，操作系统会把JVM创建的“/tmp/.java_pid*”文件定期清理。因为HDFS的内存监控使用了JVM的jinfo命令，而jinfo依赖“
- [通过Sqoop迁移数据库数据时报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0762.md): MRS Sqoop迁移数据库数据报错如下：Communications link failure;
The driver has not received any packets from the server;源端为DWS数据库时报错如下：got exception running sqoop .java.lang.Runtime.Ex
- [MRS集群如何使用公网访问Presto](https://support.huaweicloud.com/trouble-mrs/mrs_03_0763.md): 用户调测Presto JDBC样例代码，需要使用公网访问Presto。登录MRS Manager上查看Presto全部配置，Coordinator角色配置：PRESTO_COORDINATOR_FLOAT_IP = 内网IP地址登录Coordinator角色所在主实例节点确认该地址为网卡：eth0:PRESTO。Presto服务端口：非安
- [MRS Presto查询报错“The node may have  crashed or be under too much load”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0764.md): 用户presto查询语句报错：The node may have  crashed or be under too much load，具体如下图所示：登录集群Master节点，进入“/var/log/Bigdata”目录下的presto日志进行查找。根据报错信息在到对应节点去查看presto worker实例的进程日志。日志显示：jav
- [使用distcp命令拷贝空文件夹报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0766.md): 通过MRS客户端使用以下distcp命令，无法从HDFS复制空文件夹到OBS。hadoop distcp -Dfs.obs.endpoint=xxx-Dfs.obs.access.key=xxx-Dfs.obs.secret.key=xxx-update hdfs://hacluster/blee obs://xxx/aaa如果源端（例如
- [无法访问MRS集群Manager页面如何处理？](https://support.huaweicloud.com/trouble-mrs/mrs_03_0781.md): MRS集群创建完成后，无法通过管理控制台访问集群Manager管理页面。检查集群状态：Manager页面无法正常访问，请首先确认MRS集群状态是否正常，如果集群已关闭或者正在创建中，或集群正在发生主备倒换，将无法访问Manager。检查用户权限：当前用户是否有访问Manager的权限，“ReadOnlyAccess”表示MRS的只读权限，
- [访问MRS Manager页面报错“502 Bad Gateway”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0783.md): 访问集群管理页面地址打开显示“502 Bad Gateway”错误。未开启Kerberos认证的集群，访问MRS Manager页面报错如下图：由于MRS的域名由console-emr变更为mrs导致普通集群访问MRS Manager的链接有误。
- [登录Manager集群页面时报错“You have no right to access the page”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0784.md): 访问集群管理页面报错：当前登录的用户没有访问Manager的权限。/srv/BigData/dbdata_om所在的分区磁盘空间被占满。
- [Manager界面超时退出后无法正常登录](https://support.huaweicloud.com/trouble-mrs/mrs_03_0785.md): MRS Manager超时退出后偶现无法正常登录访问页面。超时后页面的js及css文件未加载成功。
- [升级Python后无法登录Manager页面](https://support.huaweicloud.com/trouble-mrs/mrs_03_0786.md): 升级Python后，登录不进去MRS Manager页面。自行升级Python后，使用admin账号且密码正确的情况下登录不进去MRS Manager页面。用户升级Python版本到Python3.x的过程中，修改了openssl的文件目录权限，导致LdapServer服务无法正常启动，从而引起登录认证失败。如果能够成功进入，则表示权限修
- [修改集群域名后无法登录Manager页面](https://support.huaweicloud.com/trouble-mrs/mrs_03_0787.md): 用户修改域名后，通过console页面无法登录MRS Manager页面，或者登录MRS Manager页面异常。用户修改域名后，没有刷新executor用户的keytab文件，导致executor进程认证失败后不断循环认证，导致了acs进程内存溢出。使用root用户登录主管理节点（即MRS集群详情页面“节点管理”页签下实心五角星所在的M
- [登录Manager界面后页面空白无内容](https://support.huaweicloud.com/trouble-mrs/mrs_03_0788.md): 登录到FusionInsight Manager界面后，页面空白不显示。登录到FusionInsight Manager界面后，页面空白不显示。Manager无法登录，需要清除浏览器缓存。Master节点的“/opt/Bigdata/tmp”目录权限被修改。清除浏览器缓存是，操作结束。否，执行4。修改“/opt/Bigdata/tmp”目
- [集群节点内安装了原生Kerberos导致登录集群失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0789.md): MRS集群创建成功后，登录集群Manager页面或者修改用户密码失败。登录到集群的Kerberos服务节点，查看“/var/log/Bigdata/kerberos/krb5kdc.log”。登录到主、备OMS节点，查看“/var/log/Bigdata/okerberos/oms-krb5kdc.log”。发现有大量的认证失败，同时有 
- [macOS使用浏览器访问MRS Manager](https://support.huaweicloud.com/trouble-mrs/mrs_03_0790.md): 在Mac电脑上无法使用Chrome浏览器访问MRS Manager。由于Mac电脑的证书限制导致无法访问。显示MRS Manager登录页面，此时Chrome浏览器暂时还不能登录MRS Manager页面，请继续操作后续步骤。单击浏览器左上角，单击“证书无效”所在行的。选中该证书拖动到电脑桌面，即可获得证书。
- [Manager界面登录用户被锁如何解锁](https://support.huaweicloud.com/trouble-mrs/mrs_03_0791.md): Manager登录时显示：这个账户已经被锁住了，请联系系统管理员来重新获得访问权限。Manager界面登录用户被锁，导致作业无法提交并无法进入Manager页面。通过后台提交作业执行kinit用户名操作时提示如下异常：kinit: Clients credentials have been revoked while getting in
- [使用admin用户访问组件的WebUI界面报错或部分功能不可用](https://support.huaweicloud.com/trouble-mrs/mrs_03_0793.md): 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错，或部分功能不可用怎么办？访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI的用户不具备对应组件的管理权限，导致界面报错或部分功能不可用。例如：使用当前用户登录Flink WebUI后，部分内容不能正常显示，且没有权限
- [【HDFS WebUI】访问HDFS WebUI页面报错“重定向次数过多”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0794.md): 通过Manager页面跳转HDFS WebUI页面偶现失败，报错“重定向次数过多”，此时其他组件的WebUI能正常访问。Knox为双活组件，运行过程中出现主备之间数据不同步问题导致。
- [【HDFS WebUI】使用IE浏览器访问HDFS WebUI界面失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0795.md): 通过IE浏览器访问HDFS的WebUI界面，偶尔出现访问失败情况。访问页面失败，浏览器无法显示此页，如下图所示：部分低版本IE浏览器处理SSL握手有问题导致访问失败。重新刷新页面或者推荐使用Google Chrome浏览器访问。
- [【Hue WebUI】Hue WebUI页面无法访问](https://support.huaweicloud.com/trouble-mrs/mrs_03_0796.md): Hue服务组件的Hue WebUI页面打不开。端口未对外开放。浮动IP配置错误。一次性查询大量的数据，导致查询耗时长，占用了Hue中Hive的连接，导致Hue访问出现异常。在浏览器所在的本地机器，通过命令行执行telnet指令，查看端口是否开放。在Hue所在节点执行ifconfig，查看配置的浮动IP是否生效。恢复该故障大概需要10分钟。
- [【Hue WebUI】访问Hue WebUI页面报错“Proxy Error”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0797.md): 打开Hue页面的时候提示“Proxy Error”。网络故障（如：错包率高、高延迟等）导致Httpd没有接收到报文或者接收到了错误报文。时钟跳变或其他因素的影响导致Httpd服务与Hue服务认证关系失效。排查是否发生过网络故障或时钟跳变。排查当前是否发生过或仍存在Hue服务相关告警。是，处理结束。否，执行2。是，通过FusionInsig
- [【Hue WebUI】集群未安装Hive服务时Hue原生页面无法正常显示](https://support.huaweicloud.com/trouble-mrs/mrs_03_0798.md): 集群没有安装Hive服务时，Hue服务原生页面显示空白。MRS 3.x版本存在Hue依赖Hive组件。如果出现此情况，首先需要检查当前集群是否安装了Hive组件，如果没有，需要安装Hive。
- [【Ranger WebUI】新用户修改完密码后无法登录Ranger WebUI界面](https://support.huaweicloud.com/trouble-mrs/mrs_03_0799.md): 使用新建用户登录Ranger页面，为什么在修改完密码后登录报401错误？由于UserSync同步用户数据有时间周期，默认是5分钟，因此在Manager上新创建的用户在用户同步成功前无法登录Ranger，因为Ranger的DB里暂时还没有该用户信息，需要等待同步周期所设置的时间后再尝试登录。未开启Kerberos认证时，由于Ranger并不
- [【Tez WebUI】访问Tez WebUI界面报错404](https://support.huaweicloud.com/trouble-mrs/mrs_03_0800.md): 登录Manager界面，跳转Tez WebUI界面，显示404异常或503异常：Tez WebUI依赖Yarn的TimelineServer实例，需要预先安装TimelineServer，且处于良好状态。
- [【Spark WebUI】为什么从Yarn Web UI页面无法跳转到Spark WebUI界面](https://support.huaweicloud.com/trouble-mrs/mrs_03_0801.md): 在客户端采用yarn-client模式运行Spark应用，然后从Yarn的页面打开该应用的Web UI界面，出现下面的错误：从Yarn ResourceManager的日志看到：2021-07-21 16:35:27,099 | INFO  | Socket Reader #1 for port xxx | Auth successful
- [【Spark WebUI】HistoryServer缓存的应用被回收导致此类应用页面访问时出错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0802.md): 在History Server页面中访问某个Spark应用的页面时，发现访问时出错。查看相应的HistoryServer日志后，发现有“FileNotFound”异常，相关日志如下所示：在History Server页面加载Task个数较多的Spark应用时，由于无法把全部的数据放入内存中，导致数据溢出到磁盘时，会产生前缀为“temp_s
- [【Spark WebUI】访问JobHistory中某个应用的原生页面时页面显示错误](https://support.huaweicloud.com/trouble-mrs/mrs_03_0803.md): 提交一个Spark应用，包含单个Job百万个Task。应用结束后，在JobHistory中访问该应用的WebUI页面，浏览器会等待较长时间才跳转到应用WebUI页面，若10分钟内无法跳转，则页面会显示Proxy Error信息。在JobHistory界面中跳转到某个应用的WebUI页面时，JobHistory需要回放该应用的Event l
- [【Spark WebUI】使用IE浏览器访问Spark2x WebUI界面失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0804.md): 通过IE浏览器访问Spark的WebUI界面，偶尔出现访问失败情况。访问页面失败，浏览器无法显示此页，如下图所示：部分低版本IE浏览器处理SSL握手有问题导致访问失败。重新刷新页面或者推荐使用Google Chrome浏览器访问。
- [Manager页面加载卡顿](https://support.huaweicloud.com/trouble-mrs/mrs_03_0807.md): MRS集群Manager页面加载卡顿。登录MRS集群的Manager页面，单击一个按钮需要等一分钟后才能加载到数据，部分按钮单击后卡顿无法访问。查看/var/log/Bigdata/omm/oms/pms/scriptlog/pms_script.log，/var/log/Bigdata/omm/oms/pms/pms.log日志内容类似
- [【HBase WebUI】无法从HBase WebUI界面跳转到RegionServer WebUI](https://support.huaweicloud.com/trouble-mrs/mrs_03_0808.md): MRS 1.9.3版本集群，在HBase WebUI界面单击“Region Servers”区域的“Base Status”页签中的“ServerName”列的任一RegionServer名称无法跳转到对应信息页。cat /opt/Bigdata/Apache-httpd*/conf/whitelist.txt |grep RegionS
- [生成HA证书时报错“symbol xxx not defined in file libcrypto.so.1.1”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0809.md): 更换HA证书时，执行sh ${OMS_RUN_PATH}/workspace/ha/module/hacom/script/gen-cert.sh --root-ca --country=CN --state=state --city=city --company=company --organize=organize--common-n
- [访问Manager页面报错“请求VPC错误”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0810.md): 通过管理控制台前往Manager，报错“请求VPC错误”。当前用户没有VPC的访问权限。IAM子用户所在的组有互斥权限导致访问Manager异常。当前用户没有添加安全组中IP的权限，或安全组中添加的IP发生变化。具体请参考创建MRS操作用户创建用户，或添加用户权限（请勿添加MRS ReadOnlyAccess权限，拥有该权限的用户仅能查看
- [通过专线访问Manager页面方式出现503报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0811.md): 通过专线方式访问Manager界面，出现503报错：当前无法使用此页面。随着任务量的增大或者任务并发较高，有可能会导致Executor内存不足，进而导致访问Manager异常。通过root用户登录Master1或Master2其中任意一节点，执行以下命令切换到omm用户。su - ommsu - omm执行以下命令，修改“catalina
- [访问组件WebUI页面报500异常](https://support.huaweicloud.com/trouble-mrs/mrs_03_0812.md): 访问组件WebUI页面报500异常。访问组件WebUI页面报500异常。报错如下：出现该异常可能都是由于Knox线程数不足。vi /opt/knox/conf/gateway-site.xmlsh /opt/knox/bin/restart-knox.sh是，处理完毕。否，请联系运维人员进行处理。
- [【Yarn WebUI】无法访问Yarn WebUI](https://support.huaweicloud.com/trouble-mrs/mrs_03_0813.md): 集群扩容到300节点后，无法访问Yarn WebUI界面。可能是由于集群节点较多时，NodeManager数据增加，但是未修改实例的内存，导致ResourceManager进程的垃圾回收时间过长，影响ResourceManager进程正常提供服务，在访问YARN的原生界面时异常。此时建议修改实例的内存。集群中的NodeManager实例数
- [Hive元数据使用RDS时创建视图表中文乱码](https://support.huaweicloud.com/trouble-mrs/mrs_03_0816.md): MRS 3.1.0版本集群，Hive元数据配置为RDS数据库中存储。创建视图时，使用case when语句中文显示乱码。例如建表语句如下：查看视图内容中，中文乱码：该问题是由于元数据表相关字段编码不是UTF 8，导致中文显示异常。show full columns from TBLS;ALTER TABLE TBLS modify COL
- [HBase文件丢失导致Region状态长时间为RIT](https://support.huaweicloud.com/trouble-mrs/mrs_03_0817.md): 数据迁移到新集群后，HBase的Region状态为RIT或FAILED_OPEN。登录到集群的Core节点查看RegionServer日志，报错：“Region‘3b3ae24c65fc5094bc2acfebaa7a56de’”打开失败，Region状态被设置为FAILED_OPEN。“Region‘b7b3faab86527b88a9
- [在MRS集群外客户端提交不了Oozie任务或两个小时才提交成功](https://support.huaweicloud.com/trouble-mrs/mrs_03_0818.md): 在MRS集群外客户端提交不了Oozie任务，或者两个小时才提交成功。通过后台日志看到一些Java安全随机数的日志，在JDK中，SecureRandom算法底层依赖操作系统提供的随机数据；在Linux中，与之相关的是“/dev/random”和“/dev/urandom”。当熵池为空时，来自“/dev/random”的读操作将被阻塞，直到熵
- [登录Manager时界面报错“认证信息无效”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0819.md): 登录MRS集群的Manager界面时，输入用户名及密码信息后登录失败，界面提示“认证信息无效”。当前输入的用户名或密码信息错误。当前登录用户的密码已过期。MRS集群默认管理用户为admin，密码为创建集群时用户设置。或参考如何重置或修改MRS集群用户密码？章节重置用户密码。登录FusionInsight Manager。选择“系统 > 权
- [【Hue WebUI】登录Hue WebUI报错无权限](https://support.huaweicloud.com/trouble-mrs/mrs_03_0820.md): 开启Kerberos认证的集群，使用admin用户登录Hue WebUI，报错“无权限或无法连接到hive server，请检查当前用户的hive权限以及hue的hive配置是否正确。”或“No available hive server......”对于开启Kerberos认证的集群，admin用户不具有操作Hue WebUI的权限。可
- [MRS集群Core节点扩容成功后部分实例启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0821.md): Core节点扩容可能存在扩容节点完成，但节点上存在启动失败的实例的情况，现象如下：Core节点已经扩容完成，节点管理页面可以看到新扩容的节点：任务管理中有添加节点的任务失败或部分成功：若IAM用户已同步，可在组件管理观察到存在未启动角色。若未同步，可在集群Manager页面观察到存在未启动角色。场景一：添加节点任务在安装组件前失败登录MR
- [MetaStore动态分区数超出阈值导致SQL报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0822.md): 执行SparkSQL或HiveSQL命令时，系统报错如下：Hive中会默认限制最大动态分区数，由“hive.exec.max.dynamic.partitions”参数控制（默认值为1000）。 如果超过此限制，Hive将不会创建新的动态分区。调整上层业务，将动态分区数控制在“hive.exec.max.dynamic.partition
- [Spark Streaming任务失败但是Yarn WebUI中显示状态为成功](https://support.huaweicloud.com/trouble-mrs/mrs_03_0825.md): MRS 3.3.0-LTS版本集群，提交Spark Streaming任务后，由于NodeAgent重启导致对应节点上任务失败，但是在Yarn WebUI页面中查看整个任务状态为“succeeded”。Spark AM退出时，因为服务配置参数“spark.streaming.stopGracefullyOnShutdown”默认为“fal
- [MRS集群所在VPC部署了VPCEP后集群补丁安装失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0826.md): 通过MRS管理控制台为MRS集群在线安装补丁，补丁安装失败，报错日志信息中提示访问OBS 403无权限。用户集群所在VPC中，部署并配置了VPC终端节点（VPCEP）。相关的终端节点策略中，未允许MRS集群内节点直接访问MRS补丁所在的OBS文件桶，导致无法将最新补丁下载到集群内进行安装。在集群所在VPC对应重点节点策略中，将当前Regi
- [作业管理接口限制调用或并发拦截](https://support.huaweicloud.com/trouble-mrs/mrs_03_0830.md): 用户在作业管理页面，进行作业操作时触发接口异常，无法进行作业操作。在作业页面添加、删除、查询等操作时，触发如下接口异常报错：由于作业接口API会调用至租户面，触发作业接口会在Jetty线程池中等待与租户面的交互，当大量接口进行调用会超过单租户的流控上限，这样可能导致集群异常或关机，导致大量接口进行超时重试，从而长时间占用线程池导致占满崩溃
- [如何对insert overwrite自读自写场景进行优化](https://support.huaweicloud.com/trouble-mrs/mrs_03_0831.md): 对于需要使用动态分区插入（使用历史分区更新）数据到目的表中，且和数据源表是同一张表时，由于直接在原表上执行insert overwrite可能会导致数据丢失或数据不一致的风险，建议先使用一个临时表来处理数据，再执行insert overwrite操作。假设存在如下一张表：其中user_group是分区列，需要根据已有数据，按更新时间进行排
- [Flink客户端执行flink命令报错，提示“ClusterRetrieveException”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0832.md): 客户端执行flink run/list/cancel命令时报错，报错信息如下：使用集群外客户端。客户端连接指定的flink集群已经不存在，或失败退出。使用了错误的客户端，该客户端配置与提交任务使用的客户端配置不同导致。
- [Flink任务运行过程中出现报错“netty.exception.RemoteTransportException”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0833.md): Flink任务运行过程中出现报错：netty.exception.RemoteTransportException。可能原因一业务出现堆内存级别的Full GC。根据以上日志截图反馈的报错，可以找到故障的taskmanager所在节点。查看节点的后面的GC日志是否出现大量的Full GC或者GC时间过长的现象。如下图：每次GC时间都在10
- [Flink任务运行过程中出现报错“netty.exception.LocalTransportException”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0834.md): Flink任务运行过程中出现报错：netty.exception.LocalTransportException。网络抖动或者丢包。触发的原因是如下Task在向上下游算子进行Netty通信过程中出现了超时，在Task的通信过程中，由于Flink的Task之间走的是JDK底层的Socket通信，而Socket的读写也仅仅是调用了OS底层的接
- [数据目录SSD和HDD的配置导致建表时偶现报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0836.md): 建表时偶现报错“Failed to find enough host with storage medium and tag​”。本章节仅适用于MRS 3.3.0-LTS版本。Doris支持一个BE节点配置多个存储路径，并支持指定路径的存储介质属性，如SSD或HDD。通常情况下，每块盘配置一个存储路径即可。如果“be.conf”中只配置了
- [使用Stream Load时报RPC超时错误](https://support.huaweicloud.com/trouble-mrs/mrs_03_0837.md): 导入数据时BE打开tablet writer的RPC超时，报错：由于导入数据时BE打开tablet writer操作可能涉及多个分片内存块的写盘操作，导致RPC超时，可以适当调整该RPC超时时间减少超时错误。
- [使用MySQL客户端连接Doris数据库时报错“plugin not enabled”如何处理](https://support.huaweicloud.com/trouble-mrs/mrs_03_0838.md): 使用MySQL客户端连接Doris数据库时报错：未启用mysql_clear_password插件。使用MySQL客户端连接Doris数据库时，在命令中新增“--enable-cleartext-plugin”，命令如下：mysql --enable-cleartext-plugin -u数据库登录用户-p数据库登录用户密码-P数据库连接
- [FE启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0839.md): FE实例启动失败，“/var/log/Bigdata/doris/fe/fe.log”日志中一直滚动报错：本章节仅适用于MRS 3.3.0-LTS版本。FE安装节点有多个网卡IP，没有正确设置“priority_network”参数导致FE启动时匹配了错误的IP地址。集群内多数Follower FE节点未启动，例如有3个Follower 
- [BE匹配错误IP导致启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0840.md): BE实例启动失败，报错：本章节仅适用于MRS 3.3.0-LTS版本。BE安装节点有多个网卡IP，没有正确设置“priority_network”参数值导致BE启动时匹配了错误的IP地址。“priority_network”主要用于帮助系统选择正确的网卡IP作为FE或BE的IP，建议任何情况下，都显式地设置该参数，避免后续机器增加新网卡导
- [MySQL客户端连接Doris报错“Read timed out”](https://support.huaweicloud.com/trouble-mrs/mrs_03_0841.md): 在MySQL客户端连接Doris报错：Doris服务端响应较慢。使用MySQL客户端连接Doris数据库时，在命令中新增“connect_timeout”参数，默认值为10秒，命令如下：mysql -u数据库登录用户-p数据库登录用户密码-P数据库连接端口-hDoris FE实例IP地址 --connect_timeout=120
- [BE运行数据导入或查询任务报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0842.md): 导入或查询数据时，报错：运行任务的BE节点故障。RPC拥塞或其他错误。如果运行任务的BE节点故障，需查看具体的故障原因再进行解决。如果RPC源端有大量未发送的数据超过了阈值，可设置如下参数：brpc_socket_max_unwritten_bytes：用于设置未发送的数据量的阈值，默认为1GB。如果未发送数据量超过该值，则会报OVERC
- [Broker Load导入数据时报超时错误](https://support.huaweicloud.com/trouble-mrs/mrs_03_0843.md): 使用Broker Load导入数据时报错：从外部存储（例如HDFS）导入数据时，由于目录下文件过多，导致列出文件目录超时。登录FusionInsight Manager，选择“集群 > 服务 > Doris > 配置 > 全部配置 > FE（角色） > 自定义”，新增自定义参数“broker_timeout_ms”，默认值为10秒，需适当
- [使用Broker Load导入数据报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0844.md): 使用Broker Load导入数据时报错“failed to send batch”或“TabletWriter add batch with unknown id”。系统并发量较大或数据量大导致任务执行超时。SET GLOBAL query_timeout =xxx;
- [多副本场景下，运行在副本丢失损坏的BE节点的查询任务报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0845.md): 如果多个副本直接从磁盘上丢失了副本，比如mv改名，内核不会感知到该副本丢失，执行查询时如果请求运行在副本丢失的BE节点，报错：curl -X POST http://192.168.67.78:29986/api/check_tablet_segment_lost?repair=true   （192.168.67.78为异常的BE节点I
- [Broker Load导入任务的数据量超过阈值](https://support.huaweicloud.com/trouble-mrs/mrs_03_0846.md): 使用Broker Load导入数据时报错：BE处理的单个导入任务的最大数据量为3GB，超过该值的待导入文件需要通过调整Broker Load的导入参数来实现大文件的导入。根据当前BE实例的个数和待导入文件的大小修改单个BE的任务的最大扫描量和最大并发数。操作如下：登录FusionInsight Manager，选择“集群 > 服务 > D
- [Hive大SQL任务异常如何定位](https://support.huaweicloud.com/trouble-mrs/mrs_03_0847.md): MRS 3.5.0-LTS及之后版本，Hive执行的大SQL导致HiveServer或MetaStore内存快速增长，频繁Full GC使得业务无法正常运行，甚至导致实例异常重启。查询大字段表导致HiveServer内存异常。执行的SQL涉及的文件数过多，导致HiveServer内存异常。执行的SQL涉及的分区数过多，导致HiveServ
- [ClickHouse中删除复制表后重建复制表失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0848.md): 将ClickHouse复制表删除，然后重新创建复制表时提示报错：Existing table metadata in ZooKeeper。ClickHouse机制，删除复制表后ZooKeeper上元数据不会立即同步删除。ZooKeeper上存在残留的元数据信息，导致再次创建复制表不成功。
- [创建ClickHouse复制表失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0849.md): 在ClickHouse中创建复制表时，提示报错：检查复制表建表语句，可能建表语句中设置的ZooKeeper路径错误，没有以“/”根目录开头。可能存在其他异常，但由于ClickHouse业务逻辑，Cannot unlink file的异常屏蔽了实际的错误问题，需要根据“clickhouse-server.log”日志查看错误堆栈进行分析。
- [第三方平台跳转Yarn原生界面报错403](https://support.huaweicloud.com/trouble-mrs/mrs_03_0850.md): 第三方平台无法直接跳转Yarn原生界面，错误如下：Yarn原生界面会对集群外的跳转请求进行拦截，可以通过修改“cas.enable.referer.check”参数的方式取消拦截。
- [ClickHouse数据导入失败，报错Table is in readonly mode](https://support.huaweicloud.com/trouble-mrs/mrs_03_0851.md): 从Hive导数据到ClickHouse，出现报错“Table is in readonly mode(zookeeper path：......)”，数据导入任务失败。ZooKeeper存在故障导致进入只读模式。环境上执行过设置表只读模式的SQL语句：ALTER TABLE {table_name} MODIFY SETTING only
- [ClickHouse频繁连接失败提示密码错误](https://support.huaweicloud.com/trouble-mrs/mrs_03_0852.md): 使用正确的用户名和密码连接ClickHouse，提示用户密码错误，查看“clickhouse-server.log”日志如下：查看认证日志“auth.log”显示频繁使用错误的密码认证导致用户被锁：其他业务使用此用户的错误密码进行频繁登录，错误次数超过限制后，会导致用户被锁，需要等锁定时间超期后才能继续正常连接。
- [删除ClickHouse表或分区失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0853.md): 当数据表大小超过“max_table_size_to_drop”会删除失败，执行“alter table database.table drop partition(‘2021-12-15’,’20211225-0000’)” 操作失败，报错：Table or Partition in database.table was not dro
- [ClickHouse复制表副本数据慢，在队列中存在大量的fetch请求](https://support.huaweicloud.com/trouble-mrs/mrs_03_0854.md): 通过如下SQL查询发现副本间同步数据延迟较大：select table,absolute_delay, queue_size, inserts_in_queue, merges_in_queue from system.replicas where absolute_delay > 0 order by absolute_delay de
- [执行ClickHouse查询时报错Max query size exceeded](https://support.huaweicloud.com/trouble-mrs/mrs_03_0855.md): 在ClickHouse中执行查询语句，返回提示报错：Max query size exceeded。ClickHouse SQL语句大小显示通过参数“max_query_size”进行限制，单位是byte，表示ClickHouse SQL parser能加载到RAM中解析的SQL语句的最大byte数，默认值是262144，即256KB。
- [ClickHouse数据迁移过程报错](https://support.huaweicloud.com/trouble-mrs/mrs_03_0856.md): 执行ClickHouse集群内数据迁移，数据迁移失败，提示报错信息：迁移的目标表，分区键采用PARTITION BY (date_p, app_key)，partition_key是这种元组形式的，数据迁移任务在配置copier任务的时候上传到ZooKeeper上的description配置里面给partition加了引号，导致数据迁移失
- [如何清理由于建表失败残留在ZooKeeper的table-lock节点下的表名](https://support.huaweicloud.com/trouble-mrs/mrs_03_0857.md): 集群已启用Kerberos认证（安全模式），如何清理由于建表失败在ZooKeeper的table-lock节点（默认路径为“/hbase/table-lock”）下残留有新建的表名？在安装好客户端的环境下，使用hbase用户进行kinit认证。执行以下命令进入ZooKeeper命令行：hbase zkcli在ZooKeeper命令行中执行
- [为什么给HBase使用的HDFS目录设置quota会造成HBase故障](https://support.huaweicloud.com/trouble-mrs/mrs_03_0858.md): 为什么给HDFS上的HBase使用的目录设置quota会造成HBase故障？表的flush操作是在HDFS中写MemStore数据。如果HDFS目录没有足够的磁盘空间quota，flush操作会失败，使得RegionServer将会终止。上述异常中，表/hbase/data/<namespace>/<tableName>的磁盘空间quot
- [使用OfflineMetaRepair工具重新构建元数据后HMaster启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0859.md): 为什么在使用OfflineMetaRepair工具重新构建元数据后，HMaster启动的时候会等待namespace表分配超时，最后启动失败？且HMaster将输出下列FATAL消息表示中止：当通过OfflineMetaRepair工具重建元数据时，HMaster在启动期间等待所有Region Server的WAL分割，以避免数据不一致问
- [HMaster日志中频繁打印出FileNotFoundException信息](https://support.huaweicloud.com/trouble-mrs/mrs_03_0860.md): 当集群重启后会进行split WAL操作，在splitWAL期间，HMaster出现不能close log，日志中频繁打印出FileNotFoundException及no lease信息。在splitWAL的过程中，参数hbase.splitlog.manager.timeout控制splitWAL的超时时间，如果该时间内splitWA
- [ImportTsv工具执行失败报“Permission denied”异常](https://support.huaweicloud.com/trouble-mrs/mrs_03_0861.md): 当使用与Region Server相同的Linux用户（例如omm用户）但不同的Kerberos用户（例如admin用户）时，为什么ImportTsv工具执行失败报“Permission denied”的异常？ImportTsv工具在“客户端安装路径/HBase/hbase/conf/hbase-site.xml”文件中hbase.fs.
- [使用HBase BulkLoad导入数据成功，执行相同的查询时却返回不同的结果](https://support.huaweicloud.com/trouble-mrs/mrs_03_0862.md): 在使用HBase bulkload导入数据时，如果导入的数据存在相同的rowkey值，数据可以导入成功，但是执行相同的查询时可能返回不同的结果。正常情况下，相同rowkey值的数据加载到HBase是有先后顺序的，HBase以最近的时间戳的数据为最新数据，一般的默认查询中，没有指定时间戳的，就会对相同rowkey值的数据仅返回最新数据。使用
- [HBase恢复数据任务报错回滚失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0863.md): HBase恢复任务执行失败后系统自动回滚数据，如果页面详情中提示“Rollback recovery failed”信息，表示回滚失败。由于回滚失败后就不会处理数据，所以有可能产生垃圾数据，需要如何解决？在下次执行备份或恢复任务前，需要手动清除这些垃圾数据。执行该命令会导致数据丢失，请谨慎操作。再执行quit退出ZooKeeper连接。
- [HBase RegionServer GC参数Xms和Xmx的配置为31GB，导致RegionServer启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0864.md): 查看RegionServer启动失败节点的hbase-omm-*.out日志，发现日志中存在“An error report file with more information is saved as: /tmp/hs_err_pid*.log”，查看“/tmp/hs_err_pid*.log”发现日志存在“#Internal Erro
- [在集群内节点使用LoadIncrementalHFiles批量导入数据，报错权限不足](https://support.huaweicloud.com/trouble-mrs/mrs_03_0865.md): 在普通集群中手动创建Linux用户，并使用集群内DataNode节点执行批量导入时，为什么LoadIncrementalHFiles工具执行失败报“Permission denied”的异常？如果LoadIncrementalHFiles工具依赖的Client在集群内安装，且和DataNode在相同的节点上，在工具执行过程中HDFS会创建
- [使用Phoenix Sqlline脚本报import argparse错误](https://support.huaweicloud.com/trouble-mrs/mrs_03_0866.md): 在客户端使用sqlline脚本时，报import argparse错误。
- [如何查看ENABLED表的CLOSED状态的Region](https://support.huaweicloud.com/trouble-mrs/mrs_03_0868.md): MRS 3.3.0及之后版本，如何在HBase客户端查看ENABLED表的CLOSED状态的Region。命令不带-details时系统只输出CLOSED状态的Region数量，输入-details时输出所有CLOSED状态的Region名称。命令不指定“TABLENAME”时默认查看所有表。命令执行后如果输出“Closed region
- [集群异常掉电导致HBase文件损坏，如何快速自恢复？](https://support.huaweicloud.com/trouble-mrs/mrs_03_0869.md): MRS 3.3.0及之后版本，集群异常掉电导致HBase的StoreFile文件或WAL文件损坏，如何快速恢复？当StoreFile文件损坏时，相关的Region会一直上线失败并重试，无法对外提供服务；当WAL文件损坏时，日志拆分会一直失败并重试，相关的Region无法重新上线并对外提供服务。HBase服务端提供两个配置项来控制是否跳过损
- [HDFS进入安全模式导致HBase服务异常，退出安全模式后HBase如何快速恢复](https://support.huaweicloud.com/trouble-mrs/mrs_03_0870.md): MRS 3.5.0及之后版本，HDFS进入安全模式后导致HBase服务异常，退出安全模式后HBase如何快速恢复？HDFS进入安全模式后HBase服务异常，导致meta表下线；HDFS退出安全模式后，下线的meta表未上线，查看RegionServer日志存在“No namenode available to invoke create 
- [HBase客户端连接服务端时长时间无法连接成功](https://support.huaweicloud.com/trouble-mrs/mrs_03_0871.md): 在HBase服务端出现问题，无法提供服务，此时HBase客户端进行表操作，会出现该操作挂起，长时间无任何反应。当HBase服务端出现问题，HBase客户端进行表操作的时候，会进行重试，并等待超时。该超时默认值为Integer.MAX_VALUE (2147483647 ms)，所以HBase客户端会在这么长的时间内一直重试，造成挂起表象。
- [在HBase连续对同一个表名做删除创建操作时出现创建表异常](https://support.huaweicloud.com/trouble-mrs/mrs_03_0872.md): 在HBase连续对同一个表名做删除创建操作时，可能出现创建表异常。执行过程：Disable Table > Drop Table > Create Table > Disable Table > Drop Table >...在Disable表时，HMaster会发送RPC请求到RegionServer，RegionServer会将相关R
- [HBase占用网络端口，连接数过大会导致其他服务不稳定](https://support.huaweicloud.com/trouble-mrs/mrs_03_0873.md): HBase占用网络端口，连接数过大会导致其他服务不稳定。使用操作系统命令lsof或者netstat发现大量TCP连接处于CLOSE_WAIT状态，且连接持有者为HBase RegionServer，可能导致网络端口耗尽或HDFS连接超限，最终可能会导致其他服务不稳定。HBase CLOSE_WAIT现象为HBase机制。HBase CLO
- [有210000个map和10000个reduce的HBase BulkLoad任务运行失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0874.md): HBase BulkLoad任务（单个表有26T数据）有210000个map和10000个reduce，任务失败。ZooKeeper IO瓶颈观测手段：通过Manager的监控页面查看单个节点上ZooKeeper请求监控，判断是否严重超出规格限制。通过观测ZooKeeper的日志以及HBase的日志，查看是否有大量的IO Exceptio
- [使用scan命令仍然可以查询到已修改和已删除的数据](https://support.huaweicloud.com/trouble-mrs/mrs_03_0875.md): 为什么使用如下scan命令仍然可以查询到已修改和已删除的数据？由于HBase的可扩展性，在查询表的时候，默认情况下会匹配被查询列的所有版本的值，即使被删除或被修改的值也可以查询出来。对于命中列失败的行（即在某一行中不存在该列），HBase会将该行查询出来。如果用户仅需查询该表的最新值和命中列成功的行，可使用如下查询语句：使用该命令，不但可
- [如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常](https://support.huaweicloud.com/trouble-mrs/mrs_03_0876.md): 如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常。建表过程中如果发生网络故障、HDFS故障或者Active HMaster故障等情况时，可能会造成部分Region上线失败而处于FAILED_OPEN状态，导致建表失败。由于Region上线失败而处于FAILED_OPEN状态造成的建表失败异常不能直接修复，需要删除
- [运行中的Spark作业打不开SparkUI界面](https://support.huaweicloud.com/trouble-mrs/mrs_03_0877.md): MRS集群中的Spark作业运行期间，在Yarn WebUI界面访问SparkUI无法跳转，页面长时间加载中。作业运行结束后，SparkUI可以正常访问。这种情况通常是由于Driver异常导致的，优先检查Driver的GC日志，很可能会看到频繁Full GC的日志。有调用collect()、show()之类的算子，这些算子会把集群内所有数
- [隔离主机并解除隔离后，任务执行失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0878.md): 隔离主机并解除隔离后，任务执行失败。MRS集群节点主机无响应触发主机隔离后，取消隔离并启动该节点上所有实例，NodeManager实例虽被启动，但该节点上所有Yarn容器启动失败。查看NodeManager日志，持续报错：container-log4j.properties (Permission denied), exit code 2

## 组件应用开发规范

- [ClickHouse设计规范概述](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0070.md): 本文主要描述ClickHouse数据管理全生命周期过程中，数据库规划、建模设计、开发、调优、运维的规则建议和指导。通过这些约束和建议，指导开发者在ClickHouse数据库开发使用过程中能够最大化发挥数据库的优势，保障ClickHouse数据库高性能、稳定可靠运行。用户可更专注于上层业务，释放数据更大的价值。规范适用于ClickHouse
- [ClickHouse集群业务规划](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0073.md): 集群规模建议ClickHouse单集群不超过32节点规模（集群规模越小越好）。建议ClickHouse单集群不超过32节点规模（集群规模越小越好）。单集群ZNode规格高负载业务（数据增删改比较频繁场景）控制在150万~200万左右，低负载业务（数据增删改不频繁场景）控制在600万以下。高负载业务（数据增删改比较频繁场景）控制在150万~
- [ClickHouse数据分布设计](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0074.md): 从横向来看ClickHouse数据库集群，所有数据都会平均分布到多个shard分片中进行保存，数据平均分布后，保证了查询的高度并行性，以提升数据的查询性能。从纵向来看，每个shard内部由多个副本组成，保证分片数据的高可靠性，以及计算的高可靠性。Shard数据分片均匀分布建议用户的数据均匀分布到集群中的多个shard分片，如图1所示有3个
- [ClickHouse容量规划设计](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0075.md): 为了能够更好地发挥ClickHouse分布式查询能力，在集群规划阶段需要合理设计集群数据分布存储。当前ClickHouse能力为单机磁盘容量达到80%后会上报告警信息，磁盘容量达90%后集群会处于只读状态。出现磁盘告警信息后需要考虑是否是容量不足问题，如果是容量不足问题需要尽快考虑集群扩容，提升集群整体容量存储。ClickHouse节点及
- [ClickHouse依赖服务设计](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0076.md): 为了保证ClickHouse服务的稳定，需要提早规划好对于底层依赖服务的设计，主要是ZooKeeper，尤其是在使用replicated*系列表引擎的场景下。ZooKeeper默认部署在MRS集群的Master节点，根据节点CPU和内存规格，调整ZooKeeper实例的最大可用内存。登录MRS集群的FusionInsight Manage
- [ClickHouse Database设计](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0078.md): 在业务规划时，不同业务归属于不同数据库，便于后续对应用户关联的数据库下表、视图等数据库对象权限的分离管理和维护。System数据库是ClickHouse默认的系统数据库，默认数据库中的系统表记录的是系统的配置、元数据等的信息数据。业务在使用ClickHouse的时候，需要指定自己业务的数据库进行连接和使用，业务相关的表创建在自己业务库中，
- [ClickHouse表引擎适用场景说明](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0081.md): ClickHouse中最强大的表引擎当属MergeTree（合并树）引擎及该系列其他引擎，根据业务场景选择合适的引擎。自助报表分析、行为数据分析，在不涉及重复数据聚合的情况下，建议使用ReplicatedMergeTree表引擎。涉及到物化视图等聚合函数的场景，建议使用ReplicatedAggregatingMergeTree表引擎。经
- [ClickHouse宽表设计原则](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0083.md): 由于ClickHouse的宽表查询性能较优，且当前ClickHouse可支持几百到几千列的宽表横向扩展。在大部分场景下，有大表两表join以及多表join的场景，且多个join的表数据变化更新频率较低，这种情况，建议对多个表join查询逻辑提前进行加工处理，将处理后的数据写入到一个宽表中，宽表中包含所有要查询的数据字段，以供后续应用完全自
- [ClickHouse表字段设计](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0085.md): 不允许用字符类型存放时间或日期类数据，尤其是需要对该日期字段进行运算或者比较的时候。不允许用字符类型存放数值类型的数据，尤其是需要对该数值字段进行运算或者比较的时候。字符串的过滤效率相对于整型或者特定时间类型有下降。不建议表中存储过多的Nullable列，可以考虑字符串使用“NA”，数值型用0作为缺省值。过多使用Nullable将消耗更多
- [ClickHouse本地表设计](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0086.md): 单表（分布式表）的记录数不要超过万亿，对于万亿以上表的查询，性能较差，且集群维护难度变大。单表（本地表）不超过百亿。表的设计都要考虑到数据的生命周期管理，需要进行TTL表属性设置或定期老化清理表分区数据。单表的字段建议不要超过5000列。因为当一次插入的数据大小超过“min_bytes_for_wide_part”（默认值10485760
- [ClickHouse分布式表设计](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0087.md): 分布式表建表参考：分布式表名称：default.my_table_dis。本地表名称：default.my_table_local。通过“AS”关联分布式表和本地表，保证分布式表的字段定义跟本地表一致。分布式表引擎的参数说明：default_cluster：集群名称，默认为default_cluster。default：本地表所在库名。m
- [ClickHouse分区设计](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0088.md): 合理设置分区键，控制分区数在一万以内，分区字段使用整型。建议使用toYYYYMMDD（pt_d）作为分区键，pt_d是date类型。如果业务场景需要做小时分区，使用pt_d、pt_h做联合分区键，其中pt_h是整型小时数。如果保存多年数据，建议考虑使用月做分区，toYYYYMM（pt_d）。综合考虑数据分区粒度、每个批次提交的数据量、数据
- [ClickHouse索引设计](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0089.md): 在建表设计时指定主键字段的建议按查询时最常使用且过滤性最高的字段作为主键。依次按照访问频度从高到低、维度基数从小到大来排列。数据是按照主键排序存储的，查询的时候，通过主键可以快速筛选数据，合理的主键设计，能够大大减少读取的数据量，提升查询性能。例如所有的分析，都需要指定业务的id，则可以将业务id字段作为主键的第一个字段顺序。按查询时最常
- [ClickHouse物化视图概述](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0091.md): 由于TTL规则不会从原始表中同步到物化视图表，因此源表中带有TTL规则时，物化视图表同样需要配置TTL规则，并且建议与源表保持一致。Projection仅在MRS 3.2.0及以上的版本集群中支持。
- [ClickHouse普通物化视图设计](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0093.md): 在查询方式固定的场景，建议使用物化视图加速。物化视图创建参考如下：明细表创建CREATE TABLE counter ON CLUSTER default_cluster
(
when DateTime DEFAULT now(),
device UInt32,
value Float32
) ENGINE=MergeTree
PARTI
- [ClickHouse Projection设计](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0094.md): Projection仅在MRS 3.2.0及以上的版本集群中支持。在创建好projection后还可以对projection进行修改，具体语句如下：如下SQL查询的时候会走表达式：SELECT type, count() FROM test_projection_table WHERE type = 'A' GROUP BY type;S
- [ClickHouse逻辑视图设计](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0095.md): 建议如下：业务逻辑上有很多比较复杂的SQL运算，可以封装为一个视图，后续查询时只查询视图，简化业务查询使用。如果业务间有权限隔离诉求，可将部分数据查询封装到视图中，使用视图方只能看到视图下有限行及列的数据。
- [ClickHouse数据入库最佳实践](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0098.md): ClickHouse数据加工流程最佳实践：在数据湖中通过Hive&Spark（批量）/FlinkSQL（增量）加工成大宽表后，通过JDBC将数据批量写入ClickHouse中，下游BI工具和应用进行实时OLAP分析。建议使用Hive/Spark进行数据批量加工，FlinkSQL进行数据增量加工。通过Spark/Flink的JDBC进行数据
- [ClickHouse数据入库规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0099.md): 写本地表，查询分布式表，提升写入和查询性能，保证写入和查询的数据一致性。只有在去重诉求的场景下，可以使用分布式表插入，通过sharding key将要去重的数据转发到同一个shard，便于后续去重查询。外部模块保证数据导入的幂等性。ClickHouse不支持数据写入的事务保证。通过外部导入数据模块控制数据的幂等性，比如某个批次的数据导入异
- [ClickHouse数据查询](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0101.md): 禁止select *查询只查询需要的字段可以减少磁盘IO和网络IO，提升查询性能。只查询需要的字段可以减少磁盘IO和网络IO，提升查询性能。使用uniqCombined替代distinctuniqCombined对去重逻辑进行了优化，通过近似去重提升十倍查询性能，如果对查询允许有误差，可以使用uniqCombined替代，否则还继续使用d
- [ClickHouse数据库应用开发](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0104.md): 在ClickHouse的使用过程中，由于使用不规范的方式访问和查询，导致业务失败的情况时有发生。此外，偶尔也会发生因为网络闪断等导致连接和查询失败的情况。MRS提供了ClickHouse的样例代码工程，旨在提供连接重试机制和规范化用户连接和查询的方法，从而减少业务失败的风险，提升系统的稳定性和可靠性。本样例代码工程包含了连接、查询和插入相
- [ClickHouse调优思路](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0106.md): ClickHouse的总体性能调优思路为：首先进行业务场景分析，ClickHouse对于大宽表查询分析具有优势。例如对于多表复杂Join关联分析和跑批场景不擅长，此场景建议放到Spark进行批处理或其他数仓服务中承载业务。例如对于多表复杂Join关联分析和跑批场景不擅长，此场景建议放到Spark进行批处理或其他数仓服务中承载业务。如果经过
- [ClickHouse系统调优](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0107.md): 通过FusionInsight Manager查看主机上的CPU、内存、I/O和网络资源使用情况，确认这些资源是否已被充分利用，分以下几种情况：每个节点资源占用都比较均匀，且资源使用率不高通过观察资源在每个节点都使用比较均匀，说明系统资源使用比较正常，可以先不关注资源问题，进一步分析SQL语句是否有进一步优化的余地。通过观察资源在每个节点
- [ClickHouse SQL调优](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0108.md): 如果我们收到需求SQL执行较慢，需要通过调优解决。需要分析SQL性能瓶颈点，是资源瓶颈还是非资源瓶颈问题，如果是资源瓶颈问题可以通过扩容解决，否则有以下几个方法进一步排查调优，调优原则为尽可能通过优化手段从磁盘上扫描最少数据，以提升单条SQL查询性能，这样集群所有SQL整体查询性能和并发/TPS才能获取较优的调优结果。业务合理性分析需要联
- [ClickHouse参数调优实践](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0109.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [ClickHouse日志管理](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0118.md): 日志级别、日志文件大小、日志文件数目的修改设置。ClickHouse支持日志级别的动态调整。登录FusionInsight Manager界面，访问“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 日志 > logger.level”，可进行日志级别动态调整。日志级别优先级从低到
- [ClickHouse日志管理规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0119.md): ClickHouse相关日志的默认存储路径为：“${BIGDATA_LOG_HOME}/clickhouse”。ClickHouseServer运行相关日志：“/var/log/Bigdata/clickhouse/clickhouseServer/ *.log”。ClickHouseBalancer运行日志：“/var/log/Bigd
- [ClickHouse日志详细信息](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0120.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [ClickHouse TTL表变更](https://support.huaweicloud.com/devg-rule-mrs/mrs_05_0156.md): 方案一：新建一张TTL时间为最新时间的表结构相同但名不同的表，把原表的数据导入新表，交换表名字；方案二：业务代码中异步下发ClickHouse的修改TTL语句，下发之后业务代码不需要等待执行结果：类似在shell中，nohup sh xx.sh & --xx.sh中为修改TTL语句：alter table default.test_aut
- [HBase应用开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450015.md): 该类应该通过调用HBaseConfiguration的create()方法来实例化。否则，将无法正确加载HBase中的相关配置项。正确示例：错误示例：HBase客户端代码通过创建一个与ZooKeeper之间的HConnection，来获取与一个HBase集群进行交互的权限。一个ZooKeeper的HConnection连接，对应着一个Co
- [HBase应用开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450016.md): Admin中，提供了关闭一个Region的接口：public void closeRegion(final String regionname, final String serverName)通过该方法关闭一个Region，HBase Client端会直接发RPC请求到Region所在的RegionServer上，整个流程对Master
- [HDFS应用开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450021.md): NameNode元数据信息的默认存储路径为“${BIGDATA_DATA_HOME}/namenode/data”，该参数用于确定HDFS文件系统的元数据信息的保存路径。NameNode的镜像备份参数为“fs.namenode.image.backup.enable”，需要设置该值为“true”，系统即可定期备份NameNode的数据。D
- [HDFS应用开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450022.md): HDFS不支持随机读和写。HDFS追加文件内容只能在文件末尾添加，不能随机添加。只有存储在HDFS文件系统中的数据才支持append，edit.log以及数据元文件不支持Append。Append追加文件时，需要将“hdfs-site.xml”中的“dfs.support.append”参数值设置为true。dfs.support.app
- [Hive应用开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450025.md): 客户端程序以JDBC的形式连接HiveServer时，需要首先加载Hive的JDBC驱动类org.apache.hive.jdbc.HiveDriver。故在客户端程序的开始，必须先使用当前类加载器加载该驱动类。如果classpath下没有相应的jar包，则客户端程序抛出Class Not Found异常并退出。如下：使用JDK的驱动管理
- [Hive应用开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450026.md): 查询语句使用字段的值做过滤时，不建议通过Hive自身的隐式类型转换来编写HQL。因为隐式类型转换不利于代码的阅读和移植。建议示例：不建议示例：表tbl_src的id字段为Int类型，name字段为String类型。HQL的对象名称，包括表名、字段名、视图名、索引名等，其长度建议不要超过30个字节。Oracle中任何对象名称长度不允许超过3
- [Kafka应用开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450030.md): 对于Java开发语言，正确示例：import kafka.zk.AdminZkClient;
import kafka.zk.KafkaZkClient;
import kafka.admin.RackAwareMode;
… 
KafkaZkClient kafkaZkClient = KafkaZkClient.apply(zkUrl
- [Kafka应用开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450031.md): 若同一个组的消费者数量多于Topic的Partition数时，会有多余的消费者一直无法消费该Topic的消息，若消费者数量少于Topic的Partition数时，并发消费得不到完全体现，因此建议两者相等。单条记录超大的数据在影响处理效率的同时还可能写入失败，此时需要在初始化Kafka生产者实例时根据情况调整“max.request.siz
- [Mapreduce应用开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450034.md): 在Mapreduce任务的Map阶段，会执行map()及setup()方法。正确示例：在Mapreduce任务的Reduce阶段，会执行reduce()及setup()方法。正确示例：main()方法创建一个job，指定参数，提交作业到hadoop集群。正确示例：
- [Mapreduce应用开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450035.md): 全局使用的配置项，在“mapred-site.xml”配置文件中指定。如下示例给出接口所对应的“mapred-site.xml”中的配置项。示例：
- [Spark应用开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450051.md): 对于Java开发语言，正确示例：// 创建SparkContext时所需引入的类。
import org.apache.spark.api.java.JavaSparkContext
// RDD操作时引入的类。
import org.apache.spark.api.java.JavaRDD
// 创建SparkConf时引入的类。
i
- [Spark应用开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450052.md): RDD在默认情况下的存储级别是StorageLevel.NONE，即既不存磁盘也不放在内存中，如果某个RDD需要多次使用，可以考虑将该RDD持久化，方法如下：调用spark.RDD中的cache()、persist()、persist(newLevel:StorageLevel)函数均可将RDD持久化，cache()和persist()都
- [IoTDB应用开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450067.md): 关于IoTDB Session接口样例，安全模式集群可参考IoTDB Session程序章节，普通模式集群可参考IoTDB Session程序章节。写入接口性能由高到低排序如下：insertTablets（多设备多行同列） >insertTablet（单设备多行同列） >insertRecordsOfOneDevice （单设备多行不同列
- [Doris建表规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450069.md): 该章节主要介绍创建Doris表时需遵循的规则和建议。在创建Doris表指定分桶buckets时，每个桶的数据大小应保持在100MB~3GB之间，最大不超过5GB；单分区中最大分桶数量不超过200，且单个表分区不超过3000，集群中最大表数量不超过5000。表数据超过5亿条以上必须设置分区分桶策略。创建Doris表时，单个数据库下建议不要超
- [Doris数据变更规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450070.md): 该章节主要介绍Doris数据变更时需遵循的规则和建议。禁止高频执行update、delete或truncate操作，推荐几分钟执行一次，使用update必须设置分区或主键列条件。应用程序不能直接使用delete或者update语句变更数据，可以使用CDC的upsert方式来实现。不建议业务高峰期或在表上频繁地进行加减字段，建议在业务前期规
- [Doris命名规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450071.md): 该章节主要介绍创建Doris数据库或表时，数据库名或表名需遵循的规则和建议。数据库字符集需指定为UTF-8，并且只支持UTF-8。数据库名称统一使用小写方式，中间使用下划线（_）分隔，长度为62字节以内。Doris表、列、视图等名称的命名，建议统一使用小写方式，由英文字母、数字及下划线组成，长度为64字节以内。
- [Doris数据查询规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450072.md): 该章节主要介绍Doris数据查询时需遵循的规则和建议。在数据查询业务代码中建议查询失败时进行重试，再次下发查询。IN中常量枚举值超过1000后，必须修改为子查询。禁止使用REST API（Statement Execution Action）执行大量SQL查询，该接口仅用于集群维护。查询条件返回结果超过5万条，则使用JDBC Catalo
- [Doris数据导入规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450073.md): 该章节主要介绍Doris数据导入规范。禁止使用INSERT INTOtbl1VALUES (“1”), (“a”);方式导入数据，少量少次写可以，多量多频次时需使用Doris提供的StreamLoad、BrokerLoad或者Flink Connector方式。在Flink实时写入数据到Doris的场景下，CheckPoint设置的时间需
- [Doris UDF开发规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450074.md): 本章节主要介绍开发Doris UDF程序时应遵循的规则和建议。UDF中方法调用必须是线程安全的。UDF实现中禁止读取外部大文件到内存中，如果文件过大可能会导致内存耗尽。需避免大量递归调用，否则容易造成栈溢出或oom。需避免不断创建对象或数组，否则容易造成内存耗尽。Java UDF应该捕获和处理可能发生的异常，不能将异常给服务处理，以避免程
- [Doris连接运行规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450075.md): 连接Doris和运行Doris任务时需遵循的规范如下：推荐使用ELB连接Doris，避免当连接的FE故障时，无法对外提供服务。当Doris单实例或硬件故障时，新提交的任务能运行成功，但不能确保故障时正在运行的任务能执行成功。因此，需要用户连接Doris执行任务时进行失败重试，当任务遇到未知原因失败时，能保证重试新提交的任务能运行成功。
- [Impala应用开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450077.md): 如果已经创建了两个Catalog和StateStore，Impalad角色需要指定--catalog_service_host和--state_store_host，Catalog角色需要指定--state_store_host。Impala的元数据存放在内存中，Impalad需要从Catalog同步全量元数据，要保证Impala的jvm
- [Impala应用开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450078.md): Coordinator承担缓存元数据，解析SQL执行计划，和响应客户端请求的功能主要使用jvm内存，而Executor承担数据读写，算子计算等功能，主要使用offheap内存；拆分后可有效提升内存使用率；另外，所有的SQL执行统计均在Coordinator中记录，分离后可通过访问几个Coordinator节点获取整个集群的SQL运行情况，
- [IoTDB应用开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450105.md): 设置合理数量的存储组可以带来性能的提升。既不会因为产生过多的存储文件/文件夹导致频繁切换I/O降低系统速度（并且会占用大量内存且出现频繁的内存-文件切换），也不会因为过少的存储文件夹（降低了并发度从而）导致写入命令阻塞。应根据自己的数据规模和使用场景，平衡存储文件的存储组设置，以达到更好的系统性能。时间序列可以被看作产生时序数据的传感器所
- [Hudi开发规范概述](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450106.md): 本规范主要描述基于MRS-Hudi组件进行湖仓一体、流批一体方案的设计与开发方面的规则。其主要包括以下方面的规范：数据表设计资源配置性能调优常见故障处理常用参数配置本规范采用以下的术语描述：规则：编程时强制必须遵守的原则。建议：编程时必须加以考虑的原则。说明：对此规则或建议进行的解释。示例：对此规则或建议从正、反两个方面给出。基于MRS-
- [Hudi表模型设计规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450111.md): Hudi表必须设置合理的主键。Hudi表提供了数据更新和幂等写入能力，该能力要求Hudi表必须设置主键，主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键，两种主键类型均要求主键不能有null值和空值，不要包含逗号和冒号。Hudi主键不可以为Timestamp格式，由于Spark与Hudi对timestamp格式处理有差异，
- [Hudi表模型设计规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450111_0.md): Hudi表必须设置合理的主键。Hudi表提供了数据更新和幂等写入能力，该能力要求Hudi表必须设置主键，主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键，两种主键类型均要求主键不能有null值和空值，不要包含逗号和冒号。Hudi主键不可以为Timestamp格式，由于Spark与Hudi对timestamp格式处理有差异，
- [Hudi表索引设计规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450112.md): 禁止修改表索引类型。Hudi表的索引会决定数据存储方式，随意修改索引类型会导致表中已有的存量数据与新增数据之间出现数据重复和数据准确性问题。常见的索引类型如下：布隆索引：Spark引擎独有索引，采用bloomfilter机制，将布隆索引内容写入到Parquet文件的footer中。Bucket索引：在写入数据过程中，通过主键进行Hash计
- [Hudi表索引设计规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450112_0.md): 禁止修改表索引类型。Hudi表的索引会决定数据存储方式，随意修改索引类型会导致表中已有的存量数据与新增数据之间出现数据重复和数据准确性问题。常见的索引类型如下：布隆索引：Spark引擎独有索引，采用bloomfilter机制，将布隆索引内容写入到Parquet文件的footer中。Bucket索引：在写入数据过程中，通过主键进行Hash计
- [Hudi表分区设计规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450113.md): 分区键不可以被更新且不能为NULL：Hudi具有主键唯一性机制，但在分区表的场景下通常只能保证分区内主键唯一，因此如果分区键的值发生变更后，会导致相同主键的行记录出现多条的情况。在以日期分区的场景，可采用数据的创建时间为分区字段，切记不要采用数据更新时间做分区。当指定Hudi的索引类型为Global索引类型时，Hudi支持跨分区进行数据更
- [Hudi数据表Compaction规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450115.md): mor表更新数据以行存log的形式写入，log读取时需要按主键合并，并且是行存的，导致log读取效率比parquet低很多。为了解决log读取的性能问题，Hudi通过compaction将log压缩成parquet文件，大幅提升读取性能。有数据持续写入的表，24小时内至少执行一次compaction。对于MOR表，不管是流式写入还是批量写
- [Hudi数据表Clean规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450116.md): Clean也是Hudi表的维护操作之一，该操作对于MOR表和COW表都需要执行。Clean操作的目的是为了清理旧版本文件（Hudi不再使用的数据文件），这不但可以节省Hudi表List过程的时间，也可以缓解存储压力。Hudi表必须执行Clean。对于Hudi的MOR、COW表，都需要开启Clean。Hudi表在写入数据时会自动判断是否需要
- [Hudi数据表Archive规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450117.md): Archive（归档）是为了减轻Hudi读写元数据的压力，所有的元数据都存放在这个路径：Hudi表根目录/.hoodie目录，如果.hoodie目录下的文件数量超过10000就会发现Hudi表有非常明显的读写时延。Hudi表必须执行Archive。对于Hudi的MOR类型和COW类型的表，都需要开启Archive。Hudi表在写入数据时会
- [SparkSQL建表参数规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450130.md): 建表必须指定primaryKey和preCombineField。Hudi表提供了数据更新的能力和幂等写入的能力，该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力，不指定preCombineField会导致主键重复。参数名称参数描述输入值说明primaryKeyhudi主键不能包含null、空值
- [Spark增量读取Hudi参数规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450131.md): 增量查询之前必须指定当前表的查询为增量查询模式，并且查询后重新设置表的查询模式。如果增量查询完，不重新将表查询模式设置回去，将影响后续的实时查询。
- [Spark异步任务执行表compaction参数设置规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450132.md): 写作业未停止情况下，禁止手动执行run schedule命令生成compaction计划。错误示例：run schedule on dsrTable如果还有别的任务在写这张表，执行该操作会导致数据丢失。错误示例：如果还有别的任务在写这张表，执行该操作会导致数据丢失。执行run compaction命令时，禁止将hoodie.run.com
- [Spark on Hudi表数据维护规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450133.md): 禁止通过Alter命令修改表关键属性信息：type/primaryKey/preCombineField/hoodie.index.type错误示例，执行如下语句修改表关键属性：Hive/Presto等引擎可以直接修改表属性，但是这种修改会导致整个Hudi表出现数据重复，甚至数据损坏；因此禁止修改上述属性。
- [Spark并发写Hudi建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450134.md): 不建议同分区内并发写，这种并发写入需要开启Hudi OCC方式并发写入，必须严格遵守并发参数配置，否则会出现表数据损坏的问题。并发OCC参数控制：SQL方式：--开启OCC。
set hoodie.write.concurrency.mode=optimistic_concurrency_control;
set hoodie.clean
- [Spark读写Hudi资源配置建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450135.md): Spark读写Hudi任务资源配置规则，内存和CPU核心的比例2:1，堆外内存和CPU核心比例0.5:1；即一个核心，需要2 GB堆内存，0.5 GB堆外内存。Spark初始化入库场景，由于处理的数据量比较大，上述资源配比需要调整，内存和Core的比例推荐4:1，堆外内存和Core的比例1:1。配置示例：spark-submit
  --
- [Spark On Hudi性能调优](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450136.md): 开启spark.shuffle.readHostLocalDisk=true，本地磁盘读取shuffle数据，减少网络传输的开销。开启spark.io.encryption.enabled=false，关闭shuffle过程写加密磁盘，提升shuffle效率。开启spark.shuffle.service.enabled=true，启动s
- [Flink开发规范概述](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450138.md): 本规范主要描述基于MRS-Flink组件进行湖仓一体、流批一体方案的设计与开发方面的规则。其主要包括以下方面的规范：数据表设计资源配置性能调优常见故障处理常用参数配置本规范采用以下的术语描述：规则：编程时必须遵守的原则。建议：编程时必须加以考虑的原则。说明：对此规则或建议进行的解释。示例：对此规则或建议给出示例。基于MRS-Flink数据
- [创建Bucket索引的MOR表](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450138_0.md): Bucket索引常用设置参数：Spark：hoodie.index.type=BUCKET
hoodie.bucket.index.num.buckets=5Flinkindex.type=BUCKET
hoodie.bucket.index.num.buckets=5根据表的使用场景一般将表分为事实表和维度表：事实表通常整表数据规模较大
- [Hudi表初始化](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450139.md): 初始化导入存量数据通常由Spark作业来完成，由于初始化数据量通常较大，因此推荐使用API方式给充足资源来完成。对于批量初始化后需要接Flink或Spark流作业实时写入的场景，一般建议通过对上游消息进行过滤，从一个指定的时间范围开始消费来控制数据的重复接入量（例如Spark初始化完成后，Flink消费Kafka时过滤掉2小时之前的数据）
- [实时任务接入](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450140.md): 实时作业一般由Flink Sql或Sparkstreaming来完成，流式实时任务通常配置同步生成compaction计划，异步执行计划。Flink SQL作业中sink端Hudi表相关配置如下：create table denza_hudi_sink (
$HUDI_SINK_SQL_REPLACEABLE$
) PARTITIONED
- [离线Compaction配置](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450141.md): 对于MOR表的实时业务，通常设置在写入中同步生成compaction计划，因此需要额外通过DataArts或者脚本调度SparkSQL去执行已经产生的compaction计划。执行参数set hoodie.compact.inline = true;                       --打开compaction操作。
set 
- [FlinkSQL ClickHouse表开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450145.md): Flink作业在ClickHouse中找不到对应表会报错，所以需提前在ClickHouse中创建好对应的表。由于不支持删除操作，Flink无法对ClickHouse的数据进行回撤。在Flink处理更新数据的时候产生的回撤流就无法在ClickHouse中执行，导致数据结果不对。同时通过Flink CDC对接上游数据库写ClickHouse的
- [FlinkSQL ClickHouse表开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450146.md): 配置多个ClickHouseBalancer实例IP可以避免ClickHouseBalancer实例单点故障。相关配置（with属性）如下：ClickHouseBalancer实例IP：服务的实例IP地址可通过登录Manager界面后，选择“集群 > 服务 > ClickHouse > 实例”，在实例列表页面中查询。ClickHouseB
- [FlinkSQL Doris数据表开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450148.md): Flink作业在Doris中找不到对应表会报错，所以需要提前在Doris中创建好对应的表。Flink作业在触发CheckPoint时才会往Doris表中写数据。
- [FlinkSQL Kafka表开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450150.md): 【示例】向Kafka的“test_sink”主题插入一条消息：【示例】以“testGroup”为用户组读取主题为“test_sink”的Kafka消息：topic-pattern：主题模式，用于source表，可使用正则表达式的主题名称。【示例】以下source表将订阅所有以“test-topic-”开头，单个数字结尾的主题消息：Kafk
- [FlinkSQL Kafka表开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450151.md): 本章节适用于MRS 3.3.0及以后版本。防止上限超过流量峰值，导致作业异常带来不稳定因素。因此建议设置限流，限流上限应该为业务上线压测的峰值。【示例】Kafka作为source表时设置限流：Flink写Kafka使用fixed策略，并在写入之前根据key进行Hash。【示例】Flink写Kafka使用fixed策略：当Kafka Sou
- [FlinkSQL HBase数据表开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450153.md): Flink作业在HBase中找不到对应表会报错，所以需要提前在HBase中创建好对应的表。当HBase与Flink为同一集群或互信的集群，支持FlinkServer对接HBase。当HBase与Flink不在同一集群或不互信的集群，则只支持Flink和HBase均为普通模式集群的对接。修改FlinkServer节点上面配置文件目录及其上层
- [FlinkSQL HBase数据表开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450154.md): Flink客户端提交作业，如SQL client提交，在建表语句中添加如下配置：Flink作业with属性配置说明'properties.hbase.rpc.protection' = 'authentication'需和HBase服务端的配置一致。'properties.zookeeper.znode.parent' = '/hbase
- [Flink流式读Hudi表规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450157.md): Flink流式读Hudi表参数规范如下所示：
- [Flink流式读Hudi表建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450158.md): 当下游消费Hudi过慢，上游写入端会把Hudi文件归档，导致File Not Found问题。优化建议如下：调大read.tasks。如果有限流则调大限流参数。调大上游compaction、archive、clean参数。
- [Flink流式写Hudi表规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450160.md): Flink流式写Hudi表参数规范如下表所示。表名必须以字母或下划线开头，不能以数字开头。表名只能包含字母、数字、下划线。表名长度不能超过128个字符。表名中不能包含空格和特殊字符，如冒号、分号、斜杠等。表名不区分大小写，但建议使用小写字母。Hive保留关键字不能作为表名，如select、from、where等。【示例】表名：
- [Flink流式写Hudi表建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450161.md): 为了方便在Spark和Flink上都能读写Hudi表，推荐使用SparkSQL统一创建hudi表。【示例】使用SparkSQL创建hudi表：Flink作业中开启Compaction，会额外消耗TaskManager资源，从而影响Flink作业数据入湖的实时性。推荐在Flink中关闭Compaction，单独启用Spark作业进行异步Co
- [Flink on Hudi作业参数规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450163.md): Flink作业参数配置规范如下表所示。Checkpoint执行时长和Checkpoint的数据量相关，数据量越大执行耗时越大Checkpoint间隔时长是指多长时间触发一次Checkpoint操作，启动Checkpoint后执行时长超过Checkpoint超时时长会导致作业失败。CDC场景下为保障Flink计算的准确，需要在Hudi表中保
- [Flink on Hudi作业参数建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450164.md): Hudi表作为Source表，防止上限超过流量峰值，导致作业出现异常带来不稳定因素，因此建议设置限流，限流上限应该为业务上线压测的峰值。使用时需添加如下参数：Flink On Hudi作业建议设置Checkpoint容忍次数多次，如5，具体根据实际业务需要进行设置。如果不开启Hive风格分区配置，则不支持Spark和Flink混合使用。【
- [Flink任务开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450166.md): 在针对更新数据进行聚合需要选择合适的解决方案，否则聚合结果会是错误的。例如：Create table t1(
    id  int,
    partid int,
    value int
);
select
   partid,sum(value) 
 from t1 
 group by partid;第一批数据：[1,1,10
- [Flink任务开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450167.md): Checkpoint保存数默认是1，也就是只保存最新的Checkpoint的状态文件，当进行状态恢复时，如果最新的Checkpoint文件不可用（比如HDFS文件所有副本都损坏或者其他原因），那么状态恢复就会失败。如果设置Checkpoint保存数为2，即使最新的Checkpoint恢复失败，那么Flink会回滚到之前那一次Checkpo
- [Flink SQL逻辑开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450169.md): Hudi维度表都在TM heap中，当维表过多时heap中保存的维表数据过多，TM会不断GC，导致作业性能下降。【示例】lookup join维表数5个：当Join表过多时，状态后端压力太大会导致端到端时延增加。【示例】实时Join维表数3个：嵌套层级越多，回撤流的数据量越大。【示例】关联嵌套3层：Hudi维度表都在TM heap中，当维
- [Flink SQL逻辑开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450170.md): 提前过滤是提升查询效率的关键手段，其核心价值在于通过缩减shuffle阶段前的数据量，降低网络IO消耗。在表关联（join）操作前先对数据进行过滤，比在ON条件或WHERE子句中过滤更能有效减少参与关联的数据量。这一差异的本质是执行顺序的改变：优化前，数据会先经过shuffle再进行过滤，大量无效数据参与了跨节点传输；优化后，过滤逻辑提前
- [Flink性能调优规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450172.md): 当Hudi Source算子Checkpoint完成时间长时，可检查该Hudi表compaction是否正常。因为当长时间不做compaction时list性能会变差。具体使用指导参考通过表级TTL进行状态后端优化。任务运行的速度和并行度相关，一般来说提升并行度能有效提升读取的速度，但是过大的并行度可能导致部分节点资源的浪费，过小的并行度
- [Flink性能调优建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450173.md): Hudi的Mor表可以通过log index提升读写性能，在Sink和Source表添加属性 'hoodie.log.index.enabled'='true'。读写Hudi可以通过配置读写并发提升读写性能。读算子的并行度调整参数：read.tasks写算子的并行度调整参数：write.tasks读算子的并行度调整参数：read.task
- [Flink开发样例](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450175.md): Flink支持对接ClickHouse、HBase、HDFS等多个服务，具体支持版本及样例详情可参考如下：FlinkServer对接ClickHouseFlinkServer对接HBaseFlinkServer对接HDFSFlinkServer对接HiveFlinkServer对接HudiFlinkServer对接Kafka
- [FlinkSQL Elasticsearch表开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450177.md): Flink支持1.12.2及以后版本，Elasticsearch支持7.10.2及以后版本。安全模式的Flink集群支持对接安全模式和普通模式的Elasticsearch集群。当安全模式的Flink集群对接普通模式的Elasticsearch集群时需设置如下参数：登录FusionInsight Manager页面，选择“集群 > 服务 >
- [FlinkSQL Elasticsearch表开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450178.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [FlinkSQL DWS表开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450180.md): 若开发FlinkSQL DWS表作业，需要在DWS中创建数据表。由于Flink作业在DWS中找不到对应表会报错，所以需要提前在DWS中创建好用于接收数据的空表。
- [FlinkSQL DWS表开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450181.md): 开发FlinkSQL DWS作业，DWS可以作为源表、结果表和维表。开发FlinkSQL DWS表请参考Flink SQL概述。
- [FlinkSQL Redis表开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450183.md): Flink Redis作业参数配置规范如下表所示。【示例】系统域名：可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信”，查看“本端域”参数，即为当前系统域名host、port：分别为Redis集群的其中一个实例IP（业务平面）和端口号。Redis实例的端口计算方式为：22400+该实例的ID-1。实例I
- [FlinkSQL Redis表开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450184.md): sink.batch.max-size：开启批写Redis并设置批写数量（正整数），单位：条。“-1”表示不开启批写Redis。开启该功能可提升大数据场景下性能表现，但不适合对实时性要求过高的场景，建议批写数量不超过30000。开启该参数需同步开启CheckPoint。开启该功能可提升大数据场景下性能表现，但不适合对实时性要求过高的场景，
- [FlinkSQL Hive表开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450186.md): Flink作业在Hive中找不到对应表会报错，所以需要提前在Hive客户端创建好对应的表。FlinkServer对接Hive使用对接MetaStore的方式，故需要Hive开启MetaStore功能。查看Hive是否开启MetaStore功能：登录FusionInsight Manager，选择“集群 > 服务 > Hive > 配置 >
- [FlinkSQL Hive表开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450187.md): 例如集群连接名称为“flink_hive”，创建hive Catalog时配置集群连接名称“cluster.name”为“flink_hive”。CREATE CATALOG myhive WITH (   
  'type' = 'hive',   
  'hive-version' = '3.1.0',   
  'default-d
- [FlinkSQL JDBC表开发规则](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450195.md): JDBC作为sink表时，需要提前在对应数据库（如MySQL）中创建好用于接收数据的空表。JDBC作为维表时，需要提前在对应数据库（如MySQL）中创建好维度表。
- [FlinkSQL JDBC表开发建议](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450196.md): 参考表1开发Flink SQL作业。
- [DGC方式如何创建Flink Hive SQL作业](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450197.md): 在数据治理中心（DataArts Studio-DGC）创建Flink Hive SQL作业，实现从Kafka等数据源读取数据并写入Hive表。但该方式的作业创建流程与普通Flink SQL作业有所不同，需要配置Hive Catalog和特定的SQL语句。使用DGC方式如何创建Flink Hive SQL作业。若通过DGC方式创建提交Fl
- [Flink作业提交时报错端口范围不足](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450198.md): Flink作业提交时，没有足够的端口分配给actor system，导致作业启动失败，报错：Could not start actor system on any port in port range 32326-32390。MRS集群上服务众多，如果不限制端口范围可能导致其他服务端口被占用而导致异常，因此MRS集群给每个服务分配的端口范
- [Flink对接Elasticsearch作业运行一段时间后Checkpoint失败](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450199.md): Flink对接Elasticsearch作业，运行一段时间（TGT的有效期一般为24小时）后，写Elasticsearch失败，Checkpoint超时报错。TGT（Ticket Granting ticket）：票据授权票据。Flink对接Elasticsearch作业在运行过程中，TGT超期后会重新进行认证，此时Elasticsear
- [Flink Jar包冲突报错ClassCastException类型转换异常](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450200.md): Flink lib中引入第三方依赖包后，启动作业报错：引入的第三方依赖包与Flink中的依赖包有冲突，第三方依赖包中的类不兼容，导致某些函数实例化失败。方法一：排包，排除引入的第三方jar中的冲突包，建议优先使用该方法。方法二：将flink-conf.yaml配置文件中配置项“classloader.resolve-order”的值修改为
- [如何设置开源Flink中的znode存储目录](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450201.md): 如何将开源Flink中的znode存储目录设置为自定义目录。如设置目录为/flink_base/flink，在flink-conf.yaml配置文件中将“high-availability.zookeeper.path.under.quota”的值设置为“/flink_base/flink”。【示例】在flink-conf.yaml配置文
- [确定表类型](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450203.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [确定表索引](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450204.md): COW表一直使用insert overwrite方式写入，可以选择BUCKET索引。COW使用insert into方式写入，要慎用BUCKET索引，因为BUCKET索引可能导致增量数据要去更新所有的BUCKET桶，后面会越写越慢。数据量在万级或百万级，COW选择SIMPLE和BUCKET都可以，差别不是很大。数据量在千万级以上，建议SI
- [确定写入方式](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450205.md): delete不用来删除分区，删除分区请用drop partition命令，具体请参考常用SQL介绍。对于bucket索引，写入任务可能会遇到重复Bucket ID的报错“Find multiple files at partition xxx belongs to the same bucket id = xxx”。常见的报错场景：ins
- [创建Hudi表](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450206.md): DGC执行SparkSQL分为代理连接和API连接，在使用API连接执行Hudi相关的命令时需要在作业的运行中参数中添加"--conf spark.support.hudi=true"。Hudi表的字段名称不能大写，因为Spark/Flink/Hive/HetuEngine引擎之间有大小写兼容性差异。Hudi表必须有主键，主键字段的值不能
- [选择合适的表服务执行方式](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450207.md): 严格按照模板执行，不允许删除/增加/修改其中的参数。insert overwrite场景。此场景不管是cow表还是mor表，都只需要做clean和archive，不需要做compaction。推荐直接用cow表。按照下面这个模板直接使用：set hoodie.cleaner.commits.retained = 5; // clean默认
- [常用参数介绍及使用场景](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450208.md): 常用业务场景案例：初始化Hudi表，迁移大批量数据。该初始化方式只能执行一次，用于第一次迁移大批量数据到Hudi表，后续增量任务不能再继续使用。下面这3种案例足够用来快速运维所有的MOR表和COW表，参数请勿私自修改，该运维手段不适合作为长期的运维，正常的运维过程请参考选择合适的表服务执行方式章节。常用业务场景案例一：MOR表里有很多co
- [常用SQL介绍](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450209.md): MRS后台客户端执行Hudi相关的SQL，必须source Hudi的component_env。DGC执行Hudi相关的SQL，如果是API连接必须在作业的运行中参数添加“--conf spark.support.hudi=true”。
- [Compaction篇](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450211.md): 执行show compaction on <database name>.<table name>MRS 3.5.0-LTS之前版本：分析结果：返回结果为空，代表compaction未配置，Hudi表没有做过一次compaction。返回结果第二列的值为compaction，代表这是一个compaction计划，该计划未被执行。返回结果第
- [Clean篇](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450212.md): 判断标准：查看.hoodie目录，如果该目录里有.clean结尾的元数据文件存在，则clean在执行。举例：Hudi表未做过clean：Hudi表做过clean：判断标准：随机找一个近期写的parquet文件，parquet文件名称中第一个下划线之前的内容就是FileID，FileID相同的parquet文件数量就是文件版本数。通用场景下
- [Archive篇](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450213.md): 判断标准：查看“.hoodie/archived”目录下是否有“.commits_.archive”文件，如果有的则archive在执行。判断标准：统计“.hoodie”目录下的文件个数，记作A。批场景，A在100~200范围之内比较合适，业务可以根据此范围调整。流场景，A在1000~2000范围之内比较合适，业务可以根据此范围调整，超过
- [性能篇](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450214.md): 排查索引。执行desc formatted库名.表名，查询Hudi表的location属性，这个是Hudi表的物理路径（一般是HDFS路径和OBS路径）。在Hudi表物理路径下“.hoodie”目录的“hoodie.index.properties”文件中可以看到索引信息，这里的索引最准确。因为用户可能在建表的时候把索引写错了，导致最终的
- [Flink使用print connector定位数据问题](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450216.md): 在使用Flink过程中有时会遇到数据处理结果与预想不一致的问题。比如通过与源端对比，有的数据应该删除，但在最终处理结果中并没有被删除。造成这种问题的原因较多，可以借用print connector将Flink处理的数据打印出来，通过查看数据的输出结果来定位问题。print connector使用方式：CREATE TABLE KafkaS
- [Flink使用pipeline.operator-chaining定位问题](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450217.md): Flink运行过程中会将算子进行串联形成一个task来降低网络等开销，但是在遇到背压、数据不准确等情况时，因为多个算子串联在一起，无法快速定位是哪个算子有问题。通过将“pipeline.operator-chaining”参数值设置为“false”，把算子链打散来观察是哪个算子有问题。以一个作业为例，作业的第二个task已经进入busy状
- [FlinkSQL中Changelog事件乱序问题](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450219.md): 在FlinkSQL作业中，当使用CDC源表进行双流Join操作时，Join算子需要按Join键进行数据shuffle。如果源表的主键与Join键不一致，且Join算子的并发度大于1，则同一条主键的更新事件可能被分发到不同的subtask中，导致Join输出的Changelog事件顺序不确定，最终可能产生不正确的结果。给定以下SQL示例：其
- [写入篇](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450219_0.md): Hudi表默认使用DefaultHoodieRecordPayload做更新行为计算，增量数据的preCombine字段比存量数据的preCombine字段小就不会更新，大于或者等于都会更新，不同的Payload有不同的更新行为。写入操作没有提交或者失败，增量数据读不到。提交失败，数据可以读不到：提交成功，数据可以读到：提交失败，数据可以
- [ClickHouse DDL规范](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450220.md): CREATE/DROP/ALTER等DDL场景不要使用on cluster执行，集群比较繁忙时候容易导致DDL慢或卡死而执行不成功，需要登录每个ClickHouse节点执行。为了保障DDL语句能最大概率执行成功，需要对DDL执行进行性能优化，具体可以调整参数：background_distributed_schedule_pool_siz
- [数据一致性篇](https://support.huaweicloud.com/devg-rule-mrs/mrs_07_450220_0.md): Hudi表必须配置preCombine字段，Spark建表时通过“preCombineField”去指定。Spark建表时通过“preCombineField”去指定。Hudi表的分区格式必须统一。同一条数据以不同分区风格去写会产生两个不同分区。hoodie.datasource.write.hive_style_partitioning
- [Spark SQL开发规范](https://support.huaweicloud.com/devg-rule-mrs/zh-cn_topic_0000002189299158.md): Spark的“spark.sql.codegen.wholeStage”参数默认为“true”，当SQL嵌套逻辑过多时，Spark Driver在编译解析SQL生成代码过程中的压力就会过大，发生OOM报错。因此，建议如下：整改Spark SQL命令。修改“spark.sql.codegen.wholeStage”参数为“false”，使得
- [Hive SQL开发规范](https://support.huaweicloud.com/devg-rule-mrs/zh-cn_topic_0000002224784725.md): partition by和order by使用建议Hive SQL命令中包含over(partition by order by)语法，且partition by和order by后的字段一致，导致MapReduce任务运行缓慢。partition by、order by的语法含义为分组后排序组内数据，使用的是快速排序算法，partiti
- [Spark场景](https://support.huaweicloud.com/devg-rule-mrs/zh-cn_topic_0000002555834698.md): 本章节适用于MRS 3.6.0.1及以后版本。MOR表只需要上述3个参数，它会自动补充以下参数去设置preCombineField属性为主键字段（联合主键会取第一个作为preCombineField）、设置索引为BUCKET、设置写入方式为LSM、设置Parquet文件的压缩格式为zstd以及开启Log文件的Log Index，这些能力会
- [Flink场景](https://support.huaweicloud.com/devg-rule-mrs/zh-cn_topic_0000002586354615.md): 本章节适用于MRS 3.6.0.1及以后版本。Flink写MOR表的场景，如果MRS集群有LDMS服务，则可以在Sink Hudi表的With属性里添加hoodie.managed.by.ldms配置（必须同时配置Hive同步），它会自动设置当前MOR表只生成Compaction计划并关闭Clean和Archive，交给LDMS服务来托管