Optimizer：优化器，分为逻辑优化器和物理优化器，分别对HQL生成的执行计划和MapReduce任务进行优化。 Executor：按照任务的依赖关系分别执行Map/Reduce任务。 ThriftServer：提供thrift接口，作为JDBC的服务端，并将Hive和其他应用程序集成起来。

查看更多 →

client/Spark/spark/conf；未开启Kerberos认证集群可不必拷贝user.keytab和krb5.conf文件。 运行Spark Core（Scala和Java）样例程序。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否

查看更多 →

。 因此通过预写日志和可靠的Receiver，Spark Streaming就可以保证没有输入数据会由于Driver的失败而丢失。 SparkSQL和DataSet原理 SparkSQL 图7 SparkSQL和DataSet Spark SQL是Spark中用于结构化数据处理的

查看更多 →

入HFile中。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在 FusionInsight Manager中下载principal用户

查看更多 →

MRS 3.2.0-LTS.1版本说明 发布日期 MRS 3.2.0-LTS.1 2023年4月28日 更新内容 服务模块 主要变更点 ClickHouse 升级到22.3.2.2版本。 ClickHouse支持多租户，通过CPU优先级和内存限额分配资源。 Flink 升级到1.15

查看更多 →

ZooKeeper,HDFS,Yarn,Mapreduce,Ranger,Hive,Spark2x,Kafka,Tez,HBase,Flink,Flume,Hue,meta,Guardian,Loader,ClickHouse,HetuEngine,CDL和IoTDB服务 MRS 3

查看更多 →

购买MRS集群时，找不到HDFS、Yarn、MapReduce组件如何处理？ 问： 购买MRS集群时，为什么找不到HDFS、Yarn、MapReduce组件？ 答： HDFS、Yarn和MapReduce组件包含在Hadoop组件中，当购买MRS集群时无法看到HDFS、Yarn和MapReduce组件，勾

查看更多 →

服。 MRS 2.1.0.5补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。 自行搭建的客户端全量安装方法，请参见安装客户端（2

查看更多 →

并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在 服务器 的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn

查看更多 →

中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn

查看更多 →

Storm的普通用户组，属于该组的用户拥有提交拓扑和管理属于自己的拓扑的权限。 stormadmin Storm的管理员用户组，属于该组的用户拥有提交拓扑和管理所有拓扑的权限。 supergroup 这个用户组内的用户具有HBase，HDFS和Yarn的管理员权限，并且可以使用Hive。 yarnviewgroup

查看更多 →

在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下：

查看更多 →

Spark2x多租户 背景介绍 JD BCS erver多主实例方案中，JDB CS erver的实现使用YARN-Client模式，但YARN资源队列只有一个，为了解决这种资源局限的问题，引入了多租户模式。 多租户模式是将JDBCServer和租户绑定，每一个租户对应一个或多个JDBC

查看更多 →

Hue系统启动与Kerberos认证用户，并用于访问HDFS和Hive。 flume 系统随机生成 Flume系统启动用户，用于访问HDFS和Kafka，对HDFS目录“/flume”有读写权限。 flume_server 系统随机生成 Flume系统启动用户，用于访问HDFS和Kafka，对HDFS目录“/flume”有读写权限。

查看更多 →

制，是由客户端参数：“mapreduce.cluster.acls.enabled”决定。 说明： 此参数适用于MRS 3.x及后续版本集群。 true 以上配置会影响restful API和shell命令结果，即以上配置开启后，restful API调用和shell命令运行所返回的内容只包含调用用户有权查看的信息。

查看更多 →

。 因此通过预写日志和可靠的Receiver，Spark Streaming就可以保证没有输入数据会由于Driver的失败而丢失。 SparkSQL和DataSet原理 SparkSQL 图7 SparkSQL和DataSet Spark SQL是Spark中用于结构化数据处理的

查看更多 →

ase、Tez以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 2.1.0.6补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Mast

查看更多 →

运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK Java/Scala开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。

查看更多 →

Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 2.1.0.8补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。

查看更多 →

户端参数：“mapreduce.cluster.acls.enabled”决定。 true 以上配置会影响restful API和shell命令结果，即以上配置开启后，restful API调用和shell命令运行所返回的内容只包含调用用户有权查看的信息。 当yarn.acl.enable或mapreduce

查看更多 →

服务不断服。 MRS 2.1.0.7补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。 自行搭建的客户端全量安装方法，请参见安装客户端（2

查看更多 →