如果需要在Spark2x客户端用Spark on HBase功能，需要重新下载并安装Spark2x客户端。 在Spark2x客户端使用spark-sql或者spark-beeline连接，可以查询由Hive on HBase所创建的表，支持通过SQL命令创建HBase表或创建外表关联

查看更多 →

SMN：发送短信或邮件 MRS Spark：执行MRS服务的Spark作业 MapReduce：执行MRS服务的MapReduce作业 MRSFlinkJob: 执行MRS服务的FlinkJob作业。 MRSHetuEngine: 执行MRS服务的HetuEngine作业。 DLI Spark：执行DLF服务的Spark作业

查看更多 →

支持MRS相关的节点（MRS Presto SQL、MRS Spark、MRS Spark Python、MRS Flink Job、 MRS MapReduce），通过直连方式的（MRS Spark SQL、MRS Hive SQL）节点，以及目标端为DWS的ETL Job节点，解决部分MRS集群和部分ETL

查看更多 →

用户名/logs）。 日志已被清理（spark的JobHistory默认存放7天的eventLog，配置项为spark.history.fs.cleaner.maxAge；MapReduce默认存放15天的任务日志，配置项为mapreduce.jobhistory.max-age-ms）。

查看更多 →

mples/OozieSparkHBaseExample 使用Oozie调度Spark访问HBase的示例程序。 oozie-examples/oozienormal-examples/OozieSparkHiveExample 使用Oozie调度Spark访问Hive的示例程序。

查看更多 →

om参数添加spark.sql.legacy.correlated.scalar.query.enabled参数值为true，并添加参数spark.sql.legacy.correlated.scalar.query.enabled=true到客户端目录下“Spark2x/spa

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

使用spark-sql操作Hudi表 本章节仅适用于MRS 3.5.0-LTS及之后版本。 操作场景 本章节主要介绍通过spark-sql使用Hudi功能。 前提条件 在Manager界面创建用户并添加hadoop和hive用户组，主组加入hadoop。 操作步骤 下载并安装Hu

查看更多 →

仅影响Spark Thrift任务，SparkSQL、Spark Submit任务不受影响。 直接重启耗时约5分钟。 滚动重启 滚动重启不影响任务。 滚动重启2个实例约10分钟。 Flink 直接重启 仅影响Flink Server任务，Flink Jar、Flink SQL任务不受影响。

查看更多 →

Spark SQL常用配置项说明 本章节为您介绍DLI 批作业SQL语法的常用配置项。 表1 常用配置项 名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负，则没有限制。 spark.sql.shuffle

查看更多 →

包。 单击“确定”，完成创建程序包。 创建UDF函数。 登录DLI管理控制台，单击“SQL编辑器”，执行引擎选择“spark”，选择已创建的SQL队列和数据库。 图11 选择队列和数据库 在SQL编辑区域输入下列命令创建UDF函数，单击“执行”提交创建。 CREATE FUNCTION

查看更多 →

配置”，单击“全部配置”。在搜索框中输入参数名称。 表1 参数介绍 参数 描述 默认值 spark.sql.shuffle.partitions SparkSQL在进行shuffle操作时默认的分块数。 200 父主题： Spark SQL性能调优

查看更多 →

通过Hue执行SparkSQL 操作场景 用户需要使用图形化界面在集群中执行SparkSql语句时，可以通过Hue完成任务。 配置Spark2x 使用SparkSql编辑器之前需要先修改Spark2x配置。 进入Spark2x的全部配置页面，具体操作请参考修改集群服务配置参数。

查看更多 →

Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Drop Partition命令支持批量删除 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置Spark SQL语法支持关联子查询不带聚合函数

查看更多 →

提交Spark作业 提交SparkSQL作业 Spark基于内存进行计算的分布式计算框架。SparkSQL作业用于查询和分析数据，包括SQL语句和Script脚本两种形式，如果SQL语句涉及敏感信息，请使用Spark Script提交。 提交SparkSQL作业 运维管理 MRS提

查看更多 →

数据湖探索（DLI） MapReduce服务（MRS Hive） MapReduce服务（MRS SparkSQL） 云数据库 MySQL 云数据库 PostgreSQL 云数据库 SQL Server 分布式数据库中间件（DDM） 本地CSV文件 本地自建的MySQL、PostgreSQL、Oracle、SQL

查看更多 →

ples/OozieSparkHBaseExample 使用Oozie调度Spark访问HBase的示例程序。 oozie-examples/ooziesecurity-examples/OozieSparkHiveExample 使用Oozie调度Spark访问Hive的示例程序。

查看更多 →

因此通过预写日志和可靠的Receiver，Spark Streaming就可以保证没有输入数据会由于Driver的失败而丢失。 SparkSQL和DataSet原理 SparkSQL 图7 SparkSQL和DataSet Spark SQL是Spark中用于结构化数据处理的模块。在Spark应用中，可以无缝地使用SQL语句亦或是DataSet

查看更多 →

Impala 支持在MRS Manager页面上进行Impala SQL作业管理。 Spark2x 升级到3.1.1版本。 ZooKeeper 升级到3.6.3版本。 管理控制台 支持补丁在线推送及更新。 支持包周期集群中的部分节点退订。 作业提交API新增支持FlinkSQL作业类型。 支持指定资源池的弹性伸缩能力。

查看更多 →

Language，类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive的DDL命令。为MapReduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于MRS的HCatalog功能，Hive、MapReduce开发人

查看更多 →

MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS

查看更多 →