配置底层存储系统 用户想要通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离时，可以在 MRS Manager页面中配置Alluxio的底层存储系统来实现。集群创建后，默认的底层存储地址是hdfs://hacluster/

查看更多 →

RN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算、Tez有向无环图的分布式计算框架等Hadoop生态圈的组件，进行海量数据分析与查询。 Hadoop、Hive、Spark、Tez、Flink、ZooKeeper、Ranger

查看更多 →

集数据，采集完数据后数据如何流向下一层组件，使用什么组件存储数据，数据处理过程中的工作流等。 业务作业类型Hive SQL、Spark SQL、Spark Python等，是否需要使用MRS的第三方包，参考MRS应用开发样例。 调度系统，需要考虑调度系统对接MRS集群。 迁移后，

查看更多 →

Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

提供Python语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Python API接口介绍。 按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JD

查看更多 →

提供Python语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Python API接口介绍。 按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JD

查看更多 →

言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 功能 说明 Scala API 提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Scala

查看更多 →

。 Hive与Spark的关系 Hive支持使用Spark作为执行引擎，当执行引擎切换为Spark后，客户端下发的Hive SQL在Hive端进行逻辑层处理和生成物理执行计划，并将执行计划转换成RDD语义下的DAG，最后将DAG作为Spark的任务提交到Spark集群上进行计算，

查看更多 →

言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 功能 说明 Scala API 提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Scala

查看更多 →

因此通过预写日志和可靠的Receiver，Spark Streaming就可以保证没有输入数据会由于Driver的失败而丢失。 SparkSQL和DataSet原理 SparkSQL 图7 SparkSQL和DataSet Spark SQL是Spark中用于结构化数据处理的模块。在Spark应用中，可以无缝地使用SQL语句亦或是DataSet

查看更多 →

因此通过预写日志和可靠的Receiver，Spark Streaming就可以保证没有输入数据会由于Driver的失败而丢失。 SparkSQL和DataSet原理 SparkSQL 图7 SparkSQL和DataSet Spark SQL是Spark中用于结构化数据处理的模块。在Spark应用中，可以无缝地使用SQL语句亦或是DataSet

查看更多 →

o位于计算和存储之间，为包括Apache Spark、Presto、Mapreduce和Apache Hive的计算框架提供了数据抽象层，使上层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离。 图1 Alluxio架构

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任务

查看更多 →

DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称

查看更多 →

使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

mv ./spark/spark-3.1.3-bin-hadoop3.1.tgz /root 执行命令安装Spark。 tar -zxvf spark-3.1.3-bin-hadoop3.1.tgz mv spark-3.1.3-bin-hadoop3.1 spark-obs cat

查看更多 →