在Spark SQL作业中使用UDF 操作场景 DLI 支持用户使用Hive UDF（User Defined Function，用户定义函数）进行数据查询等操作，UDF只对单行数据产生作用，适用于一进一出的场景。 约束限制 在DLI Console上执行UDF相关操作时，需要使用自建的SQL队列。

查看更多 →

Spark on CCE with OBS安装使用指南 安装Spark 使用Spark on CCE 父主题： 批量计算

查看更多 →

使用 MRS Spark SQL访问DWS表 华为云提供 MapReduce服务 （MRS），可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件，专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark SQL语言，

查看更多 →

<value>false</value> </property> Spark暂不支持Hive的加密列特性。 工具使用 下载安装客户端，例如安装目录为“/opt/client”。进入“/opt/client/Spark2x/spark/bin”，执行mergetool.sh脚本。 加载环境变量

查看更多 →

单表分区数最多允许100000个。 创建OBS表的DataSource语法可以参考使用DataSource语法创建OBS表。 创建OBS表的Hive语法可以参考使用Hive语法创建OBS表。 使用DataSource语法创建OBS表 以下通过创建 CS V格式的OBS表举例，创建其他

查看更多 →

在Spark SQL作业中使用UDAF 操作场景 DLI支持用户使用Hive UDAF（User Defined Aggregation Function，用户定义聚合函数）可对多行数据产生作用，通常与groupBy联合使用；等同于SQL中常用的SUM()，AVG()，也是聚合函数。

查看更多 →

约束限制 在DLI Console上执行UDTF相关操作时，需要使用自建的SQL队列。 不同的IAM用户使用UDTF时，除了创建UDTF函数的用户，其他用户如果需要使用时，需要先进行授权才可使用对应的UDTF函数。授权操作参考如下： 登录DLI管理控制台，选择“ 数据管理 > 程序包管理”页面，选择对应的UDTF

查看更多 →

并将合并后的大文件写入到最终的表目录下。 使用约束 写入表的类型为：Hive、Datasource 支持的数据格式：parquet、orc 配置参数 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数：

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

使用DIS Spark Streaming下载数据 DIS Spark Streaming概述 准备DIS Spark Streaming的相关环境 自定义SparkStreaming作业 父主题： 使用DIS

查看更多 →

配置MRS客户端。 进入Spark客户端安装目录“/opt/client/Spark2x/spark/conf”，在“spark-defaults.conf”配置文件如下参数。 spark.pyspark.driver.python=/usr/bin/python3 spark.yarn.dist

查看更多 →

import org.apache.spark.sql.SparkSession; 创建SparkSession会话。 创建SparkSession会话时需要指定Spark参数："spark.sql.session.state.builder"、"spark.sql.catalog.class"和"spark

查看更多 →

<value>false</value> </property> Spark暂不支持Hive的加密列特性。 工具使用 下载安装客户端，例如安装目录为“/opt/client”。进入“/opt/client/Spark2x/spark/bin”，执行mergetool.sh脚本。 加载环境变量

查看更多 →

从零开始使用Spark SQL Spark提供类似SQL的Spark SQL语言操作结构化数据，本章节提供从零开始使用Spark SQL，创建一个名称为src_data的表，然后在src_data表中每行写入一条数据，最后将数据存储在“mrs_20160907”集群中。再使用SQL

查看更多 →

使用Spark执行Hudi样例程序 使用Spark执行Hudi样例程序开发思路 使用Spark执行Hudi样例程序（Java） 使用Spark执行Hudi样例程序（Scala） 使用Spark执行Hudi样例程序（Python） 父主题： 开发Spark应用

查看更多 →

使用Spark执行Hudi样例程序 使用Spark执行Hudi样例程序开发思路 使用Spark执行Hudi样例程序（Java） 使用Spark执行Hudi样例程序（Scala） 使用Spark执行Hudi样例程序（Python） 父主题： 开发Spark应用

查看更多 →

SparkRTC是否支持在国外使用？ 支持。SparkRTC提供覆盖全球的高质量、大规模的实时音视频网络。 父主题： 产品咨询

查看更多 →

使用Spark客户端创建CarbonData表 本章节介绍创建CarbonData table、加载数据，以及查询数据的快速入门流程。该快速入门提供基于Spark Beeline客户端的操作。如果使用Spark shell，需将查询命令写在spark.sql()的括号中。 本操作

查看更多 →

shell连接到Spark并执行Spark SQL命令。 开启JD BCS erver并使用JDBC客户端（例如，Spark Beeline）连接。 执行如下命令： cd ./Spark2x/spark/bin ./spark-beeline 创建CarbonData Table 在Spark

查看更多 →

行业务。 Spark版本 否 选定DLI队列后，下拉可选择作业使用Spark组件的版本号，使用时如无特定版本要求时使用默认版本号2.3.2，有特殊使用要求时选择对应的版本即可。 作业特性 否 作业使用的Spark镜像类型，当前支持基础型、AI增强型和自定义的Spark镜像。 自定

查看更多 →

执行大数据量的shuffle过程时Executor注册shuffle service失败 在Spark应用执行过程中NodeManager出现OOM异常 安全集群使用HiBench工具运行sparkbench获取不到realm 父主题： Spark常见问题

查看更多 →