SparkSQL访问Hive分区表启动Job前耗时较长如何处理？ 问题背景 使用SparkSql访问Hive的一个数据存放于OBS的一个分区表，但是运行速度却很慢，并且会大量调用OBS的查询接口。 SQL样例： select a,b,c from test where b=xxx

查看更多 →

配置Spark加载第三方jar包，用于注册UDF或者扩展SparkSQL 本章节仅适用于 MRS 3.5.0-LTS及之后版本。 配置场景 用户可能经常会自定义UDF或者使用一些自定义jar扩展Spark能力，针对这种第三方jar需要在Spark启动前指定好第三方类加载路径。 前提条件

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String 否 default

查看更多 →

“Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储格式（目前支持四种格式： CS V、ORC、RC和PARQUET）。

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String 否 default

查看更多 →

“Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储格式（目前支持四种格式：CSV、ORC、RC和PARQUET）。

查看更多 →

Spark用户权限管理 SparkSQL用户权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark Web UI ACL Spark客户端和服务端权限参数配置说明 父主题： 使用Spark/Spark2x

查看更多 →

org.apache.hudi.HoodieSparkSqlWriter$$anonfun$1.apply(HoodieSparkSqlWriter.scala:104) at org.apache.hudi.HoodieSparkSqlWriter$$anonfun$1.appl

查看更多 →

nsight Manager的“编辑角色”页面进行授权时，该列将无法正确显示。 相关概念 SparkSQL的语句在SparkSQL中进行处理，权限要求如表1所示。 表1 使用SparkSQL表、列或数据库场景权限一览 操作场景 用户需要的权限 CREATE TABLE “创建”,

查看更多 →

Spark用户权限管理 SparkSQL权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark2x Web UI ACL Spark客户端和服务端权限参数配置说明 父主题： 使用Spark2x（MRS 3.x及之后版本）

查看更多 →

nsight Manager的“编辑角色”页面进行授权时，该列将无法正确显示。 相关概念 SparkSQL的语句在SparkSQL中进行处理，权限要求如表1所示。 表1 使用SparkSQL表、列或数据库场景权限一览 操作场景 用户需要的权限 CREATE TABLE “创建”，RWX+ownership（for

查看更多 →

登录OBS控制台。 单击“并行文件系统 > 创建并行文件系统”，创建一个名称为sparksql的文件系统。 sparksql仅为示例，文件系统名称必须全局唯一，否则会创建并行文件系统失败。 单击sparksql文件系统名称，并选择“文件”。 单击“新建文件夹”，创建input文件夹。

查看更多 →

Spark2x版本相对于Spark 1.5版本新增了一些开源特性。 具体特性或相关概念如下： DataSet，详见SparkSQL和DataSet原理。 Spark SQL Native DDL/DML，详见SparkSQL和DataSet原理。 SparkSession，详见SparkSession原理。 Structured

查看更多 →

同步Hive后hive表中多出两张表分别为${table_name}_rt和${table_name}_ro。 实时视图读取（Hive，SparkSQL为例）：直接读取Hive里面存储的后缀为_rt的hudi表即可。 select count(*) from ${table_name}_rt;

查看更多 →

同步Hive后hive表中多出两张表分别为${table_name}_rt,和${table_name}_ro。 实时视图读取（Hive，SparkSQL为例）：直接读取Hive里面存储的后缀为_rt的hudi表即可。 select count(*) from ${table_name}_rt;

查看更多 →

MetaStore动态分区数超出阈值导致SQL报错 现象描述 执行SparkSQL或HiveSQL命令时，系统报错如下： Number of dynamic partitions created is 2001, which is more than 2000. To slove

查看更多 →

SQL样例程序（Python） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见SparkSQLPythonExample： # -*- coding:utf-8 -*- import sys from pyspark.sql

查看更多 →

SQL样例程序（Python） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见SparkSQLPythonExample： # -*- coding:utf-8 -*- import sys from pyspark.sql

查看更多 →

SQL样例程序（Python） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见SparkSQLPythonExample： # -*- coding:utf-8 -*- import sys from pyspark.sql

查看更多 →

SQL样例程序（Python） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见SparkSQLPythonExample： # -*- coding:utf-8 -*- import sys from pyspark.sql

查看更多 →

增量视图 Hive Y Y Spark（SparkSQL） Y Y Spark（SparkDataSource API） Y Y 表2 mor表 查询引擎 实时视图 增量视图 读优化视图 Hive Y Y Y Spark（SparkSQL） Y Y Y Spark（SparkDataSource

查看更多 →