创建一个新脚本，当前支持的脚本类型有 DLI SQL、Flink SQL、RDS SQL、Spark SQL、Hive SQL、DWS SQL、Shell、Presto SQL、ClickHouse SQL、HetuEngine SQL、Python、Spark Python和Impala SQL。 调试 您可以在API

查看更多 →

Spark SQL无法查询到Parquet类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据？主要有以下两种场景存在这个问题： 对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。

查看更多 →

Hive常见SQL语法参考 Hive SQL扩展语法说明 自定义Hive表行分隔符 Hive支持的传统关系型数据库语法说明 父主题： 使用Hive

查看更多 →

Hive SQL扩展语法说明 Hive SQL支持Hive-3.1.0版本中的所有特性，详情请参见https://cwiki.apache.org/confluence/display/hive/languagemanual。 系统提供的扩展Hive语句如表1所示。 表1 扩展Hive语句

查看更多 →

1版本包就有可能触发此问题。 MRS 的Hive for Spark相关模块已修复该问题。 处理步骤 使用MRS集群自带的Hive for Spark包： hive-beeline-1.2.1.spark_2.2.1-mrs-x.x.x.jar hive-cli-1.2.1.spark_2.2.1-mrs-x

查看更多 →

Hive SQL扩展语法说明 Hive SQL支持Hive-3.1.0版本中的所有特性，详情请参见https://cwiki.apache.org/confluence/display/hive/languagemanual。 系统提供的扩展Hive语句如表1所示。 表1 扩展Hive语句

查看更多 →

为什么在启动spark-beeline的命令中指定“--hivevar”选项无效 问题 为什么在启动spark-beeline的命令中指定“--hivevar”选项无效？ 在MRS集群启动spark-beeline的命令中如果使用了“--hivevar <VAR_NAME>=<v

查看更多 →

Spark SQL无法查询到Parquet类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据？主要有以下两种场景存在这个问题： 对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。

查看更多 →

是可见的。 上层为Hive的MetaStore，该层有了各个DB之分。在每个DB中，又有Hive的临时表与Hive的持久化表，因此在Spark中允许三个层次的同名数据表。 查询的时候，Spark SQL优先查看是否有Spark的临时表，再查找当前DB的Hive临时表，最后查找当前DB的Hive持久化表。

查看更多 →

jdbcserver-omm-pid***-gc.log.*.current JD BCS erver2x进程gc日志。 spark-omm-org.apache.spark.sql.hive.thriftserver.HiveThriftProxyServer2-***.out* JDB CS erver2x进程启动

查看更多 →

是可见的。 上层为Hive的MetaStore，该层有了各个DB之分。在每个DB中，又有Hive的临时表与Hive的持久化表，因此在Spark中允许三个层次的同名数据表。 查询的时候，Spark SQL优先查看是否有Spark的临时表，再查找当前DB的Hive临时表，最后查找当前DB的Hive持久化表。

查看更多 →

Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql

查看更多 →

拒绝。 SparkSQL权限管理部分集成了Hive权限管理的功能。使用SparkSQL权限管理功能需要使用Hive的MetaStore服务和页面上的赋权功能。 图1展示了SparkSQL权限管理的基本架构。主要包含了两部分：页面赋权和服务获权并判断。 页面赋权：SparkSQL仅

查看更多 →

拒绝。 SparkSQL权限管理部分集成了Hive权限管理的功能。使用SparkSQL权限管理功能需要使用Hive的MetaStore服务和页面上的赋权功能。 图1展示了SparkSQL权限管理的基本架构。主要包含了两部分：页面赋权和服务获权并判断。 页面赋权：SparkSQL仅

查看更多 →

Spark SQL样例程序 Spark SQL样例程序开发思路 Spark SQL样例程序（Java） Spark SQL样例程序（Scala） Spark SQL样例程序（Python） 父主题： 开发Spark应用

查看更多 →

Spark SQL样例程序 Spark SQL样例程序开发思路 Spark SQL样例程序（Java） Spark SQL样例程序（Scala） Spark SQL样例程序（Python） 父主题： 开发Spark应用

查看更多 →

Spark SQL样例程序 Spark SQL样例程序开发思路 Spark SQL样例程序（Java） Spark SQL样例程序（Scala） Spark SQL样例程序（Python） 父主题： 开发Spark应用

查看更多 →

创建SparkSQL角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置SparkSQL的角色。SparkSQL角色可设置Spark管理员权限以及数据表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自

查看更多 →

API为例）：和cow表一样，请参考cow表相关操作。 增量视图读取（hive为例）： set hive.input.format=org.apache.hudi.hadoop.hive.HoodieCombineHiveInputFormat; // sparksql 不需要指定 set hoodie.${table_name}

查看更多 →

API为例）：和cow表一样，请参考cow表相关操作。 增量视图读取（hive为例）： set hive.input.format=org.apache.hudi.hadoop.hive.HoodieCombineHiveInputFormat; // sparksql 不需要指定 set hoodie.${table_name}

查看更多 →

java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.SparkHivetoHbase') # 创建类实例并调用方法 spark._jvm.SparkHivetoHbase().hivetohbase(spark._jsc)

查看更多 →