Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1，表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未

查看更多 →

in the sql * NOTE: This API is supported only for SELECT Sql (insert into,ctas,.., is not supported) * * @param sql * @param sparkSession

查看更多 →

in the sql * NOTE: This API is supported only for SELECT Sql (insert into,ctas,.., is not supported) * * @param sql * @param sparkSession

查看更多 →

Spark SQL语法概览 本章节介绍了目前 DLI 所提供的Spark SQL语法列表。参数说明，示例等详细信息请参考具体的语法说明。 表1 批作业SQL语法 语法分类 操作链接 数据库相关语法 创建数据库 删除数据库 查看指定数据库 查看所有数据库 创建OBS表相关语法 使用DataSource语法创建OBS表

查看更多 →

这种情况下，有两种方式处理： 调整“spark.sql.broadcastTimeout”的数值，加大超时的时间限制。 降低“spark.sql.autoBroadcastJoinThreshold”的数值，不使用BroadCastJoin的优化。 父主题： Spark SQL性能调优

查看更多 →

。 参见https://spark.apache.org/docs/latest/sql-programming-guide.html 配置自动广播阈值的方法： 在Spark的配置文件“spark-defaults.conf”中，设置“spark.sql.autoBroadcas

查看更多 →

这种情况下，有两种方式处理： 调整“spark.sql.broadcastTimeout”的数值，加大超时的时间限制。 降低“spark.sql.autoBroadcastJoinThreshold”的数值，不使用BroadCastJoin的优化。 父主题： Spark SQL性能调优

查看更多 →

创建SparkSQL角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置SparkSQL的角色。SparkSQL角色可设置Spark管理员权限以及数据表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自

查看更多 →

Spark SQL样例程序 Spark SQL样例程序开发思路 Spark SQL样例程序（Java） Spark SQL样例程序（Scala） Spark SQL样例程序（Python） 父主题： 开发Spark应用

查看更多 →

Spark SQL样例程序 Spark SQL样例程序开发思路 Spark SQL样例程序（Java） Spark SQL样例程序（Scala） Spark SQL样例程序（Python） 父主题： 开发Spark应用

查看更多 →

Spark SQL样例程序 Spark SQL样例程序开发思路 Spark SQL样例程序（Java） Spark SQL样例程序（Scala） Spark SQL样例程序（Python） 父主题： 开发Spark应用

查看更多 →

Spark client CLI介绍 Spark CLI详细的使用方法参考官方网站的描述：http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示： spark-shell

查看更多 →

Spark SQL样例程序 Spark SQL样例程序开发思路 Spark SQL样例程序（Java） Spark SQL样例程序（Scala） Spark SQL样例程序（Python） 父主题： 开发Spark应用

查看更多 →

表的SELECT权限；而在spark-sql模式下，查询视图需要视图的SELECT权限和表的SELECT权限。 删除、修改视图时，必须要有视图的owner权限。 SparkSQL权限模型 用户使用SparkSQL服务进行SQL操作，必须对SparkSQL数据库和表（含外表和视图）

查看更多 →

创建SparkSQL角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置SparkSQL的角色。SparkSQL角色可设置Spark管理员权限以及数据表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自

查看更多 →

配置Spark SQL防御规则 配置Spark SQL防御操作场景 用户可以在Manager界面配置Spark的SQL防御规则，根据业务调整对应SQL防御规则的参数。 配置Spark SQL防御前提条件 已安装包含Spark服务的集群客户端，安装目录如“/opt/hadoopclient”。

查看更多 →

trx_dte_par='2016-06-30'”时有查询结果。 图1 示例 回答 在Spark SQL查询语句中，当查询条件中含有日期格式的字符串时，Spark SQL不会对它做日期格式的检查，就是把它当做普通的字符串进行匹配。以上面的例子为例，如果数据格式为"yyyy-mm-dd"，那么字符串'2016-6-30'就是不正确的数据格式。

查看更多 →

Spark client CLI介绍 Spark CLI详细的使用方法参考官方网站的描述：http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示： spark-shell

查看更多 →

trx_dte_par='2016-06-30'”时有查询结果。 图1 示例 回答 在Spark SQL查询语句中，当查询条件中含有日期格式的字符串时，Spark SQL不会对它做日期格式的检查，就是把它当做普通的字符串进行匹配。以上面的例子为例，如果数据格式为"yyyy-mm-dd"，那么字符串'2016-6-30'就是不正确的数据格式。

查看更多 →

Spark SQL性能调优 Spark SQL join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 动态分区插入场景内存优化 小文件优化 聚合算法优化 Datasource表优化 合并CBO优化

查看更多 →