source Spark2x/component_env kinit 组件业务用户（普通模式无需执行kinit） spark-sql 执行如下命令设置spark.sql.hive.convertMetastoreOrc=false。 set spark.sql.hive.conve

查看更多 →

元数据的缓存。 只有当“spark.sql.hive.manageFilesourcePartitions”配置为“true”时，该配置项才会生效。 250 * 1024 * 1024 spark.sql.hive.convertMetastoreOrc 设置ORC表的处理方式：

查看更多 →

元数据的缓存。 只有当“spark.sql.hive.manageFilesourcePartitions”配置为“true”时，该配置项才会生效。 250 * 1024 * 1024 spark.sql.hive.convertMetastoreOrc 设置ORC表的处理方式：

查看更多 →

可以通过以下两种方式配置是否过滤掉分区表分区路径不存在的分区。 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.sql.hive.verifyPartitionPath 配置读取HIVE分区表时，是否过滤掉分区表分区路径不存在的分区。

查看更多 →

可以通过以下两种方式配置是否过滤掉分区表分区路径不存在的分区。 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.sql.hive.verifyPartitionPath 配置读取Hive分区表时，是否过滤掉分区表分区路径不存在的分区。

查看更多 →

在搜索栏中搜索参数“spark.sql.extensions”，修改JD BCS erver的spark.sql.extensions参数值为：org.apache.spark.sql.hive.FISparkSessionExtension,org.apache.spark.sql.hudi.Ho

查看更多 →

"org.apache.spark.sql.hive.UQueryHiveACLSessionStateBuilder") .set("spark.sql.catalog.class","org.apache.spark.sql.hive.UQueryHiveACLExternalCatalog")

查看更多 →

执行查询语句时，即可获取到最新插入的数据。 使用sqark时，执行以下命令禁用Spark优化： set spark.sql.hive.convertMetastoreOrc=false; 父主题： SQL和DataFrame

查看更多 →

执行查询语句时，即可获取到最新插入的数据。 使用sqark时，执行以下命令禁用Spark优化： set spark.sql.hive.convertMetastoreOrc=false; 父主题： SQL和DataFrame

查看更多 →

test_hive_orc_snappy_internal_table partition(a='2016-8-1 11:45:5'); 查询报错，如下所示： 回答 spark.sql.hive.convertInsertingPartitionedTable开关控制了Hive和Da

查看更多 →

MRS Hive SQL 功能 通过MRS Hive SQL节点执行数据开发模块中预先定义的Hive SQL脚本。 MRS Hive SQL节点的具体使用教程，请参见开发一个Hive SQL作业。 MRS Hive SQL节点不支持Hive的事务表。 参数 用户可参考表1，表2和表3配置MRS

查看更多 →

JavaSparkContext(conf); HiveContext sqlContext = new org.apache.spark.sql.hive.HiveContext(jsc); SparkSession spark = SparkSession .builder()

查看更多 →

> 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 取值范围 spark.sql.hive.advancedPartitionPredicatePushdown.enabled 用于配置是否开启Hive表的分区谓词下推增强功能。 true

查看更多 →

JavaSparkContext(conf); HiveContext sqlContext = new org.apache.spark.sql.hive.HiveContext(jsc); SparkSession spark = SparkSession Dataset<Row> dataFrame

查看更多 →

JavaSparkContext(conf); HiveContext sqlContext = new org.apache.spark.sql.hive.HiveContext(jsc); Dataset<Row> dataFrame = sqlContext.sql("select name

查看更多 →

JavaSparkContext(conf); HiveContext sqlContext = new org.apache.spark.sql.hive.HiveContext(jsc); SparkSession spark = SparkSession .builder()

查看更多 →

JavaSparkContext(conf); HiveContext sqlContext = new org.apache.spark.sql.hive.HiveContext(jsc); DataFrame dataFrame = sqlContext.sql("select name, account

查看更多 →

待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 取值范围 spark.sql.hive.advancedPartitionPredicatePushdown.enabled 用于配置是否开启Hive表的分区谓词下推增强功能。

查看更多 →

sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) import sqlContext.implicits._ val dataFrame = sqlContext.sql("select name, account

查看更多 →

指定Hive的外部目录实现。启用Spark ACL时必须提供。 spark.sql.hive.implementation org.apache.spark.sql.hive.HiveACLClientImpl 指定Hive客户端调用的实现。启用Spark ACL时必须提供。 spark.sql.hiveClient

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →