批作业SQL常用配置项说明

spark.sql.files.maxRecordsPerFile

0

要写入单个文件的最大记录数。如果该值为零或为负，则没有限制。

spark.sql.autoBroadcastJoinThreshold

209715200

配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”，可以禁用显示。

spark.sql.shuffle.partitions

4096

为连接或聚合过滤数据时使用的默认分区数。

spark.sql.dynamicPartitionOverwrite.enabled

false

在动态模式下，Spark不会删除前面的分区，只覆盖那些运行时没有写入数据的分区。

spark.sql.files.maxPartitionBytes

134217728

读取文件时要打包到单个分区中的最大字节数。

spark.sql.badRecordsPath

-

Bad Records的路径。