更新时间：2023-03-10 GMT+08:00
DLI分区内表导入的文件不包含分区列的数据，导致数据导入完成后查询表数据失败
问题现象
DLI分区内表导入了CSV文件数据，导入的文件数据没有包含对应分区列的字段数据。分区表查询时需要指定分区字段，导致查询不到表数据。
问题根因
DLI分区内表在导入数据时，如果文件数据没有包含分区字段，则系统会默认指定分区值“__HIVE_DEFAULT_PARTITION__”，当前Spark判断分区为空时，则会直接返回null，不返回具体的数据。
解决方案
- 登录DLI管理控制台，在“SQL编辑器”中，单击“设置”。
- 在参数设置中，添加参数“spark.sql.forcePartitionPredicatesOnPartitionedTable.enabled”，值设置为“false”。
图1 参数设置
- 上述步骤参数设置完成后，则可以进行全表查询，不用查询表的时候要包含分区字段。
父主题： 运维指导
运维指导 所有常见问题
- SQL作业运行慢如何定位
- 查看DLI SQL日志
- 查看DLI的执行SQL记录
- 执行SQL作业时产生数据倾斜怎么办？
- DLI控制台中无法查询到对应表
- OBS表压缩率较高
- 如何避免字符码不一致导致的乱码
- 删除表后再重新创建同名的表，需要对操作该表的用户和项目重新赋权
- DLI分区内表导入的文件不包含分区列的数据，导致数据导入完成后查询表数据失败
- 创建OBS外表，因为OBS文件中的某字段存在回车换行符导致表字段数据错误
- SQL作业中存在join操作，因为自动广播导致内存不足，作业一直运行中
- join表时没有添加on条件，造成笛卡尔积查询，导致队列资源爆满，作业运行失败
- 手动在OBS表的分区目录下添加了数据，但是无法查询到该部分数据
- 为什么insert overwrite覆盖分区表数据的时候，覆盖了全量数据？
- 为什么SQL作业一直处于“提交中”？
- 跨源连接RDS表中create_date字段类型是datetime，为什么dli中查出来的是时间戳呢？
- SQL作业执行完成后，修改表名导致datasize修改失败怎么办？
- 从DLI导入数据到OBS，为什么数据量出现差异？
more
