文档首页> 数据湖探索 DLI> 故障排除> SQL作业问题> 从DLI导入数据到OBS,数据量有差异
更新时间:2022-01-27 GMT+08:00
分享

从DLI导入数据到OBS,数据量有差异

问题类型

SQL作业类。

问题现象

客户使用DLI插入数据到OBS临时表文件,数据量有差异。

原因分析

出现该问题可能原因如下:

  • 作业执行过程中,读取数据量错误。
  • 验证数据量的方式不正确。

处理步骤

  1. 在管理控制台检查对应SQL作业详情中的“结果条数”是否正确。 检查发现读取的数据量是正确的。

    图1 检查读取的数据量

  2. 确认客户验证数据量的方式是否正确。客户验证的方式如下:

    1. 通过OBS下载数据文件。
    2. 通过文本编辑器打开数据文件,发现数据量缺失。

    根据该验证方式,初步定位是因为文件数据量较大,文本编辑器无法全部读取。

    通过执行查询语句,查询OBS数据进一步进行确认,查询结果确认数据量正确。

    因此,该问题为验证方式不正确造成。

建议与总结

执行插入数据操作后,如需确认插入数据量是否正确,建议通过查询语句进行查询。

如果OBS对存入的文件数量有要求,可以在插入语句后加入“DISTRIBUTE BY number”。例如,在插入语句后添加“DISTRIBUTE BY 1”,可以将多个task生成的多个文件汇总为一个文件。

参考信息

插入数据的SQL语法,请参考《数据湖探索Spark SQL语法参考》。

分享:

    相关文档

    相关产品

close