文档首页/ MapReduce服务 MRS/ 故障排除/ 使用Hive/ 如何在导入Hive表时指定输出的文件压缩格式?
更新时间:2023-12-22 GMT+08:00

如何在导入Hive表时指定输出的文件压缩格式?

问题现象

如何在导入Hive表时指定输出的文件压缩格式?

处理步骤

当前Hive支持以下几种压缩格式:
org.apache.hadoop.io.compress.BZip2Codec
org.apache.hadoop.io.compress.Lz4Codec
org.apache.hadoop.io.compress.DeflateCodec
org.apache.hadoop.io.compress.SnappyCodec
org.apache.hadoop.io.compress.GzipCodec
  • 如需要全局设置,即对所有表都进行压缩,可以在Manager页面对Hive的服务配置参数进行如下全局配置:
    • hive.exec.compress.output设置为true
    • mapreduce.output.fileoutputformat.compress.codec设置为org.apache.hadoop.io.compress.BZip2Codec

      hive.exec.compress.output参数必须设置为true,才能使下边的参数选项生效。

  • 如需在session级设置,只需要在执行命令前增加如下设置即可:

    set hive.exec.compress.output=true;

    set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;