如何在导入表时指定输出的文件压缩格式

问题现象

如何在导入表时指定输出的文件压缩格式？

处理步骤

org.apache.hadoop.io.compress.BZip2Codec
org.apache.hadoop.io.compress.Lz4Codec
org.apache.hadoop.io.compress.DeflateCodec
org.apache.hadoop.io.compress.SnappyCodec
org.apache.hadoop.io.compress.GzipCodec

• 如需要全局设置，即对所有表都进行压缩，可以在Manager页面对Hive的服务配置参数进行如下全局配置：
  • hive.exec.compress.output设置为true
  • mapreduce.output.fileoutputformat.compress.codec设置为org.apache.hadoop.io.compress.BZip2Codec
    

    hive.exec.compress.output参数必须设置为true，才能使下边的参数选项生效。

• 如需在session级设置，只需要在执行命令前增加如下设置即可：

  set hive.exec.compress.output=true; 
  set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;