Spark中Parquet的brotli压缩格式无法使用怎么办?

问题现象

代码里显示支持brotli压缩格式，但实际使用Spark SQL类型的任务时，发现不支持。

根因分析

Parquet依赖声明中引用了org.apache.hadoop.io.compress.BrotliCodec，但该类在Hadoop中不存在。

解决方案

• 方案1：使用ORC格式时，其本身提供了BrotliCodec的支持。
• 方案2：使用Spark Job任务，并需引入包含org.apache.hadoop.io.compress.BrotliCodec实现的第三方包。