Impala查询parquet表的Schema和文件Schema不一致时报错
问题
parquet建表定义的列顺序和数据文件的列顺序不一致,Impala查询时报错。
回答
查询前设置set PARQUET_FALLBACK_SCHEMA_RESOLUTION=name;之后即可。
如果要永久生效,登录Manager界面,选择“集群 > 服务 > Impala > 配置 > 全部配置 > Impalad(角色) > 自定义”,在“impalad.customized.configs”中添加参数“-default_query_options”值为“PARQUET_FALLBACK_SCHEMA_RESOLUTION=name”。保存配置,并重启配置过期的实例。