Hive是否支持对同一张表或分区进行并发写数据
问题
为什么通过接口并发对Hive表进行写数据会导致数据不一致?
回答
Hive不支持对同一张表或同一个分区进行并发数据插入,这样会导致多个任务操作同一个数据临时目录,一个任务将另一个任务的数据移走,导致任务数据异常。
解决方法是修改业务逻辑,单线程插入数据到同一张表或同一个分区。

MRS 3.1.3及之后版本Hive支持对同一张表或分区并发执行insert into 表名 xxx;写数据,但不支持并发执行insert overwrite table 表名 xxx;覆写Hive数据。