更新时间:2023-03-17 GMT+08:00

Hive不支持对同一张表或分区进行并发写数据

问题

为什么通过接口并发对Hive表进行写数据会导致数据不一致?

回答

Hive不支持对同一张表或同一个分区进行并发数据插入,这样会导致多个任务操作同一个数据临时目录,一个任务将另一个任务的数据移走,导致任务数据异常。解决方法是修改业务逻辑,单线程插入数据到同一张表或同一个分区。