更新时间:2024-11-29 GMT+08:00
Hive不支持对同一张表或分区进行并发写数据
问题
为什么通过接口并发对Hive表进行写数据会导致数据不一致?
回答
Hive不支持对同一张表或同一个分区进行并发数据插入,这样会导致多个任务操作同一个数据临时目录,一个任务将另一个任务的数据移走,导致任务数据异常。解决方法是修改业务逻辑,单线程插入数据到同一张表或同一个分区。
父主题: Hive常见问题