更新时间:2024-01-24 GMT+08:00

如何迁移Hive/HDFS的数据到ClickHouse

问题

如何迁移Hive/HDFS的数据到ClickHouse。

回答

可以将Hive中的数据导出为CSV文件,再将CSV文件导入到 ClickHouse。

  1. 从Hive中导出数据为 CSV:

    hive -e "select * from db_hive.student limit 1000"| tr "\t" "," > /data/bigdata/hive/student.csv;

  2. 导入到ClickHouse的default数据库中的student_hive表中,命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。

    clickhouse --client --port 9002 --password xxx -m --query='INSERT INTO default.student_hive FORMAT CSV' < /data/bigdata/hive/student.csv