如何迁移Hive/HDFS的数据到ClickHouse

问题

如何迁移Hive/HDFS的数据到ClickHouse。

回答

可以将Hive中的数据导出为CSV文件，再将CSV文件导入到 ClickHouse。

1. 从Hive中导出数据为 CSV：

   hive -e "select * from db_hive.student limit 1000"| tr "\t" "," > /data/bigdata/hive/student.csv;

2. 导入到ClickHouse的default数据库中的student_hive表中，命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。

   clickhouse --client --port 9002 --password xxx -m --query='INSERT INTO default.student_hive FORMAT CSV' < /data/bigdata/hive/student.csv