更新时间:2024-06-06 GMT+08:00
分享

ClickHouse数据入库工具

最佳实践方案

ClickHouse数据加工流程最佳实践:在数据湖中通过Hive&Spark(批量)/FlinkSQL(增量)加工成大宽表后,通过CDL/Loader工具实时同步到ClickHouse,下游BI工具和应用进行实时OLAP分析。

数据加工

建议使用Hive/Spark进行数据批量加工,FilkSQL进行数据增量加工。

数据入库

建议使用CDL(增量实时同步)和Loader(批量同步)工具进行数据同步,也可选择HDFS外表(CK集群只支持X86平台)用户自己写调度程序进行数据导入。

分享:

    相关文档

    相关产品