如何迁移OBS/S3的数据到ClickHouse

问题

如何迁移OBS/S3的数据到ClickHouse。

回答

1. 查询 S3 中的数据：
   select * from s3(path [,aws_access_key_id, aws_secret_access_key] [,format] [,structure])

   

   参数说明：

   • path：带有文件路径的 Bucket url。
   • format：文件的格式。
   • aws_access_key_id, aws_secret_access_key：AWS 账号的长期凭证，可以使用凭证来对请求进行认证，参数是可选的。如果没有指定凭据，将从配置文件中读取凭据。
   • structure：表结构。

   

2. ClickHouse 从 S3 中获取数据创建表：

   CREATE TABLE test1_s3 (name String, value UInt32) ENGINE = S3(path, [aws_access_key_id, aws_secret_access_key,] format)

   

3. 查看创建好的表：

   select * from test1_s3