如何迁移OBS/S3的数据到ClickHouse

问题

如何迁移OBS/S3的数据到MRS ClickHouse。

回答

1. 查询S3中的数据：
   select * from s3(path [,access_key_id, secret_access_key] [,format] [,structure])

   

   • path：带有文件路径的Bucket URL地址。
   • format：文件的格式。
   • access_key_id, secret_access_key：账号的长期凭证，可以使用凭证来对请求进行认证，参数是可选的。如果没有指定凭据，将从配置文件中读取凭据。
   • structure：表结构。

   

2. ClickHouse从S3中获取数据创建表：

   CREATE TABLE test1_s3 (name String, value UInt32) ENGINE = S3(path, [access_key_id, secret_access_key,] format)

   

3. 查看创建好的表：

   select * from test1_s3