更新时间:2024-07-01 GMT+08:00
分享

规划导出数据

操作场景

在OBS上规划导出数据存放的位置。

规划OBS存储位置和文件

导出数据需要指定数据在OBS中的存储路径(需指定到目录),导出的数据可以按CSV解析格式保存到文件中。系统还支持TEXT类型的解析格式,将数据导出保存便于导入不同的应用程序。

导出路径的目标目录中不能存在任何文件。

规划OBS桶权限

在导出数据时,执行导出操作的用户需要具备以下条件:

规划导出数据和外表

提前在数据库的表中准备好待导出的数据,且单行数据大小需要小于1GB。根据导出数据,规划匹配用户数据的外表,外表的字段、字段类型以及长度等属性需要能够对应用户数据。

根据规划准备OBS存储位置和OBS桶的写权限

  1. 创建OBS桶,并在OBS桶中新建文件夹作为导出数据的存放目录。

    1. 登录OBS管理控制台。

      单击“服务列表”,选择“对象存储服务”,打开OBS管理控制台页面。

    2. 创建桶。

      如何创建OBS桶,具体请参见《对象存储服务控制台指南》中的创建桶章节。

      例如,创建以下两个桶:“mybucket”和“mybucket02”。

    3. 新建文件夹。

      具体请参见《对象存储服务控制台指南》中的新建文件夹章节。

      例如:

      • 在已创建的OBS桶“mybucket”中新建一个文件夹“output_data”。
      • 在已创建的OBS桶“mybucket02”中新建一个文件夹“output_data”。

  2. 获取新建文件夹的OBS路径。

    在创建外表时需要指定导出数据文件的OBS存放目录的路径,用于创建外表时location参数设置。

    location参数中OBS文件夹的路径由“obs://”、桶名和文件路径组成,即为:obs://<bucket_name>/<file_path>/

    例如,在本例中,location参数中OBS文件夹路径为:

    1
    obs://mybucket/output_data/
    

    执行数据导出的时候,导出数据文件的OBS存放目录的路径必须为空。

  3. 为导出用户设置OBS桶的写权限。

    在导出数据时,执行导出操作的用户需要具备数据导出路径所在的OBS桶的写入权限。通过配置桶的ACL权限,可以将写入权限授予指定的用户账号。

    具体请参见《对象存储服务控制台指南》中的配置桶ACL章节。

相关文档