更新时间:2023-12-13 GMT+08:00
分享

配置DLI目的端参数

作业中目的连接为DLI连接时,即将数据导入到数据湖探索服务(DLI)时,目的端作业参数如表1所示。

使用CDM服务迁移数据到DLI时,DLI要在OBS的dli-trans*内部临时桶生成数据文件,因此在需要赋予使用AK/SK对应的账号对dli-trans*桶的读、写、创建目录对象等权限,OBS权限策略添加请参见新增OBS桶授权策略

表1 DLI作为目的端时的作业参数

参数名

说明

取值样例

资源队列

选择目的表所属的资源队列。

DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。

新建队列操作请参考创建队列

cdm

数据库名称

写入数据的数据库名称。

dli

表名

写入数据的表名。

car_detail

导入前清空数据

选择导入前是否清空目的表的数据。

如果设置为是,任务启动前会清除目标表中数据。

空字符串作为null

如果设置为true,空字符串将作为null。

清空数据方式

导入前清空数据,如果设置为true时,呈现此参数。

TRUNCATE:删除标准数据。

INSERT_OVERWRITE:新增数据插入,同主键数据覆盖。

说明:

当源端为Kafka时,如果DLI导入前清空数据,则不支持INSERT_OVERWRITE。

TRUNCATE

分区

“导入前清空数据”设置为“是”时,呈现此参数。

填写分区信息后,表示清空该分区的数据。

year=2020,location=sun

新增OBS桶授权策略

  1. 登录统一身份认证服务控制台。
  2. 在左侧导航窗格中,选择权限管理>权限页签,单击右上方的“创建自定义策略”

    图1 创建自定义策略

  3. 输入策略名称并选择对象存储服务后,配置策略内容,如图2所示。

    图2 配置策略内容

  4. 填写策略描述后单击“确定”,完成对象存储服务自定义策略创建。

分享:

    相关文档

    相关产品