更新时间:2023-03-17 GMT+08:00

Loader作业目的连接配置说明

基本介绍

Loader作业需要将数据保存到不同目的存储位置时,应该选择对应类型的目的连接,每种连接在该场景中需要配置连接的属性。

obs-connector

表1 obs-connector目的连接属性

参数

说明

桶名

保存最终数据的OBS文件系统。

写入目录

最终数据在文件系统保存时的具体目录。必须指定一个目录。

文件格式

Loader支持OBS中存储数据的文件格式,默认支持以下两种:

  • CSV_FILE:表示文本格式文件。目的连接为数据库型连接时,只支持文本格式。
  • BINARY_FILE:表示文本格式以外的二进制文件。

换行符

最终数据的每行结束标识字符。

字段分割符

最终数据的每个字段分割标识字符。

编码类型

最终数据的文本编码类型。只对文本类型文件有效。

generic-jdbc-connector

表2 generic-jdbc-connector目的连接属性

参数

说明

模式名称

保存最终数据的数据库名称。

表名

保存最终数据的数据表名称。

ftp-connector或sftp-connector

表3 ftp-connector或sftp-connector目的连接属性

参数

说明

写入目录

最终数据在文件服务器保存时的具体目录。必须指定一个目录。

文件格式

Loader支持文件服务器中存储数据的文件格式,默认支持以下两种:

  • CSV_FILE:表示文本格式文件。目的连接为数据库型连接时,只支持文本格式。
  • BINARY_FILE:表示文本格式以外的二进制文件。

换行符

最终数据的每行结束标识字符。

说明:

ftp或sftp作为目的连接时,当“文件格式”配置为BINARY_FILE时,高级属性中的“换行符”配置无效。

字段分割符

最终数据的每个字段分割标识字符。

说明:

ftp或sftp作为目的连接时,当“文件格式”配置为BINARY_FILE时,高级属性中的“字段分割符”配置无效

编码类型

最终数据的文本编码类型。只对文本类型文件有效。

hbase-connector

表4 hbase-connector目的连接属性

参数

说明

表名

保存最终数据的HBase表名称,支持通过界面查询并选择。

导入方式

支持BULKLOAD、PUTLIST两种方式导入数据到HBase表。

导入前清空数据

标识是否需要清空目标HBase表中的数据,支持以下两种类型:

  • True:清空表中的数据。
  • False:不清空表中的数据,选择False时如果表中存在数据,则作业运行会报错。

hdfs-connector

表5 hdfs-connector目的连接属性

参数

说明

写入目录

最终数据在HDFS保存时的具体目录。必须指定一个目录。

文件格式

Loader支持HDFS中存储数据的文件格式,默认支持以下两种:

  • CSV_FILE:表示文本格式文件。目的连接为数据库型连接时,只支持文本格式。
  • BINARY_FILE:表示文本格式以外的二进制文件。

压缩格式

文件在HDFS保存时的压缩行为。支持NONE、DEFLATE、GZIP、BZIP2、LZ4和SNAPPY。

是否覆盖

文件在导入HDFS时对写入目录中原有文件的处理行为,支持以下两种:

  • True:默认清空目录中的文件并导入新文件。
  • False:不清空文件。如果写入目录中有文件,则作业运行失败。

换行符

最终数据的每行结束标识字符。

说明:

hdfs作为目的连接时,当“文件格式”配置为BINARY_FILE时,高级属性中的“换行符”配置无效。

字段分割符

最终数据的每个字段分割标识字符。

说明:

hdfs作为目的连接时,当“文件格式”配置为BINARY_FILE时,高级属性中的“字段分割符”配置无效

hive-connector

表6 hive-connector目的连接属性

参数

说明

数据库名称

保存最终数据的Hive数据库名称,支持通过界面查询并选择。

表名

保存最终数据的Hive表名称,支持通过界面查询并选择。