Loader作业目的连接配置说明
基本介绍
Loader作业需要将数据保存到不同目的存储位置时，应该选择对应类型的目的连接，每种连接在该场景中需要配置连接的属性。
obs-connector
| 参数 | 说明 |
|---|---|
| 桶名 | 保存最终数据的OBS文件系统。 |
| 写入目录 | 最终数据在文件系统保存时的具体目录。必须指定一个目录。 |
| 文件格式 | Loader支持OBS中存储数据的文件格式，默认支持以下两种：
|
| 换行符 | 最终数据的每行结束标识字符。 |
| 字段分隔符 | 最终数据的每个字段分隔标识字符。 |
| 编码类型 | 最终数据的文本编码类型。只对文本类型文件有效。 |
generic-jdbc-connector
| 参数 | 说明 |
|---|---|
| 模式名称 | 保存最终数据的数据库名称。 |
| 表名 | 保存最终数据的数据表名称。 |
ftp-connector或sftp-connector
| 参数 | 说明 |
|---|---|
| 写入目录 | 最终数据在文件服务器保存时的具体目录。必须指定一个目录。 |
| 文件格式 | Loader支持文件服务器中存储数据的文件格式，默认支持以下两种：
|
| 换行符 | 最终数据的每行结束标识字符。 说明： ftp或sftp作为目的连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“换行符”配置无效。 |
| 字段分隔符 | 最终数据的每个字段分隔标识字符。 说明： ftp或sftp作为目的连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“字段分隔符”配置无效 |
| 编码类型 | 最终数据的文本编码类型。只对文本类型文件有效。 |
hbase-connector
| 参数 | 说明 |
|---|---|
| 表名 | 保存最终数据的HBase表名称，支持通过界面查询并选择。 |
| 导入方式 | 支持BULKLOAD、PUTLIST两种方式导入数据到HBase表。 |
| 导入前清空数据 | 标识是否需要清空目标HBase表中的数据，支持以下两种类型：
|
hdfs-connector
| 参数 | 说明 |
|---|---|
| 写入目录 | 最终数据在HDFS保存时的具体目录。必须指定一个目录。 |
| 文件格式 | Loader支持HDFS中存储数据的文件格式，默认支持以下两种：
|
| 压缩格式 | 文件在HDFS保存时的压缩行为。支持NONE、DEFLATE、GZIP、BZIP2、LZ4和SNAPPY。 |
| 是否覆盖 | 文件在导入HDFS时对写入目录中原有文件的处理行为，支持以下两种：
|
| 换行符 | 最终数据的每行结束标识字符。 说明： hdfs作为目的连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“换行符”配置无效。 |
| 字段分隔符 | 最终数据的每个字段分隔标识字符。 说明： hdfs作为目的连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“字段分隔符”配置无效。 |
hive-connector
| 参数 | 说明 |
|---|---|
| 数据库名称 | 保存最终数据的Hive数据库名称，支持通过界面查询并选择。 |
| 表名 | 保存最终数据的Hive表名称，支持通过界面查询并选择。 |
