更新时间:2022-02-22 GMT+08:00

Loader连接配置说明

本章节适用于MRS 3.x之前版本。

基本介绍

Loader支持以下多种连接,每种连接的配置介绍可根据本章节内容了解。

  • obs-connector
  • generic-jdbc-connector
  • ftp-connector或sftp-connector
  • hbase-connector、hdfs-connector或hive-connector

OBS连接

OBS连接是Loader与OBS进行数据交换的通道,配置参数如表1所示。

表1 obs-connector配置

参数

说明

名称

指定一个Loader连接的名称。

OBS服务器

输入OBS endpoint地址,一般格式为OBS.Region.DomainName

例如执行如下命令查看OBS endpoint地址:

cat /opt/Bigdata/apache-tomcat-7.0.78/webapps/web/WEB-INF/classes/cloud-obs.properties

端口

访问OBS数据的端口。默认值为“443”

访问标识(AK)

表示访问OBS的用户的访问密钥AK。

密钥(SK)

表示访问密钥对应的SK。

关系型数据库连接

关系型数据库连接是Loader与关系型数据库进行数据交换的通道,配置参数如表2所示。

部分参数需要单击“显示高级属性”后展开,否则默认隐藏。

表2 generic-jdbc-connector配置

参数

说明

名称

指定一个Loader连接的名称。

数据库类型

表示Loader连接支持的数据,可以选择“ORACLE”“MYSQL”“MPPDB”

数据库服务器

表示数据库的访问地址,可以是IP地址或者域名。

端口

表示数据库的访问端口。

数据库名称

表示保存数据的具体数据库名。

用户名

表示连接数据库使用的用户名称。

密码

表示此用户对应的密码。需要与实际密码保持一致。

表3 高级属性配置

参数

说明

一次请求行数

表示每次连接数据库时,最多可获取的数据量。

连接属性

不同类型数据库支持该数据库连接特有的驱动属性,例如MYSQL的“autoReconnect”。如果需要定义驱动属性,单击“添加”

引用符号

表示数据库的SQL中保留关键字的定界符,不同类型数据库定义的定界符不完全相同。

文件服务器连接

文件服务器连接包含FTP连接和SFTP连接,是Loader与文件服务器进行数据交换的通道,配置参数如表4所示。

表4 ftp-connector或sftp-connector配置

参数

说明

名称

指定一个Loader连接的名称。

主机名或IP

输入文件服务器的访问地址,可以是服务器的主机名或者IP地址。

端口

访问文件服务器的端口。

  • FTP协议请使用端口“21”
  • SFTP协议请使用端口“22”

用户名

表示文件服务器的用户名称。

密码

表示此用户对应的密码。

MRS集群连接

MRS集群连接包含HBase连接、HDFS连接和Hive连接,是Loader与对应各数据进行数据交换的通道。

配置MRS集群连接时,需要设置名称、选择对应的连接器“hbase-connector”“hdfs-connector”“hive-connector”,然后保存即可。