文档首页/ MapReduce服务 MRS/ 组件操作指南（普通版）/ 使用Loader/ Loader连接配置说明
更新时间：2022-09-30 GMT+08:00
查看PDF
分享

Loader连接配置说明

本章节适用于MRS 3.x之前版本。

基本介绍

Loader支持以下多种连接，每种连接的配置介绍可根据本章节内容了解。

  • obs-connector
  • generic-jdbc-connector
  • ftp-connector或sftp-connector
  • hbase-connector、hdfs-connector或hive-connector

OBS连接

OBS连接是Loader与OBS进行数据交换的通道，配置参数如表1所示。

表1 obs-connector配置

参数

说明

名称

指定一个Loader连接的名称。

OBS服务器

输入OBS endpoint地址，一般格式为OBS.Region.DomainName。

例如执行如下命令查看OBS endpoint地址：

cat /opt/Bigdata/apache-tomcat-7.0.78/webapps/web/WEB-INF/classes/cloud-obs.properties

端口

访问OBS数据的端口。默认值为“443”。

访问标识(AK)

表示访问OBS的用户的访问密钥AK。

密钥(SK)

表示访问密钥对应的SK。

关系型数据库连接

关系型数据库连接是Loader与关系型数据库进行数据交换的通道，配置参数如表2所示。

部分参数需要单击“显示高级属性”后展开，否则默认隐藏。

表2 generic-jdbc-connector配置

参数

说明

名称

指定一个Loader连接的名称。

数据库类型

表示Loader连接支持的数据，可以选择“ORACLE”、“MYSQL”和“MPPDB”。

数据库服务器

表示数据库的访问地址，可以是IP地址或者域名。

端口

表示数据库的访问端口。

数据库名称

表示保存数据的具体数据库名。

用户名

表示连接数据库使用的用户名称。

密码

表示此用户对应的密码。需要与实际密码保持一致。
表3 高级属性配置

参数

说明

一次请求行数

表示每次连接数据库时，最多可获取的数据量。

连接属性

不同类型数据库支持该数据库连接特有的驱动属性，例如MYSQL的“autoReconnect”。如果需要定义驱动属性，单击“添加”。

引用符号

表示数据库的SQL中保留关键字的定界符，不同类型数据库定义的定界符不完全相同。

文件服务器连接

文件服务器连接包含FTP连接和SFTP连接，是Loader与文件服务器进行数据交换的通道，配置参数如表4所示。

表4 ftp-connector或sftp-connector配置

参数

说明

名称

指定一个Loader连接的名称。

主机名或IP

输入文件服务器的访问地址，可以是服务器的主机名或者IP地址。

端口

访问文件服务器的端口。

  • FTP协议请使用端口“21”。
  • SFTP协议请使用端口“22”。

用户名

表示文件服务器的用户名称。

密码

表示此用户对应的密码。

MRS集群连接

MRS集群连接包含HBase连接、HDFS连接和Hive连接，是Loader与对应各数据进行数据交换的通道。

配置MRS集群连接时，需要设置名称、选择对应的连接器“hbase-connector”、“hdfs-connector”或“hive-connector”，然后保存即可。

父主题： 使用Loader

相关文档