文档首页/ MapReduce服务 MRS/ 组件操作指南(阿布扎比区域)/ 使用Loader/ 管理Loader连接(MRS 3.x及之后版本)
更新时间:2024-07-19 GMT+08:00

管理Loader连接(MRS 3.x及之后版本)

操作场景

Loader页面支持创建、查看、编辑和删除连接。

本章节适用于MRS 3.x及之后版本。

创建连接

  1. 登录服务页面:

    MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本),选择“集群 > 服务”。

  2. 选择“Loader”,在“Loader WebUI”右侧,单击链接,打开Loader的WebUI。
  3. 在Loader页面,单击“新建作业”
  4. “连接”后单击“添加”,配置连接参数。

    参数介绍具体可参见Loader连接配置说明

  5. 单击“确定”

    如果连接配置,例如IP地址、端口、访问用户等信息不正确,将导致验证连接失败无法保存。

    用户可以直接单击“测试”立即检测连接是否可用。

查看连接

  1. 在Loader页面,单击“新建作业”
  2. 单击“连接”后的下拉列表框,可以查看已创建的连接。

编辑连接

  1. 在Loader页面,单击“新建作业”
  2. 单击“连接”后的下拉列表框,选择待编辑的连接名称。
  3. “连接”后单击“编辑”,进入编辑页面。
  4. 根据业务需要,修改连接配置参数。
  5. 单击“测试”

    • 如果显示测试成功,则执行6
    • 如果显示测试失败,则需要重复4

  6. 单击“保存”

    如果某个Loader作业已集成一个Loader连接,那么编辑连接参数后可能导致Loader作业运行效果也产生变化。

删除连接

  1. 在Loader页面,单击“新建作业”
  2. 单击“连接”后的下拉列表框,选择待删除的连接名称。
  3. 单击“删除”
  4. 在弹出的对话框窗口,单击“确定”

    如果某个Loader作业已集成一个Loader连接,那么该连接不可以被删除。

Loader连接配置说明

Loader支持以下多种连接:

  • generic-jdbc-connector:参数配置请参见表1
  • ftp-connector:参数配置请参见表2
  • sftp-connector:参数配置请参见表3
  • hdfs-connector:参数配置请参见表4
  • oracle-connector:参数配置请参见表5
  • mysql-fastpath-connector:参数配置请参见表7
  • oracle-partition-connector:参数配置请参见表6
表1 generic-jdbc-connector配置

参数

说明

名称

给定一个Loader连接的名称。

连接器

选择“generic-jdbc-connector”

JDBC驱动程序类

JDBC驱动类如下:

  • oracle:oracle.jdbc.driver.OracleDriver
  • SQLServer:com.microsoft.sqlserver.jdbc.SQLServerDriver
  • mysql:com.mysql.jdbc.Driver
  • postgresql:org.postgresql.Driver

JDBC连接字符串

表示数据库的访问地址,可以是IP地址或者域名。

输入数据库连接字符串(以下以IP为10.10.10.10,样例数据库为“test”为例):

  • oracle:jdbc:oracle:thin:@10.10.10.10:1521:orcl
  • SQLServer:jdbc:sqlserver://10.10.10.10:1433;DatabaseName=test
  • mysql:jdbc:mysql://10.10.10.10/test?&useUnicode=true&characterEncoding=GBK
  • postgresql:jdbc:postgresql://10.10.10.10:5432/test

用户名

表示连接数据库使用的用户名称。

密码

表示此用户对应的密码。需要与实际密码保持一致。

表2 ftp-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“ftp-connector”

FTP模式

选择“ACTIVE”或者“PASSIVE”

FTP协议

选择:

  • FTP
  • SSL_EXPLICIT
  • SSL_IMPLICIT
  • TLS_EXPLICIT
  • TLS_IMPLICIT

文件名编码类型

文件名或者文件路径名的编码类型。

表3 sftp-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“sftp-connector”

表4 hdfs-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“hdfs-connector”

表5 oracle-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“oracle-connector”

JDBC连接字符串

输入用于连接数据库的连接串。

用户名

表示连接数据库使用的用户名称。

密码

表示此用户对应的密码。需要与实际密码保持一致。

表6 oracle-partition-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“oracle-partition-connector”

JDBC驱动程序类

输入“oracle.jdbc.driver.OracleDriver”

JDBC连接字符串

输入用于连接数据库的连接串。

用户名

表示连接数据库使用的用户名称。

密码

表示此用户对应的密码。需要与实际密码保持一致。

表7 mysql-fastpath-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“mysql-fastpath-connector”

须知:

使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldumpmysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html,安装MySQL client applications and tools。

例如:在RHEL-x86系统上需要安装如下RPM包(请根据实际情况选择版本)

  • mysql-community-client-5.7.23-1.el7.x86_64.rpm
  • mysql-community-common-5.7.23-1.el7.x86_64.rpm
  • mysql-community-devel-5.7.23-1.el7.x86_64.rpm
  • mysql-community-embedded-5.7.23-1.el7.x86_64.rpm
  • mysql-community-libs-5.7.23-1.el7.x86_64.rpm
  • mysql-community-libs-compat-5.7.23-1.el7.x86_64.rpm

JDBC连接字符串

输入用于连接数据库的连接串。

用户名

表示连接数据库使用的用户名称。

密码

表示此用户对应的密码。需要与实际密码保持一致。