文档首页/ MapReduce服务 MRS/ 组件操作指南（普通版）/ 使用Loader/ 管理Loader连接（MRS 3.x及之后版本）
更新时间：2023-05-30 GMT+08:00
查看PDF
分享

管理Loader连接（MRS 3.x及之后版本）

操作场景

Loader页面支持创建、查看、编辑和删除连接。

本章节适用于MRS 3.x及之后版本。

创建连接

  1. 登录服务页面：

    MRS 3.x及后续版本，登录FusionInsight Manager，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本），选择“集群 > 服务”。

  2. 选择“Loader”，在“Loader WebUI”右侧，单击链接，打开Loader的WebUI。
  3. 在Loader页面，单击“新建作业”。
  4. 在“连接”后单击“添加”，配置连接参数。

    参数介绍具体可参见Loader连接配置说明。

  5. 单击“确定”。

    如果连接配置，例如IP地址、端口、访问用户等信息不正确，将导致验证连接失败无法保存。

    用户可以直接单击“测试”立即检测连接是否可用。

查看连接

  1. 在Loader页面，单击“新建作业”。
  2. 单击“连接”后的下拉列表框，可以查看已创建的连接。

编辑连接

  1. 在Loader页面，单击“新建作业”。
  2. 单击“连接”后的下拉列表框，选择待编辑的连接名称。
  3. 在“连接”后单击“编辑”，进入编辑页面。
  4. 根据业务需要，修改连接配置参数。
  5. 单击“测试”。

    • 如果显示测试成功，则执行6。
    • 如果显示测试失败，则需要重复4。

  6. 单击“保存”。

    如果某个Loader作业已集成一个Loader连接，那么编辑连接参数后可能导致Loader作业运行效果也产生变化。

删除连接

  1. 在Loader页面，单击“新建作业”。
  2. 单击“连接”后的下拉列表框，选择待删除的连接名称。
  3. 单击“删除”。
  4. 在弹出的对话框窗口，单击“确定”。

    如果某个Loader作业已集成一个Loader连接，那么该连接不可以被删除。

Loader连接配置说明

Loader支持以下多种连接：

  • generic-jdbc-connector：参数配置请参见表1。
  • ftp-connector：参数配置请参见表2。
  • sftp-connector：参数配置请参见表3。
  • hdfs-connector：参数配置请参见表4。
  • oracle-connector：参数配置请参见表5。
  • mysql-fastpath-connector：参数配置请参见表7。
  • oracle-partition-connector：参数配置请参见表6。
表1 generic-jdbc-connector配置

参数

说明

名称

给定一个Loader连接的名称。

连接器

选择“generic-jdbc-connector”。

JDBC驱动程序类

JDBC驱动类如下:

  • oracle：oracle.jdbc.driver.OracleDriver
  • SQLServer：com.microsoft.sqlserver.jdbc.SQLServerDriver
  • mysql：com.mysql.jdbc.Driver
  • postgresql：org.postgresql.Driver
  • gaussdb200：com.huawei.gauss200.jdbc.Driver

JDBC连接字符串

表示数据库的访问地址，可以是IP地址或者域名。

输入数据库连接字符串（以下以IP为10.10.10.10，样例数据库为“test”为例）：

  • oracle：jdbc:oracle:thin:@10.10.10.10:1521:orcl
  • SQLServer：jdbc:sqlserver://10.10.10.10:1433;DatabaseName=test
  • mysql：jdbc:mysql://10.10.10.10/test?&useUnicode=true&characterEncoding=GBK
  • postgresql：jdbc:postgresql://10.10.10.10:5432/test
  • gaussdb200：jdbc:gaussdb://10.10.10.10:15400/test（15400为样例端口）

用户名

表示连接数据库使用的用户名称。

密码

表示此用户对应的密码。需要与实际密码保持一致。
表2 ftp-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“ftp-connector”。

FTP模式

选择“ACTIVE”或者“PASSIVE”。

FTP协议

选择：

  • FTP
  • SSL_EXPLICIT
  • SSL_IMPLICIT
  • TLS_EXPLICIT
  • TLS_IMPLICIT

文件名编码类型

文件名或者文件路径名的编码类型。
表3 sftp-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“sftp-connector”。
表4 hdfs-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“hdfs-connector”。
表5 oracle-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“oracle-connector”。

JDBC连接字符串

输入用于连接数据库的连接串，例如“jdbc:oracle:thin:@IP:port:database”。

用户名

表示连接数据库使用的用户名称。

密码

表示此用户对应的密码。需要与实际密码保持一致。
表6 oracle-partition-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“oracle-partition-connector”。

JDBC驱动程序类

输入“oracle.jdbc.driver.OracleDriver”。

JDBC连接字符串

输入用于连接数据库的连接串，例如“jdbc:oracle:thin:@IP:port:database”。

用户名

表示连接数据库使用的用户名称。

密码

表示此用户对应的密码。需要与实际密码保持一致。
表7 mysql-fastpath-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“mysql-fastpath-connector”。

须知：

使用mysql-fastpath-connector时，要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令，并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容，如果没有这两个命令或版本不兼容，请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html，安装MySQL client applications and tools。

例如：在RHEL-x86系统上需要安装如下RPM包（请根据实际情况选择版本）

  • mysql-community-client-5.7.23-1.el7.x86_64.rpm
  • mysql-community-common-5.7.23-1.el7.x86_64.rpm
  • mysql-community-devel-5.7.23-1.el7.x86_64.rpm
  • mysql-community-embedded-5.7.23-1.el7.x86_64.rpm
  • mysql-community-libs-5.7.23-1.el7.x86_64.rpm
  • mysql-community-libs-compat-5.7.23-1.el7.x86_64.rpm

JDBC连接字符串

输入用于连接数据库的连接串，例如“jdbc:mysql://IP/database?&useUnicode=true&characterEncoding=GBK”。

用户名

表示连接数据库使用的用户名称。

密码

表示此用户对应的密码。需要与实际密码保持一致。
父主题： 使用Loader