文档首页/ MapReduce服务 MRS/ 组件操作指南（安卡拉区域）/ 使用Loader/ 管理Loader连接
更新时间：2024-11-29 GMT+08:00
查看PDF
分享

管理Loader连接

操作场景

Loader页面支持创建、查看、编辑和删除连接。

创建连接

  1. 选择“Loader”，在“Loader WebUI”右侧，单击链接，打开Loader的WebUI。
  2. 在Loader页面，单击“新建作业”。
  3. 在“连接”后单击“添加”，配置连接参数。

    参数介绍具体可参见Loader连接配置说明。

  4. 单击“确定”。

    如果连接配置，例如IP地址、端口、访问用户等信息不正确，将导致验证连接失败无法保存。

    用户可以直接单击“测试”立即检测连接是否可用。

查看连接

  1. 在Loader页面，单击“新建作业”。
  2. 单击“连接”后的下拉列表框，可以查看已创建的连接。

编辑连接

  1. 在Loader页面，单击“新建作业”。
  2. 单击“连接”后的下拉列表框，选择待编辑的连接名称。
  3. 在“连接”后单击“编辑”，进入编辑页面。
  4. 根据业务需要，修改连接配置参数。
  5. 单击“测试”。

    • 如果显示测试成功，则执行6。
    • 如果显示测试失败，则需要重复4。

  6. 单击“保存”。

    如果某个Loader作业已集成一个Loader连接，那么编辑连接参数后可能导致Loader作业运行效果也产生变化。

删除连接

  1. 在Loader页面，单击“新建作业”。
  2. 单击“连接”后的下拉列表框，选择待删除的连接名称。
  3. 单击“删除”。
  4. 在弹出的对话框窗口，单击“确定”。

    如果某个Loader作业已集成一个Loader连接，那么该连接不可以被删除。

Loader连接配置说明

Loader支持以下多种连接：

  • generic-jdbc-connector：参数配置请参见表1。
  • ftp-connector：参数配置请参见表2。
  • sftp-connector：参数配置请参见表3。
  • hdfs-connector：参数配置请参见表4。
  • oracle-connector：参数配置请参见表5。
  • mysql-fastpath-connector：参数配置请参见表7。
  • oracle-partition-connector：参数配置请参见表6。
  • clickhouse-connector:参数配置请参见表8。
表1 generic-jdbc-connector配置

参数

说明

名称

给定一个Loader连接的名称。

连接器

选择“generic-jdbc-connector”。

JDBC驱动程序类

JDBC驱动类如下:

  • oracle：oracle.jdbc.driver.OracleDriver
  • SQLServer：com.microsoft.sqlserver.jdbc.SQLServerDriver
  • mysql：com.mysql.jdbc.Driver
  • postgresql：org.postgresql.Driver

JDBC连接字符串

表示数据库的访问地址，可以是IP地址或者域名。

输入数据库连接字符串（以下以IP为访问数据库IP，以“10.10.10.10”为例，样例数据库为“test”为例）：

  • oracle：jdbc:oracle:thin:@10.10.10.10:1521:test
  • SQLServer：jdbc:sqlserver://10.10.10.10:1433;DatabaseName=test（1433为样例端口）
  • mysql：jdbc:mysql://10.10.10.10/test?&useUnicode=true&characterEncoding=GBK
  • postgresql：jdbc:postgresql://10.10.10.10:5432/test
  • MOTService：jdbc:opengauss://10.10.10.10:20105/test（20105为样例端口）

用户名

表示连接数据库使用的用户名称。

密码

表示此用户对应的密码。需要与实际密码保持一致。
表2 ftp-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“ftp-connector”。

FTP模式

选择“ACTIVE”或者“PASSIVE”。

FTP协议

选择：

  • FTP
  • SSL_EXPLICIT
  • SSL_IMPLICIT
  • TLS_EXPLICIT
  • TLS_IMPLICIT

文件名编码类型

文件名或者文件路径名的编码类型。
表3 sftp-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“sftp-connector”。
表4 hdfs-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“hdfs-connector”。
表5 oracle-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“oracle-connector”。

JDBC连接字符串

输入用于连接数据库的连接串。

用户名

表示连接数据库使用的用户名称。

密码

表示此用户对应的密码。需要与实际密码保持一致。
表6 oracle-partition-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“oracle-partition-connector”。

JDBC驱动程序类

输入“oracle.jdbc.driver.OracleDriver”。

JDBC连接字符串

输入用于连接数据库的连接串。

用户名

表示连接数据库使用的用户名称。

密码

表示此用户对应的密码。需要与实际密码保持一致。
表7 mysql-fastpath-connector配置

参数

说明

名称

指定一个Loader连接的名称。

连接器

选择“mysql-fastpath-connector”。

须知：

使用mysql-fastpath-connector时，要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令，并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容，如果没有这两个命令或版本不兼容，请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html，安装MySQL client applications and tools。

例如：在RHEL-x86系统上需要安装如下RPM包（请根据实际情况选择版本）

  • mysql-community-client-5.7.23-1.el7.x86_64.rpm
  • mysql-community-common-5.7.23-1.el7.x86_64.rpm
  • mysql-community-devel-5.7.23-1.el7.x86_64.rpm
  • mysql-community-embedded-5.7.23-1.el7.x86_64.rpm
  • mysql-community-libs-5.7.23-1.el7.x86_64.rpm
  • mysql-community-libs-compat-5.7.23-1.el7.x86_64.rpm

JDBC连接字符串

输入用于连接数据库的连接串。

用户名

表示连接数据库使用的用户名称。

密码

表示此用户对应的密码。需要与实际密码保持一致。
表8 clickhouse-connector配置

参数

说明

名称

给定一个Loader连接的名称。

连接器

选择“clickhouse-connector”。

ClickHouse连接字符串
  • 集群已启用Kerberos认证，格式为“jdbc:clickhouse://访问数据库IP:数据库端口号/数据库名称?ssl=true&sslmode=none”
  • 集群未启用Kerberos认证，格式为“jdbc:clickhouse://访问数据库IP:数据库端口号/数据库名称”
说明：
  • 访问数据库IP：ClickHouse的实例IP地址可登录集群FusionInsight Manager，然后选择“集群 > 服务 > ClickHouse > 实例”，获取ClickHouseBalancer实例对应的业务IP地址。
  • 数据库端口：
    • 已启用Kerberos认证集群具体的端口值可通过登录集群FusionInsight Manager，选择“集群 > 服务 > ClickHouse >逻辑集群”，查看对应逻辑集群，获取“HTTP Balancer端口号”中“加密端口”参数值。
    • 未启用Kerberos认证集群具体的端口值可通过登录集群FusionInsight Manager，选择“集群 > 服务 > ClickHouse >逻辑集群”，查看对应逻辑集群，获取“HTTP Balancer端口号”中“非加密端口”参数值。

用户名

表示连接数据库使用的用户名称。

密码

表示此用户对应的密码。需要与实际密码保持一致。
父主题： 使用Loader