文档首页 > > 用户指南> 连接管理> 新建连接

新建连接

分享
更新时间:2020/10/23 GMT+08:00

操作场景

用户在创建数据迁移的任务前,需要先创建连接,让CDM集群能够读写数据源。一个迁移任务,需要建立两个连接,源连接和目的连接。不同的迁移方式(表/文件迁移或者场景迁移),哪些数据源支持导出(即作为源连接),哪些数据源支持导入(即作为目的连接),详情请参见支持的数据源

不同类型的数据源,创建连接时的配置参数也不相同,本章节指导用户根据数据源类型创建对应的连接。

前提条件

操作步骤

  1. 登录CDM管理控制台
  2. 单击左侧导航上的“集群管理”,选择CDM集群后的作业管理 > 连接管理 > 新建连接,选择连接器类型,如图1所示。

    这里的连接器类型,是根据待连接的数据源类型分类的,包含了CDM目前支持导入/导出的所有数据源类型。

    图1 选择连接器类型

  3. 选择数据源类型后,单击“下一步”配置连接参数,这里以创建MySQL连接为例。

    图2 创建MySQL连接
    每种数据源的连接参数不同,您可以根据所选择的连接器类型在表1中查找对应参数。
    表1 连接参数分类

    连接器类型

    参数说明

    • 数据仓库服务(DWS)
    • 云数据库 MySQL
    • 云数据库 PostgreSQL
    • 云数据库 SQL Server
    • 分布式数据库中间件(DDM)
    • MySQL
    • PostgreSQL
    • Microsoft SQL Server
    • Oracle
    • IBM Db2
    • FusionInsight LibrA
    • Derecho(GaussDB)
    • SAP HANA

    由于连接这些关系型数据库,所采用的JDBC驱动相同,所以他们的连接参数也一样,具体参数请参见配置关系数据库连接

    • 导入到DWS时,支持使用Copy接口或GDS组件提高导入性能,可在创建DWS连接时的“导入模式”参数中选择。
    • 导入到云数据库 MySQL服务时,支持使用MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。可在创建MySQL连接时的“使用本地API”参数中启用该功能。

    对象存储服务(OBS)

    选择连接OBS时,具体参数请参见配置OBS连接

    阿里云对象存储(OSS)

    选择连接阿里云对象存储服务(Object Storage Service,简称 OSS)时,具体参数请参见配置阿里云OSS连接

    目前仅支持从OSS导出数据到OBS。

    七牛云对象存储(KODO)

    腾讯云对象存储(COS)

    选择连接七牛云对象存储(KODO)或者腾讯云对象存储(COS)时,具体参数请参见配置七牛云KODO/腾讯云COS连接

    目前仅支持从KODO/COS导出数据到OBS。

    亚马逊对象存储S3

    选择连接亚马逊对象存储S3时,具体参数请参见配置亚马逊对象存储S3连接

    目前仅支持从亚马逊对象存储S3导出到OBS。

    • MRS HDFS
    • FusionInsight HDFS
    • Apache HDFS

    连接MRS、Apache Hadoop或FusionInsight HD上的HDFS时,具体参数请参见配置HDFS连接

    说明:

    在连接参数中,“运行模式”选择“STANDALONE”时,CDM支持在多个MRS集群的HDFS之间迁移数据。

    • MRS HBase
    • FusionInsight HBase
    • Apache HBase

    连接MRS、Apache Hadoop或FusionInsight HD上的HBase时,具体参数请参见配置HBase连接

    MRS Hive

    连接MRS的Hive时,具体参数请参见配置Hive连接

    表格存储服务(CloudTable)

    连接CloudTable时,具体参数请参见配置CloudTable连接

    • FTP
    • SFTP

    连接FTP或SFTP服务器时,具体参数请参见配置FTP/SFTP连接

    • HTTP
    • HTTPS

    用于读取一个公网HTTP/HTTPS URL的文件,包括第三方对象存储的公共读取场景和网盘场景。

    当前创建HTTP连接时,只需要配置连接名称,具体URL在创建作业时配置。

    • 网络附加存储(NAS)
    • 弹性文件服务(SFS Turbo)

    连接NAS数据源时,具体参数请参见配置NAS/SFS连接

    CDM支持CIFS/SMB/NFS协议,可对接专业文件服务器、Windows系统文件共享、Linux Samba服务器,以及提供CIFS/SMB/NFS协议的文件系统的云服务,例如弹性文件服务SFS。

    • MongoDB
    • 文档数据库服务(DDS)

    连接本地MongoDB数据库或DDS时,具体参数请参见配置MongoDB连接

    • Redis
    • 分布式缓存服务(DCS)

    连接本地Redis数据库或DCS时,具体参数请参见配置Redis/DCS连接

    目前仅支持导入数据到DCS,不支持从DCS导出,开源Redis支持导入导出。

    Apache Kafka

    连接开源Kafka数据源时,具体参数请参见配置Kafka连接

    目前仅支持从Kafka导出数据到云搜索服务、DMS Kafka、DIS。

    数据接入服务(DIS)

    连接DIS时,具体参数请参见配置DIS连接

    目前仅支持从DIS导出数据到云搜索服务、Apache Kafka、DMS Kafka。

    • 云搜索服务
    • Elasticsearch

    连接云搜索服务或Elasticsearch时,具体参数请参见配置Elasticsearch/云搜索服务(CSS)连接

    数据湖探索(DLI)

    连接数据湖探索服务时,具体参数请参见配置DLI连接

    目前仅支持导入数据到DLI,不支持从DLI导出。

    OpenTSDB

    连接OpenTSDB时,具体参数请参见配置CloudTable OpenTSDB连接

    DMS Kafka

    连接DMS的Kafka队列时,具体参数请参见配置DMS Kafka连接

    目前仅支持从DMS Kafka导出数据到云搜索服务、Apache Kafka、DIS、DMS Kafka。

  4. 连接的参数配置完成后单击“测试”,可测试连接是否可用。或者直接单击“保存”,保存时也会先检查连接是否可用。

    受网络和数据源的影响,部分连接测试的时间可能需要30~60秒。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问