文档首页/ 数据湖探索 DLI/ 用户指南（巴黎区域）/ 跨源连接/ 增强型跨源连接
更新时间：2022-07-01 GMT+08:00
查看PDF
分享

增强型跨源连接

DLI 增强型跨源连接底层采用对等连接，直接打通DLI集群与目的数据源的vpc网络，通过点对点的方式实现数据互通。增强型跨源支持所有DLI服务已实现的跨源业务，包括CloudTable的Hbase和OpenTSDB，MRS的OpenTSDB，DWS，RDS，CSS，DCS，DDS等数据源。并且通过UDF、Spark作业和Flink作业方式能够实现与自建数据源之间的访问。

  • 绑定跨源的DLI队列网段和数据源网段不能重合。
  • 系统default队列不支持创建跨源连接。
  • 访问跨源表需要使用已经创建跨源连接的队列。
  • 跨源表不支持Preview预览功能。

增强型跨源主要包括如下功能：

增强型跨源页面

显示所有的增强型跨源连接，连接数量较多时，系统分页显示。

表1 跨源连接列表参数

参数

参数说明

连接名称

所创建的跨源连接名称。

连接状态

跨源连接的状态信息，目前控制台仅显示“已激活”状态的连接。

虚拟私有云

目的数据源所使用的虚拟私有云。

子网

目的数据源所使用的子网。

创建时间

每个连接的创建时间，可按创建时间顺序或倒序显示连接列表。

操作
  • 删除连接：用于删除已创建的跨源连接。
  • 路由信息：查看跨源连接自定义的路由信息。
  • 修改主机信息：用户自定义配置主机/域名对应的IP信息。
  • 绑定队列：执行绑定队列后，被绑定的队列即可使用增强型跨源访问数据源。
  • 更多：
    • 解绑队列：用于解除跨源连接与队列之间的绑定关系。
    • 添加路由：添加跨源连接的自定义路由。
    • 删除路由：删除跨源连接的自定义路由。
    • 权限管理：对其他项目进行授权或者回收权限。

创建连接

以创建MRS服务HBase跨源连接为例进行说明。

只支持通过增强型跨源访问MRS HBase。

  1. 在MRS服务中申请集群。

    如果已有可用集群，可不用重新申请。

  2. 在DLI管理控制台左侧导航栏中，选择“跨源连接”。
  3. 选择“增强型跨源”页签，单击左上角的“创建”按钮。

    输入连接名称，选择绑定队列（可选），虚拟私有云，子网，输入主机信息（可选），详细参数介绍请参见表2。

    表2 参数说明

    参数

    参数说明

    连接名称

    所创建的跨源连接名称。

    • 名称只能包含数字、英文字母、下划线。不能为空。
    • 输入长度不能超过64个字符。

    绑定队列

    可选参数，用于绑定需要使用跨源的队列。

    说明：

    使用增强型跨源连接之前必须绑定队列且对等连接的状态是“active”。

    虚拟私有云

    目的数据源所使用的虚拟私有云。

    子网

    目的数据源所使用的子网。

    主机信息

    可选参数，用户自定义配置主机/域名对应的IP信息。每行填写一条记录，填写格式为：“IP 主机名/域名”。访问MRS的HBase集群时需要配置Zookeeper实例的主机名与对应的IP地址。

    进入MRS集群管理界面的步骤为：

    1. 在MRS集群列表中，单击所使用的集群名称，进入集群“概览”页。
    2. 在集群“基本信息”中找到“集群管理页面”，单击“点击查看”。
    3. 输入用户名和密码（“用户名”和“密码”为申请MRS集群时设置，“用户名”默认为“admin”），单击“登录”进入“MRS Manager”页面。
    4. 选择“服务管理”页签；
    5. 进入“Zookeeper”服务；
    6. 选择“实例”页签，可以查看对应业务IP，可选择任意一个业务IP。
    说明：

    如果MapReduce服务集群存在多个IP，创建跨源连接时填写其中任意一个业务IP即可。
  4. 单击“确定”，完成连接创建。

查找连接

在“增强型跨源”页面，可在搜索框中输入连接名称关键字，查找与之匹配的连接。

查看连接详情

在“增强型跨源”页面，选中一条连接，单击该连接对应的，可查看该条连接的详细信息。包括：连接ID和主机信息。

查看绑定队列详情

在“增强型跨源”页面，选中一条连接，单击选中的连接名称，可以查看绑定队列相关信息。
表3 跨源连接队列详情列表参数

参数

参数说明

对等连接ID

增强型跨源在该队列所在集群中创建的对等连接ID。

说明：

每一个增强型跨源对每一个绑定的队列都会创建一个对等连接。该对等连接用于实现跨VPC通信，请确保数据源使用的安全组开放了DLI队列网段的访问，并且在使用跨源过程中不要删除该对等连接。

队列名称

已绑定的队列名称。

连接状态

跨源连接的状态信息，包括以下三种状态：

  • 创建中
  • 已激活
  • 已失败
说明：

当连接状态显示为“已失败”时，单击左边对应的，可查看详细的错误信息。

更新时间

每个连接的更新时间，可按更新时间顺序或倒序显示连接列表。

操作

解绑队列：用于解除跨源连接与队列之间的绑定关系。

删除连接

在“增强型跨源”页面，可单击“操作”列的“删除连接”，删除不需要的连接。

当“连接状态”为“创建中”时，连接不可删除。

绑定队列

  • 方式一

    在“增强型跨源”页面，选择一条连接，单击该连接“操作”列中的“绑定队列”，在弹出的对话框中，选择要绑定的队列（支持多选），单击“确定”。

  • 方式二

    单击选择的连接名称，进入该连接的“ 详情”页面。单击左上角的“创建”，在弹出的对话框中，选择要绑定的队列（支持多选），单击“确定”。

解绑队列

  • 方式一

    在“增强型跨源”页面，选择一条连接，单击该连接“操作”列中的“更多”>“解绑队列”，在弹出的对话框中，选择要解绑的队列，单击“确定”。

  • 方式二

    单击选择的连接名称，进入该连接的“ 详情”页面。选择要解绑的队列，单击该连接“操作”列中的“解绑队列”，在弹出的对话框中，选择要解绑的队列，单击“确定”。

修改主机信息

在“增强型跨源”页面，选择一条连接，单击该连接“操作”列中的“修改主机信息”，在弹出的对话框中，填写主机信息。格式为：“IP 主机名/域名”，多条信息之间以换行分隔。

  • 修改主机信息每次均为全量覆盖。
  • 主机名/域名限制为长度128，数字字母下划线("_")横杠("-")句点(".")组成，字母开头。

自定义路由信息

增强型跨源连接提供添加自定义路由的功能。

  • 查看路由信息

    在“增强型跨源”页面，选择一条连接，单击该连接“操作”列中的“路由信息”，可以查看该跨源自定义的路由信息。

  • 添加路由

    在“增强型跨源”页面，选择一条连接，单击该连接“操作”列中的“更多”>“添加路由”，或者在“路由信息”页面单击“添加路由”，可以添加该跨源的自定义路由。在弹出的对话框中，填写路由名称与路由网段即可，详细参数请参考表4。

    表4 自定义路由详情列表参数

    参数

    参数说明

    连接名称

    需要添加路由的连接名称。

    路由名称

    自定义路由的名称，在同一个增强型跨源中唯一。名称规则为：长度1~64字节，数字、字母、下划线（"_"）、中划线（"-"）组成。

    路由IP

    自定义路由网段，允许不同路由的网段之间有交集，但不允许完全相同。
  • 删除路由

    在“增强型跨源”页面，选择一条连接，单击该连接“操作”列中的“更多”>“删除路由”，或者在“路由信息”页面，选中一条自定义路由信息，单击该路由对应的“删除路由”，在弹出的对话框中选择要删除的路由信息，单击“确定”。

权限管理

对其他项目进行对应增强型跨源连接的授权或者回收权限。

  • 授权：在“权限管理”对话框中选择“赋权”并输入需要授权的项目ID。

    对项目进行授权后，使用被授权的项目对应的用户进行登录或切换到对应的项目下，在其对应的“增强型跨源”页面中可显示授权的跨源连接，可以将所创建的队列与该跨源连接进行绑定，实现跨项目创建跨源连接和创建路由的功能。

    • 如果被授权的项目属于相同区域（region）的不同用户，则需使用被授权项目所属的用户账号进行登录。
    • 如果被授权的项目属于相同区域（region）的同一用户，则需使用当前账号切换到对应的项目下。

    例如：项目B需要访问项目A上的数据源，对应操作如下。

    • 对于项目A：
      1. 使用项目A对应的账号登录DLI服务。
      2. 通过对应数据源的VPC信息在DLI服务中创建增强型跨源连接“ds”。
      3. 将增强型跨源连接“ds”授权给项目B。
    • 对于项目B：
      1. 使用项目B对应的账号登录DLI服务。
      2. 对增强型跨源连接“ds”进行绑定队列操作。
      3. （可选）设置主机信息，创建路由。

    通过上述操作项目A的增强型跨源连接与项目B的队列创建了对等连接和路由，即可在项目B的队列上创建作业访问项目A的数据源。

  • 回收：在“权限管理”对话框中选择“回收”并选择需要回收权限的项目ID。
父主题： 跨源连接