文档首页/ 数据湖探索 DLI/ 最佳实践/ 队列网络联通/ 配置DLI队列与内网数据源的网络联通
更新时间:2024-08-27 GMT+08:00
分享

配置DLI队列与内网数据源的网络联通

背景信息

DLI执行作业时如需访问外部数据源数据,如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。DLI增强型跨源连接,底层采用对等连接的方式打通与目的数据源的vpc网络,通过点对点的方式实现数据互通。

创建增强型跨源连接网络不通的问题,可以根据本指导的整体流程和步骤进行排查验证。

整体流程

图1 增强型跨源连接配置流程

前提条件

  • 已创建DLI队列。创建队列详见创建DLI队列操作指导。

    队列的计费类型必须为:“包年/包月”,“按需计费”(按需计费需勾选“专属资源模式”。)

    仅“包年/包月”资源、“专属资源模式”的“按需计费”资源才能创建增强型跨源链接。

  • 已创建对应的外部数据源集群。具体对接的外部数据源根据业务自行选择。
    表1 创建各外部数据源参考

    服务名

    参考文档链接

    RDS

    RDS MySQL快速入门

    DWS

    创建DWS集群

    DMS Kafka

    创建Kafka实例

    注意:

    创建DMS Kafka实例时,不能开启Kafka SASL_SSL

    CSS

    创建CSS集群

    MRS

    创建MRS集群

  • 绑定跨源的DLI队列网段和其他数据源子网网段不能重合
  • 系统default队列不支持创建跨源连接。

步骤1:获取外部数据源的内网IP、端口和安全组

表2 各数据源信息获取

数据源

参数获取

DMS Kafka

  1. 在Kafka管理控制台,选择“Kafka专享版”,单击对应的Kafka名称,进入到Kafka的基本信息页面。
  2. 在“连接信息”中获取该Kafka的“内网连接地址”,在“网络”中获取该实例的“虚拟私有云”和“子网”信息。
  3. Kafka的基本信息页面,“网络 > 安全组”参数下获取Kafka的安全组。

RDS

在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”,获取“内网地址”、“虚拟私有云”、“子网”、“数据库端口”和“安全组”信息。

CSS

  1. 在CSS管理控制台,选择“Elasticsearch > 集群管理”,单击已创建的CSS集群名称,进入到CSS的基本信息页面。
  2. 在“基本信息”中获取CSS的“内网访问地址”、“虚拟私有云”、“子网”和“安全组”信息,方便后续操作步骤使用。

DWS

  1. 在DWS管理控制台,选择“集群管理”,单击已创建的DWS集群名称,进入到DWS的基本信息页面。
  2. 在“基本信息”的“数据库属性”中获取该实例的“内网IP”、“端口”,在“网络”中获取“虚拟私有云”、“子网”和“安全组”信息,方便后续操作步骤使用。

MRS HBase

以MRS 3.x版本集群为例。

  1. 登录MRS管理控制台,单击“集群列表 > 现有集群”,单击对应的集群名称,进入到集群概览页面。
  2. 在集群概览页面“基本信息”中获取“虚拟私有云”、“子网”和“安全组”。
  3. 因为在创建连接MRS HBase的作业时,需要用到MRS集群的ZooKeeper实例和端口,则还需要获取MRS集群主机节点信息。
    1. 参考访问MRS Manager登录MRS Manager,在MRS Manager上,选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”,根据“主机名称”和“业务IP”获取ZooKeeper的主机信息。
    2. 在MRS Manager上,选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 配置 > 全部配置”,搜索参数“clientPort”,获取“clientPort”的参数值即为ZooKeeper的端口。
    3. 使用root用户ssh登录任意一个MRS主机节点。具体请参考登录MRS集群节点
    4. 执行以下命令获取MRS对应主机节点的hosts信息,复制保存。

      cat /etc/hosts

      例如,查询结果参考如下,将内容复制保存,以备后续步骤使用。

步骤2:获取DLI队列网段

在DLI管理控制台,单击“资源管理 > 队列管理”,选择运行作业的队列,单击队列名称旁的按钮,获取队列的网段信息。

步骤3:外部数据源的安全组添加放通DLI队列网段的规则

  1. 登录VPC控制台。
  2. 在左侧导航树选择“访问控制 > 安全组”。
  3. 单击外部数据源所属的安全组名称,进入安全组详情界面。

    您可以在对应数据源的管理控制台,参考步骤1:获取外部数据源的内网IP、端口和安全组获取对应数据源的安全组名称。

  4. 在“入方向规则”页签中添加放通队列网段的规则。如图2所示。

    详细的入方向规则参数说明请参考表3

    图2 添加入方向规则
    表3 入方向规则参数说明

    参数

    说明

    取值样例

    优先级

    安全组规则优先级。

    优先级可选范围为1-100,默认值为1,即最高优先级。优先级数字越小,规则优先级级别越高。

    1

    策略

    安全组规则策略。

    允许

    协议端口

    • 网络协议。目前支持“All”、“TCP”、“UDP”、“ICMP”和“GRE”等协议。
    • 端口:允许远端地址访问指定端口,取值范围为:1~65535。

    本例中选择TCP协议,端口值不填或者填写为步骤1:获取外部数据源的内网IP、端口和安全组获取的数据源的端口。

    类型

    IP地址类型。

    IPv4

    源地址

    源地址用于放通来自IP地址或另一安全组内的实例的访问。

    本例填写步骤2:获取DLI队列网段获取的队列网段。

    描述

    安全组规则的描述信息,非必填项。

    _

步骤4:创建增强型跨源连接

  1. 登录DLI管理控制台,在左侧导航栏单击“跨源管理”,在跨源管理界面,单击“增强型跨源”,单击“创建”。
  2. 在增强型跨源创建界面,配置具体的跨源连接参数。具体参考如下。
  3. 参数配置完成后,单击“确定”完成增强型跨源配置。单击创建的跨源连接名称,查看跨源连接的连接状态,等待连接状态为:“已激活”后可以进行后续步骤。
  4. 如果是连接MRS HBase,则还需要添加MRS的主机节点信息,具体步骤如下:
    1. 在“跨源管理 > 增强型跨源”中,在已创建的增强型跨源连接的“操作”列,单击“更多 > 修改主机信息”。
    2. 在“主机信息”参数中,将步骤1:获取外部数据源的内网IP、端口和安全组中获取到的MRS HBase主机节点信息拷贝追加进去。
      图3 修改主机信息
    3. 单击“确定”完成主机信息添加。

步骤5:测试网络连通性

  1. 单击“队列管理”,选择操作的队列,在操作列,单击“更多 > 测试地址连通性”。
  2. 在“测试连通性”界面,根据步骤1:获取外部数据源的内网IP、端口和安全组中获取的数据源的IP和端口,地址栏输入“数据源内网IP:数据源端口”,单击“测试”测试DLI到外部数据源网络是否可达。

    MRS HBase在测试网络连通性的时候,使用:ZooKeeperIP地址:ZooKeeper端口,或者,ZooKeeper的主机信息:ZooKeeper端口

相关文档