更新时间:2022-08-16 GMT+08:00

创建MRS数据源连接

操作场景

GaussDB(DWS) 从MRS的HDFS读取数据前,需要先创建一个MRS数据源连接,作为GaussDB(DWS) 集群与MRS集群的数据通道。

对系统的影响

  • 一个GaussDB(DWS) 集群在创建MRS数据源连接时,不能同时创建第二个连接。
  • 创建MRS数据源连接时,系统默认自动为GaussDB(DWS) 集群和MRS集群的安全组增加出规则和入规则,允许相同子网中节点的访问。
  • 启用Kerberos认证的MRS集群,系统会自动增加一个类型为“机机”的用户,属于“supergroup”用户组。

前提条件

  • GaussDB(DWS) 集群已创建好,并记录集群所在的可用区、虚拟私有云和子网。
  • 创建MRS数据源连接需要创建MRS集群类型为分析集群。

操作步骤

  1. 登录云管理控制台。
  2. 选择服务列表 >大数据 > MapReduce服务,打开MRS管理控制台,创建MRS集群。

    创建集群时,请按要求配置以下参数,其他配置无特别要求,具体操作请参见《MapReduce服务用户指南》中的“自定义创建集群”章节:

    • MRS集群的可用区、虚拟私有云和子网需要和GaussDB(DWS) 集群相同。
    • MRS集群类型,需要为“分析集群”
    • MRS集群版本,支持“1.9.2”(主推)。

      当用户选择MRS集群版本为1.6.*、1.7.*、1.8.*、2.0.*(“*”代表的是数字)也同样支持。

    • 组件选择,需要选择“Hive”、“Tez”和“Spark2x”

    如果MRS集群启用Kerberos认证,则在MRS集群创建完成后,使用MRS Manager为GaussDB(DWS) 准备一个用于连接的用户,类型需要为“人机”,且绑定用户组“hadoop”和角色“Manager_administrator”。此用户必须在创建后通过MRS Manager页面修改过密码。

    如果已有符合如上条件的MRS集群,则可跳过此步骤。

  3. 选择“服务列表 > 大数据 > 数据仓库服务”,进入GaussDB(DWS) 管理控制台页面。
  4. 在GaussDB(DWS) 管理控制台,单击“集群管理”
  5. 在集群列表,单击指定集群的名称,然后单击“MRS数据源”页签。
  6. 单击“创建MRS数据源连接”,填写配置参数。

    表1 MRS连接参数说明

    参数名

    说明

    MRS数据源

    表示GaussDB(DWS) 可以连接的MRS集群,默认显示当前用户可连接的,与当前GaussDB(DWS) 集群在相同虚拟私有云和子网下且为可用状态的分析型MRS集群。

    选择一个MRS集群后,将自动显示已选择的MRS是否启用了Kerberos认证。单击“查看MRS集群”可进入MRS查看该MRS集群信息。

    如果“MRS数据源”下拉框为空,用户可以单击“创建MRS集群”进行创建。

    描述

    表示此连接的说明信息。

  7. 单击“提交”保存连接。

    创建连接需要一段时间,此时“配置状态”显示为“创建中”,成功后在MRS数据源列表中可看到已创建的连接,且状态为“可用”

    • “操作”列,可以单击“更新配置”,更新当前连接的“MRS集群状态”“配置状态”。在更新配置时,无法创建新的连接,且会检查安全组规则是否正常并自助修复。具体请参见更新MRS数据源配置
    • “操作”列,可以单击“删除”将不再使用的连接删除释放。删除连接时,不会自动删除安全组规则,请根据需要手工删除。