文档首页 > > 用户指南> 创建连接>

配置Hadoop发行版连接

配置Hadoop发行版连接

分享
更新时间:2021/04/23 GMT+08:00

Hadoop发行版连接仅适用于场景迁移。

Hadoop发行版连接支持以下类型:

MRS

连接MRS上的Hadoop数据源时,相关参数如表1所示。

  • 新建MRS连接前,需在MRS中添加一个kerberos认证用户并登录MRS管理页面更新其初始密码,然后使用该新建用户创建MRS连接。
  • 如需连接MRS 2.x版本的集群,请先创建2.x版本的CDM集群。CDM 1.8.x版本的集群无法连接MRS 2.x版本的集群。
  • 需确保MRS集群和DGC实例之间网络互通,网络互通需满足如下条件:
    • DGC实例(指DGC实例中的批量数据迁移集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。
    • DGC实例(指DGC实例中的批量数据迁移集群)与MRS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见“如何配置路由规则”,配置安全组规则请参见“如何配置安全组规则”。
    • 此外,还需确保该MRS集群与DGC工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
表1 MRS-Hadoop 连接参数

参数名

说明

取值样例

名称

连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。

mrs_scen_link

Hadoop类型

选择“MRS”

MRS

Manager IP

MRS集群的Manager的IP地址。

127.0.0.1

用户名

MRS Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。

如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”“密码”填写为新建的MRS用户及其密码。

cdm

密码

访问MRS Manager的用户密码。

-

认证类型

访问MRS的认证类型:
  • SIMPLE:非安全模式选择Simple鉴权。
  • KERBEROS:安全模式选择Kerberos鉴权。

SIMPLE

HBase版本

MRS集群中的HBase版本。

HBASE_2_X

Hive版本

MRS集群中的Hive版本。

HIVE_3_X

运行模式

HBase版本为“HBASE_2_X”时需要设置该参数。

  • EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。
  • STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式或者配置不同的Agent。

    说明:STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。

  • Agent:连接实例运行在Agent上。

选择STANDALONE模式时,CDM支持在多个MRS集群的HDFS之间迁移数据。

STANDALONE

是否使用集群配置

您可以通过使用集群配置,简化Hadoop连接参数配置。

集群配置名

仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。

集群配置的创建方法请参见管理集群配置

hadoop_01

单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。

Apache Hadoop

Apache Hadoop连接适用于用户在本地数据中心或ECS上自建的第三方Hadoop,其中本地数据中心的Hadoop需通过专线连接。

Apache Hadoop的连接参数如Apache Hadoop所示。

表2 Apache Hadoop连接参数

参数名

说明

取值样例

名称

连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。

apache_hadoop_link

Hadoop类型

选择“Apache Hadoop”

Apache Hadoop

URI

NameNode URI地址。

hdfs://hacluster

Zookeeper

Zookeeper地址,HBase场景化迁移场景需要配置。

hbase-node-1:2181

Hive元数据地址

设置Hive元数据地址,参考hive.metastore.uris配置项。例如:thrift://host-192-168-1-212:9083

-

认证类型

访问集群的认证类型:
  • SIMPLE:非安全模式选择Simple鉴权。
  • KERBEROS:安全模式选择Kerberos鉴权。

SIMPLE

IP与主机名映射

如果Hadoop配置文件使用主机名,需要配置IP与主机的映射。格式:IP与主机名之间使用空格分隔,多对映射使用分号或回车换行分隔。

-

HBase版本

Apache Hadoop中的HBase版本。

HBASE_2_X

Hive版本

Hive的版本。

HIVE_3_X

运行模式

“HBASE_2_X”版本支持该参数。支持以下模式:

  • EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。
  • STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式或者配置不同的Agent。

    说明:STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。

  • Agent:连接实例运行在Agent上。

EMBEDDED

是否使用集群配置

您可以通过使用集群配置,简化Hadoop连接参数配置。

集群配置名

仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。

集群配置的创建方法请参见管理集群配置

hadoop_01

单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。

FusionInsight HD

FusionInsight Hive连接适用于用户在本地数据中心自建的FusionInsight HD,需通过专线连接。

FusionInsight Hive的连接参数如FusionInsight HD所示。

表3 FusionInsight HD连接参数

参数名

说明

取值样例

名称

连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。

hivelink

Manager IP

FusionInsight Manager平台的地址。

127.0.0.1

Manager端口

FusionInsight Manager平台的端口。

28443

CAS Server端口

与FusionInsight对接的CAS Server的端口。

20009

用户名

登录FusionInsight Manager平台的用户名。

cdm

密码

FusionInsight Manager平台的密码。

-

认证类型

访问集群的认证类型:
  • SIMPLE:非安全模式选择Simple鉴权。
  • KERBEROS:安全模式选择Kerberos鉴权。

SIMPLE

HBase版本

Apache Hadoop中的HBase版本。

HBASE_2_X

Hive版本

Hive的版本。

HIVE_3_X

运行模式

“HIVE_3_X”版本支持该参数。支持以下模式:

  • EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。
  • STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式或者配置不同的Agent。

    说明:STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。

  • Agent:连接实例运行在Agent上。

EMBEDDED

是否使用集群配置

您可以通过使用集群配置,简化Hadoop连接参数配置。

集群配置名

仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。

集群配置的创建方法请参见管理集群配置

hadoop_01

单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区论坛频道来与我们联系探讨

智能客服提问云社区提问