更新时间:2024-07-30 GMT+08:00
分享

新建Hadoop集群配置

集群配置管理支持新建、编辑或删除Hadoop集群配置。

Hadoop集群配置主要用于新建Hadoop类型连接时,能够简化复杂的连接参数配置,如图1所示。

图1 使用集群配置前后对比

CDM支持的Hadoop类型连接主要包括以下几类:

  • MRS集群:MRS HDFS,MRS HBase,MRS Hive。
  • FusionInsight集群:FusionInsight HDFS,FusionInsight HBase,FusionInsight Hive。
  • Apache集群:Apache HDFS,Apache HBase,Apache Hive。

操作场景

当需要新建Hadoop类型连接时,建议先创建集群配置,以简化复杂的连接参数配置。

前提条件

  • 已创建集群。
  • 已参见表1获取相应Hadoop集群配置文件和Keytab文件。

获取集群配置文件和Keytab文件

不同Hadoop类型的集群配置文件和Keytab文件获取方式有所不同,请参见表1获取相应Hadoop集群配置文件和Keytab文件。

表1 集群配置文件和Keytab文件获取方式

Hadoop类型连接

集群配置文件获取方式

Keytab文件获取方式

MRS集群

  • MRS HDFS
  • MRS HBase
  • MRS Hive
  • MRS Hudi
  • MRS ClickHouse

针对MRS 3.x版本集群:

  1. 登录FusionInsight Manager。
  2. 选择集群 > > 待操作的集群名称 > 概览 > 更多 > 下载客户端,界面显示“下载集群客户端”对话框。
  3. 对话框中选择“仅配置文件”,平台类型和服务端保持一致,其他保持默认即可,单击确认后进行本地下载。
  4. 获取下载的tar包,此即为FusionInsight集群配置文件。

针对MRS 2.x及之前版本集群:

  1. 登录MRS管理控制台。
  2. 选择“集群列表 > 现有集群”,单击集群名称进入集群详情页面,单击“组件管理”。
  3. 单击“下载客户端”。“客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”或“远端主机”,自定义文件保存路径后,单击“确定”开始生成客户端配置文件。
  4. 将生成的配置文件,保存到本地路径。

具体可参见MapReduce服务文档。

针对MRS 3.x版本集群:

  1. 登录FusionInsight Manager。
  2. 通过系统 > 权限 > 用户,选择所需用户所在行,单击更多 > 下载认证凭据下载认证凭据文件。
  3. 获取下载的tar包,此即为FusionInsight集群Keytab文件。

针对MRS 2.x及之前版本集群:

  1. 登录MRS服务的Manager,单击“系统设置”。在“权限配置”区域,单击“用户管理”。
  2. 在需导出keytab文件用户所在的行,选择“更多 > 下载认证凭据”下载认证文件,待文件自动生成后指定保存位置,并妥善保管该文件。

具体可参见MapReduce服务文档。

FusionInsight集群

  • FusionInsight HDFS
  • FusionInsight HBase
  • FusionInsight Hive
  1. 登录FusionInsight Manager。
  2. 选择集群 > 待操作的集群名称 > 概览 > 更多 > 下载客户端,界面显示“下载集群客户端”对话框。
  3. 对话框中选择“仅配置文件”,平台类型和服务端保持一致,其他保持默认即可,单击确认后进行本地下载。
  4. 获取下载的tar包,此即为FusionInsight集群配置文件。

具体可参见FusionInsight文档。

  1. 登录FusionInsight Manager。
  2. 通过系统 > 权限 > 用户,选择所需用户所在行,单击更多 > 下载认证凭据下载认证凭据文件。
  3. 获取下载的tar包,此即为FusionInsight集群Keytab文件。

具体可参见FusionInsight文档。

Apache集群

  • Apache HDFS
  • Apache HBase
  • Apache Hive

Apache集群场景下,此处仅说明需要哪些配置文件与打包原则,各配置文件的具体获取方式请参见对应版本说明文档。

  • HDFS需要将以下文件压缩为无目录格式的zip包:
    • hosts
    • core-site.xml
    • hdfs-site.xml
    • yarn-site.xml
    • mapred-site.xml
    • krb5.conf(可选,安全模式集群使用)
  • HBase需要将以下文件压缩为无目录格式的zip包:
    • hosts
    • core-site.xml
    • hdfs-site.xml
    • yarn-site.xml
    • mapred-site.xml
    • hbase-site.xml
    • krb5.conf(可选,安全模式集群使用)
  • Hive需要将以下文件压缩为无目录格式的zip包:
    • hosts
    • core-site.xml
    • hdfs-site.xml
    • yarn-site.xml
    • mapred-site.xml
    • hive-site.xml
    • hivemetastore-site.xml
    • krb5.conf(可选,安全模式集群使用)

Apache集群场景下,此处仅说明认证凭据文件打包原则,认证凭据文件具体获取方式请参见对应版本说明文档。

  1. 将用户的认证凭据文件重命名为user.keytab。
  2. 将user.keytab文件压缩为无目录格式的zip包:user.keytab.zip。
  • 集群配置文件包含集群的配置参数。如果修改了集群的配置参数,需重新获取配置文件。
  • Keytab文件为认证凭据文件。获取Keytab文件前,需要在集群上至少修改过一次此用户的密码,否则下载获取的keytab文件可能无法使用。另外,修改用户密码后,之前导出的keytab将失效,需要重新导出。
  • Keytab文件在仅安全模式集群下使用,普通模式集群下无需准备Keytab文件。

操作步骤

  1. 进入CDM主界面,进入集群管理界面。选择CDM集群后的作业管理 > 连接管理 > 集群配置管理
  2. 在集群配置管理界面,选择新建集群配置,配置参数填写如下:
    图2 新建集群配置
    • 集群配置名:根据连接的数据源类型,用户可自定义便于记忆、区分的集群配置名。
    • 上传集群配置:单击“添加文件”以选择本地的集群配置文件,然后通过操作框右侧的上传文件进行上传。
    • Principal:仅安全模式集群需要填写该参数。Principal即Kerberos安全模式下的用户名,需要与Keytab文件保持一致。
    • 上传Keytab文件:仅安全模式集群需要上传该文件。单击“添加文件”以选择本地的Keytab文件,然后通过操作框右侧的上传文件进行上传。
    • 描述:用户可添加对此集群配置的描述,用于标识和区分该集群配置。
  3. 确认后集群配置新建成功。后续在新建Hadoop类型连接时,认证模式根据实际情况选择,将是否使用集群配置选择为,然后选择对应的集群配置名, 即可快速完成Hadoop类型连接创建。
    图3 使用集群配置

相关文档