新建Hadoop集群配置

更新时间：2024-10-24 GMT+08:00

查看PDF

集群配置管理支持新建、编辑或删除Hadoop集群配置。

Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如图1所示。

图1 使用集群配置前后对比
点击放大

CDM支持的Hadoop类型连接主要包括以下几类：

MRS集群：MRS HDFS，MRS HBase，MRS Hive。
FusionInsight集群：FusionInsight HDFS，FusionInsight HBase，FusionInsight Hive。
Apache集群：Apache HDFS，Apache HBase，Apache Hive。

操作场景

当需要新建Hadoop类型连接时，建议先创建集群配置，以简化复杂的连接参数配置。

前提条件

已创建集群。
已参见表1获取相应Hadoop集群配置文件和Keytab文件。

获取集群配置文件和Keytab文件

不同Hadoop类型的集群配置文件和Keytab文件获取方式有所不同，请参见表1获取相应Hadoop集群配置文件和Keytab文件。

表1 集群配置文件和Keytab文件获取方式
Hadoop类型连接	集群配置文件获取方式	Keytab文件获取方式
MRS集群 MRS HDFS MRS HBase MRS Hive MRS Hudi MRS ClickHouse	针对MRS 3.x版本集群：登录FusionInsight Manager。选择“集群 > > 待操作的集群名称 > 概览 > 更多 > 下载客户端”，界面显示“下载集群客户端”对话框。对话框中选择“仅配置文件”，平台类型和服务端保持一致，其他保持默认即可，单击确认后进行本地下载。获取下载的tar包，此即为FusionInsight集群配置文件。针对MRS 2.x及之前版本集群：登录MRS管理控制台。选择“集群列表 > 现有集群”，单击集群名称进入集群详情页面，单击“组件管理”。单击“下载客户端”。“客户端类型”选择“仅配置文件”，“下载路径”选择“服务器端”或“远端主机”，自定义文件保存路径后，单击“确定”开始生成客户端配置文件。将生成的配置文件，保存到本地路径。具体可参见MapReduce服务文档。	针对MRS 3.x版本集群：登录FusionInsight Manager。通过“系统 > 权限 > 用户”，选择所需用户所在行，单击“更多 > 下载认证凭据”下载认证凭据文件。获取下载的tar包，此即为FusionInsight集群Keytab文件。针对MRS 2.x及之前版本集群：登录MRS服务的Manager，单击“系统设置”。在“权限配置”区域，单击“用户管理”。在需导出keytab文件用户所在的行，选择“更多 > 下载认证凭据”下载认证文件，待文件自动生成后指定保存位置，并妥善保管该文件。具体可参见MapReduce服务文档。
FusionInsight集群 FusionInsight HDFS FusionInsight HBase FusionInsight Hive	登录FusionInsight Manager。选择“集群 > 待操作的集群名称 > 概览 > 更多 > 下载客户端”，界面显示“下载集群客户端”对话框。对话框中选择“仅配置文件”，平台类型和服务端保持一致，其他保持默认即可，单击确认后进行本地下载。获取下载的tar包，此即为FusionInsight集群配置文件。具体可参见FusionInsight文档。	登录FusionInsight Manager。通过“系统 > 权限 > 用户”，选择所需用户所在行，单击“更多 > 下载认证凭据”下载认证凭据文件。获取下载的tar包，此即为FusionInsight集群Keytab文件。具体可参见FusionInsight文档。
Apache集群 Apache HDFS Apache HBase Apache Hive	Apache集群场景下，此处仅说明需要哪些配置文件与打包原则，各配置文件的具体获取方式请参见对应版本说明文档。 HDFS需要将以下文件压缩为无目录格式的zip包： hosts core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml krb5.conf（可选，安全模式集群使用） HBase需要将以下文件压缩为无目录格式的zip包： hosts core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml hbase-site.xml krb5.conf（可选，安全模式集群使用） Hive需要将以下文件压缩为无目录格式的zip包： hosts core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml hive-site.xml hivemetastore-site.xml krb5.conf（可选，安全模式集群使用）	Apache集群场景下，此处仅说明认证凭据文件打包原则，认证凭据文件具体获取方式请参见对应版本说明文档。将用户的认证凭据文件重命名为user.keytab。将user.keytab文件压缩为无目录格式的zip包：user.keytab.zip。

说明：

集群配置文件包含集群的配置参数。如果修改了集群的配置参数，需重新获取配置文件。
Keytab文件为认证凭据文件。获取Keytab文件前，需要在集群上至少修改过一次此用户的密码，否则下载获取的keytab文件可能无法使用。另外，修改用户密码后，之前导出的keytab将失效，需要重新导出。
Keytab文件在仅安全模式集群下使用，普通模式集群下无需准备Keytab文件。

操作步骤

进入CDM主界面，进入集群管理界面。选择CDM集群后的“作业管理 > 连接管理 > 集群配置管理”。
在集群配置管理界面，选择“新建集群配置”，配置参数填写如下：
图2 新建集群配置
- 集群配置名：根据连接的数据源类型，用户可自定义便于记忆、区分的集群配置名。
- 上传集群配置：单击“添加文件”以选择本地的集群配置文件，然后通过操作框右侧的“上传文件”进行上传。
- Principal：仅安全模式集群需要填写该参数。Principal即Kerberos安全模式下的用户名，需要与Keytab文件保持一致。
- 上传Keytab文件：仅安全模式集群需要上传该文件。单击“添加文件”以选择本地的Keytab文件，然后通过操作框右侧的“上传文件”进行上传。
- 描述：用户可添加对此集群配置的描述，用于标识和区分该集群配置。
确认后集群配置新建成功。后续在新建Hadoop类型连接时，认证模式根据实际情况选择，将“是否使用集群配置”选择为“是”，然后选择对应的“集群配置名”，即可快速完成Hadoop类型连接创建。
图3 使用集群配置