# 新建Hadoop集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如[图1]所示。 图1使用集群配置前后对比 ![](https://support.huaweicloud.com/usermanual-cdm/zh-cn_image_0000001308162996.png "点击放大") CDM支持的Hadoop类型连接主要包括以下几类： - MRS集群：MRS HDFS，MRS HBase，MRS Hive。 - FusionInsight集群：FusionInsight HDFS，FusionInsight HBase，FusionInsight Hive。 - Apache集群：Apache HDFS，Apache HBase，Apache Hive。 #### 操作场景 当需要新建Hadoop类型连接时，建议先创建集群配置，以简化复杂的连接参数配置。 #### 前提条件 - 已创建集群。 - 已参见[表1]获取相应Hadoop集群配置文件和Keytab文件。 #### 获取集群配置文件和Keytab文件 不同Hadoop类型的集群配置文件和Keytab文件获取方式有所不同，请参见[表1]获取相应Hadoop集群配置文件和Keytab文件。 表1集群配置文件和Keytab文件获取方式 | **Hadoop类型连接** | **集群配置文件获取方式** | **Keytab文件获取方式** | |:---|:---|:---| | MRS集群 - MRS HDFS - MRS HBase - MRS Hive - MRS Hudi - MRS ClickHouse | 针对MRS 3.x版本集群： 1. 登录FusionInsight Manager。 2. 选择"集群 \> \> 待操作的集群名称 \> 概览 \> 更多 \> 下载客户端"，界面显示"下载集群客户端"对话框。 3. 对话框中选择"仅配置文件"，平台类型和服务端保持一致，其他保持默认即可，单击确认后进行本地下载。 4. 获取下载的tar包，此即为FusionInsight集群配置文件。 针对MRS 2.x及之前版本集群： 1. 登录MRS管理控制台。 2. 选择"集群列表 \> 现有集群"，单击集群名称进入集群详情页面，单击"组件管理"。 3. 单击"下载客户端"。"客户端类型"选择"仅配置文件"，"下载路径"选择"服务器端"或"远端主机"，自定义文件保存路径后，单击"确定"开始生成客户端配置文件。 4. 将生成的配置文件，保存到本地路径。 具体可参见MapReduce服务文档。 | 针对MRS 3.x版本集群： 1. 登录FusionInsight Manager。 2. 通过"系统 \> 权限 \> 用户"，选择所需用户所在行，单击"更多 \> 下载认证凭据"下载认证凭据文件。 3. 获取下载的tar包，此即为FusionInsight集群Keytab文件。 针对MRS 2.x及之前版本集群： 1. 登录MRS服务的Manager，单击"系统设置"。在"权限配置"区域，单击"用户管理"。 2. 在需导出keytab文件用户所在的行，选择"更多 \> 下载认证凭据"下载认证文件，待文件自动生成后指定保存位置，并妥善保管该文件。 具体可参见MapReduce服务文档。 | | FusionInsight集群 - FusionInsight HDFS - FusionInsight HBase - FusionInsight Hive | 1. 登录FusionInsight Manager。 2. 选择"集群 \> 待操作的集群名称 \> 概览 \> 更多 \> 下载客户端"，界面显示"下载集群客户端"对话框。 3. 对话框中选择"仅配置文件"，平台类型和服务端保持一致，其他保持默认即可，单击确认后进行本地下载。 4. 获取下载的tar包，此即为FusionInsight集群配置文件。 具体可参见FusionInsight文档。 | 1. 登录FusionInsight Manager。 2. 通过"系统 \> 权限 \> 用户"，选择所需用户所在行，单击"更多 \> 下载认证凭据"下载认证凭据文件。 3. 获取下载的tar包，此即为FusionInsight集群Keytab文件。 具体可参见FusionInsight文档。 | | Apache集群 - Apache HDFS - Apache HBase - Apache Hive | Apache集群场景下，此处仅说明需要哪些配置文件与打包原则，各配置文件的具体获取方式请参见对应版本说明文档。 - HDFS需要将以下文件压缩为无目录格式的zip包： - hosts - core-site.xml - hdfs-site.xml - yarn-site.xml - mapred-site.xml - krb5.conf（可选，安全模式集群使用） - HBase需要将以下文件压缩为无目录格式的zip包： - hosts - core-site.xml - hdfs-site.xml - yarn-site.xml - mapred-site.xml - hbase-site.xml - krb5.conf（可选，安全模式集群使用） - Hive需要将以下文件压缩为无目录格式的zip包： - hosts - core-site.xml - hdfs-site.xml - yarn-site.xml - mapred-site.xml - hive-site.xml - hivemetastore-site.xml - krb5.conf（可选，安全模式集群使用） | Apache集群场景下，此处仅说明认证凭据文件打包原则，认证凭据文件具体获取方式请参见对应版本说明文档。 1. 将用户的认证凭据文件重命名为user.keytab。 2. 将user.keytab文件压缩为无目录格式的zip包：user.keytab.zip。 | ![](https://support.huaweicloud.com/usermanual-cdm/public_sys-resources/note_3.0-zh-cn.png) - 集群配置文件包含集群的配置参数。如果修改了集群的配置参数，需重新获取配置文件。 - Keytab文件为认证凭据文件。获取Keytab文件前，需要在集群上至少修改过一次此用户的密码，否则下载获取的keytab文件可能无法使用。另外，修改用户密码后，之前导出的keytab将失效，需要重新导出。 - Keytab文件在仅安全模式集群下使用，普通模式集群下无需准备Keytab文件。 #### 操作步骤 1. 进入CDM主界面，进入集群管理界面。选择CDM集群后的"作业管理 \> 连接管理 \> 集群配置管理"。 2. 在集群配置管理界面，选择"新建集群配置"，配置参数填写如下： 图2新建集群配置 ![](https://support.huaweicloud.com/usermanual-cdm/zh-cn_image_0000001208097789.png "点击放大") - 集群配置名：根据连接的数据源类型，用户可自定义便于记忆、区分的集群配置名。 - 上传集群配置：单击"添加文件"以选择本地的集群配置文件，然后通过操作框右侧的"上传文件"进行上传。 - Principal：**仅安全模式集群** **需要填写该参数**。Principal即Kerberos安全模式下的用户名，需要与Keytab文件保持一致。 - 上传Keytab文件：**仅安全模式集群** **需要上传该文件**。单击"添加文件"以选择本地的Keytab文件，然后通过操作框右侧的"上传文件"进行上传。 - 描述：用户可添加对此集群配置的描述，用于标识和区分该集群配置。 3. 确认后集群配置新建成功。后续在新建Hadoop类型连接时，认证模式根据实际情况选择，将"是否使用集群配置"选择为"是"，然后选择对应的"集群配置名"， 即可快速完成Hadoop类型连接创建。 图3使用集群配置 ![](https://support.huaweicloud.com/usermanual-cdm/zh-cn_image_0000001101486230.png "点击放大")