更新时间:2024-10-11 GMT+08:00

快速创建Hadoop分析集群

本章节为您介绍如何快速创建一个Hadoop分析集群,Hadoop完全使用开源Hadoop生态,采用YARN管理集群资源,提供Hive、Spark离线大规模分布式数据存储和计算,SparkStreaming、Flink流式数据计算,Presto交互式查询,Tez有向无环图的分布式计算框架等Hadoop生态圈的组件,进行海量数据分析与查询。

Hadoop分析集群包含如下组件:

  • MRS 1.8.9版本:Hadoop 2.8.3, Hive 1.2.1, Presto 0.215, Spark 2.2.1 and Flink 1.7.0。
  • MRS 2.0.1版本:Hadoop 3.1.1, Hive 3.1.0, Spark 2.3.2 and Tez 0.9.1。
  • MRS 3.1.0-LTS.1版本:Hadoop 3.1.1, Hive 3.1.0, Spark2x 2.4.5, Flink 1.12.0, ZooKeeper 3.5.6, Ranger 2.0.0 and Tez 0.9.2。
  • MRS 3.1.2-LTS.3版本:Hadoop 3.1.1, Hive 3.1.0, Spark2x 3.1.1, Flink 1.12.2, ZooKeeper 3.6.3, Ranger 2.0.0 and Tez 0.9.2。
  • MRS 3.2.0-LTS.1版本:Hadoop 3.3.1, Hive 3.1.0, Spark2x 3.1.1, Flink 1.15.0, ZooKeeper 3.6.3, Ranger 2.0.0 and Tez 0.9.2。

快速创建Hadoop分析集群

  1. 登录MRS管理控制台。
  2. 单击“创建集群”,进入“创建集群”页面。
  3. 创建集群页面,选择“快速创建”页签。
  4. 参考下列参数说明配置集群基本信息,参数详细信息请参考创建自定义集群

    • 区域:默认即可。
    • 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。例如:“mrs_20180321”。
    • 集群版本:默认选择最新版本即可(不同版本集群提供的组件有所不同,请根据需要选择集群版本)。
    • 组件选择:选择“Hadoop分析集群”。
    • 可用区:默认即可。
    • 虚拟私有云:默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。
    • 子网:默认即可。
    • 企业项目:默认即可。
    • CPU架构:默认即可。MRS 3.2.0-LTS.1及之后版本支持该参数。
    • 集群节点:请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。
    • 集群高可用:默认即可。MRS 3.x版本暂时不支持该参数。
    • Kerberos认证:选择是否开启Kerberos认证。
    • 用户名:默认为“root/admin”,root用于远程登录ECS机器,admin用于登录集群管理页面。MRS 3.2.0-LTS.1及之后版本支持root用户。
    • 密码:设置root用户和admin用户密码。
    • 确认密码:再次输入设置的root用户和admin用户密码。
    • 密钥对:从下拉框中选择密钥对用于登录ECS机器,如果已获取私钥文件,请勾选“我确认已获取该密钥对中的私钥文件SSHkey-xxx,否则无法登录弹性云服务器”。如果没有创建密钥对,请单击“查看密钥对”创建或导入密钥,然后再获取私钥文件。MRS 3.1.2-LTS.3及之前版本支持该参数。

  5. 勾选“确认授权”开通通信安全授权,通信安全授权详情请参考授权安全通信
  6. 单击“立即创建”

    当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。

  7. 单击“返回集群列表”,可以查看到集群创建的状态。单击“访问集群”,可以查看集群详情。

    集群创建的状态过程请参见表1中的“状态”参数说明。

    集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。

    MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。