更新时间:2024-03-12 GMT+08:00

快速创建Hadoop分析集群

本章节为您介绍如何快速一个Hadoop分析集群,Hadoop完全使用开源Hadoop生态,采用YARN管理集群资源,提供Hive、Spark离线大规模分布式数据存储和计算,SparkStreaming、Flink流式数据计算,Presto交互式查询,Tez有向无环图的分布式计算框架等Hadoop生态圈的组件,进行海量数据分析与查询。

快速创建Hadoop分析集群

  1. 登录MRS管理控制台。
  2. 单击“创建集群”,进入“创建集群”页面。
  3. 集群页面,选择“快速创建”页签。
  4. 参考下列参数说明配置集群基本信息,参数详细信息请参考创建自定义集群

    • 区域:默认即可。
    • 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。例如:“mrs_20180321”。
    • 集群版本:默认选择最新版本即可(不同版本集群提供的组件有所不同,请根据需要选择集群版本)。
    • 组件选择:选择“Hadoop分析集群”。
    • 可用区:默认即可。
    • 虚拟私有云:默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。
    • 子网:默认即可。
    • 企业项目:默认即可。
    • CPU架构:默认即可。
    • 集群节点:请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。
    • 集群高可用:默认即可。MRS 3.x版本暂时不支持该参数。
    • Kerberos认证:选择是否开启Kerberos认证。
    • 用户名:默认为“root/admin”,root用于远程登录ECS机器,admin用于登录集群管理页面。
    • 密码:设置root用户和admin用户密码。
    • 确认密码:再次输入设置的root用户和admin用户密码。

  5. 勾选“确认授权”开通通信安全授权,通信安全授权详情请参考授权安全通信
  6. 单击“立即申请”

    当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。

  7. 单击“返回集群列表”,可以查看到集群创建的状态。单击“访问集群”,可以查看集群详情。

    集群创建的状态过程请参见表1中的“状态”参数说明。

    集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。

    MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。