更新时间:2022-08-12 GMT+08:00
集群生命周期管理
MRS支持集群的生命周期管理包括创建集群和删除集群。
- 创建集群:支持用户定制集群的类型,组件范围,各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息,MRS将为用户自动创建一个符合配置的集群,全程无需用户参与;同时支持用户在集群中运行自定义内容;支持快速创建多应用场景集群,比如创建Hadoop分析集群、HBase集群、Kafka集群。大数据平台同时支持部署异构集群,在集群中存在不同规格的虚机,允许在CPU类型,硬盘容量,硬盘类型,内存大小灵活组合。在集群中支持多种虚机规格混合使用。
- 删除集群:当集群不再需要时(包括集群中的数据和配置),用户可以选择删除集群,MRS会将集群相关的资源全部删除。
创建集群
通过在MRS服务管理面,客户可以创建MRS集群,通过选择集群所建的区域及使用的云资源规格,一键式创建适合企业业务的MRS集群。MRS服务会根据用户选择的集群类型、版本和节点规格,帮助客户自动完成企业级大数据平台的安装部署和参数调优。
MRS服务为客户提供完全可控的大数据集群,客户在创建时可设置虚拟机的登录方式(密码或者密钥对),所创建的MRS集群资源完全归客户所用。同时MRS支持在最小可在两节点4U8G的ECS上部署大数据集群,为客户测试开发提供更多的灵活选择。
MRS集群类型包括分析集群、流式集群和混合集群。
- 分析集群:用来做离线数据分析,提供的是Hadoop体系的组件。
- 流式集群:用来做流处理任务,提供的是流式处理组件。
- 混合集群:既可以用来做离线数据分析,又可以用来做流处理任务,提供的是Hadoop体系的组件和流式处理组件。
- 自定义:根据业务需求,可以灵活搭配所需组件(MRS 3.x及后续版本)。
MRS集群节点类型包括Master节点、Core节点和Task节点。
- Master节点:集群中的管理节点,分布式系统的Master进程和Manager以及数据库均部署在该节点;该类型节点不可扩容。该类型节点的处理能力决定了整个集群的管理上限,MRS服务支持将Master节点规格提高,以支持更大集群的管理。
- Core节点:支持存储和计算两种目标的节点,可扩容、缩容。因承载的数据存储,因此在缩容时,为保证数据不丢失,有较多限制,无法进行弹性伸缩。
- Task节点:仅用于计算的节点,可扩容、缩容。因只承载计算任务,因此可以进行弹性伸缩。
MRS创建集群方式支持自定义创建集群和快速创建集群两种。
- 自定义创建集群:自定义可以灵活地选择配置项,针对不同的应用场景,可以选择不同规格的弹性云服务器,全方位贴合您的业务诉求。
- 快速创建集群:用户可以根据应用场景,快速创建对应配置的集群,提高了配置效率,更加方便快捷。当前支持快速创建Hadoop分析集群、HBase集群、Kafka集群。
- Hadoop分析集群:Hadoop分析集群完全使用开源Hadoop生态,采用YARN管理集群资源,提供Hive、Spark离线大规模分布式数据存储和计算,SparkStreaming、Flink流式数据计算,Presto交互式查询,Tez有向无环图的分布式计算框等Hadoop生态圈的组件,进行海量数据分析与查询。
- HBase集群:HBase集群使用Hadoop和HBase组件提供一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。
- Kafka集群:Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量,可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景,实现高效的流式数据采集,实时数据处理存储等。
删除集群
MRS服务支持用户在不需要大数据集群时执行删除集群操作,集群删除后,所有大数据使用的相关云资源都会同时被释放。删除集群前,建议完成数据搬迁或者备份,确认集群无任何业务运行或者集群异常且经运维分析无法继续提供服务时再执行集群删除操作。对于数据存放在云硬盘EVS或直通盘的大数据集群,集群删除后,数据也随之删除,强烈建议您慎重选择删除集群。
父主题: 集群管理