更新时间:2023-12-13 GMT+08:00

MRS.Cluster

模型说明

MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。通过MRS.Cluster创建集群,您可指定集群类型用于离线数据分析和流处理任务,也可指定集群中预置的弹性云服务器实例规格、实例数量、数据盘类型(普通IO、高 IO、超高 IO)、要安装的组件(Hadoop、Spark、HBase、Hive、Kafka、Storm等)。您还可以使用引导操作在集群启动前(或后)在指定的节点上执行脚本、安装其他第三方软件或修改集群运行环境等。

模型属性

表1 模型定义属性说明

属性

是否必选

描述

vpcId

子网所在VPC ID

参数类型:HuaweiCloud.VPC.VPC.Id

clusterVersion

集群版本

参数类型:string

使用建议:在MRS服务界面,单击创建集群按钮,通过集群版本列表查看当前区域支持的集群版本

coreNodeSize

Core节点的实例规格

参数类型:string

取值约束:MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。实例规格详细说明请参见MRS所使用的弹性云服务器规格:{constraints}

nodePublicCertName

密钥对名称,用户可以使用密钥方式登录集群节点

参数类型:HuaweiCloud.ECS.KeyPair.Name

clusterMasterSecret

配置访问集群节点的root密码

参数类型:password

取值约束:字符串类型,可输入的字符串长度为8-26。至少包含三种字符组合,如大写字母,小写字母,数字,特殊字符(!@$%^-_=+[{}]:\,./?),但不能包含空格,不能与用户名或者倒序用户名相同

subnetId

子网ID

参数类型:HuaweiCloud.VPC.Subnet.Id

securityGroupsId

集群安全组的ID

参数类型:string

取值约束:当该ID为空时MRS后台会自己创建安全组,自动创建的安全组名称以mrs_{cluster_name}开头。当该ID不为空时,表示使用固定安全组来创建集群,传入的ID必须是当前租户中包含的安全组ID

taskNodeGroups

Task节点列表信息

参数类型:MRS.TaskNodeGroups数组

logCollection

集群安装失败时,是否搜集日志

参数类型:string

默认值:Yes

取值约束:No表示不收集,Yes表示收集,默认收集,将创建OBS桶仅用于MRS集群创建失败时的日志收集

clusterType

集群类型。

参数类型:string

默认值:AnalysisCluster

取值约束:支持分析集群和流式集群

masterDataVolumeCount

Master节点数据磁盘个数

参数类型:integer

默认值:1

取值约束:取值只能是1

volumeSize

Core节点数据磁盘存储空间

参数类型:integer

默认值:100

取值约束:取值范围为100GB~32000GB

coreDataVolumeType

Core节点数据磁盘存储类别

参数类型:string

取值约束:目前支持SATA、SAS和SSD。“SATA”为普通IO云硬盘,“SAS”为高IO云硬盘,“SSD”为超高IO云硬盘。

coreNodeNum

Core节点数量

参数类型:integer

取值说明:整数型

取值约束:取值范围为[1, 500],Core节点默认的最大值为500,如果用户需要的Core节点数大于500,请申请扩大配额,具体请参考:https://support.huaweicloud.com/intl/zh-cn/api-mrs/mrs_01_9006.html

使用建议:用户自定义

safeMode

MRS集群运行模式

参数类型:string

默认值:CommonMode

取值约束:CommonMode表示普通集群,表示Kerberos认证关闭,用户可使用集群提供的所有功能。SafeMode表示安全集群,表示Kerberos认证开启,普通用户无权限使用MRS 集群的“文件管理”和“作业管理”功能,并且无法查看Hadoop、Spark的作业记录以及集群资源使用情况。如果需要使用集群更多功能,需要找MRS Manager的管理员分配权限.

bootstrapScripts

配置引导操作脚本信息

参数类型:MRS.BootstrapScripts数组

取值约束:MRS 1.7.1及以后版本支持该参数

tags

集群的标签信息

参数类型:MRS.Tags数组

取值约束:同一个集群最多能使用10个tag,tag的名称(key)不能重复,标签的键/值不能包含“=”,“*”,“<”,“>”,“\”,“,”,“|”,“/”

clusterName

集群名称

参数类型:string

取值说明:集群名称,不允许相同。只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符

取值约束:{u'regex': u'^[a-zA-Z][0-9a-zA-Z-_]*$', u'min_length': 1, u'max_length': 64}

使用建议:用户自定义

masterDataVolumeSize

Master节点数据磁盘存储空间,为增大数据存储容量,创建集群时可同时购买磁盘

参数类型:integer

取值约束:取值范围为[100, 32000]

masterNodeNum

Master节点数量

参数类型:integer

默认值:2

取值约束:启用集群高可用功能时配置为2,不启用集群高可用功能时配置为1

clusterAdminSecret

配置MRS Manager管理员用户的密码。

参数类型:password

取值约束:密码长度应在8~32个字符之间,必须包含如下5种中至少3种字符的组合,至少一个小写字母,至少一个大写字母,至少一个数字,至少一个特殊字符:`~!@#$%^&*()-_=+\|[{}];:'",<.>/,空格,不能与用户名或者倒序用户名相同

vpc

子网所在VPC名称

参数类型:string

coreDataVolumeCount

Core节点数据磁盘个数。

参数类型:integer

默认值:1

取值约束:取值范围为[1, 10]

availableZoneId

可用分区ID

参数类型:string

masterDataVolumeType

Master节点数据磁盘存储类别

参数类型:string

取值约束:目前支持SATA、SAS和SSD。“SATA”为普通IO云硬盘,“SAS”为高IO云硬盘,“SSD”为超高IO云硬盘。

loginMode

集群登录方式

参数类型:string

默认值:KeyPair

取值约束:支持密码方式和密钥方式,默认为密钥方式。配置为密码方式时,请求消息体中包含cluster_master_secret字段。当配置为密钥方式时,请求消息体中包含nodePublicCertName字段

volumeType

磁盘存储类别

参数类型:string

取值约束:目前支持SATA、SAS和SSD。“SATA”为普通IO云硬盘,“SAS”为高IO云硬盘,“SSD”为超高IO云硬盘。

coreDataVolumeSize

Core节点数据磁盘存储空间,为增大数据存储容量,创建集群时可同时购买磁盘

参数类型:integer

取值约束:取值范围为[100, 32000]

components

服务组件列表信息

参数类型:MRS.Components数组

masterNodeSize

Master节点的实例规格

参数类型:string

取值约束:MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。实例规格详细说明请参见MRS所使用的弹性云服务器规格:https://support.huaweicloud.com/intl/zh-cn/api-mrs/mrs_01_9006.html

subnetName

子网名称

参数类型:string

关联关系

表2 关联关系说明

关系说明

关联节点

关联关系

VPC.Subnet

被包含关系

VPC.VPC

输出

blueprint样例

tosca_definitions_version: huaweicloud_tosca_version_1_0
inputs:
  mrs_availableZoneId:
    description: 可用分区ID
  mrs_clusterAdminSecret:
    description: 配置MRS Manager管理员用户的密码。
  mrs_clusterName:
    description: 集群名称
  mrs_clusterType:
    description: 集群类型。
    default: AnalysisCluster
  mrs_clusterVersion:
    description: 集群版本
  mrs_components_0_componentName:
    description: 组件名称
  mrs_coreNodeNum:
    description: Core节点数量
  mrs_coreNodeSize:
    description: Core节点的实例规格
  mrs_masterNodeNum:
    description: Master节点数量
  mrs_masterNodeSize:
    description: Master节点的实例规格
  mrs_nodePublicCertName:
    description: 密钥对名称,用户可以使用密钥方式登录集群节点
  mrs_safeMode:
    description: MRS集群运行模式
  mrs_subnetId:
    description: 子网ID
  mrs_subnetName:
    description: 子网名称
  mrs_volumeSize:
    description: Core节点数据磁盘存储空间
  mrs_volumeType:
    description: 磁盘存储类别
  mrs_vpc:
    description: 子网所在VPC名称
  mrs_vpcId:
    description: 子网所在VPC ID
node_templates:
  mrs:
    type: HuaweiCloud.MRS.Cluster
    properties:
      availableZoneId:
        get_input: mrs_availableZoneId
      clusterAdminSecret:
        get_input: mrs_clusterAdminSecret
      clusterName:
        get_input: mrs_clusterName
      clusterType:
        get_input: mrs_clusterType
      clusterVersion:
        get_input: mrs_clusterVersion
      components:
        - componentName:
            get_input: mrs_components_0_componentName
      coreNodeNum:
        get_input: mrs_coreNodeNum
      coreNodeSize:
        get_input: mrs_coreNodeSize
      masterNodeNum:
        get_input: mrs_masterNodeNum
      masterNodeSize:
        get_input: mrs_masterNodeSize
      nodePublicCertName:
        get_input: mrs_nodePublicCertName
      safeMode:
        get_input: mrs_safeMode
      subnetId:
        get_input: mrs_subnetId
      subnetName:
        get_input: mrs_subnetName
      volumeSize:
        get_input: mrs_volumeSize
      volumeType:
        get_input: mrs_volumeType
      vpc:
        get_input: mrs_vpc
      vpcId:
        get_input: mrs_vpcId