文档首页 > > API参考> API V1.1> 集群管理接口>

创建集群并执行作业

创建集群并执行作业

分享
更新时间:2021/07/13 GMT+08:00

功能介绍

创建一个MRS集群,并在集群中提交一个作业。该接口不兼容Sahara。 支持同一时间并发创建10个集群。 使用接口前,您需要先获取下的资源信息。

  • 通过VPC创建或查询VPC、子网
  • 通过ECS创建或查询密钥对
  • 通过终端节点获取区域信息
  • 参考MRS服务支持的组件获取MRS版本及对应版本支持的组件信息

接口约束

  • 集群登录方式有密码和密钥对两种,两者必选其一。
  • 使用密码方式需要配置访问集群节点的root密码,即cluster_master_secret。
  • 使用密钥对方式需要配置密钥对名称,即node_public_cert_name。
  • 磁盘参数可以使用volume_type和volume_size表示,也可以使用多磁盘相关的参数(master_data_volume_type、master_data_volume_size、master_data_volume_count、core_data_volume_type、core_data_volume_size和core_data_volume_count)表示,已上两种方式请任选一组适用。

URI

POST /v1.1/{project_id}/run-job-flow

表1 路径参数

参数

是否必选

参数类型

描述

project_id

String

项目编号。获取方法,请参见获取项目ID

请求参数

表2 请求Header参数

参数

是否必选

参数类型

描述

X-Auth-Token

String

用户Token。

通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。

Content-Type

String

发送的实体的MIME类型。

推荐用户默认使用application/json; charset=utf-8。

表3 请求Body参数

参数

是否必选

参数类型

描述

cluster_version

String

集群版本。 MRS目前支持MRS 1.9.2、MRS 3.0.5版本。

cluster_name

String

集群名称,不允许相同。 只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。

master_node_num

Integer

Master节点数量。启用集群高可用功能时配置为2,不启用集群高可用功能时配置为1。MRS 3.x版本暂时不支持该参数配置为1。

core_node_num

Integer

Core节点数量。

取值范围:[1~500]

Core节点默认的最大值为500,如果用户需要的Core节点数大于500,请申请扩大配额。

billing_type

Integer

集群的计费模式。

12表示按需计费。接口调用仅支持创建按需计费集群。

枚举值:

  • 12

data_center

String

集群区域信息,请参见终端节点及区域

vpc

String

子网所在VPC名称。 通过VPC管理控制台获取名称:

  1. 登录管理控制台。
  2. 单击“虚拟私有云”,从左侧列表选择虚拟私有云。

在“虚拟私有云”页面的列表中即可获取VPC名称。

master_node_size

String

Master节点的实例规格,例如:c3.4xlarge.2.linux.bigdata。MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。实例规格详细说明请参见MRS所使用的弹性云服务器规格MRS所使用的裸金属服务器规格

core_node_size

String

Core节点的实例规格,例如:c3.4xlarge.2.linux.bigdata。实例规格详细说明请参见MRS所使用的弹性云服务器规格MRS所使用的裸金属服务器规格

component_list

Array of component_list objects

服务组件安装列表信息。

available_zone_id

String

可用分区ID。

  • 华北-北京一可用区1(cn-north-1a):ae04cf9d61544df3806a3feeb401b204
  • 华北-北京一可用区2(cn-north-1b):d573142f24894ef3bd3664de068b44b0
  • 华东-上海二可用区1(cn-east-2a):72d50cedc49846b9b42c21495f38d81c
  • 华东-上海二可用区2(cn-east-2b):38b0f7a602344246bcb0da47b5d548e7
  • 华东-上海二可用区3(cn-east-2c):5547fd6bf8f84bb5a7f9db062ad3d015
  • 华南-广州可用区1(cn-south-1a):34f5ff4865cf4ed6b270f15382ebdec5
  • 华南-广州可用区2(cn-south-2b):043c7e39ecb347a08dc8fcb6c35a274e
  • 华南-广州可用区3(cn-south-1c):af1687643e8c4ec1b34b688e4e3b8901
  • 华北-北京四可用区1(cn-north-4a):effdcbc7d4d64a02aa1fa26b42f56533
  • 华北-北京四可用区2(cn-north-4b):a0865121f83b41cbafce65930a22a6e8
  • 华北-北京四可用区3(cn-north-4c):2dcb154ac2724a6d92e9bcc859657c1e

vpc_id

String

子网所在VPC ID。 通过VPC管理控制台获取ID:

  1. 登录管理控制台。
  2. 单击“虚拟私有云”,从左侧列表选择虚拟私有云。

在“虚拟私有云”页面的列表中即可获取VPC ID。

subnet_id

String

子网ID。通过VPC管理控制台获取子网ID:

  1. 登录VPC管理控制台。
  2. 单击“虚拟私有云”,从左侧列表选择虚拟私有云。
  3. 单击对应虚拟私有云所在行的“子网个数”查看子网。
  4. 单击对应子网名称,获取“网络ID”。

“subnet_id”和“subnet_name”必须至少填写一个,当这两个参数同时配置但是不匹配同一个子网时,集群会创建失败,请仔细填写参数。推荐使用“subnet_id”。

subnet_name

String

子网名称。 通过VPC管理控制台获取子网名称:

  1. 登录管理控制台。
  2. 单击“虚拟私有云”,从左侧列表选择虚拟私有云。
  3. 单击对应虚拟私有云所在行的“子网个数”查看子网,获取子网名称。

“subnet_id”和“subnet_name”必须至少填写一个,当这两个参数同时配置但是不匹配同一个子网时,集群会创建失败,请仔细填写参数。当仅填写“subnet_name”一个参数且VPC下存在同名子网时,创建集群时以VPC平台第一个名称的子网为准。推荐使用“subnet_id”。

security_groups_id

String

集群安全组的ID。

  • 当该ID为空时MRS后台会自己创建安全组,自动创建的安全组名称以mrs_{cluster_name}开头。
  • 当该ID不为空时,表示使用固定安全组来创建集群,传入的ID必须是当前租户中包含的安全组ID,且该安全组中包含一条全部协议,全部端口,源地址为指定的管理面节点IP的入方向规则。

add_jobs

Array of add_jobs objects

创建集群时可同时提交作业,当前版本暂时只支持新增一个作业。

volume_size

Integer

Master和Core节点数据磁盘存储空间。为增大数据存储容量,创建集群时可同时添加磁盘。可以根据如下应用场景合理选择磁盘存储空间大小:

  • 数据存储和计算分离,数据存储在OBS系统中,集群费用相对较低,计算性能不高,并且集群随时可以删除,建议数据计算不频繁场景下使用。
  • 数据存储和计算不分离,数据存储在HDFS中,集群费用相对较高,计算性能高,集群需要长期存在,建议数据计算频繁场景下使用。

取值范围:100GB~32000GB,传值只需填数字,不需要带单位GB。 不建议使用该参数,详情请参考volume_type参数的说明。

volume_type

String

Master和Core节点的磁盘存储类别,目前支持SATA、SAS和SSD。磁盘参数可以使用volume_type和volume_size表示,也可以使用多磁盘相关的参数表示。volume_type和volume_size这两个参数如果与多磁盘参数同时出现,系统优先读取volume_type和volume_size参数。建议使用多磁盘参数。

枚举值:

  • SATA:普通IO
  • SAS:高IO
  • SSD:超高IO

master_data_volume_type

String

该参数为多磁盘参数,表示Master节点数据磁盘存储类别,目前支持SATA、SAS和SSD。

枚举值:

  • SATA:普通IO
  • SAS:高IO
  • SSD:超高IO

master_data_volume_size

Integer

该参数为多磁盘参数,表示Master节点数据磁盘存储空间。为增大数据存储容量,创建集群时可同时添加磁盘。

取值范围:100GB~32000GB,传值只需填数字,不需要带单位GB。

master_data_volume_count

Integer

该参数为多磁盘参数,表示Master节点数据磁盘个数。取值只能是1。

缺省值:1

枚举值:

  • 1

core_data_volume_type

String

该参数为多磁盘参数,表示Core节点数据磁盘存储类别,目前支持SATA、SAS和SSD。

枚举值:

  • SATA
  • SAS
  • SSD

core_data_volume_size

Integer

该参数为多磁盘参数,表示Core节点数据磁盘存储空间。为增大数据存储容量,创建集群时可同时添加磁盘。

取值范围:100GB~32000GB,传值只需填数字,不需要带单位GB。

core_data_volume_count

Integer

该参数为多磁盘参数,表示Core节点数据磁盘个数。 取值范围:1~10

task_node_groups

Array of task_node_groups objects

Task节点列表信息。

bootstrap_scripts

Array of bootstrap_script objects

配置引导操作脚本信息。 MRS 1.7.2及以后版本支持该参数。

node_public_cert_name

String

密钥对名称。用户可以使用密钥对方式登录集群节点。当“login_mode”配置为“1”时,请求消息体中包含node_public_cert_name字段。

cluster_admin_secret

String

配置MRS Manager管理员用户的密码。

  • 密码长度应在8~32个字符之间
  • 不能与用户名或者倒序用户名相同
  • 必须包含如下4种中至少3种字符的组合
    • 至少一个小写字母
    • 至少一个大写字母
    • 至少一个数字
    • 至少一个特殊字符:`~!@#$%^&*()-_=+|[{}];:'",<.>/?和空格

cluster_master_secret

String

配置访问集群节点的root密码。当“login_mode”配置为“0”时,请求消息体中包含cluster_master_secret字段。

密码设置约束如下:

  • 字符串类型,可输入的字符串长度为8-26。
  • 至少包含三种字符组合,如大写字母,小写字母,数字,特殊字符(!@$%^-_=+[{}]:,./?),但不能包含空格。
  • 不能与用户名或者倒序用户名相同。

safe_mode

Integer

MRS集群运行模式。

  • 0:普通集群,表示Kerberos认证关闭,用户可使用集群提供的所有功能。
  • 1:安全集群,表示Kerberos认证开启,普通用户无权限使用MRS集群的“文件管理”和“作业管理”功能,并且无法查看Hadoop、Spark的作业记录以及集群资源使用情况。如果需要使用集群更多功能,需要找MRS Manager的管理员分配权限。

枚举值:

  • 0
  • 1

cluster_type

Integer

集群类型。

默认值为0:分析集群。

说明:暂不支持通过接口方式创建混合集群。

枚举值:

  • 0:分析集群
  • 1:流式集群

log_collection

Integer

集群创建失败时,是否收集失败日志。

默认设置为1,将创建OBS桶仅用于MRS集群创建失败时的日志收集。

枚举值:

  • 0:不收集
  • 1:收集

enterprise_project_id

String

企业项目ID。

创建集群时,给集群绑定企业项目ID。

默认设置为0,表示为default企业项目。

获取方式请参见《企业管理API参考》的“查询企业项目列表”响应消息表“enterprise_project字段数据结构说明”的“id”。

tags

Array of tag objects

集群的标签信息。

同一个集群最多能使用10个tag,tag的名称(key)不能重复 标签的键/值不能包含“=”,“*”,“<”,“>”,“\”,“,”,“|”,“/”。

login_mode

Integer

集群登录方式。默认设置为1。

  • 当“login_mode”配置为“0”时,请求消息体中包含cluster_master_secret字段。
  • 当“login_mode”配置为“1”时,请求消息体中包含node_public_cert_name字段。

说明: 该参数仅适用于MRS 1.6.2及以后版本的集群,MRS 1.6.2前的版本不支持。

枚举值:

  • 0:密码方式
  • 1:密钥对方式

node_groups

Array of NodeGroupV11 objects

节点列表信息。

说明:如下参数和该参数任选一组进行配置即可。

master_node_num、master_node_size、core_node_num、core_node_size、master_data_volume_type、master_data_volume_size、master_data_volume_count、core_data_volume_type、core_data_volume_size、core_data_volume_count、volume_type、volume_size、task_node_groups。

表4 component_list

参数

是否必选

参数类型

描述

component_name

String

组件名称

表5 add_jobs

参数

是否必选

参数类型

描述

job_type

Integer

作业类型码。

  • 1:MapReduce
  • 2:Spark
  • 3:Hive Script
  • 4:HiveSQL(当前不支持)
  • 5:DistCp,导入、导出数据,(当前不支持)。
  • 6:Spark Script
  • 7:Spark SQL,提交SQL语句,(当前不支持)。

job_name

String

作业名称。 只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。

说明: 不同作业的名称允许相同,但不建议设置相同。

jar_path

String

执行程序Jar包或sql文件地址,需要满足如下要求:

  • 最多为1023字符,不能包含;|&>,<'$特殊字符,且不可为空或全空格。
  • 文件可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。
    • OBS:以“s3a://”开头。不支持KMS加密的文件或程序。
    • HDFS:以“/”开头。
  • Spark Script需要以“.sql”结尾,MapReduce和Spark Jar需要以“.jar”结尾,sql和jar不区分大小写。

arguments

String

程序执行的关键参数,该参数由用户程序内的函数指定,MRS只负责参数的传入。 最多为2047字符,不能包含;|&>'<$特殊字符,可为空。

最小长度:0

最大长度:2047

input

String

数据输入地址。 文件可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。

  • OBS:以“s3a://”开头。不支持KMS加密的文件或程序。
  • HDFS:以“/”开头。

最多为1023字符,不能包含;|&>'<$特殊字符,可为空。

output

String

数据输出地址。 文件可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。

  • OBS:以“s3a://”开头。
  • HDFS:以“/”开头。

如果该路径不存在,系统会自动创建。 最多为1023字符,不能包含;|&>'<$特殊字符,可为空。

最小长度:0

最大长度:1023

job_log

String

作业日志存储地址,该日志信息记录作业运行状态。 文件可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。

  • OBS:以“s3a://”开头。
  • HDFS:以“/”开头。

最多为1023字符,不能包含;|&>'<$特殊字符,可为空。

hive_script_path

String

sql程序路径,仅Spark Script和Hive Script作业需要使用此参数。需要满足如下要求:

  • 最多为1023字符,不能包含;|&><'$特殊字符,且不可为空或全空格。
  • 文件可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。
    • OBS:以“s3a://”开头。不支持KMS加密的文件或程序。
    • HDFS:以“/”开头。
  • 需要以“.sql”结尾,sql不区分大小写。

hql

String

HQL脚本语句。

shutdown_cluster

Boolean

作业执行完成后,是否删除集群。

  • true:是
  • false:否

submit_job_once_cluster_run

Boolean

  • true:创建集群同时提交作业
  • false:单独提交作业

此处应设置为true。

file_action

String

数据导入导出。

  • import
  • export
表6 task_node_groups

参数

是否必选

参数类型

描述

node_num

Integer

Task节点节点数量,取值范围0~500,Core与Task节点总数最大为500个。

node_size

String

Task节点的实例规格,例如:c3.4xlarge.2.linux.bigdata。实例规格详细说明请参见MRS所使用的弹性云服务器规格MRS所使用的裸金属服务器规格

data_volume_type

String

Task节点数据磁盘存储类别,目前支持SATA、SAS和SSD。

枚举值:

  • SATA:普通IO
  • SAS:高IO
  • SSD:超高IO

data_volume_count

Integer

Task节点数据磁盘存储数目。

取值范围:0~10

data_volume_size

Integer

Task节点数据磁盘存储大小。

取值范围:100GB~32000GB,传值只需填数字,不需要带单位GB。

auto_scaling_policy

auto_scaling_policy object

弹性伸缩规则信息。

表7 bootstrap_script

参数

是否必选

参数类型

描述

name

String

引导操作脚本的名称,同一个集群的引导操作脚本名称不允许相同。

只能由数字、英文字符、空格、中划线和下划线组成,且不能以空格开头。

可输入的字符串长度为1~64个字符。

uri

String

引导操作脚本的路径。设置为OBS桶的路径或虚拟机本地的路径。

  • OBS桶的路径:直接手动输入脚本路径。例如输入MRS提供的公共样例脚本路径。示例:s3a://bootstrap/presto/presto-install.sh,其中安装dualroles时,presto-install.sh脚本参数为dualroles, 安装worker时,presto-install.sh脚本参数为worker。根据Presto使用习惯,建议您在Active Master节点上安装dualroles,在Core节点上安装worker。
  • 虚拟机本地的路径:用户需要输入正确的脚本路径。脚本所在的路径必须以‘/’开头,以.sh结尾。

parameters

String

引导操作脚本参数。

nodes

Array of strings

引导操作脚本所执行的节点类型,包含Master、Core和Task三种类型。

active_master

Boolean

引导操作脚本是否只运行在主Master节点上。 缺省值为false,表示引导操作脚本可运行在所有Master节点上。

fail_action

String

引导操作脚本执行失败后,是否继续执行后续脚本和创建集群。

缺省值为errorout,表示终止操作。

说明: 建议您在调试阶段设置为“继续”,无论此引导操作是否执行成功,则集群都能继续安装和启动。

枚举值:

  • continue:继续执行后续脚本。
  • errorout:终止操作。

before_component_start

Boolean

引导操作脚本执行的时间。目前支持“组件启动前”和“组件启动后”两种类型。 缺省值为false,表示引导操作脚本在组件启动后执行。

表8 tag

参数

是否必选

参数类型

描述

key

String

键。

  • 最大长度36个unicode字符,不能为空字符串。
  • 标签的key值不能包含非打印字符ASCII(0-31),“=”,“*”,“<”,“>”,“\”,“,”,“|”,“/”,且首尾字符不能为空格。
  • 同一资源的key值不能重复。

value

String

值。

  • 最大长度43个unicode字符,可以为空字符串。
  • 标签的value值不能包含非打印字符ASCII(0-31),“=”,“*”,“<”,“>”,“\”,“,”,“|”,“/”,且首尾字符不能为空格。
表9 NodeGroupV11

参数

是否必选

参数类型

描述

group_name

String

节点组名。

  • master_node_default_group
  • core_node_analysis_group
  • core_node_streaming_group
  • task_node_analysis_group
  • task_node_streaming_group

node_num

Integer

节点数量,取值范围0~500,Core与Task节点总数最大为500个。

node_size

String

节点的实例规格。配置方法请参考“master_node_size”配置的备注。

root_volume_size

String

节点系统磁盘存储大小。

root_volume_type

String

节点系统磁盘存储类别,目前支持SATA、SAS和SSD。

  • SATA:普通IO
  • SAS:高IO
  • SSD:超高I

data_volume_type

String

节点数据磁盘存储类别,目前支持SATA、SAS和SSD。

  • SATA:普通IO
  • SAS:高IO
  • SSD:超高I

data_volume_count

Integer

节点数据磁盘存储数目 取值范围:0~10。

data_volume_size

Integer

节点数据磁盘存储大小 取值范围:100GB~32000GB。

auto_scaling_policy

auto_scaling_policy object

当“group_name”配置为“task_node_analysis_group”或“task_node_streaming_group”时该参数有效,表示弹性伸缩规则信息。

表10 auto_scaling_policy

参数

是否必选

参数类型

描述

auto_scaling_enable

Boolean

当前自动伸缩规则是否开启。

min_capacity

Integer

指定该节点组的最小保留节点数。

取值范围:[0~500]

max_capacity

Integer

指定该节点组的最大节点数。

取值范围:[0~500]

resources_plans

Array of resources_plan objects

资源计划列表。若该参数为空表示不启用资源计划。

当启用弹性伸缩时,资源计划与自动伸缩规则需至少配置其中一种。

MRS 1.6.3及以后版本支持该参数。

rules

Array of rules objects

自动伸缩的规则列表。

当启用弹性伸缩时,资源计划与自动伸缩规则需至少配置其中一种。

exec_scripts

Array of scale_script objects

弹性伸缩自定义自动化脚本列表。若该参数为空表示不启用自动化脚本。

MRS 1.7.1及以后版本支持该参数。

表11 resources_plan

参数

是否必选

参数类型

描述

period_type

String

资源计划的周期类型,当前只允许以下类型:

daily

start_time

String

资源计划的起始时间,格式为“hour:minute”,表示时间在0:00-23:59之间。

end_time

String

资源计划的结束时间,格式与“start_time”相同,不早于start_time表示的时间,且与start_time间隔不小于30min。

min_capacity

Integer

资源计划内该节点组的最小保留节点数。

取值范围:[0~500]

最小值:0

最大值:500

max_capacity

Integer

资源计划内该节点组的最大保留节点数。

取值范围:[0~500]

表12 rules

参数

是否必选

参数类型

描述

name

String

弹性伸缩规则的名称。

只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。

在一个节点组范围内,不允许重名。

description

String

弹性伸缩规则的说明。

最大长度为1024字符。

adjustment_type

String

弹性伸缩规则的调整类型,只允许以下类型:

枚举值:

  • scale_out:扩容
  • scale_in:缩容

cool_down_minutes

Integer

触发弹性伸缩规则后,该集群处于冷却状态(不再执行弹性伸缩操作)的时长,单位为分钟。

取值范围[0~10080],10080为一周的分钟数。

scaling_adjustment

Integer

单次调整集群节点的个数。

取值范围[1~100]

trigger

trigger object

描述该规则触发条件。

表13 trigger

参数

是否必选

参数类型

描述

metric_name

String

指标名称。

该触发条件会依据该名称对应指标的值来进行判断。

最大长度为64个字符。

metric_value

String

指标阈值。

触发该条件的指标阈值,只允许输入整数或者带两位小数的数。

comparison_operator

String

指标判断逻辑运算符,包括:

  • LT:小于
  • GT:大于
  • LTOE:小于等于
  • GTOE:大于等于

evaluation_periods

Integer

判断连续满足指标阈值的周期数(一个周期为5分钟)。

取值范围[1~288]

表14 scale_script

参数

是否必选

参数类型

描述

name

String

弹性伸缩自定义自动化脚本的名称,同一个集群的自定义自动化脚本名称不允许相同。

只能由数字、英文字符、空格、中划线和下划线组成,且不能以空格开头。

可输入的字符串长度为1~64个字符。

uri

String

自定义自动化脚本的路径。设置为OBS桶的路径或虚拟机本地的路径。

  • OBS桶的路径:直接手动输入脚本路径。示例:s3a://XXX/scale.sh
  • 虚拟机本地的路径:用户需要输入正确的脚本路径。脚本所在的路径必须以‘/’开头,以.sh结尾。

parameters

String

自定义自动化脚本参数。

多个参数间用空格隔开。 可以传入以下系统预定义参数:

  • ${mrs_scale_node_num}:扩缩容节点数
  • ${mrs_scale_type}:扩缩容类型,扩容为scale_out,缩容为scale_in
  • ${mrs_scale_node_hostnames}:扩缩容的节点主机名称
  • ${mrs_scale_node_ips}:扩缩容的节点IP
  • ${mrs_scale_rule_name}:触发扩缩容的规则名

其他用户自定义参数使用方式与普通shell脚本相同,多个参数中间用空格隔开。

nodes

Array of strings

自定义自动化脚本所执行的节点类型,包含Master、Core和Task三种类型。

active_master

Boolean

自定义自动化脚本是否只运行在主Master节点上。

缺省值为false,表示自定义自动化脚本可运行在所有Master节点上。

fail_action

String

自自定义自动化脚本执行失败后,是否继续执行后续脚本和创建集群。

说明:

  • 建议您在调试阶段设置为“continue”,无论此自定义自动化脚本是否执行成功,则集群都能继续安装和启动。
  • 由于缩容成功无法回滚,因此缩容后执行的脚本“fail_action”必须设置为“continue”。

枚举值:

  • continue:继续执行后续脚本。
  • errorout:终止操作。

action_stage

String

脚本执行时机。

枚举值:

  • before_scale_out:扩容前
  • before_scale_in:缩容前
  • after_scale_out:扩容后
  • after_scale_in:缩容后

响应参数

状态码: 200

表15 响应Body参数

参数

参数类型

描述

result

Boolean

操作结果。

true:操作成功

false:操作失败

msg

String

系统提示信息,可为空。

cluster_id

String

集群创建成功后系统返回的集群ID值。

请求示例

  • 创建启用“集群高可用”功能的集群(使用node_groups参数组)
    POST https://{endpoint}/v1.1/{project_id}/run-job-flow
    
    {
      "billing_type" : 12,
      "data_center" : "cn-north-1",
      "available_zone_id" : "d573142f24894ef3bd3664de068b44b0",
      "cluster_name" : "mrs_HEbK",
      "cluster_version" : "MRS 3.0.5",
      "safe_mode" : 0,
      "cluster_type" : 0,
      "component_list" : [ {
        "component_name" : "Hadoop"
      }, {
        "component_name" : "Spark"
      }, {
        "component_name" : "HBase"
      }, {
        "component_name" : "Hive"
      }, {
        "component_name" : "Presto"
      }, {
        "component_name" : "Tez"
      }, {
        "component_name" : "Hue"
      }, {
        "component_name" : "Loader"
      }, {
        "component_name" : "Flink"
      } ],
      "vpc" : "vpc-4b1c",
      "vpc_id" : "4a365717-67be-4f33-80c5-98e98a813af8",
      "subnet_id" : "67984709-e15e-4e86-9886-d76712d4e00a",
      "subnet_name" : "subnet-4b44",
      "security_groups_id" : "4820eace-66ad-4f2c-8d46-cf340e3029dd",
      "enterprise_project_id" : "0",
      "tags" : [ {
        "key" : "key1",
        "value" : "value1"
      }, {
        "key" : "key2",
        "value" : "value2"
      } ],
      "node_groups" : [ {
        "group_name" : "master_node_default_group",
        "node_num" : 2,
        "node_size" : "s3.xlarge.2.linux.bigdata",
        "root_volume_size" : 40,
        "root_volume_type" : "SATA",
        "data_volume_type" : "SATA",
        "data_volume_count" : 1,
        "data_volume_size" : 200
      }, {
        "group_name" : "core_node_analysis_group",
        "node_num" : 3,
        "node_size" : "s3.xlarge.2.linux.bigdata",
        "root_volume_size" : 40,
        "root_volume_type" : "SATA",
        "data_volume_type" : "SATA",
        "data_volume_count" : 1,
        "data_volume_size" : 100
      }, {
        "group_name" : "task_node_analysis_group",
        "node_num" : 2,
        "node_size" : "s3.xlarge.2.linux.bigdata",
        "root_volume_size" : 40,
        "root_volume_type" : "SATA",
        "data_volume_type" : "SATA",
        "data_volume_count" : 0,
        "data_volume_size" : 100,
        "auto_scaling_policy" : {
          "auto_scaling_enable" : true,
          "min_capacity" : 1,
          "max_capacity" : "3",
          "resources_plans" : [ {
            "period_type" : "daily",
            "start_time" : "9:50",
            "end_time" : "10:20",
            "min_capacity" : 2,
            "max_capacity" : 3
          }, {
            "period_type " : "daily",
            "start_time " : "10:20",
            "end_time " : "12:30",
            "min_capacity " : 0,
            "max_capacity " : 2
          } ],
          "exec_scripts" : [ {
            "name" : "before_scale_out",
            "uri" : "s3a://XXX/zeppelin_install.sh ",
            "parameters" : "${mrs_scale_node_num} ${mrs_scale_type} xxx",
            "nodes" : [ "master", "core", "task" ],
            "active_master" : "true",
            "action_stage" : "before_scale_out",
            "fail_sction" : "continue"
          }, {
            "name" : "after_scale_out",
            "uri" : "s3a://XXX/storm_rebalance.sh",
            "parameters" : "${mrs_scale_node_hostnames} ${mrs_scale_node_ips}",
            "nodes" : [ "master", "core", "task" ],
            "active_master" : "true",
            "action_stage" : "after_scale_out",
            "fail_action" : "continue"
          } ],
          "rules" : [ {
            "name" : "default-expand-1",
            "adjustment_type" : "scale_out",
            "cool_down_minutes" : 5,
            "scaling_adjustment" : 1,
            "trigger" : {
              "metric_name" : "YARNMemoryAvailablePercentage",
              "metric_value" : "25",
              "comparison_operator" : "LT",
              "evaluation_periods" : 10
            }
          }, {
            "name" : "default-shrink-1",
            "adjustment_type" : "scale_in",
            "cool_down_minutes" : 5,
            "scaling_adjustment" : 1,
            "trigger" : {
              "metric_name" : "YARNMemoryAvailablePercentage",
              "metric_value" : "70",
              "comparison_operator" : "GT",
              "evaluation_periods" : 10
            }
          } ]
        }
      } ],
      "login_mode" : 1,
      "cluster_master_secret" : "",
      "cluster_admin_secret" : "",
      "log_collection" : 1,
      "add_jobs" : [ {
        "job_type" : 1,
        "job_name" : "tenji111",
        "jar_path" : "s3a://bigdata/program/hadoop-mapreduce-examples-2.7.2.jar",
        "arguments" : "wordcount",
        "input" : "s3a://bigdata/input/wd_1k/",
        "output" : "s3a://bigdata/ouput/",
        "job_log" : "s3a://bigdata/log/",
        "shutdown_cluster" : true,
        "file_action" : "",
        "submit_job_once_cluster_run" : true,
        "hql" : "",
        "hive_script_path" : ""
      } ],
      "bootstrap_scripts" : [ {
        "name" : "Modify os config",
        "uri" : "s3a://XXX/modify_os_config.sh",
        "parameters" : "param1 param2",
        "nodes" : [ "master", "core", "task" ],
        "active_master" : "false",
        "before_component_start" : "true",
        "fail_action" : "continue"
      }, {
        "name" : "Install zepplin",
        "uri" : "s3a://XXX/zeppelin_install.sh",
        "parameters" : "",
        "nodes" : [ "master" ],
        "active_master" : "true",
        "before_component_start" : "false",
        "fail_action" : "continue"
      } ]
    }
  • 创建启用“集群高可用”功能的集群(不使用node_groups参数组)
    POST https://{endpoint}/v1.1/{project_id}/run-job-flow
    
    {
      "billing_type" : 12,
      "data_center" : "cn-north-1",
      "master_node_num" : 2,
      "master_node_size" : "s3.2xlarge.2.linux.bigdata",
      "core_node_num" : 3,
      "core_node_size" : "s1.xlarge.linux.bigdata",
      "available_zone_id" : "d573142f24894ef3bd3664de068b44b0",
      "cluster_name" : "newcluster",
      "vpc" : "vpc1",
      "vpc_id" : "5b7db34d-3534-4a6e-ac94-023cd36aaf74",
      "subnet_id" : "815bece0-fd22-4b65-8a6e-15788c99ee43",
      "subnet_name" : "subnet",
      "security_groups_id" : "845bece1-fd22-4b45-7a6e-14338c99ee43",
      "tags" : [ {
        "key" : "key1",
        "value" : "value1"
      }, {
        "key" : "key2",
        "value" : "value2"
      } ],
      "cluster_version" : "MRS 3.0.5",
      "cluster_type" : 0,
      "master_data_volume_type" : "SATA",
      "master_data_volume_size" : 100,
      "master_data_volume_count" : 1,
      "core_data_volume_type" : "SATA",
      "core_data_volume_size" : 100,
      "core_data_volume_count" : 2,
      "node_public_cert_name" : "SSHkey-bba1",
      "safe_mode" : 0,
      "log_collection" : 1,
      "task_node_groups" : [ {
        "node_num" : 2,
        "node_size" : "s3.xlarge.2.linux.bigdata",
        "data_volume_type" : "SATA",
        "data_volume_count" : 1,
        "data_volume_size" : 700,
        "auto_scaling_policy" : {
          "auto_scaling_enable" : true,
          "min_capacity" : 1,
          "max_capacity" : "3",
          "resources_plans" : [ {
            "period_type" : "daily",
            "start_time" : "9: 50",
            "end_time" : "10: 20",
            "min_capacity" : 2,
            "max_capacity" : 3
          }, {
            "period_type" : "daily",
            "start_time" : "10: 20",
            "end_time" : "12: 30",
            "min_capacity" : 0,
            "max_capacity" : 2
          } ],
          "exec_scripts" : [ {
            "name" : "before_scale_out",
            "uri" : "s3a: //XXX/zeppelin_install.sh",
            "parameters" : "${mrs_scale_node_num}${mrs_scale_type}xxx",
            "nodes" : [ "master", "core", "task" ],
            "active_master" : "true",
            "action_stage" : "before_scale_out",
            "fail_sction" : "continue"
          }, {
            "name" : "after_scale_out",
            "uri" : "s3a: //XXX/storm_rebalance.sh",
            "parameters" : "${mrs_scale_node_hostnames}${mrs_scale_node_ips}",
            "nodes" : [ "master", "core", "task" ],
            "active_master" : "true",
            "action_stage" : "after_scale_out",
            "fail_action" : "continue"
          } ],
          "rules" : [ {
            "name" : "default-expand-1",
            "adjustment_type" : "scale_out",
            "cool_down_minutes" : 5,
            "scaling_adjustment" : 1,
            "trigger" : {
              "metric_name" : "YARNMemoryAvailablePercentage",
              "metric_value" : "25",
              "comparison_operator" : "LT",
              "evaluation_periods" : 10
            }
          }, {
            "name" : "default-shrink-1",
            "adjustment_type" : "scale_in",
            "cool_down_minutes" : 5,
            "scaling_adjustment" : 1,
            "trigger" : {
              "metric_name" : "YARNMemoryAvailablePercentage",
              "metric_value" : "70",
              "comparison_operator" : "GT",
              "evaluation_periods" : 10
            }
          } ]
        }
      } ],
      "component_list" : [ {
        "component_name" : "Hadoop"
      }, {
        "component_name" : "Spark"
      }, {
        "component_name" : "HBase"
      }, {
        "component_name" : "Hive"
      } ],
      "add_jobs" : [ {
        "job_type" : 1,
        "job_name" : "tenji111",
        "jar_path" : "s3a: //bigdata/program/hadoop-mapreduce-examples-2.7.2.jar",
        "arguments" : "wordcount",
        "input" : "s3a: //bigdata/input/wd_1k/",
        "output" : "s3a: //bigdata/ouput/",
        "job_log" : "s3a: //bigdata/log/",
        "shutdown_cluster" : true,
        "file_action" : "",
        "submit_job_once_cluster_run" : true,
        "hql" : "",
        "hive_script_path" : ""
      } ],
      "bootstrap_scripts" : [ {
        "name" : "Modifyosconfig",
        "uri" : "s3a: //XXX/modify_os_config.sh",
        "parameters" : "param1param2",
        "nodes" : [ "master", "core", "task" ],
        "active_master" : "false",
        "before_component_start" : "true",
        "fail_action" : "continue"
      }, {
        "name" : "Installzepplin",
        "uri" : "s3a: //XXX/zeppelin_install.sh",
        "parameters" : "",
        "nodes" : [ "master" ],
        "active_master" : "true",
        "before_component_start" : "false",
        "fail_action" : "continue"
      } ]
    }
  • 关闭“集群高可用”功能创建最小规格集群(使用node_groups参数组)
    POST https://{endpoint}/v1.1/{project_id}/run-job-flow
    
    {
      "billing_type" : 12,
      "data_center" : "cn-north-1",
      "available_zone_id" : "d573142f24894ef3bd3664de068b44b0",
      "cluster_name" : "mrs_HEbK",
      "cluster_version" : "MRS 3.0.5",
      "safe_mode" : 0,
      "cluster_type" : 0,
      "component_list" : [ {
        "component_name" : "Hadoop"
      }, {
        "component_name" : "Spark"
      }, {
        "component_name" : "HBase"
      }, {
        "component_name" : "Hive"
      }, {
        "component_name" : "Presto"
      }, {
        "component_name" : "Tez"
      }, {
        "component_name" : "Hue"
      }, {
        "component_name" : "Loader"
      }, {
        "component_name" : "Flink"
      } ],
      "vpc" : "vpc-4b1c",
      "vpc_id" : "4a365717-67be-4f33-80c5-98e98a813af8",
      "subnet_id" : "67984709-e15e-4e86-9886-d76712d4e00a",
      "subnet_name" : "subnet-4b44",
      "security_groups_id" : "4820eace-66ad-4f2c-8d46-cf340e3029dd",
      "enterprise_project_id" : "0",
      "tags" : [ {
        "key" : "key1",
        "value" : "value1"
      }, {
        "key" : "key2",
        "value" : "value2"
      } ],
      "node_groups" : [ {
        "group_name" : "master_node_default_group",
        "node_num" : 1,
        "node_size" : "s3.xlarge.2.linux.bigdata",
        "root_volume_size" : 40,
        "root_volume_type" : "SATA",
        "data_volume_type" : "SATA",
        "data_volume_count" : 1,
        "data_volume_size" : 200
      }, {
        "group_name" : "core_node_analysis_group",
        "node_num" : 1,
        "node_size" : "s3.xlarge.2.linux.bigdata",
        "root_volume_size" : 40,
        "root_volume_type" : "SATA",
        "data_volume_type" : "SATA",
        "data_volume_count" : 1,
        "data_volume_size" : 100
      } ],
      "login_mode" : 1,
      "cluster_master_secret" : "",
      "cluster_admin_secret" : "",
      "log_collection" : 1,
      "add_jobs" : [ {
        "job_type" : 1,
        "job_name" : "tenji111",
        "jar_path" : "s3a://bigdata/program/hadoop-mapreduce-examples-2.7.2.jar",
        "arguments" : "wordcount",
        "input" : "s3a://bigdata/input/wd_1k/",
        "output" : "s3a://bigdata/ouput/",
        "job_log" : "s3a://bigdata/log/",
        "shutdown_cluster" : true,
        "file_action" : "",
        "submit_job_once_cluster_run" : true,
        "hql" : "",
        "hive_script_path" : ""
      } ],
      "bootstrap_scripts" : [ {
        "name" : "Modify os config",
        "uri" : "s3a://XXX/modify_os_config.sh",
        "parameters" : "param1 param2",
        "nodes" : [ "master", "core", "task" ],
        "active_master" : "false",
        "before_component_start" : "true",
        "fail_action" : "continue"
      }, {
        "name" : "Install zepplin",
        "uri" : "s3a://XXX/zeppelin_install.sh",
        "parameters" : "",
        "nodes" : [ "master" ],
        "active_master" : "true",
        "before_component_start" : "false",
        "fail_action" : "continue"
      } ]
    }
  • 关闭“集群高可用”功能创建最小规格集群(不使用node_groups参数组)
    POST https://{endpoint}/v1.1/{project_id}/run-job-flow
    
    {
      "billing_type" : 12,
      "data_center" : "cn-north-1",
      "master_node_num" : 1,
      "master_node_size" : "s3.2xlarge.2.linux.bigdata",
      "core_node_num" : 1,
      "core_node_size" : "s1.xlarge.linux.bigdata",
      "available_zone_id" : "d573142f24894ef3bd3664de068b44b0",
      "cluster_name" : "newcluster",
      "vpc" : "vpc1",
      "vpc_id" : "5b7db34d-3534-4a6e-ac94-023cd36aaf74",
      "subnet_id" : "815bece0-fd22-4b65-8a6e-15788c99ee43",
      "subnet_name" : "subnet",
      "security_groups_id" : "",
      "enterprise_project_id" : "0",
      "tags" : [ {
        "key" : "key1",
        "value" : "value1"
      }, {
        "key" : "key2",
        "value" : "value2"
      } ],
      "cluster_version" : "MRS 3.0.5",
      "cluster_type" : 0,
      "master_data_volume_type" : "SATA",
      "master_data_volume_size" : 100,
      "master_data_volume_count" : 1,
      "core_data_volume_type" : "SATA",
      "core_data_volume_size" : 100,
      "core_data_volume_count" : 1,
      "login_mode" : 1,
      "node_public_cert_name" : "SSHkey-bba1",
      "safe_mode" : 0,
      "cluster_admin_secret" : "******",
      "log_collection" : 1,
      "component_list" : [ {
        "component_name" : "Hadoop"
      }, {
        "component_name" : "Spark"
      }, {
        "component_name" : "HBase"
      }, {
        "component_name" : "Hive"
      }, {
        "component_name" : "Presto"
      }, {
        "component_name" : "Tez"
      }, {
        "component_name" : "Hue"
      }, {
        "component_name" : "Loader"
      }, {
        "component_name" : "Flink"
      } ],
      "add_jobs" : [ {
        "job_type" : 1,
        "job_name" : "tenji111",
        "jar_path" : "s3a://bigdata/program/hadoop-mapreduce-examples-XXX.jar",
        "arguments" : "wordcount",
        "input" : "s3a://bigdata/input/wd_1k/",
        "output" : "s3a://bigdata/ouput/",
        "job_log" : "s3a://bigdata/log/",
        "shutdown_cluster" : false,
        "file_action" : "",
        "submit_job_once_cluster_run" : true,
        "hql" : "",
        "hive_script_path" : ""
      } ],
      "bootstrap_scripts" : [ {
        "name" : "Install zepplin",
        "uri" : "s3a://XXX/zeppelin_install.sh",
        "parameters" : "",
        "nodes" : [ "master" ],
        "active_master" : "false",
        "before_component_start" : "false",
        "fail_action" : "continue"
      } ]
    }

响应示例

状态码: 200

创建集群成功。

{
  "cluster_id" : "da1592c2-bb7e-468d-9ac9-83246e95447a",
  "result" : true,
  "msg" : ""
}

状态码

状态码

描述

200

创建集群成功。

错误码

请参见错误码

分享:

    相关文档

    相关产品