Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.
Centro de ayuda> MapReduce Service> Referencia de la API> API V2> Las API de gestión de clústeres> Creación de un clúster
Actualización más reciente 2023-07-28 GMT+08:00
Ver PDF

Creación de un clúster

Función

Esta API se utiliza para crear un clúster MRS.

Antes de usar la API, debes obtener los recursos que aparecen en la lista de Tabla 1.

Tabla 1 Obtención de recursos

Recurso

Cómo obtener

VPC

Consulte las instrucciones de operación en Consulta los VPC y Creación de los VPC en la Referencia de la API de VPC.

Subnet

Consulte las instrucciones de operación en Consulta de las subredes y Creación de las subredes en la Referencia de la API de VPC.

Key Pair

Consulte las instrucciones de operación en Consulta de pares de claves SSH and Creación e importación de un par de claves SSH en la Referencia de API de ECS.

Zone

Consulte Puntos de conexión para más detalles sobre las regiones y zonas de disponibilidad.

Version

Actualmente, se admiten MRS 1.9.2, 3.1.0, 3.1.5, 3.2.0-LTS.1, y 3.1.2-LTS.3.

Component
  • MRS 3.1.2-LTS.3 admite los siguientes componentes:
    • Un clúster de análisis contiene los siguientes componentes: Hadoop, Spark2x, HBase, Hive, Hue, Loader, Flink, Oozie, ZooKeeper, HetuEngine, Ranger, y Tez.
    • Un clúster de streaming contiene los siguientes componentes: Kafka, Flume, ZooKeeper y Ranger.
    • Un clúster híbrido contiene los siguientes componentes: Hadoop, Spark2x, HBase, Hive, Hue, Loader, Flink, Oozie, ZooKeeper, HetuEngine, Ranger, Tez, Kafka y Flume.
    • Un clúster personalizado contiene los siguientes componentes: Hadoop, Spark2x, HBase, Hive, Hue, Loader, Kafka, Flume, Flink, Oozie, ZooKeeper, HetuEngine, Ranger, Tez, y ClickHouse.
  • MRS 3.1.0 admite los siguientes componentes:
    • Un clúster de análisis contiene los siguientes componentes: Hadoop, Spark2x, HBase, Hive, Hue, Flink, Oozie, ZooKeeper, Ranger, Tez, Impala, Presto y Kudu.
    • Un clúster de streaming contiene los siguientes componentes: Kafka, Flume, ZooKeeper y Ranger.
    • Un clúster híbrido contiene los siguientes componentes: Hadoop, Spark2x, HBase, Hive, Hue, Flink, Oozie, ZooKeeper, Ranger, Tez, Impala, Presto, Kudu, Kafka y Flume.
    • Un clúster personalizado contiene los siguientes componentes: Hadoop, Spark2x, HBase, Hive, Hue, Kafka, Flume, Flink, Oozie, ZooKeeper, Ranger, Tez, Impala, Presto, ClickHouse, y Kudu.
  • MRS 3.0.5 admite los siguientes componentes:
    • Un clúster de análisis contiene los siguientes componentes: Hadoop, Spark2x, HBase, Hive, Hue, Loader, Flink, Oozie, ZooKeeper, Ranger, Tez, Impala, Presto, Kudu y Alluxio.
    • Un clúster de streaming contiene los siguientes componentes: Kafka, Storm, Flume, ZooKeeper, y Ranger.
    • Un clúster híbrido contiene los siguientes componentes: Hadoop, Spark2x, HBase, Hive, Hue, Loader, Flink, Oozie, ZooKeeper, Ranger, Tez, Impala, Presto, Kudu, Alluxio, Kafka, Storm y Flume.
    • Un clúster personalizado contiene los siguientes componentes: Hadoop, Spark2x, HBase, Hive, Hue, Loader, Kafka, Tormenta, Flume, Flink, Oozie, ZooKeeper, Ranger, Tez, Impala, Presto, ClickHouse, Kudu, y Alluxio.
  • MRS 2.1.0 admite los siguientes componentes:
    • Un clúster de análisis contiene los siguientes componentes: Presto, Hadoop, Spark, HBase, Hive, Hue, Loader, Tez, Impala, Kudu, y Flink.
    • Un clúster de streaming contiene los siguientes componentes: Kafka, Storm y Flume.
  • MRS 1.9.2 admite los siguientes componentes:
    • Un clúster de análisis contiene los siguientes componentes: Presto, Hadoop, Spark, HBase, OpenTSDB, Hive, Hue, Loader, Tez, Flink, Alluxio y Ranger.
    • Un clúster de streaming contiene los siguientes componentes: Kafka, KafkaManager, Storm, y Flume.

Restricciones

Ninguna

Depuración

Puede depurar esta API a través de la autenticación automática en API Explorer. API Explorer puede generar automáticamente código SDK de ejemplo y proporcionar la depuración de código SDK de ejemplo.

URI

POST /v2/{project_id}/clusters
Tabla 2 Parámetros de URI

Parámetro

Obligatorio

Tipo

Descripción

project_id

Sí

String

ID del proyecto. Para obtener más información sobre cómo obtener el ID del proyecto, consulte Obtención de un ID de proyecto.

Parámetros de solicitud

Tabla 3 Parámetros de body de solicitud

Parámetro

Obligatorio

Tipo

Descripción

cluster_version

Sí

String

Versión del clúster. Valores posibles:

  • MRS 1.9.2
  • MRS 3.1.0
  • MRS 3.1.2-LTS.3
  • MRS 3.1.5

cluster_name

Sí

String

Nombre del clúster. Debe ser único.

Un nombre de clúster solo puede contener entre 1 y 64 caracteres. Solo se permiten letras, números, guiones (-) y guiones bajos (_).

cluster_type

Sí

String

Tipo de clúster. Valores posibles:

  • ANALYSIS: clúster de análisis
  • STREAMING: clúster de streaming
  • MIXED: clúster híbrido
  • CUSTOM: clúster personalizado, que solo es compatible con MRS 3.x.

charge_info

No

object

El tipo de facturación. Para obtener más información, consulte Tabla 5.

region

Sí

String

Información sobre la región donde se encuentra el clúster. Para obtener más información, consulte Puntos de conexión.

is_dec_project

No

Boolean

Si el clúster es específico para el DeC. El valor predeterminado es false.

vpc_name

Sí

String

Nombre de la VPC donde se encuentra la subred. Realice las siguientes operaciones para obtener el nombre de VPC desde la consola de gestión de VPC:

  1. Inicie sesión en la consola de gestión.
  2. Haga clic en Virtual Private Cloud y seleccione Virtual Private Cloud en la lista de la izquierda. En la página Virtual Private Cloud, obtenga el nombre de la VPC de la lista.

subnet_id

No

String

ID de subred, que se puede obtener realizando las siguientes operaciones en la consola de gestión de VPC:

  1. Inicie sesión en la consola de gestión de VPC.
  2. Haga clic en Virtual Private Cloud y seleccione Virtual Private Cloud en la lista de la izquierda.
  3. Busque la fila que contiene la VPC de destino y haga clic en el número de la columna Subnets para ver la información de subred.
  4. Haga clic en el nombre de subred para obtener el ID de red. Al menos uno de subnet_id y subnet_name debe estar configurado. Si los dos parámetros están configurados pero no coinciden con la misma subred, no se puede crear el clúster. Se recomienda subnet_id.

subnet_name

Sí

String

Nombre de subred. Realice las siguientes operaciones para obtener el nombre de subred de la consola de gestión de VPC:

  1. Inicie sesión en la consola de gestión.
  2. Haga clic en Virtual Private Cloud y seleccione Virtual Private Cloud en la lista de la izquierda.
  3. Busque la fila que contiene la VPC de destino y haga clic en el número de la columna Subnets para obtener el nombre de subred. Al menos uno de subnet_id y subnet_name debe estar configurado. Si los dos parámetros están configurados pero no coinciden con la misma subred, no se puede crear el clúster. Si solo se configura subnet_name y existen subredes con el mismo nombre en la VPC, el primer nombre de subred de la VPC se utiliza cuando se crea un clúster. Se recomienda subnet_id.

components

Sí

String

Lista de nombres de componentes, separados por comas (,). Para obtener más información sobre los nombres de componentes, consulte la lista de componentes de cada versión en Tabla 1.

external_datasources

No

Array of ClusterDataConnectorMap objects

Al desplegar componentes como Hive y Ranger, puede asociar conexiones de datos y almacenar metadatos en bases de datos asociadas. Para obtener más información sobre los parámetros, consulte Tabla 4.

availability_zone

Sí

String

Nombre de zona de disponibilidad. No se admiten clústeres multi-AZ.

Consulte Puntos de conexión para más detalles sobre zonas de disponibilidad.

security_groups_id

No

String

ID de grupo de seguridad del clúster.

  • Si este parámetro se deja en blanco, MRS crea automáticamente un grupo de seguridad, cuyo nombre comienza por mrs_{cluster_name}.
  • Si este parámetro no se deja en blanco, se utiliza un grupo de seguridad fijo para crear un clúster. El ID transferido debe ser el ID del grupo de seguridad que pertenece al tenant actual. El grupo de seguridad debe incluir una regla de entrada en la que se permiten todos los protocolos y todos los puertos y el origen es la dirección IP del nodo especificado en el plano de gestión.

auto_create_default_security_group

No

Boolean

Si se crea el grupo de seguridad predeterminado para el clúster MRS. El valor predeterminado es false. Si este parámetro se establece en true, se creará el grupo de seguridad predeterminado para el clúster independientemente de si se especifica security_groups_id.

safe_mode

Sí

String

Modo de ejecución de un clúster MRS.

  • SIMPLE: clúster normal. En un clúster normal, la autenticación Kerberos está deshabilitada y los usuarios pueden usar todas las funciones proporcionadas por el clúster.
  • KERBEROS: clúster de seguridad. En un clúster de seguridad, la autenticación de Kerberos está habilitada y los usuarios comunes no pueden usar las funciones de gestión de archivos y gestión de trabajos de un clúster MRS ni el uso de recursos de clúster de visualización y los registros de trabajos de Hadoop y Spark. Para utilizar más funciones de clúster, los usuarios deben ponerse en contacto con el administrador de Manager para asignar más permisos.

manager_admin_password

Sí

String
Contraseña del administrador de MRS Manager. La contraseña debe cumplir los siguientes requisitos:
  • Debe contener de 8 a 26 caracteres.
  • Debe contener al menos cuatro de los siguientes: letras mayúsculas, minúsculas, dígitos y caracteres especiales (!@$%^-_=+[{}]:,./?), pero no debe contener espacios.
  • No puede ser el nombre de usuario ni el nombre de usuario escrito al revés.

login_mode

Sí

String

Modo de inicio de sesión de nodo.

  • PASSWORD: inicio de sesión basado en contraseña. Si se selecciona este valor, no se puede dejar en blanco node_root_password.
  • KEYPAIR: especifica el par de claves utilizado para el inicio de sesión. Si se selecciona este valor, no se puede dejar en blanco node_keypair_name.

node_root_password

No

String
Contraseña del usuario root para iniciar sesión en un nodo de clúster. Una contraseña debe cumplir con los siguientes requisitos:
  • Debe tener entre 8 y 26 caracteres.
  • Debe contener al menos cuatro de los siguientes: letras mayúsculas, minúsculas, dígitos y caracteres especiales (!@$%^-_=+[{}]:,./?), pero no debe contener espacios.
  • No puede ser el nombre de usuario ni el nombre de usuario escrito al revés.

node_keypair_name

No

String

Nombre de un par de claves. Puede utilizar un par de claves para iniciar sesión en el nodo Master del clúster.

enterprise_project_id

No

String

ID de proyecto de empresa.

Al crear un clúster, asocie el ID del proyecto de empresa con el clúster.

El valor predeterminado es 0, que indica el proyecto de empresa del tipo default.

Para obtener el ID del proyecto de empresa, consulte el valor de id en la tabla enterprise_project field data structure en la sección Consulta de la lista del proyecto de empresa de la Referencia de la API de Enterprise Management.

eip_address

No

String

Un EIP enlazado a un clúster MRS se puede utilizar para acceder a MRS Manager. El EIP debe haber sido creado y debe estar en la misma región que el clúster.

eip_id

No

String

ID de la EIP enlazada. Este parámetro es obligatorio cuando se configura eip_address. Para obtener el ID de EIP, inicie sesión en la consola de VPC, elija Network > Elastic IP and Bandwidth > Elastic IP, haga clic en el EIP que desea vincular y obtenga el ID en el área Información básica.

mrs_ecs_default_agency

No

String

Nombre de la delegación enlazada a un nodo de clúster de forma predeterminada. El valor se fija a MRS_ECS_DEFAULT_AGENCY.

Una delegación permite al ECS o al BMS gestionar recursos del MRS. Puede configurar una agencia del tipo ECS para obtener automáticamente el AK/SK para acceder a OBS.

La delegación MRS_ECS_DEFAULT_AGENCY tiene el permiso OBS OperateAccess de OBS y el FullAccess de CES (para usuarios que han habilitado políticas detalladas), permisos de administrador de CES y de administrador de KMS en la región donde se encuentra el clúster.

template_id

No

String

Plantilla utilizada para despliegue de nodos cuando el tipo de clúster es CUSTOM.

  • mgmt_control_combined_v2: plantilla para el despliegue conjunto de los nodos de gestión y control. Los roles de gestión y control se despliegan conjuntamente en el nodo Master y las instancias de datos se despliegan en el mismo grupo de nodos. Este modo de despliegue se aplica a escenarios en los que el número de nodos de control es inferior a 100, lo que reduce los costos.
  • mgmt_control_separated_v2: los roles de gestión y control se despliegan en diferentes nodos master, y las instancias de datos se despliegan en el mismo grupo de nodos. Este modo de despliegue es aplicable a un clúster con 100 a 500 nodos y ofrece un mejor rendimiento en escenarios de carga de alta simultaneidad.
  • mgmt_control_data_separated_v2: el rol de gestión y el rol de control se despliegan en diferentes nodos Maaster, y las instancias de datos se despliegan en diferentes grupos de nodos. Este modo de despliegue es aplicable a un clúster con más de 500 nodos. Los componentes se pueden desplegar por separado, lo que se puede utilizar para una escala de clúster más grande.

tags

No

Array of tag objects

Para obtener más información sobre la descripción de los parámetros, consulte Tabla 6.

Se puede agregar un máximo de 10 etiquetas a un clúster.

log_collection

No

Integer

Especifica si se deben recopilar registros cuando se produce un error en la creación de clústeres: El valor predeterminado es 1, que indica que se crearán buckets de OBS y que solo se utilizarán para recopilar registros que registran errores de creación de clústeres MRS. Valores posibles:

  • 0 No recoger.
  • 1: Recoger.

El valor predeterminado es 1, que indica que se crearán buckets de OBS y que solo se usarán para recopilar registros que registren errores de creación de clústeres de MRS.

node_groups

Sí

Array of NodeGroupV2 objects

Información sobre los grupos de nodos en el clúster. Para obtener más información sobre los parámetros, consulte Tabla 7.

bootstrap_scripts

No

Array of BootstrapScript objects

Información del script de acción de arranque. Para obtener más información sobre los parámetros, consulte Tabla 9.

MRS 3.x no admite este parámetro.

add_jobs

No

Array of add_jobs objects

Los trabajos se pueden enviar cuando se crea un clúster. Actualmente, solo se puede crear un trabajo. Para obtener más información acerca de los parámetros del trabajo, consulte Tabla 10.

MRS 3.x no admite este parámetro.
Tabla 4 ClusterDataConnectorMap

Parámetro

Obligatorio

Tipo

Descripción

map_id

No

Integer

ID de asociación de conexión de datos

connector_id

No

String

ID de conexión de datos

component_name

No

String

Nombre del componente

role_type

No

String

Tipo de rol de componente. Las opciones son las siguientes:

  • hive_metastore: rol de Hive Metastore
  • hive_data: rol de Hive
  • hbase_data: rol de HBase
  • ranger_data: rol de Ranger

source_type

No

String

Tipo de conexión de datos. Las opciones son las siguientes:

  • LOCAL_DB: metadatos local
  • RDS_POSTGRES: base de datos de RDS PostgreSQL
  • RDS_MYSQL: base de datos de RDS MySQL
  • gaussdb-mysql: GaussDB(for MySQL)

cluster_id

No

String

ID del clúster asociado

status

No

Integer

Estado de la conexión de datos. Las opciones son las siguientes:

  • 0: normal
  • 1: in use
Tabla 5 ChargeInfo

Parámetro

Obligatorio

Tipo

Descripción

charge_mode

Sí

String

Modo de facturación. Valores posibles:

  • prePaid: indica el modo de facturación anual/mensual. No.
  • postPaid: indica el modo de facturación de pago por uso.
Tabla 6 Parámetros de etiqueta

Parámetro

Obligatorio

Tipo

Descripción

key

Sí

String

Clave de etiqueta.

  • Contiene un máximo de 36 caracteres Unicode y no puede ser una cadena vacía.
  • La etiqueta key no puede comenzar o terminar con espacios o contener caracteres ASCII no imprimibles (0-31) y los siguientes caracteres especiales: =*<>\,|/
  • La clave de etiqueta de un recurso debe ser única.

value

Sí

String

Valor de etiqueta.

  • El valor puede contener de 0 a 43 caracteres unicode que pueden estar en blanco.
  • El valor no puede comenzar ni terminar con espacios ni contener caracteres ASCII no imprimibles (0-31) y los siguientes caracteres especiales: =*<>\,|/.
Tabla 7 parámetros de NodeGroup

Parámetro

Obligatorio

Tipo

Descripción

group_name

Sí

String

Nombre del grupo de nodos. El valor puede contener un máximo de 64 caracteres, que incluye letras mayúsculas y minúsculas, dígitos y guiones bajos (_). Las reglas para configurar grupos de nodos son las siguientes:

  • master_node_default_group: grupo de nodos Master, que debe incluirse en todos los tipos de clúster.
  • core_node_analysis_group: indica el grupo de nodo Core de análisis, que debe estar contenido en el clúster de análisis y el clúster híbrido.
  • core_node_streaming_group: indica el grupo de nodos Core de streaming, que debe incluirse tanto en clústeres híbridos como de streaming.
  • task_node_analysis_group: Grupo de nodos Task de análisis. Este grupo de nodos se puede seleccionar para clústeres de análisis y clústeres híbridos según sea necesario.
  • task_node_streaming_group: Grupo de nodos Task de streaming. Este grupo de nodos se puede seleccionar para clústeres de transmisión por secuencias y clústeres híbridos según sea necesario.
  • node_group{x}: grupo de nodos del clúster personalizado. Puede agregar varios grupos de nodos según sea necesario. Se puede agregar un máximo de nueve grupos de nodos.

node_num

Sí

Integer

Número de nodos. El valor varía de 0 a 500. El número máximo de nodos Core y Task es 500.

node_size

Sí

String

Especificaciones de instancia de un nodo. Ejemplo: c3.4xlarge.2.linux.bigdata

MRS admite especificaciones de host determinadas por CPU, memoria y espacio en disco. Para obtener más información sobre las especificaciones de instancia, consulte Especificaciones de ECS utilizadas por MRS y Especificaciones de BMS utilizado por MRS.

Se recomienda obtener el valor de este parámetro desde la página de creación de clúster en la consola MRS.

root_volume

No

Volume object

Información del disco del sistema del nodo. Este parámetro es opcional para algunas máquinas virtuales o para el disco del sistema del BMS. Este parámetro es obligatorio en otros casos. Para obtener más información sobre la descripción de los parámetros, consulte Tabla 8.

data_volume

No

Volume object

Información del disco de datos. Este parámetro es obligatorio cuando data_volume_count no es 0. Para obtener más información sobre este parámetro, consulte Tabla 8.

data_volume_count

No

Integer

Número de discos de datos de un nodo.

Rango de valores: 0 a 10

charge_info

No

ChargeInfo object

El tipo de facturación de un grupo de nodos. Los tipos de facturación de los grupos de nodos principal y principal son los mismos que los del clúster. El tipo de facturación del grupo de nodos de tarea puede ser diferente. Para obtener más información sobre los parámetros, consulte Tabla 5.

auto_scaling_policy

No

auto_scaling_policy object

Regla de escala automática correspondiente al grupo de nodos. Para obtener más información sobre los parámetros, consulte Tabla 11.

assigned_roles

No

Array of strings

Este parámetro es obligatorio cuando el tipo de clúster es CUSTOM. Puede especificar los roles desplegados en un grupo de nodos. Este parámetro es una matriz de cadena de caracteres. Cada cadena de caracteres representa una expresión de rol.

Definición de expresión de rol:

  • Si el rol se implementa en todos los nodos del grupo de nodos, establezca este parámetro en <role name> por ejemplo, DataNode.
  • Si el rol se implementa en un nodo de subíndice especificado en el grupo de nodos: <role name>:<index1>,<index2>..., <indexN>, por ejemplo NameNode: 1,2. El subscript comienza desde 1.
  • Algunos roles admiten el despliegue multiinstancia (es decir, se despliegan varias instancias del mismo rol en un nodo) <role name>[<instance count>], por ejemplo, EsNode[9].

Para obtener más información sobre los roles disponibles, consulte Funciones y componentes soportados por MRS.
Tabla 8 Volumen

Parámetro

Obligatorio

Tipo

Descripción

type

Sí

String

Tipo de disco.

Se admiten los siguientes tipos de disco:

  • SATA: disco de E/S común
  • SAS: disco de E/S alto
  • SSD: disco de E/S ultra-alto

size

Sí

Integer

Especifica el tamaño del disco de datos, en GB. El rango de valores es de 10 a 32768.
Tabla 9 BootstrapScript

Parámetro

Obligatorio

Tipo

Descripción

name

Sí

String

Nombre de un script de acción de arranque. Debe ser único en un clúster.

El valor solo puede contener dígitos, letras, espacios, guiones (-) y guiones bajos (_) y no debe comenzar con un espacio.

El valor puede contener de 1 a 64 caracteres.

uri

Sí

String

Ruta de un script de acción de arranque. Establezca este parámetro en una ruta de bucket OBS o una ruta de VM local.

  • Ruta del bucket OBS: Ingrese una ruta de script manualmente. Por ejemplo, ingrese la ruta del script de muestra público proporcionado por MRS. Ejemplo: s3a://bootstrap/presto/presto-install.sh. Si dualroles está instalado, el parámetro del script de presto-install.sh es dualroles. Si worker está instalado, el parámetro de script de presto-install.sh es worker. Basado en el hábito de uso de Presto, se recomienda instalar dualroles en los nodos Master activos y worker en los nodos Core.
  • Ruta de acceso de VM local: introduzca una ruta de acceso de script. La ruta de acceso del script debe comenzar con una barra diagonal (/) y terminar con .sh.

parameters

No

String

Parámetros de script de acción de arranque.

nodes

Yes

Array of strings

Nombre del grupo de nodos donde se ejecuta el script de acción de arranque

active_master

No

Boolean

Si el script de acción de arranque sólo se ejecuta en nodos Master activos.

El valor predeterminado es false, que indica que el script de acción de arranque puede ejecutarse en todos los nodos Master.

before_component_start

No

Boolean

Hora en que se ejecuta el script de acción de arranque. Actualmente, están disponibles las dos opciones siguientes: Before component start y After component start

El valor predeterminado es false, que indica que el script de acción de arranque se ejecuta después de iniciar el componente.

fail_action

Sí

String

Si continuar ejecutando scripts subsiguientes y crear un clúster después de que no se pueda ejecutar el script de acción de arranque.

  • continue: Continuar para ejecutar scripts subsiguientes.
  • errorout: detener la acción.
El valor predeterminado es errorout, que indica que la acción está detenida.
NOTA:

Se recomienda establecer este parámetro en continue en la fase de puesta en marcha para que el clúster pueda seguir instalando e iniciando sin importar si la acción de arranque se realiza correctamente.

start_time

No

Long

El tiempo de ejecución de un script de acción de arranque.

state

No

String

El estado de ejecución de un script de acción de arranque.

  • PENDING
  • IN_PROGRESS
  • SUCCESS
  • FAILURE

action_stages

No

Array of strings

Seleccione la hora a la que se ejecuta el script de acción de arranque.

  • BEFORE_COMPONENT_FIRST_START: antes de que comience el componente inicial
  • AFTER_COMPONENT_FIRST_START: después de que comience el componente inicial
  • BEFORE_SCALE_IN: antes de reducir
  • AFTER_SCALE_IN: después de reducir
  • BEFORE_SCALE_OUT: antes de escalar horizontalmente
  • after_scale_out: después de escalar horizontalmente
Tabla 10 parámetros de add_jobs

Parámetro

Obligatorio

Tipo

Descripción

job_type

Sí

Integer

Código de tipo de trabajo.

  • 1: MapReduce
  • 2: Spark
  • 3: Hive Script
  • 4: HiveQL (no soportado actualmente)
  • 5: DistCp, importación y exportación de datos (no compatible actualmente)
  • 6: Spark Script
  • 7: Spark SQL, envío de sentencias Spark SQL (no soportadas actualmente).

job_name

Sí

String

Nombre del trabajo. Contiene de 1 a 64 caracteres. Solo se permiten letras, dígitos, guiones (-) y guiones bajos (_).

NOTA:

Se permiten nombres de trabajo idénticos pero no se recomiendan.

jar_path

No

String

Ruta del archivo JAR o SQL para la ejecución del programa. El parámetro debe cumplir los siguientes requisitos:

  • Contiene un máximo de 1023 caracteres, excluyendo caracteres especiales como ;|&><'$. El valor del parámetro no puede estar vacío ni lleno de espacios.
  • Los archivos se pueden almacenar en HDFS u OBS. La ruta de acceso varía según el sistema de archivos.
    • OBS: La ruta debe comenzar con s3a://. Los archivos o programas cifrados por KMS no son compatibles.
    • HDFS: la ruta de acceso comienza con una barra diagonal (/).
  • Spark Script debe terminar con .sql mientras que MapReduce y Spark Jar deben terminar con .jar. sql y jar son insensibles a mayúsculas y minúsculas.

arguments

No

String

Parámetro clave para la ejecución del programa. El parámetro es especificado por la función del programa del usuario. MRS solo es responsable de cargar el parámetro.

El parámetro contiene un máximo de 2047 caracteres, excluyendo caracteres especiales como ;|&>'<$, y puede dejarse en blanco.

input

No

String

Dirección para introducir datos.

Los archivos se pueden almacenar en HDFS u OBS. La ruta de acceso varía según el sistema de archivos.
  • OBS: La ruta debe comenzar con s3a://. Los archivos o programas cifrados por KMS no son compatibles.
  • HDFS: la ruta de acceso comienza con una barra diagonal (/).

El parámetro contiene un máximo de 1023 caracteres, excluyendo caracteres especiales como ;|&>'<$, y puede dejarse en blanco.

output

No

String

Dirección para la salida de datos.

Los archivos se pueden almacenar en HDFS u OBS. La ruta de acceso varía según el sistema de archivos.
  • OBS: La ruta debe comenzar con s3a://.
  • HDFS: la ruta de acceso comienza con una barra diagonal (/).

Si la ruta especificada no existe, el sistema la creará automáticamente.

El parámetro contiene un máximo de 1023 caracteres, excluyendo caracteres especiales como ;|&>'<$, y puede dejarse en blanco.

job_log

No

String

Ruta de acceso para almacenar registros de trabajos que registran el estado de ejecución del trabajo.

Los archivos se pueden almacenar en HDFS u OBS. La ruta de acceso varía según el sistema de archivos.
  • OBS: La ruta debe comenzar con s3a://.
  • HDFS: la ruta de acceso comienza con una barra diagonal (/).

El parámetro contiene un máximo de 1023 caracteres, excluyendo caracteres especiales como ;|&>'<$, y puede dejarse en blanco.

shutdown_cluster

No

Boolean

Si se elimina el clúster una vez completada la ejecución del trabajo.

  • true: sí.
  • false: No

file_action

No

String

Importación y exportación de datos.

  • importar
  • exportar

submit_job_once_cluster_run

Sí

Boolean
  • true: Enviar un trabajo durante la creación del clúster.
  • false: Enviar un trabajo después de crear el clúster.

Establezca este parámetro en true en este ejemplo.

hql

No

String

Sentencia de HiveQL

hive_script_path

No

String

Ruta del programa SQL. Este parámetro es necesario únicamente para los trabajos de Spark Script y Hive Script, y debe cumplir los siguientes requisitos:

  • Contiene un máximo de 1023 caracteres, excluyendo caracteres especiales como ;|&><'$. La dirección no puede estar vacía o llena de espacios.
  • Los archivos se pueden almacenar en HDFS u OBS. La ruta de acceso varía según el sistema de archivos.
    • OBS: La ruta debe comenzar con s3a://. Los archivos o programas cifrados por KMS no son compatibles.
    • HDFS: la ruta de acceso comienza con una barra diagonal (/).
  • Termina con .sql. sql es insensible a mayúsculas y minúsculas.
Tabla 11 parámetros de auto_scaling_policy

Parámetro

Obligatorio

Tipo

Descripción

auto_scaling_enable

Sí

Boolean

Si se activa la regla de escalado automático.

min_capacity

Sí

Integer

Número mínimo de nodos que quedan en el grupo de nodos.

Rango de valores: 0 a 500

max_capacity

Sí

Integer

Número máximo de nodos en el grupo de nodos.

Rango de valores: 0 a 500

resources_plans

No

Array of resources_plan objects

Lista de planes de recursos. Para obtener más información, consulte Tabla 12. Si este parámetro se deja en blanco, el plan de recursos se deshabilita.

Cuando se habilita el escalado automático, se debe configurar un plan de recursos o una regla de escalado automático.

exec_scripts

No

Array of scale_script objects

Lista de scripts de automatización de escalado personalizados. Para obtener más información, consulte Tabla 13. Si este parámetro se deja en blanco, se deshabilita un script de hook.

rules

No

Array of rules objects

Lista de reglas de escalado automático. Para obtener más información, consulte Tabla 14.

Cuando se habilita el escalado automático, se debe configurar un plan de recursos o una regla de escalado automático.
Tabla 12 ResourcesPlan

Parámetro

Obligatorio

Tipo

Descripción

period_type

Sí

String

Tipo de ciclo de un plan de recursos. Actualmente, solo se admite el siguiente tipo de ciclo:

  • daily

start_time

Sí

String

Hora de inicio de un plan de recursos. El valor tiene el formato de hour:minute, lo que indica que el tiempo varía de 0:00 a 23:59.

end_time

Sí

String

Hora de finalización de un plan de recursos. El valor tiene el mismo formato que el de start_time. El intervalo entre end_time y start_time debe ser mayor o igual a 30 minutos.

min_capacity

Sí

Integer

Número mínimo de nodos conservados en un grupo de nodos en un plan de recursos.

Rango de valores: 0 a 500

max_capacity

Sí

Integer

Número máximo de nodos conservados en un grupo de nodos de un plan de recursos.

Rango de valores: 0 a 500

effective_days

No

Array of strings

Fecha de vigencia de un plan de recursos. Si este parámetro se deja en blanco, indica que el plan de recursos tiene efecto todos los días. Las opciones son las siguientes:

MONDAY, TUESDAY, WEDNESDAY, THURSDAY, FRIDAY, SATURDAY, y SUNDAY
Tabla 13 parámetros de scale_script

Parámetro

Obligatorio

Tipo

Descripción

name

Sí

String

Nombre de un script de automatización personalizado. Debe ser único en un mismo clúster.

El valor solo puede contener dígitos, letras, espacios, guiones (-) y guiones bajos (_) y no debe comenzar con un espacio.

El valor puede contener de 1 a 64 caracteres.

uri

Sí

String

Ruta de un script de automatización personalizado. Establezca este parámetro en una ruta de bucket OBS o una ruta de VM local.

  • Ruta del bucket OBS: Ingrese una ruta de script manualmente. por ejemplo, s3a://XXX/scale.sh.
  • Ruta de acceso de VM local: introduzca una ruta de acceso de script. La ruta de acceso del script debe comenzar con una barra diagonal (/) y terminar con .sh.

parameters

No

String

Parámetros de un script de automatización personalizado.

  • Múltiples parámetros están separados por espacio.
  • Se pueden transferir los siguientes parámetros de sistema predefinidos:
    • ${mrs_scale_node_num}: Número de nodos que se agregarán o eliminarán
    • ${mrs_scale_type}: tipo de escalamiento. El valor puede ser scale_out o scale_in.
    • ${mrs_scale_node_hostnames}: Nombres de host de los nodos que se van a agregar o eliminar
    • ${mrs_scale_node_ips}: direcciones IP de los nodos a agregar o eliminar
    • ${mrs_scale_rule_name}: Nombre de la regla que activa el escalado automático
  • Otros parámetros definidos por el usuario se utilizan de la misma manera que los scripts de shell comunes. Los parámetros están separados por espacio.

nodes

Sí

List<String>

Tipo de nodo donde se ejecuta el script de automatización personalizado. El tipo de nodo puede ser Master, Core, o Task.

active_master

No

Boolean

Si el script de automatización personalizado se ejecuta sólo en el nodo Master activo.

El valor predeterminado es false, que indica que el script de automatización personalizado puede ejecutarse en todos los nodos de Master.

action_stage

Sí

String

Hora en que se ejecuta un script.

Se admiten las siguientes cuatro opciones:

  • before_scale_out: antes de escalar horizontalmente
  • before_scale_in: antes de reducir
  • after_scale_out: después de escalar horizontalmente
  • after_scale_in: después de reducir

fail_action

Sí

String

Si se deben continuar ejecutando scripts subsiguiente y crear un clúster después de que no se ejecute la secuencia de comandos de automatización personalizada.

  • continue: Continuar para ejecutar scripts subsiguientes.
  • errorout: detener la acción.
    NOTA:
    • Se recomienda establecer este parámetro en continue en la fase de puesta en marcha para que el clúster pueda seguir siendo instalado e iniciado sin importar si el script de automatización personalizado se ejecuta correctamente.
    • La operación de reducción no se puede deshacer. Por lo tanto, se debe establecer fail_action en continue para los scripts que se ejecutan después de escalar.
Tabla 14 parámetros de reglas

Parámetro

Obligatorio

Tipo

Descripción

name

Sí

String

Nombre de una regla de escalado automático.

Un nombre de clúster solo puede contener entre 1 y 64 caracteres. Solo se permiten letras, dígitos, guiones (-) y guiones bajos (_).

Los nombres de regla deben ser únicos en un grupo de nodos.

description

No

String

Descripción sobre una regla de escalado automático.

Contiene un máximo de 1024 caracteres.

adjustment_type

Sí

String

Tipo de ajuste de regla de escalado automático. Valores posibles:

  • scale_out: escalamiento horizontal de clústeres
  • scale_in: reducción de clústeres

cool_down_minutes

Sí

Integer

Tiempo de enfriamiento del clúster después de activar una regla de escalado automático, cuando no se realiza ninguna operación de escalado automático. La unidad es un minuto.

Rango de valores: 0 a 10,080. Una semana es igual a 10,080 minutos.

scaling_adjustment

Sí

Integer

Número de nodos que se pueden ajustar una vez.

Rango de valores: 1 a 100

trigger

Sí

Trigger object

Condición para activar una regla. Para obtener más información, consulte Tabla 15.
Tabla 15 parámetros del activador

Parámetro

Obligatorio

Tipo

Descripción

metric_name

Sí

String

Nombre de la métrica.

Esta condición desencadenante hace un juicio de acuerdo con el valor de la métrica.

Un nombre de métrica contiene un máximo de 64 caracteres.

metric_value

Sí

String

Umbral métrico para activar una regla.

El valor debe ser un entero o un número con dos decimales.

comparison_operator

No

String

Operador lógico de juicio métrico. Valores posibles:

  • LT: inferior a
  • GT: superior a
  • LTOE: inferior o igual a
  • GTOE: superior o igual a

evaluation_periods

Sí

Integer

Número de períodos consecutivos de cinco minutos, durante los cuales se alcanza un umbral métrico.

Rango de valores: 1 a 288

Parámetros de respuesta

Código de estado: 200

Tabla 16 Parámetros de respuesta

Parámetro

Tipo

Descripción

cluster_id

String

ID de clúster, que es devuelto por el sistema después de crear el clúster.

Solicitud de ejemplo

  • Creación de un clúster de análisis
    POST /v2/{project_id}/clusters

{
  "cluster_version" :  "MRS 3.2.0-LTS.1",
  "cluster_name" : "mrs_DyJA_dm",
  "cluster_type" : "ANALYSIS",
  "charge_info" : {
    "charge_mode" : "postPaid"
  },
  "region" : "",
  "availability_zone" : "",
  "vpc_name" : "vpc-37cd",
  "subnet_id" : "1f8c5ca6-1f66-4096-bb00-baf175954f6e",
  "subnet_name" : "subnet",
  "components" : "Hadoop,Spark2x,HBase,Hive,Hue,Flink,Oozie,Ranger,Tez",
  "safe_mode" : "KERBEROS",
  "manager_admin_password" : "your password",
  "login_mode" : "PASSWORD",
  "node_root_password" : "your password",
  "log_collection" : 1,
  "mrs_ecs_default_agency" : "MRS_ECS_DEFAULT_AGENCY",
  "tags" : [ {
    "key" : "tag1",
    "value" : "111"
  }, {
    "key" : "tag2",
    "value" : "222"
  } ],
  "node_groups" : [ {
    "group_name" : "master_node_default_group",
    "node_num" : 2,
    "node_size" : "rc3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1
  }, {
    "group_name" : "core_node_analysis_group",
    "node_num" : 3,
    "node_size" : "rc3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1
  }, {
    "group_name" : "task_node_analysis_group",
    "node_num" : 3,
    "node_size" : "rc3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1,
    "auto_scaling_policy" : {
      "auto_scaling_enable" : true,
      "min_capacity" : 0,
      "max_capacity" : 1,
      "resources_plans" : [ {
        "period_type" : "daily",
        "start_time" : "12:00",
        "end_time" : "13:00",
        "min_capacity" : 2,
        "max_capacity" : 3,
        "effective_days" : [ "MONDAY" ]
      } ],
      "exec_scripts" : [ {
        "name" : "test",
        "uri" : "s3a://obs-mrstest/bootstrap/basic_success.sh",
        "parameters" : "",
        "nodes" : [ "master_node_default_group", "core_node_analysis_group", "task_node_analysis_group" ],
        "active_master" : false,
        "action_stage" : "before_scale_out",
        "fail_action" : "continue"
      } ],
      "rules" : [ {
        "name" : "default-expand-1",
        "description" : "",
        "adjustment_type" : "scale_out",
        "cool_down_minutes" : 5,
        "scaling_adjustment" : "1",
        "trigger" : {
          "metric_name" : "YARNAppRunning",
          "metric_value" : 100,
          "comparison_operator" : "GTOE",
          "evaluation_periods" : "1"
        }
      } ]
    }
  } ]
}
  • Creación de un clúster de streaming
    POST /v2/{project_id}/clusters

{
  "cluster_version" : "MRS 3.2.0-LTS.1",
  "cluster_name" : "mrs_Dokle_dm",
  "cluster_type" : "STREAMING",
  "charge_info" : {
    "charge_mode" : "postPaid"
  },
  "region" : "",
  "availability_zone" : "",
  "vpc_name" : "vpc-37cd",
  "subnet_id" : "1f8c5ca6-1f66-4096-bb00-baf175954f6e",
  "subnet_name" : "subnet",
  "components" : "Storm,Kafka,Flume,Ranger",
  "safe_mode" : "KERBEROS",
  "manager_admin_password" : "your password",
  "login_mode" : "PASSWORD",
  "node_root_password" : "your password",
  "log_collection" : 1,
  "mrs_ecs_default_agency" : "MRS_ECS_DEFAULT_AGENCY",
  "tags" : [ {
    "key" : "tag1",
    "value" : "111"
  }, {
    "key" : "tag2",
    "value" : "222"
  } ],
  "node_groups" : [ {
    "group_name" : "master_node_default_group",
    "node_num" : 2,
    "node_size" : "rc3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1
  }, {
    "group_name" : "core_node_streaming_group",
    "node_num" : 3,
    "node_size" : "rc3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1
  }, {
    "group_name" : "task_node_streaming_group",
    "node_num" : 0,
    "node_size" : "rc3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1,
    "auto_scaling_policy" : {
      "auto_scaling_enable" : true,
      "min_capacity" : 0,
      "max_capacity" : 1,
      "resources_plans" : [ {
        "period_type" : "daily",
        "start_time" : "12:00",
        "end_time" : "13:00",
        "min_capacity" : 2,
        "max_capacity" : 3,
        "effective_days" : [ "MONDAY" ]
      } ],
      "rules" : [ {
        "name" : "default-expand-1",
        "description" : "",
        "adjustment_type" : "scale_out",
        "cool_down_minutes" : 5,
        "scaling_adjustment" : "1",
        "trigger" : {
          "metric_name" : "StormSlotAvailablePercentage",
          "metric_value" : 100,
          "comparison_operator" : "LTOE",
          "evaluation_periods" : "1"
        }
      } ]
    }
  } ]
}
  • Creación de un clúster híbrido
    POST /v2/{project_id}/clusters

{
  "cluster_version" : "MRS 3.2.0-LTS.1",
  "cluster_name" : "mrs_onmm_dm",
  "cluster_type" : "MIXED",
  "charge_info" : {
    "charge_mode" : "postPaid"
  },
  "region" : "",
  "availability_zone" : "",
  "vpc_name" : "vpc-37cd",
  "subnet_id" : "1f8c5ca6-1f66-4096-bb00-baf175954f6e",
  "subnet_name" : "subnet",
  "components" : "Hadoop,Spark2x,HBase,Hive,Hue,Loader,Kafka,Storm,Flume,Flink,Oozie,Ranger,Tez",
  "safe_mode" : "KERBEROS",
  "manager_admin_password" : "your password",
  "login_mode" : "PASSWORD",
  "node_root_password" : "your password",
  "log_collection" : 1,
  "mrs_ecs_default_agency" : "MRS_ECS_DEFAULT_AGENCY",
  "tags" : [ {
    "key" : "tag1",
    "value" : "111"
  }, {
    "key" : "tag2",
    "value" : "222"
  } ],
  "node_groups" : [ {
    "group_name" : "master_node_default_group",
    "node_num" : 2,
    "node_size" : "Sit3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1
  }, {
    "group_name" : "core_node_streaming_group",
    "node_num" : 3,
    "node_size" : "Sit3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1
  }, {
    "group_name" : "core_node_analysis_group",
    "node_num" : 3,
    "node_size" : "Sit3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1
  }, {
    "group_name" : "task_node_analysis_group",
    "node_num" : 1,
    "node_size" : "Sit3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1
  }, {
    "group_name" : "task_node_streaming_group",
    "node_num" : 0,
    "node_size" : "Sit3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1
  } ]
}
  • Creación de un clúster personalizado con nodos de gestión y controlador desplegados conjuntamente
    POST /v2/{project_id}/clusters

{
  "cluster_version" : "MRS 3.2.0-LTS.1",
  "cluster_name" : "mrs_heshe_dm",
  "cluster_type" : "CUSTOM",
  "charge_info" : {
    "charge_mode" : "postPaid"
  },
  "region" : "",
  "availability_zone" : "",
  "vpc_name" : "vpc-37cd",
  "subnet_id" : "1f8c5ca6-1f66-4096-bb00-baf175954f6e",
  "subnet_name" : "subnet",
  "components" : "Hadoop,Spark2x,HBase,Hive,Hue,Kafka,Flume,Flink,Oozie,HetuEngine,Ranger,Tez,ZooKeeper,ClickHouse",
  "safe_mode" : "KERBEROS",
  "manager_admin_password" : "your password",
  "login_mode" : "PASSWORD",
  "node_root_password" : "your password",
  "mrs_ecs_default_agency" : "MRS_ECS_DEFAULT_AGENCY",
  "template_id" : "mgmt_control_combined_v2",
  "log_collection" : 1,
  "tags" : [ {
    "key" : "tag1",
    "value" : "111"
  }, {
    "key" : "tag2",
    "value" : "222"
  } ],
  "node_groups" : [ {
    "group_name" : "master_node_default_group",
    "node_num" : 3,
    "node_size" : "Sit3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1,
    "assigned_roles" : [ "OMSServer:1,2", "SlapdServer:1,2", "KerberosServer:1,2", "KerberosAdmin:1,2", "quorumpeer:1,2,3", "NameNode:2,3", "Zkfc:2,3", "JournalNode:1,2,3", "ResourceManager:2,3", "JobHistoryServer:2,3", "DBServer:1,3", "Hue:1,3", "LoaderServer:1,3", "MetaStore:1,2,3", "WebHCat:1,2,3", "HiveServer:1,2,3", "HMaster:2,3", "MonitorServer:1,2", "Nimbus:1,2", "UI:1,2", "JDBCServer2x:1,2,3", "JobHistory2x:2,3", "SparkResource2x:1,2,3", "oozie:2,3", "LoadBalancer:2,3", "TezUI:1,3", "TimelineServer:3", "RangerAdmin:1,2", "UserSync:2", "TagSync:2", "KerberosClient", "SlapdClient", "meta", "HSConsole:2,3", "FlinkResource:1,2,3", "DataNode:1,2,3", "NodeManager:1,2,3", "IndexServer2x:1,2", "ThriftServer:1,2,3", "RegionServer:1,2,3", "ThriftServer1:1,2,3", "RESTServer:1,2,3", "Broker:1,2,3", "Supervisor:1,2,3", "Logviewer:1,2,3", "Flume:1,2,3", "HSBroker:1,2,3" ]
  }, {
    "group_name" : "node_group_1",
    "node_num" : 3,
    "node_size" : "Sit3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1,
    "assigned_roles" : [ "DataNode", "NodeManager", "RegionServer", "Flume:1", "Broker", "Supervisor", "Logviewer", "HBaseIndexer", "KerberosClient", "SlapdClient", "meta", "HSBroker:1,2", "ThriftServer", "ThriftServer1", "RESTServer", "FlinkResource" ]
  }, {
    "group_name" : "node_group_2",
    "node_num" : 1,
    "node_size" : "Sit3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1,
    "assigned_roles" : [ "NodeManager", "KerberosClient", "SlapdClient", "meta", "FlinkResource" ]
  } ]
}
  • Creación de un clúster personalizado con nodos de gestión y controlador desplegados por separado
    POST /v2/{project_id}/clusters

{
  "cluster_version" : "MRS 3.2.0-LTS.1",
  "cluster_name" : "mrs_jdRU_dm01",
  "cluster_type" : "CUSTOM",
  "charge_info" : {
    "charge_mode" : "postPaid"
  },
  "region" : "",
  "availability_zone" : "",
  "vpc_name" : "vpc-37cd",
  "subnet_id" : "1f8c5ca6-1f66-4096-bb00-baf175954f6e",
  "subnet_name" : "subnet",
  "components" : "Hadoop,Spark2x,HBase,Hive,Hue,Kafka,Flume,Flink,Oozie,HetuEngine,Ranger,Tez,Ranger,Tez,ZooKeeper,ClickHouse",
  "safe_mode" : "KERBEROS",
  "manager_admin_password" : "your password",
  "login_mode" : "PASSWORD",
  "node_root_password" : "your password",
  "mrs_ecs_default_agency" : "MRS_ECS_DEFAULT_AGENCY",
  "log_collection" : 1,
  "template_id" : "mgmt_control_separated_v2",
  "tags" : [ {
    "key" : "aaa",
    "value" : "111"
  }, {
    "key" : "bbb",
    "value" : "222"
  } ],
  "node_groups" : [ {
    "group_name" : "master_node_default_group",
    "node_num" : 5,
    "node_size" : "rc3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1,
    "assigned_roles" : [ "OMSServer:1,2", "SlapdServer:3,4", "KerberosServer:3,4", "KerberosAdmin:3,4", "quorumpeer:3,4,5", "NameNode:4,5", "Zkfc:4,5", "JournalNode:1,2,3,4,5", "ResourceManager:4,5", "JobHistoryServer:4,5", "DBServer:3,5", "Hue:1,2", "LoaderServer:1,2", "MetaStore:1,2,3,4,5", "WebHCat:1,2,3,4,5", "HiveServer:1,2,3,4,5", "HMaster:4,5", "MonitorServer:1,2", "Nimbus:1,2", "UI:1,2", "JDBCServer2x:1,2,3,4,5", "JobHistory2x:4,5", "SparkResource2x:1,2,3,4,5", "oozie:1,2", "LoadBalancer:1,2", "TezUI:1,2", "TimelineServer:5", "RangerAdmin:1,2", "KerberosClient", "SlapdClient", "meta", "HSConsole:1,2", "FlinkResource:1,2,3,4,5", "DataNode:1,2,3,4,5", "NodeManager:1,2,3,4,5", "IndexServer2x:1,2", "ThriftServer:1,2,3,4,5", "RegionServer:1,2,3,4,5", "ThriftServer1:1,2,3,4,5", "RESTServer:1,2,3,4,5", "Broker:1,2,3,4,5", "Supervisor:1,2,3,4,5", "Logviewer:1,2,3,4,5", "Flume:1,2,3,4,5", "HBaseIndexer:1,2,3,4,5", "TagSync:1", "UserSync:1" ]
  }, {
    "group_name" : "node_group_1",
    "node_num" : 3,
    "node_size" : "rc3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1,
    "assigned_roles" : [ "DataNode", "NodeManager", "RegionServer", "Flume:1", "Broker", "Supervisor", "Logviewer", "HBaseIndexer", "KerberosClient", "SlapdClient", "meta", "HSBroker:1,2", "ThriftServer", "ThriftServer1", "RESTServer", "FlinkResource" ]
  } ]
}
  • Creación de un clúster de datos personalizado
    POST /v2/{project_id}/clusters

{
  "cluster_version" : ""MRS 3.2.0-LTS.1"",
  "cluster_name" : "mrs_jdRU_dm02",
  "cluster_type" : "CUSTOM",
  "charge_info" : {
    "charge_mode" : "postPaid"
  },
  "region" : "",
  "availability_zone" : "",
  "vpc_name" : "vpc-37cd",
  "subnet_id" : "1f8c5ca6-1f66-4096-bb00-baf175954f6e",
  "subnet_name" : "subnet",
  "components" : "Hadoop,Spark2x,HBase,Hive,Hue,Kafka,Flume,Flink,Oozie,Ranger,Tez,Ranger,Tez,ZooKeeper,ClickHouse",
  "safe_mode" : "KERBEROS",
  "manager_admin_password" : "your password",
  "login_mode" : "PASSWORD",
  "node_root_password" : "your password",
  "mrs_ecs_default_agency" : "MRS_ECS_DEFAULT_AGENCY",
  "template_id" : "mgmt_control_data_separated_v2",
  "log_collection" : 1,
  "tags" : [ {
    "key" : "aaa",
    "value" : "111"
  }, {
    "key" : "bbb",
    "value" : "222"
  } ],
  "node_groups" : [ {
    "group_name" : "master_node_default_group",
    "node_num" : 9,
    "node_size" : "rc3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1,
    "assigned_roles" : [ "OMSServer:1,2", "SlapdServer:5,6", "KerberosServer:5,6", "KerberosAdmin:5,6", "quorumpeer:5,6,7,8,9", "NameNode:3,4", "Zkfc:3,4", "JournalNode:5,6,7", "ResourceManager:8,9", "JobHistoryServer:8", "DBServer:8,9", "Hue:8,9", "FlinkResource:3,4", "LoaderServer:3,5", "MetaStore:8,9", "WebHCat:5", "HiveServer:8,9", "HMaster:8,9", "FTP-Server:3,4", "MonitorServer:3,4", "Nimbus:8,9", "UI:8,9", "JDBCServer2x:8,9", "JobHistory2x:8,9", "SparkResource2x:5,6,7", "oozie:4,5", "EsMaster:7,8,9", "LoadBalancer:8,9", "TezUI:5,6", "TimelineServer:5", "RangerAdmin:4,5", "UserSync:5", "TagSync:5", "KerberosClient", "SlapdClient", "meta", "HSBroker:5", "HSConsole:3,4", "FlinkResource:3,4" ]
  }, {
    "group_name" : "node_group_1",
    "node_num" : 3,
    "node_size" : "rc3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1,
    "assigned_roles" : [ "DataNode", "NodeManager", "RegionServer", "Flume:1", "GraphServer", "KerberosClient", "SlapdClient", "meta", "HSBroker:1,2" ]
  }, {
    "group_name" : "node_group_2",
    "node_num" : 3,
    "node_size" : "rc3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1,
    "assigned_roles" : [ "HBaseIndexer", "SolrServer[3]", "EsNode[2]", "KerberosClient", "SlapdClient", "meta", "SolrServerAdmin:1,2" ]
  }, {
    "group_name" : "node_group_3",
    "node_num" : 3,
    "node_size" : "rc3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1,
    "assigned_roles" : [ "Redis[2]", "KerberosClient", "SlapdClient", "meta" ]
  }, {
    "group_name" : "node_group_4",
    "node_num" : 3,
    "node_size" : "rc3.4xlarge.4.linux.bigdata",
    "root_volume" : {
      "type" : "SAS",
      "size" : 480
    },
    "data_volume" : {
      "type" : "SAS",
      "size" : 600
    },
    "data_volume_count" : 1,
    "assigned_roles" : [ "Broker", "Supervisor", "Logviewer", "KerberosClient", "SlapdClient", "meta" ]
  } ]
}

Ejemplo de respuesta

  • Ejemplo de una respuesta exitosa
    {
	"cluster_id": "da1592c2-bb7e-468d-9ac9-83246e95447a"
}
  • Ejemplo de una respuesta fallida
    {
	"error_code": "MRS.0002",
	"error_msg": "The parameter is invalid."
}

Códigos de estado

Consulte Códigos de estado.

Códigos de error

Consulte Códigos de error.