Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.

En esta página

Función
Restricciones
Depuración
URI
Parámetros de solicitud
Parámetros de respuesta
Solicitud de ejemplo
Ejemplo de respuesta
Códigos de estado
Códigos de error

Mostrar todo

Centro de ayuda/ MapReduce Service/ Referencia de la API/ API V2/ Las API de gestión de trabajos/ Adición y ejecución de un trabajo

Adición y ejecución de un trabajo

Actualización más reciente 2023-07-28 GMT+08:00

Ver PDF

Función

Esta API se utiliza para agregar y enviar un trabajo en un clúster de MRS.

NOTA:

Si desea utilizar la función de encriptación OBS, siga las instrucciones en Uso de OBS para cifrar datos para trabajos en ejecución para configurar la información relacionada e invocar a una API para ejecutar un trabajo.
En la página de la pestaña Dashboard de la página de detalles del clúster, haga clic en Click to synchronize en el lado derecho de IAM User Sync para sincronizar usuarios de IAM. A continuación, envíe un trabajo a través de esta API.

Restricciones

Ninguna

Depuración

Puede depurar esta API a través de la autenticación automática en API Explorer. API Explorer puede generar automáticamente código SDK de ejemplo y proporcionar la depuración de código SDK de ejemplo.

URI

POST /v2/{project_id}/clusters/{cluster_id}/job-executions

**Tabla 1** Parámetros de URI
Parámetro	Obligatorio	Tipo	Descripción
project_id	Sí	String	ID del proyecto. Para obtener más información sobre cómo obtener el ID del proyecto, consulte Obtención de un ID de proyecto.
cluster_id	Sí	String	ID de clúster. Para obtener más información sobre cómo obtener el ID de clúster, consulte Obtención de un ID de clúster.

Parámetros de solicitud

**Tabla 2** Parámetros de solicitud
Parámetro	Obligatorio	Tipo	Descripción
job_type	Sí	String	Tipo de trabajo. MapReduce SparkSubmit SparkPython: Ejemplo de solicitud de un trabajo de SparkPython (Los trabajos de este tipo se convertirán en trabajos de SparkSubmit para su envío. El tipo de trabajo se muestra como SparkSubmit en la consola de MRS. Seleccione SparkSubmit cuando invoque a una API para consultar la lista de trabajos.) HiveScript HiveSql DistCp: importación y exportación de datos SparkScript SparkSql Flink NOTA: Los trabajos Spark, Hive y Flink sólo se pueden agregar a clústeres que incluyan componentes Spark, Hive y Flink.
job_name	Sí	String	Nombre del trabajo. Contiene de 1 a 64 caracteres. Solo se permiten letras, dígitos, guiones (-) y guiones bajos (_). NOTA: Se permiten nombres de trabajo idénticos pero no se recomiendan.
arguments	No	Array of strings	Parámetro clave para la ejecución del programa. El parámetro es especificado por la función del programa del usuario. MRS solo es responsable de cargar el parámetro. El valor puede contener un máximo de 150,000 caracteres. No se permiten caracteres especiales (;\|&>'<$!\\). Este parámetro se puede dejar en blanco. NOTA: Si introduce un parámetro con información confidencial (como la contraseña de inicio de sesión), el parámetro puede estar expuesto en la pantalla de detalles del trabajo y en la impresión del registro. Tenga cuidado cuando realice esta acción. Para MRS 1.9.2 o posterior, una ruta de archivo en OBS puede comenzar con obs://. Para utilizar este formato para enviar trabajos HiveScript o HiveSQL, elija Components > Hive > Service Configuration en la página de detalles del clúster. Establezca Type en All y busque core.site.customized.configs. Agregue el elemento de configuración de punto de conexión fs.obs.endpoint de OBS e introduzca el punto de conexión correspondiente a OBS de Value. Para obtener más información, consulte Puntos de conexión. Para MRS 3.x o posterior, una ruta de archivo en OBS puede comenzar con obs://. Para utilizar este formato para enviar trabajos HiveScript o HiveSQL, elija Components > Hive > Service Configuration en la página de detalles del clúster. Establezca Basic en All y busque core.site.customized.configs. Agregue el elemento de configuración de punto de conexión fs.obs.endpoint de OBS e introduzca el punto de conexión correspondiente a OBS de Value. Para obtener más información, consulte Puntos de conexión.
properties	No	Map<String,String>	Parámetro del sistema de programa. El parámetro contiene un máximo de 2,048 caracteres, sin incluir caracteres especiales como ><\|'`&!\, y se puede dejar en blanco.

Parámetros de respuesta

Código de estado: 200

**Tabla 3** Parámetros de body de respuesta
Parámetro	Tipo	Descripción
job_submit_result	JobSubmitResult object	El resultado de la ejecución del trabajo. Para obtener más información sobre los parámetros, consulte Tabla 4.

**Tabla 4** Parámetros de JobSubitResult
Parámetro	Tipo	Descripción
job_id	String	ID de trabajo
state	String	Estado de envío de trabajos. COMPLETE: Se envía el trabajo. JOBSTAT_SUBMIT_FAILED: Error al enviar el trabajo.

Código de estado: 500

**Tabla 5** Parámetros de body de respuesta
Parámetro	Tipo	Descripción
error_code	String	El código de error.
error_msg	String	El mensaje de error.

Solicitud de ejemplo

Debe haber preparado las rutas de acceso de OBS, archivos de ejemplo, puntos de conexión y AK/SK al enviar una solicitud.

Ejemplo de solicitud de un trabajo de MapReduce:

POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions

{
    "job_name":"MapReduceTest",
    "job_type":"MapReduce",
    "arguments":[
        "obs://obs-test/program/hadoop-mapreduce-examples-x.x.x.jar",
        "wordcount",
        "obs://obs-test/input/",
        "obs://obs-test/job/mapreduce/output"
    ],
    "properties":{
        "fs.obs.endpoint":"obs endpoint",
        "fs.obs.access.key":"xxx",
        "fs.obs.secret.key":"yyy"
    }
}

Ejemplo de solicitud de un trabajo de SparkSubmit:

POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions

{
    "job_name":"SparkSubmitTest",
    "job_type":"SparkSubmit",
    "arguments":[
        "--master",
        "yarn",
        "--deploy-mode",
        "cluster",
        "--py-files",
        "obs://obs-test/a.py",
        "--conf",
        "spark.yarn.appMasterEnv.PYTHONPATH=/tmp:$PYTHONPATH",
        "--conf",
        "spark.yarn.appMasterEnv.aaa=aaaa",
        "--conf",
        "spark.executorEnv.aaa=executoraaa",
        "--properties-file",
        "obs://obs-test/test-spark.conf",
        "obs://obs-test/pi.py",
        "100000"
    ],
    "properties":{
        "fs.obs.access.key":"xxx",
        "fs.obs.secret.key":"yyy"
    }
}

Ejemplo de solicitud de un trabajo de HiveScript:

POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions

{
    "job_name":"HiveScriptTest",
    "job_type":"HiveScript",
    "arguments":[
        "obs://obs-test/sql/test_script.sql"
    ],
    "properties":{
        "fs.obs.endpoint":"obs endpoint",
        "fs.obs.access.key":"xxx",
        "fs.obs.secret.key":"yyy"
    }
}

Ejemplo de solicitud de un trabajo de HiveSql:

POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions

{
  "job_name" : "HiveSqlTest",
  "job_type" : "HiveSql",
  "arguments" : [ "DROP TABLE IF EXISTS src_wordcount;\ncreate external table src_wordcount(line string) row format delimited fields terminated by \"\\n\" stored as textfile location \"obs://donotdel-gxc/input/\";\ninsert into src_wordcount values(\"v1\")" ],
  "properties" : {
    "fs.obs.endpoint" : "obs endpoint",
    "fs.obs.access.key" : "xxx",
    "fs.obs.secret.key" : "yyy"
  }
}

Ejemplo de solicitud de un trabajo de DistCp:

POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions

{
    "job_name":"DistCpTest",
    "job_type":"DistCp",
    "arguments":[
        "obs://obs-test/DistcpJob/",
        "/user/test/sparksql/"
    ],
    "properties":{
        "fs.obs.endpoint":"obs endpoint",
        "fs.obs.access.key":"xxx",
        "fs.obs.secret.key":"yyy"
    }
}

Ejemplo de solicitud de un trabajo de SparkScript:

POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions

{
    "job_name":"SparkScriptTest",
    "job_type":"SparkScript",
    "arguments":[
        "op-key1",
        "op-value1",
        "op-key2",
        "op-value2",
        "obs://obs-test/sql/test_script.sql"
    ],
    "properties":{
        "fs.obs.access.key":"xxx",
        "fs.obs.secret.key":"yyy"
    }
}

Ejemplo de solicitud de un trabajo de SparkSql:

POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions

{
    "job_name":"SparkSqlTest",
    "job_type":"SparkSql",
    "arguments":[
        "op-key1",
        "op-value1",
        "op-key2",
        "op-value2",
        "create table student_info3 (id string,name string,gender string,age int,addr string);"
    ],
    "properties":{
        "fs.obs.access.key":"xxx",
        "fs.obs.secret.key":"yyy"
    }
}

Ejemplo de solicitud de un trabajo de Flink:

POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions

{
    "job_name":"FlinkTest",
    "job_type":"Flink",
    "arguments":[
        "run",
        "-d",
        "-ynm",
        "testExcutorejobhdfsbatch",
        "-m",
        "yarn-cluster",
        "hdfs://test/examples/batch/WordCount.jar"
    ],
    "properties":{
        "fs.obs.endpoint":"obs endpoint",
        "fs.obs.access.key":"xxx",
        "fs.obs.secret.key":"yyy"
    }
}

A continuación se muestra una solicitud de ejemplo de un trabajo de SparkPython (los trabajos de este tipo se convertirán en trabajos de SparkSubmit para su envío. El tipo de trabajo se muestra como SparkSubmit en la consola de MRS. Seleccione SparkSubmit cuando invoque a una API para consultar la lista de trabajos.)

POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions

{
  "job_name" : "SparkPythonTest",
  "job_type" : "SparkPython",
  "arguments" : [ "--master", "yarn", "--deploy-mode", "cluster", "--py-files", "obs://obs-test/a.py", "--conf", "spark.yarn.appMasterEnv.PYTHONPATH=/tmp:$PYTHONPATH", "--conf", "spark.yarn.appMasterEnv.aaa=aaaa", "--conf", "spark.executorEnv.aaa=executoraaa", "--properties-file", "obs://obs-test/test-spark.conf", "obs://obs-test/pi.py", "100000" ],
  "properties" : {
    "fs.obs.access.key" : "xxx",
    "fs.obs.secret.key" : "yyy"
  }
}

Ejemplo de respuesta

Código de estado: 200

Ejemplo de una respuesta exitosa

{
  "job_submit_result":{
      "job_id":"44b37a20-ffe8-42b1-b42b-78a5978d7e40",
      "state":"COMPLETE"
  }
}

Código de estado: 500

Ejemplo de una respuesta fallida

{
"error_msg": Hive jobs cannot be submitted.
"error_code":"0168"
}

Códigos de estado

Consulte Códigos de estado.

Códigos de error

Consulte Códigos de error.

Tema principal: Las API de gestión de trabajos

Tema anterior: Las API de gestión de trabajos

Tema siguiente: Consulta de información sobre un trabajo

Comentarios

¿Le pareció útil esta página?

Sí No

Deje algún comentario

Muchas gracias por sus comentarios. Seguiremos trabajando para mejorar la documentación.

El sistema está ocupado. Vuelva a intentarlo más tarde.

¿Cuáles de los siguientes problemas se presentaron?

Contenido diferente a la de la IU del producto

Descripciones poco claras

Falta de ejemplos o código

Pasos incorrectos

No puedo encontrar lo que necesito

Falta de prácticas recomendadas

Comentarios (opcional)

0/500

Seleccione al menos un tipo de problema e ingrese sus comentarios o sugerencias.

Ingrese 500 caracteres como máximo.

Enviar Cancelar