Adición y ejecución de un trabajo

Función

Esta API se utiliza para agregar y enviar un trabajo en un clúster de MRS.

• Si desea utilizar la función de encriptación OBS, siga las instrucciones en Uso de OBS para cifrar datos para trabajos en ejecución para configurar la información relacionada e invocar a una API para ejecutar un trabajo.
• En la página de la pestaña Dashboard de la página de detalles del clúster, haga clic en Click to synchronize en el lado derecho de IAM User Sync para sincronizar usuarios de IAM. A continuación, envíe un trabajo a través de esta API.

Restricciones

Ninguna

Depuración

Puede depurar esta API a través de la autenticación automática en API Explorer. API Explorer puede generar automáticamente código SDK de ejemplo y proporcionar la depuración de código SDK de ejemplo.

URI

Parámetros de solicitud

Parámetros de respuesta

Código de estado: 200

Código de estado: 500

Solicitud de ejemplo

Debe haber preparado las rutas de acceso de OBS, archivos de ejemplo, puntos de conexión y AK/SK al enviar una solicitud.

• Ejemplo de solicitud de un trabajo de MapReduce:

  POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions
  
  {
      "job_name":"MapReduceTest",
      "job_type":"MapReduce",
      "arguments":[
          "obs://obs-test/program/hadoop-mapreduce-examples-x.x.x.jar",
          "wordcount",
          "obs://obs-test/input/",
          "obs://obs-test/job/mapreduce/output"
      ],
      "properties":{
          "fs.obs.endpoint":"obs endpoint",
          "fs.obs.access.key":"xxx",
          "fs.obs.secret.key":"yyy"
      }
  }

• Ejemplo de solicitud de un trabajo de SparkSubmit:

  POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions
  
  {
      "job_name":"SparkSubmitTest",
      "job_type":"SparkSubmit",
      "arguments":[
          "--master",
          "yarn",
          "--deploy-mode",
          "cluster",
          "--py-files",
          "obs://obs-test/a.py",
          "--conf",
          "spark.yarn.appMasterEnv.PYTHONPATH=/tmp:$PYTHONPATH",
          "--conf",
          "spark.yarn.appMasterEnv.aaa=aaaa",
          "--conf",
          "spark.executorEnv.aaa=executoraaa",
          "--properties-file",
          "obs://obs-test/test-spark.conf",
          "obs://obs-test/pi.py",
          "100000"
      ],
      "properties":{
          "fs.obs.access.key":"xxx",
          "fs.obs.secret.key":"yyy"
      }
  }

• Ejemplo de solicitud de un trabajo de HiveScript:

  POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions
  
  {
      "job_name":"HiveScriptTest",
      "job_type":"HiveScript",
      "arguments":[
          "obs://obs-test/sql/test_script.sql"
      ],
      "properties":{
          "fs.obs.endpoint":"obs endpoint",
          "fs.obs.access.key":"xxx",
          "fs.obs.secret.key":"yyy"
      }
  }

• Ejemplo de solicitud de un trabajo de HiveSql:

  POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions
  
  {
    "job_name" : "HiveSqlTest",
    "job_type" : "HiveSql",
    "arguments" : [ "DROP TABLE IF EXISTS src_wordcount;\ncreate external table src_wordcount(line string) row format delimited fields terminated by \"\\n\" stored as textfile location \"obs://donotdel-gxc/input/\";\ninsert into src_wordcount values(\"v1\")" ],
    "properties" : {
      "fs.obs.endpoint" : "obs endpoint",
      "fs.obs.access.key" : "xxx",
      "fs.obs.secret.key" : "yyy"
    }
  }

• Ejemplo de solicitud de un trabajo de DistCp:

  POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions
  
  {
      "job_name":"DistCpTest",
      "job_type":"DistCp",
      "arguments":[
          "obs://obs-test/DistcpJob/",
          "/user/test/sparksql/"
      ],
      "properties":{
          "fs.obs.endpoint":"obs endpoint",
          "fs.obs.access.key":"xxx",
          "fs.obs.secret.key":"yyy"
      }
  }

• Ejemplo de solicitud de un trabajo de SparkScript:

  POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions
  
  {
      "job_name":"SparkScriptTest",
      "job_type":"SparkScript",
      "arguments":[
          "op-key1",
          "op-value1",
          "op-key2",
          "op-value2",
          "obs://obs-test/sql/test_script.sql"
      ],
      "properties":{
          "fs.obs.access.key":"xxx",
          "fs.obs.secret.key":"yyy"
      }
  } 

• Ejemplo de solicitud de un trabajo de SparkSql:

  POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions
  
  {
      "job_name":"SparkSqlTest",
      "job_type":"SparkSql",
      "arguments":[
          "op-key1",
          "op-value1",
          "op-key2",
          "op-value2",
          "create table student_info3 (id string,name string,gender string,age int,addr string);"
      ],
      "properties":{
          "fs.obs.access.key":"xxx",
          "fs.obs.secret.key":"yyy"
      }
  } 

• Ejemplo de solicitud de un trabajo de Flink:

  POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions
  
  {
      "job_name":"FlinkTest",
      "job_type":"Flink",
      "arguments":[
          "run",
          "-d",
          "-ynm",
          "testExcutorejobhdfsbatch",
          "-m",
          "yarn-cluster",
          "hdfs://test/examples/batch/WordCount.jar"
      ],
      "properties":{
          "fs.obs.endpoint":"obs endpoint",
          "fs.obs.access.key":"xxx",
          "fs.obs.secret.key":"yyy"
      }
  }

• A continuación se muestra una solicitud de ejemplo de un trabajo de SparkPython (los trabajos de este tipo se convertirán en trabajos de SparkSubmit para su envío. El tipo de trabajo se muestra como SparkSubmit en la consola de MRS. Seleccione SparkSubmit cuando invoque a una API para consultar la lista de trabajos.)

  POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions
  
  {
    "job_name" : "SparkPythonTest",
    "job_type" : "SparkPython",
    "arguments" : [ "--master", "yarn", "--deploy-mode", "cluster", "--py-files", "obs://obs-test/a.py", "--conf", "spark.yarn.appMasterEnv.PYTHONPATH=/tmp:$PYTHONPATH", "--conf", "spark.yarn.appMasterEnv.aaa=aaaa", "--conf", "spark.executorEnv.aaa=executoraaa", "--properties-file", "obs://obs-test/test-spark.conf", "obs://obs-test/pi.py", "100000" ],
    "properties" : {
      "fs.obs.access.key" : "xxx",
      "fs.obs.secret.key" : "yyy"
    }
  }

Ejemplo de respuesta

Código de estado: 200

• Ejemplo de una respuesta exitosa

  {
    "job_submit_result":{
        "job_id":"44b37a20-ffe8-42b1-b42b-78a5978d7e40",
        "state":"COMPLETE"
    }
  }

Código de estado: 500

• Ejemplo de una respuesta fallida

  {
  "error_msg": Hive jobs cannot be submitted.
  "error_code":"0168"
  }

Códigos de estado

Consulte Códigos de estado.

Códigos de error

Consulte Códigos de error.