更新时间:2024-12-12 GMT+08:00
分享

查询作业列表信息

功能介绍

在MRS指定集群中查询作业列表信息。

接口约束

调用方法

请参见如何调用API

URI

GET /v2/{project_id}/clusters/{cluster_id}/job-executions

表1 路径参数

参数

是否必选

参数类型

描述

project_id

String

参数解释:

项目编号。获取方法,请参见获取项目ID

约束限制:

不涉及

取值范围:

只能由英文字母和数字组成,且长度为[1-64]个字符。

默认取值:

不涉及

cluster_id

String

参数解释:

集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID

约束限制:

不涉及

取值范围:

只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。

默认取值:

不涉及

表2 Query参数

参数

是否必选

参数类型

描述

job_name

String

参数解释:

作业名称。

约束限制:

不涉及

取值范围:

只能由英文字母、数字以及“_”和“-”组成,且长度为[1-128]个字符。

默认取值:

不涉及

job_id

String

参数解释:

作业ID。

约束限制:

不涉及

取值范围:

只能由英文字母、数字以及“-”组成,且长度为[1-64]个字符。

默认取值:

不涉及

user

String

参数解释:

用户名称。

约束限制:

不涉及

取值范围:

只能由英文字母、数字以及“-”、“_”和“.”组成,且不能以数字开头,且长度为[1-32]个字符。

默认取值:

不涉及

job_type

String

参数解释:

作业类型。

约束限制:

不涉及

取值范围:

  • MapReduce

  • SparkPython

  • SparkSubmit:SparkPython类型的作业在查询时作业类型请选择SparkSubmit。

  • HiveScript

  • HiveSql

  • DistCp,导入、导出数据。

  • SparkScript

  • SparkSql

  • Flink

默认取值:

不涉及

job_state

String

参数解释:

作业运行状态。

约束限制:

不涉及

取值范围:

  • FAILED:失败

  • KILLED:已终止

  • NEW:已创建

  • NEW_SAVING:已创建保存中

  • SUBMITTED:已提交

  • ACCEPTED:已接受

  • RUNNING:运行中

  • FINISHED:已完成

默认取值:

不涉及

job_result

String

参数解释:

作业运行结果。

约束限制:

不涉及

取值范围:

  • FAILED:执行失败的作业。

  • KILLED:执行中被手动终止的作业。

  • UNDEFINED:正在执行的作业。

  • SUCCEEDED:执行成功的作业。

默认取值:

不涉及

queue

String

参数解释:

作业的资源队列类型名称。

约束限制:

不涉及

取值范围:

只能由英文字母、数字以及“-”和“_”组成,且长度为[1-64]个字符。

默认取值:

不涉及

limit

String

参数解释:

返回结果中每页显示条数。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

10

offset

String

参数解释:

表示作业列表从该偏移量开始查询。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

1

sort_by

String

参数解释:

返回结果的排序方式。

约束限制:

不涉及

取值范围:

  • asc:按升序排列

  • desc:按降序排列

默认取值:

desc

submitted_time_begin

Long

参数解释:

查询该时间之后提交的作业,UTC的毫秒时间戳。例如:1562032041362。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

submitted_time_end

Long

参数解释:

查询该时间之前提交的作业UTC的毫秒时间戳。例如:1562032041362。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

请求参数

响应参数

状态码: 202

表3 响应Body参数

参数

参数类型

描述

total_record

Integer

参数解释:

总记录数。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

job_list

Array of JobQueryBean objects

参数解释:

作业列表。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

表4 JobQueryBean

参数

参数类型

描述

job_id

String

参数解释:

作业ID。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

user

String

参数解释:

提交作业的用户名称。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

job_name

String

参数解释:

作业名称。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

job_result

String

参数解释:

作业最终结果。

约束限制:

不涉及

取值范围:

  • FAILED:执行失败的作业

  • KILLED:执行中被手动终止的作业。

  • UNDEFINED:正在执行的作业。

  • SUCCEEDED:执行成功的作业。

默认取值:

不涉及

job_state

String

参数解释:

作业执行状态。

约束限制:

不涉及

取值范围:

  • FAILED:失败

  • KILLED:已终止

  • NEW:已创建

  • NEW_SAVING:已创建保存中

  • SUBMITTED:已提交

  • ACCEPTED:已接受

  • RUNNING:运行中

  • FINISHED:已完成

默认取值:

不涉及

job_progress

Float

参数解释:

作业执行进度。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

job_type

String

参数解释:

作业类型。

约束限制:

不涉及

取值范围:

  • MapReduce

  • SparkSubmit:SparkPython类型的作业在查询时作业类型请选择SparkSubmit。

  • HiveScript

  • HiveSql

  • DistCp,导入、导出数据。

  • SparkScript

  • SparkSql

  • Flink

默认取值:

不涉及

started_time

Long

参数解释:

作业开始执行时间。单位:毫秒。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

submitted_time

Long

参数解释:

作业提交时间。单位:毫秒。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

finished_time

Long

参数解释:

作业完成时间。单位:毫秒。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

elapsed_time

Long

参数解释:

作业执行时长。单位:毫秒。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

arguments

String

参数解释:

运行参数。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

launcher_id

String

参数解释:

真实作业编号。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

properties

String

参数解释:

配置参数,用于传-d参数。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

app_id

String

参数解释:

实际作业编号。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

tracking_url

String

参数解释:

日志链接地址。当前仅SparkSubmit作业支持该参数。该参数基于集群的EIP访问集群中的YARN WebUI页面,用户如果在VPC界面解绑EIP,MRS服务侧数据会因为未更新导致该参数引用旧EIP导致访问失败,可通过对集群重新进行EIP的绑定来修复该问题。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

queue

String

参数解释:

作业的资源队列类型。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

状态码: 400

表5 响应Body参数

参数

参数类型

描述

error_code

String

参数解释:

错误码。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

error_msg

String

参数解释:

错误描述。

约束限制:

不涉及

取值范围:

不涉及

默认取值:

不涉及

请求示例

查询作业列表信息请求示例

GET https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions

响应示例

状态码: 202

查询作业列表信息成功

{
  "total_record" : 2,
  "job_list" : [ {
    "job_id" : "981374c1-85da-44ee-be32-edfb4fba776c",
    "user" : "xxxx",
    "job_name" : "SparkSubmitTset",
    "job_result" : "UNDEFINED",
    "job_state" : "ACCEPTED",
    "job_progress" : 0,
    "job_type" : "SparkSubmit",
    "started_time" : 0,
    "submitted_time" : 1564714763119,
    "finished_time" : 0,
    "elapsed_time" : 0,
    "queue" : "default",
    "arguments" : "[--class, --driver-memory, --executor-cores, --master, yarn-cluster, s3a://obs-test/hadoop-mapreduce-examples-3.1.1.jar, dddd]",
    "launcher_id" : "application_1564622673393_0613",
    "properties" : { }
  }, {
    "job_id" : "c54c8aa0-c277-4f83-8acc-521d85cfa32b",
    "user" : "xxxx",
    "job_name" : "SparkSubmitTset2",
    "job_result" : "UNDEFINED",
    "job_state" : "ACCEPTED",
    "job_progress" : 0,
    "job_type" : "SparkSubmit",
    "started_time" : 0,
    "submitted_time" : 1564714020099,
    "finished_time" : 0,
    "elapsed_time" : 0,
    "queue" : "default",
    "arguments" : "[--conf, yujjsjhe, --driver-memory, yueujdjjd, --master,\nyarn-cluster,\ns3a://obs-test/hadoop-mapreduce-examples-3.1.1.jar]",
    "launcher_id" : "application_1564622673393_0611",
    "properties" : { }
  } ]
}

状态码: 400

查询作业列表信息失败

{
  "error_msg" : "查询作业列表失败",
  "error_code" : "0166"
}

SDK代码示例

SDK代码示例如下。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
package com.huaweicloud.sdk.test;

import com.huaweicloud.sdk.core.auth.ICredential;
import com.huaweicloud.sdk.core.auth.BasicCredentials;
import com.huaweicloud.sdk.core.exception.ConnectionException;
import com.huaweicloud.sdk.core.exception.RequestTimeoutException;
import com.huaweicloud.sdk.core.exception.ServiceResponseException;
import com.huaweicloud.sdk.mrs.v2.region.MrsRegion;
import com.huaweicloud.sdk.mrs.v2.*;
import com.huaweicloud.sdk.mrs.v2.model.*;


public class ShowJobExeListNewSolution {

    public static void main(String[] args) {
        // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted during use to ensure security.
        // In this example, AK and SK are stored in environment variables for authentication. Before running this example, set environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment
        String ak = System.getenv("CLOUD_SDK_AK");
        String sk = System.getenv("CLOUD_SDK_SK");
        String projectId = "{project_id}";

        ICredential auth = new BasicCredentials()
                .withProjectId(projectId)
                .withAk(ak)
                .withSk(sk);

        MrsClient client = MrsClient.newBuilder()
                .withCredential(auth)
                .withRegion(MrsRegion.valueOf("<YOUR REGION>"))
                .build();
        ShowJobExeListNewRequest request = new ShowJobExeListNewRequest();
        request.withClusterId("{cluster_id}");
        try {
            ShowJobExeListNewResponse response = client.showJobExeListNew(request);
            System.out.println(response.toString());
        } catch (ConnectionException e) {
            e.printStackTrace();
        } catch (RequestTimeoutException e) {
            e.printStackTrace();
        } catch (ServiceResponseException e) {
            e.printStackTrace();
            System.out.println(e.getHttpStatusCode());
            System.out.println(e.getRequestId());
            System.out.println(e.getErrorCode());
            System.out.println(e.getErrorMsg());
        }
    }
}
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# coding: utf-8

import os
from huaweicloudsdkcore.auth.credentials import BasicCredentials
from huaweicloudsdkmrs.v2.region.mrs_region import MrsRegion
from huaweicloudsdkcore.exceptions import exceptions
from huaweicloudsdkmrs.v2 import *

if __name__ == "__main__":
    # The AK and SK used for authentication are hard-coded or stored in plaintext, which has great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted during use to ensure security.
    # In this example, AK and SK are stored in environment variables for authentication. Before running this example, set environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment
    ak = os.environ["CLOUD_SDK_AK"]
    sk = os.environ["CLOUD_SDK_SK"]
    projectId = "{project_id}"

    credentials = BasicCredentials(ak, sk, projectId)

    client = MrsClient.new_builder() \
        .with_credentials(credentials) \
        .with_region(MrsRegion.value_of("<YOUR REGION>")) \
        .build()

    try:
        request = ShowJobExeListNewRequest()
        request.cluster_id = "{cluster_id}"
        response = client.show_job_exe_list_new(request)
        print(response)
    except exceptions.ClientRequestException as e:
        print(e.status_code)
        print(e.request_id)
        print(e.error_code)
        print(e.error_msg)
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
package main

import (
	"fmt"
	"github.com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic"
    mrs "github.com/huaweicloud/huaweicloud-sdk-go-v3/services/mrs/v2"
	"github.com/huaweicloud/huaweicloud-sdk-go-v3/services/mrs/v2/model"
    region "github.com/huaweicloud/huaweicloud-sdk-go-v3/services/mrs/v2/region"
)

func main() {
    // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted during use to ensure security.
    // In this example, AK and SK are stored in environment variables for authentication. Before running this example, set environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment
    ak := os.Getenv("CLOUD_SDK_AK")
    sk := os.Getenv("CLOUD_SDK_SK")
    projectId := "{project_id}"

    auth := basic.NewCredentialsBuilder().
        WithAk(ak).
        WithSk(sk).
        WithProjectId(projectId).
        Build()

    client := mrs.NewMrsClient(
        mrs.MrsClientBuilder().
            WithRegion(region.ValueOf("<YOUR REGION>")).
            WithCredential(auth).
            Build())

    request := &model.ShowJobExeListNewRequest{}
	request.ClusterId = "{cluster_id}"
	response, err := client.ShowJobExeListNew(request)
	if err == nil {
        fmt.Printf("%+v\n", response)
    } else {
        fmt.Println(err)
    }
}

更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。

状态码

状态码

描述

202

查询作业列表信息成功

400

查询作业列表信息失败

错误码

请参见错误码

相关文档