文档首页/ 智能数据湖 AI DataLake/ API参考/ Spark相关API/ Spark作业管理/ 查看Spark作业详情 - ShowSparkJob
更新时间：2026-10-10 GMT+08:00
查看PDF
分享

查看Spark作业详情 - ShowSparkJob

功能介绍

查看指定Spark作业的详细信息，此接口为同步接口。包括作业ID、作业名称、作业状态、作业配置、资源配置、镜像配置等完整信息，调用成功后直接返回作业详细信息。

调用方法

请参见如何调用API。

URI

GET /v2/workspaces/{workspace_id}/spark-jobs/{job_id}

表1 路径参数

参数

是否必选

参数类型

描述

workspace_id

是

String

参数解释：工作空间ID，用于资源隔离。可在控制台的工作空间页面查看。

约束限制：不涉及。

取值范围：只能由英文字母、数字及中划线组成，且长度为32~36个字符。

默认取值：不涉及。

job_id

是

String

参数解释：Spark作业ID，用于唯一标识作业。可通过调用启动Spark作业接口获取返回值中的job_id，或通过查询Spark作业列表接口获取。

约束限制：不涉及。

取值范围：只能由十六进制字符、中划线及下划线组成，长度为1~64个字符。

默认取值：不涉及。

请求参数

表2 请求Header参数

参数

是否必选

参数类型

描述

X-Auth-Token

是

String

参数解释：用户Token，通过调用获取IAM用户Token接口获取。

约束限制：不涉及。

取值范围：长度不超过65534个字符，不涉及字符类型限制。

默认取值：不涉及。

响应参数

状态码：200

表3 响应Body参数

参数

参数类型

描述

job_id

String

参数解释：Spark作业ID，用于唯一标识该作业。

取值范围：只能由十六进制字符、中划线及下划线组成，长度为1~64个字符，例如：80ceaaff-3cfc-4162-a56f-70031ea4fa91。

client_token

String

参数解释：Spark作业事务ID，用于防止重复提交。

取值范围：采用UUID格式，长度为36个字符，例如：xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx。

name

String

参数解释：Spark作业名称，用于标识作业。

取值范围：长度为1~128个字符，不涉及字符类型限制。

endpoint_name

String

参数解释：端点名称，用于指定Spark作业执行环境。

取值范围：只能由英文小写字母、数字及中划线组成，以英文小写字母开头，以英文小写字母或数字结尾，且长度为1~63个字符。

endpoint_id

String

参数解释：端点ID，用于唯一标识Spark作业执行环境。

取值范围：采用UUID格式，长度为36个字符。

catalog_name

String

参数解释：Catalog名称，用于指定作业使用的数据目录。

取值范围：长度为1~128个字符，不涉及字符类型限制。

job_agency

String

参数解释：自定义委托的委托名，用于作业操作OBS对象、转储日志、访问DLI元数据等。

取值范围：长度为1~64个字符，不涉及字符类型限制。

state

String

参数解释：Spark作业状态，用于标识作业当前执行状态。

取值范围：

  • PENDING：启动中。

  • QUEUED：排队中。

  • RUNNING：运行中。

  • CANCELING：取消中。

  • CANCELED：已取消。

  • FAILED：运行失败。

  • QUEUED_TIMEOUT：排队超时。

  • RUNNING_TIMEOUT：运行超时。

  • SUCCEED：运行成功。

state_message

String

参数解释：作业状态消息，当作业异常结束时显示相关信息。

取值范围：长度为0~512个字符，不涉及字符类型限制。

job_config

One of:

参数解释：作业配置信息，包含作业类型、入口参数、依赖包等信息。

resource_config

ShowSparkResourceConfigResponse object

参数解释：资源配置信息，包含Driver和Executor的资源配置。

restore_strategy

ShowSparkRestoreStrategyResponse object

参数解释：运行及恢复策略配置，包含重试次数和间隔等信息。

spark_config

Map<String,String>

参数解释：用户自定义Spark参数配置。Map中的key为Spark配置项名称（如spark.executor.memory），value为对应的配置值，key和value均为字符串，单个长度不超过1024个字符。

logging_config

ShowSparkLoggingConfigResponse object

参数解释：日志配置信息，包含Driver和Executor的日志级别配置。

image

ShowSparkJobImageConfigResponse object

参数解释：镜像配置信息，包含镜像ID和版本信息。

retry_times

Integer

参数解释：作业重试次数，用于记录作业失败后的重试次数。

取值范围：最小值为0。

labels

Array of ShowSparkJobLabelResponse objects

参数解释：作业标签列表，用于标识和分类作业。

create_time

Long

参数解释：作业创建时间，用于记录作业提交时间。采用unix时间戳格式，单位为毫秒。

取值范围：不涉及。

start_time

Long

参数解释：作业开始运行时间，用于记录作业实际开始执行的时间。采用unix时间戳格式，单位为毫秒。

取值范围：不涉及。

end_time

Long

参数解释：作业结束时间，用于记录作业执行完成的时间。采用unix时间戳格式，单位为毫秒。

取值范围：不涉及。

create_user

SparkCreateUser object

参数解释：创建作业的用户信息。

log_url

String

参数解释：日志归档路径OBS URL，用于查看作业执行日志。

取值范围：OBS URL格式，长度为1~1024个字符。

description

String

参数解释：Spark作业描述信息，用于说明作业用途。

取值范围：长度为0~512个字符，不涉及字符类型限制。
表4 ShowSparkJarParameterResponse

参数

参数类型

描述

main_class

String

参数解释：Spark Jar作业入口类，用于指定作业的主类名称。

取值范围：完整的Java类路径格式，例如：com.example.SparkJob。

main_args

Array of strings

参数解释：Spark Jar作业入口类参数列表，用于传递作业执行参数。

main_jar

String

参数解释：Spark Jar作业主类所在Jar包的OBS路径，用于指定作业的主Jar包。

取值范围：OBS URL格式，长度为1~512个字符，例如：obs://bucket/jars/spark-job.jar。

dependency_jars

Array of strings

参数解释：依赖Jar包列表，用于指定Spark作业依赖的Jar包OBS路径。

dependency_files

Array of strings

参数解释：依赖文件列表，用于指定Spark作业依赖的文件OBS路径。

dependency_archives

Array of strings

参数解释：依赖归档包列表，用于指定Spark作业依赖的归档包OBS路径。

dependency_py_files

Array of strings

参数解释：依赖Python文件列表，用于指定Spark作业依赖的Python包OBS路径。
表5 ShowSparkPyParameterResponse

参数

参数类型

描述

main_python_file

String

参数解释：主Python文件路径，用于指定Python Spark作业的主文件OBS路径。

取值范围：OBS URL格式，长度为1~512个字符，例如：obs://bucket/pyspark/pySpark_udf_python.py。

main_args

Array of strings

参数解释：Spark Python作业主文件参数列表，用于传递作业执行参数。

dependency_jars

Array of strings

参数解释：依赖Jar包列表，用于指定Spark作业依赖的Jar包OBS路径。

dependency_files

Array of strings

参数解释：依赖文件列表，用于指定Spark作业依赖的文件OBS路径。

dependency_archives

Array of strings

参数解释：依赖归档包列表，用于指定Spark作业依赖的归档包OBS路径。

dependency_py_files

Array of strings

参数解释：依赖Python文件列表，用于指定Spark作业依赖的Python包OBS路径。
表6 ShowSparkScriptSQLParameterResponse

参数

参数类型

描述

sql_scripting_file

String

参数解释：Spark SQL脚本作业的SQL脚本文件OBS路径，用于指定作业执行的SQL脚本。

取值范围：OBS URL格式，长度为1~512个字符，例如：obs://bucket/sparksql/script.sql。

sql_scripting_parameters

Array of SparkJobSqlScriptParameter objects

参数解释：SQL脚本占位符参数列表，用于为SQL脚本中的占位符传递参数值。

dependency_jars

Array of strings

参数解释：依赖Jar包列表，用于指定Spark作业依赖的Jar包OBS路径。

sql_scripting_result_to_obs

Boolean

参数解释：SQL脚本结果是否写入OBS，用于控制查询结果的输出方式。

取值范围：

  • true：结果写入OBS。

  • false：结果不写入OBS。

result

SparkSqlScriptingResultResponse object

参数解释：SQL脚本查询结果信息，包含结果格式和存储路径。
表7 SparkJobSqlScriptParameter

参数

参数类型

描述

key

String

参数解释：占位符的键，用于标识SQL脚本中的参数名称。

取值范围：长度为1~128个字符，不涉及字符类型限制。

value

String

参数解释：占位符的值，用于传递给SQL脚本的实际参数值。取值为字符串，格式由value_type决定；其中DATE和TIMESTAMP的入参格式相同，均为unix时间戳（毫秒），仅转换后的数据类型不同。各类型的数据格式如下：

  • STRING：字符串，例如：“xxx”。

  • DECIMAL：定点数，例如：“12.1”。

  • INTEGER：整数，例如：“13”。

  • DATE：unix时间戳（毫秒），例如：“1779188276372”，按DATE类型使用。

  • TIMESTAMP：unix时间戳（毫秒），例如：“1779188276372”，按TIMESTAMP类型使用。

取值范围：长度为1~512个字符。

value_type

String

参数解释：占位符类型，用于标识占位符值的数据类型。

取值范围：

  • STRING：字符串类型。

  • DECIMAL：定点数类型。

  • INTEGER：整型类型。

  • DATE：日期类型。

  • TIMESTAMP：时间类型。
表8 SparkSqlScriptingResultResponse

参数

参数类型

描述

result_format

String

参数解释：查询类SQL结果格式，用于指定结果数据的输出格式。

取值范围：支持csv格式。

result_path

String

参数解释：查询类SQL结果OBS路径，用于指定结果数据的存储位置。

取值范围：OBS URL格式，长度为1~1024个字符，例如：obs://bucket/results/result.csv。
表9 ShowSparkResourceConfigResponse

参数

参数类型

描述

driver_resource_spec

ShowResourceSpecResponse object

参数解释：Driver资源配置，包含CPU、内存、磁盘等信息。

executor_resource_spec

ShowResourceSpecResponse object

参数解释：Executor资源配置，包含CPU、内存、磁盘等信息。

executor_number

Integer

参数解释：Spark作业的最大executor个数，用于动态资源分配。

取值范围：0~65535，取值为0时表示未启用动态资源分配，大于0时表示动态资源分配的最大Executor数。

该值表示动态资源分配的最大Executor数，对应的Spark参数如下：spark.dynamicAllocation.enabled为true，spark.dynamicAllocation.minExecutors为1，spark.dynamicAllocation.maxExecutors为该值，spark.dynamicAllocation.initialExecutors为1。
表10 ShowResourceSpecResponse

参数

参数类型

描述

cpu

Integer

参数解释：CPU毫核数，用于指定Driver或Executor的CPU资源。

取值范围：最小值为1000。

memory

Integer

参数解释：内存大小，用于指定Driver或Executor的内存资源。

取值范围：单位为MB，最小值为1024，最大值为393216。

disk

Integer

参数解释：本地磁盘大小，用于指定Driver或Executor的本地磁盘容量。

取值范围：单位为GB，最小值为0。
表11 ShowSparkRestoreStrategyResponse

参数

参数类型

描述

max_retry

Integer

参数解释：最大重试次数，用于控制作业失败后的自动重试。

取值范围：大于0表示开启失败重试，0表示不开启重试。

retry_delay

Integer

参数解释：重试间隔时间，用于指定每次重试之间的等待时间。

取值范围：单位为秒，最小值为1秒，最大值为3600秒。

queued_timeout

Integer

参数解释：排队超时时间，用于指定作业提交后的最大等待时间。

取值范围：单位为分钟，最小值为10分钟，最大值为180分钟。超过此时间作业仍未运行则作业失败。

running_timeout

Integer

参数解释：运行超时时间，用于指定作业运行的最大时长。

取值范围：单位为分钟，最小值为10分钟，最大值为525600分钟（1年）。超过此时间作业未结束则作业会取消运行并标记失败。
表12 ShowSparkLoggingConfigResponse

参数

参数类型

描述

driver_root_logger_level

String

参数解释：Driver根日志级别，用于控制Driver的整体日志输出级别。

取值范围：

  • DEBUG：调试级别。

  • TRACE：跟踪级别。

  • WARN：警告级别。

  • INFO：信息级别。

  • ERROR：错误级别。

driver_loggers_level_of_class

Array of ShowSparkClassLoggerLevelResponse objects

参数解释：Driver类日志级别配置列表，用于为指定类设置特定的日志级别。

executor_root_logger_level

String

参数解释：Executor根日志级别，用于控制Executor的整体日志输出级别。

取值范围：

  • DEBUG：调试级别。

  • TRACE：跟踪级别。

  • WARN：警告级别。

  • INFO：信息级别。

  • ERROR：错误级别。

executor_loggers_level_of_class

Array of ShowSparkClassLoggerLevelResponse objects

参数解释：Executor类日志级别配置列表，用于为指定类设置特定的日志级别。
表13 ShowSparkClassLoggerLevelResponse

参数

参数类型

描述

logger_name

String

参数解释：输出日志类的名称，用于指定需要配置日志级别的类。

取值范围：完整的类路径格式，例如：com.aaa.bbb.ccc。长度为1~256个字符。

logger_level

String

参数解释：日志级别，用于控制该类的日志输出级别。

取值范围：

  • DEBUG：调试级别。

  • TRACE：跟踪级别。

  • WARN：警告级别。

  • INFO：信息级别。

  • ERROR：错误级别。
表14 ShowSparkJobImageConfigResponse

参数

参数类型

描述

image_id

String

参数解释：镜像ID，唯一标识Spark作业使用的镜像。

取值范围：长度为32~36的英文字符、数字和中划线的组合。

image_version_id

String

参数解释：镜像版本，指定镜像的版本号。

取值范围：长度为32~36的英文字符、数字和中划线的组合。

release_version

String

参数解释：Spark作业的版本信息（AIDataLake.xxx(Spark x.xx.x, JRE x.xx.x)）。

取值范围：长度为1~512个字符。

image_version_type

String

参数解释：Spark作业使用的镜像版本类型。

取值范围：

  • STABLE：稳定。

  • RECOMMEND：推荐。

  • BETA：测试。
表15 ShowSparkJobLabelResponse

参数

参数类型

描述

key

String

参数解释：标签键，用于标识标签的名称。

取值范围：长度为1~128个字符。

value

String

参数解释：标签值，用于标识标签的具体内容。

取值范围：长度为0~512个字符。
表16 SparkCreateUser

参数

参数类型

描述

user_id

String

参数解释：创建作业的用户ID，用于标识作业创建者。

取值范围：长度为1~256个字符，不涉及字符类型限制。

user_name

String

参数解释：创建作业的用户名称，用于标识作业创建者。

取值范围：长度为1~256个字符，不涉及字符类型限制。

状态码：400

表17 响应Body参数

参数

参数类型

描述

error_code

String

参数解释：错误码，用于标识具体的错误类型。

取值范围：长度为0~64个字符。

error_msg

String

参数解释：错误描述信息，用于说明错误原因。

取值范围：长度为0~512个字符。

solution_msg

String

参数解释：解决方案描述。

取值范围：长度为0~4096个字符。

状态码：401

表18 响应Body参数

参数

参数类型

描述

error_code

String

参数解释：错误码，用于标识具体的错误类型。

取值范围：长度为0~64个字符。

error_msg

String

参数解释：错误描述信息，用于说明错误原因。

取值范围：长度为0~512个字符。

solution_msg

String

参数解释：解决方案描述。

取值范围：长度为0~4096个字符。

状态码：403

表19 响应Body参数

参数

参数类型

描述

error_code

String

参数解释：错误码，用于标识具体的错误类型。

取值范围：长度为0~64个字符。

error_msg

String

参数解释：错误描述信息，用于说明错误原因。

取值范围：长度为0~512个字符。

solution_msg

String

参数解释：解决方案描述。

取值范围：长度为0~4096个字符。

状态码：500

表20 响应Body参数

参数

参数类型

描述

error_code

String

参数解释：错误码，用于标识具体的错误类型。

取值范围：长度为0~64个字符。

error_msg

String

参数解释：错误描述信息，用于说明错误原因。

取值范围：长度为0~512个字符。

solution_msg

String

参数解释：解决方案描述。

取值范围：长度为0~4096个字符。

请求示例

查看指定Spark作业的完整详细信息。

GET /v2/workspaces/{workspace_id}/spark-jobs/{job_id}

响应示例

状态码：200

{
  "job_id" : "80ceaaff-3cfc-4162-a56f-70031ea4fa91",
  "client_token" : "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "name" : "spark-jar-job-example",
  "endpoint_name" : "my-spark-endpoint",
  "catalog_name" : "my_catalog",
  "state" : "SUCCEED",
  "job_agency" : "my_agency",
  "job_config" : {
    "type" : "SPARK_JAR_JOB",
    "main_class" : "com.example.SparkJobDriver",
    "main_jar" : "obs://my-bucket/jars/spark-job-1.0.jar",
    "main_args" : [ "--input", "obs://my-bucket/input", "--output", "obs://my-bucket/output" ],
    "dependency_jars" : [ "obs://my-bucket/jars/utils-1.0.jar" ]
  },
  "resource_config" : {
    "executor_number" : 2,
    "driver_resource_spec" : {
      "cpu" : 2000,
      "memory" : 4096
    },
    "executor_resource_spec" : {
      "cpu" : 4000,
      "memory" : 8192,
      "disk" : 20
    }
  },
  "image" : {
    "image_id" : "90a827a1-ca72-4be8-943b-774f945f22ac",
    "image_version_id" : "7a8b9c0d-1e2f-4a5b-8c9d-7e8f9a0b1c2d"
  },
  "restore_strategy" : {
    "max_retry" : 3,
    "retry_delay" : 30,
    "queued_timeout" : 180,
    "running_timeout" : 720
  },
  "retry_times" : 1,
  "labels" : [ {
    "key" : "env",
    "value" : "production"
  }, {
    "key" : "team",
    "value" : "data-team"
  } ],
  "logging_config" : {
    "driver_root_logger_level" : "INFO",
    "executor_root_logger_level" : "INFO"
  },
  "description" : "Spark作业示例。",
  "create_time" : 1764061598000,
  "start_time" : 1764061648000,
  "end_time" : 1764061898000,
  "create_user" : {
    "user_id" : "user123",
    "user_name" : "admin"
  },
  "log_url" : "obs://my-bucket/aidatalake/workspace_52edbbd3e5f6470a9c1b8d2e3f4a5b6c/spark/endpoint_b242c8569d1e4f7a8c3b5d6e2f0a4c71/jobs/logs/2025_11_25/80ceaaff-3cfc-4162-a56f-70031ea4fa91/1/spark_ai-datalake-spark-80ceaaff-driver_spark-job-b242c856/spark.log",
  "state_message" : ""
}

状态码：400

{
  "error_code" : "AIDataLake.01011001",
  "error_msg" : "Invalid parameter job_id",
  "solution_msg" : "Please check the input parameters according to the documentation(job_id for spark job)."
}

状态码：401

{
  "error_code" : "AIDataLake.01011003",
  "error_msg" : "auth token not exists in header",
  "solution_msg" : "Please check if auth token is included in the request header."
}

状态码：403

{
  "error_code" : "AIDataLake.01011005",
  "error_msg" : "current account has no permission",
  "solution_msg" : "Please connect administrators to add permission."
}

状态码：500

{
  "error_code" : "AIDataLake.01010001",
  "error_msg" : "Internal system error",
  "solution_msg" : "Contact operations for analysis."
}

状态码

状态码

描述

200

查看Spark作业详情成功。

400

请求参数错误。

401

认证失败。

403

权限不足。

500

服务内部错误。
父主题： Spark作业管理

相关文档