文档首页> 数据湖探索 DLI> API参考> Spark作业模板相关API> 查询作业模板列表
更新时间：2023-12-14 GMT+08:00
查看PDF

查询作业模板列表

功能介绍

该API用于查询作业模板列表。

URI

  • URI格式：

    GET /v3/{project_id}/templates?type=spark

  • 参数说明
    表1 URI参数说明

    参数

    是否必选

    参数类型

    描述

    project_id

    是

    String

    项目编号，用于资源隔离。获取方式请参考获取项目ID。
    表2 query参数说明

    参数

    是否必选

    参数类型

    说明

    type

    是

    String

    模板类型。

    取值范围：

    • SPARK：Spark模板。

    当前只支持配置Spark类型的模板。

    keyword

    否

    String

    模板名过滤关键字，模糊匹配，获取模板名含有该关键字的所有模板。

    page-size

    否

    Integer

    每页显示的最大结果行数，范围: [1, 100]。默认值为：50。

    current-page

    否

    Integer

    当前页码，默认为第一页。

请求参数

无

响应参数

表3 响应参数

参数

参数类型

说明

is_success

Boolean

执行请求是否成功。“true”表示请求执行成功。

message

String

系统提示信息，执行成功时，信息可能为空。

count

Integer

返回的模板个数。

templates

Array of Objects

模板信息列表。请参考表4。
表4 templates参数说明

参数

参数类型

说明

type

String

模板类型。

id

String

模板ID。

name

String

模板名字。

body

Object

模板内容，请参考表5。

group

String

模板所在分组名。

description

String

模板描述信息。

language

String

语言。

owner

String

模板的创建者。
表5 body参数说明

参数

参数类型

说明

file

String

用户已上传到DLI资源管理系统的类型为jar或pyFile的程序包名。也支持指定OBS路径，例如：obs://桶名/包名。

className

String

模板的Java/Spark主类。

cluster_name

String

用于指定队列，填写已创建DLI队列的队列名称。

说明：

推荐使用“queue”参数，“queue”参数与“cluster_name”参数两者不能同时存在。

args

Array of Strings

传入主类的参数，即应用程序参数。

sc_type

String

计算资源类型，目前可接受参数A, B, C。如果不指定，则按最小类型创建。具体资源类型请参见表3。

jars

Array of Strings

用户已上传到DLI资源管理系统的类型为jar的程序包名。也支持指定OBS路径，例如：obs://桶名/包名。

pyFiles

Array of Strings

用户已上传到DLI资源管理系统的类型为pyFile的资源包名。也支持指定OBS路径，例如：obs://桶名/包名。

files

Array of Strings

用户已上传到DLI资源管理系统的类型为file的资源包名。也支持指定OBS路径，例如：obs://桶名/包名。

modules

Array of Strings

依赖的系统资源模块名，具体模块名可通过查询组内资源包（废弃）接口查看。

DLI系统提供了用于执行跨源作业的依赖模块，各个不同的服务对应的模块列表如下：
  • CloudTable/MRS HBase: sys.datasource.hbase
  • CloudTable/MRS OpenTSDB: sys.datasource.opentsdb
  • RDS MySQL: sys.datasource.rds
  • RDS PostGre: 不需要选
  • DWS: 不需要选
  • CSS: sys.datasource.css

resources

Array of Objects

JSON对象列表，填写用户已上传到队列的类型为JSON的资源包名和类型。具体请见表4。

groups

Array of Objects

JSON对象列表，填写用户组类型资源，格式详见请求示例。如果“resources”中的“name”未进行type校验，只要此分组中存在这个名字的包即可。具体请见表5。

conf

Object

batch配置项，参考Spark Configuration。

name

String

创建时用户指定的批处理名称，不能超过128个字符。

driverMemory

String

Spark应用的Driver内存，参数配置例如2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必需带单位，否则会启动失败。

driverCores

Integer

Spark应用Driver的CPU核数。该配置项会替换sc_type中对应的默认参数。

executorMemory

String

Spark应用的Executor内存，参数配置例如2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必需带单位，否则会启动失败。

executorCores

Integer

Spark应用每个Executor的CPU核数。该配置项会替换sc_type中对应的默认参数。

numExecutors

Integer

Spark应用Executor的个数。该配置项会替换sc_type中对应的默认参数。

obs_bucket

String

保存Spark作业的obs桶，需要保存作业时配置该参数。

auto_recovery

Boolean

是否开启重试功能，如果开启，可在Spark作业异常失败后自动重试。默认值为“false”。

max_retry_times

Integer

最大重试次数。最大值为“100”，默认值为“20”。

feature

String

作业特性。表示用户作业使用的Spark镜像类型。

  • basic：表示使用DLI提供的基础Spark镜像。
  • custom：表示使用用户自定义的Spark镜像。
  • ai：表示使用DLI提供的AI镜像。

spark_version

String

作业使用Spark组件的版本号。

  • 如果当前Spark组件版本为2.3.2，则不填写该参数。
  • 如果当前Spark组件版本为2.3.3，则在“feature”为“basic”或“ai”时填写。若不填写，则使用默认的Spark组件版本号2.3.2。

image

String

自定义镜像。格式为：组织名/镜像名:镜像版本。

queue

String

用于指定队列，填写已创建DLI的队列名。必须为通用类型的队列。

说明：
  • 兼容“cluster_name”参数，即如果使用“cluster_name”指定队列仍然有效。
  • 推荐使用“queue”参数，“queue”参数与“cluster_name”参数两者不能同时存在。

catalog_name

String

访问元数据时，需要将该参数配置为dli。

请求示例

无。

响应示例

{
    "is_success": true,
    "message": "",
    "templates": [
        {
            "name": "test2",
            "body": {
                "auto_recovery": false,
                "max_retry_times": 20,
            },
            "group": "",
            "description": "",
            "type": "SPARK",
            "id": "3c92c202-b17c-4ed7-b353-ea08629dd671"
        }
    ],
    "count": 1
}

状态码

状态码

描述

200

OK

错误码

请参见错误码。