更新时间:2024-03-21 GMT+08:00
分享

创建训练作业

功能介绍

创建训练作业。

调试

您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。

URI

POST /v2/{project_id}/training-jobs

表1 路径参数

参数

是否必选

参数类型

描述

project_id

String

用户项目ID。获取方法请参见获取项目ID和名称

请求参数

表2 请求Body参数

参数

是否必选

参数类型

描述

kind

String

训练作业类型。默认使用job。枚举值:

  • job 训练作业。

metadata

JobMetadata object

训练作业元信息。

algorithm

JobAlgorithm object

训练作业算法。目前支持三种形式:

  • id 只取算法的id;

  • subscription_id+item_version_id 取算法的订阅id和版本id;

  • code_dir+boot_file 取训练作业的代码目录和启动文件。

tasks

Array of Task objects

任务列表。该功能暂未实现。

spec

spec object

训练作业规格参数。有此字段时,无需填写tasks字段。

表3 JobMetadata

参数

是否必选

参数类型

描述

id

String

训练作业ID,创建成功后由ModelArts生成返回,无需填写。

name

String

训练作业名称。限制为1-64位只含数字、字母、下划线和中划线的名称。

workspace_id

String

指定作业所处的工作空间,默认值为“0”。

description

String

对训练作业的描述,默认为“NULL”,字符串的长度限制为[0, 256]。

create_time

Long

训练作业创建时间戳,单位为毫秒,创建成功后由ModelArts生成返回,无需填写。

user_name

String

训练作业创建用户的用户名,创建成功后由ModelArts生成返回,无需填写。

annotations

Map<String,String>

训练作业高级功能配置,可选取值如下:

  • "job_template": "Template RL"(异构作业)。

  • "fault-tolerance/job-retry-num": "3"(故障自动重启次数)。

表4 JobAlgorithm

参数

是否必选

参数类型

描述

id

String

算法管理的算法id。

name

String

算法名称。无需填写。

subscription_id

String

订阅算法的订阅ID。应与item_version_id一同出现。

item_version_id

String

订阅算法的版本。应与subscription_id一同出现。

code_dir

String

训练作业的代码目录。如:“/usr/app/”。应与boot_file一同出现,若填入id或subscription_id+item_version_id则无需填写。

boot_file

String

训练作业的代码启动文件,需要在代码目录下。如:“/usr/app/boot.py”。应与code_dir一同出现,若填入id或subscription_id+item_version_id则无需填写。

autosearch_config_path

String

自动化搜索作业的yaml配置路径,需要提供一个OBS路径。

autosearch_framework_path

String

自动化搜索作业的框架代码目录,需要提供一个OBS路径。

command

String

自定义镜像场景下,训练作业的自定义镜像的容器的启动命令。

parameters

Array of parameters objects

训练作业的运行参数。

policies

policies object

作业支持的策略,用于超参搜索。

inputs

Array of Input objects

训练作业的数据输入。

outputs

Array of Output objects

训练作业的结果输出。

engine

engine object

训练作业的引擎。使用算法管理的算法id或订阅算法subscription_id+item_version_id创建作业时,无需填写。

local_code_dir

String

算法的代码目录下载到训练容器内的本地路径。规则:

  • 必须为/home下的目录。

  • v1兼容模式下,当前字段不生效。

  • 当code_dir以file://为前缀时,当前字段不生效。

working_dir

String

运行算法时所在的工作目录。规则:v1兼容模式下,当前字段不生效。

environments

Array of Map<String,String> objects

训练作业的环境变量。格式:"key":"value".无需填写。

表5 parameters

参数

是否必选

参数类型

描述

name

String

参数名称。

value

String

参数值。

description

String

参数描述信息。

constraint

constraint object

参数属性。

i18n_description

i18n_description object

国际化描述。

表6 constraint

参数

是否必选

参数类型

描述

type

String

参数种类。

editable

Boolean

是否可编辑。

required

Boolean

是否必须。

sensitive

Boolean

是否敏感。该功能暂未实现。

valid_type

String

有效种类。

valid_range

Array of strings

有效范围。

表7 i18n_description

参数

是否必选

参数类型

描述

language

String

国际语种。

description

String

对应描述。

表8 policies

参数

是否必选

参数类型

描述

auto_search

auto_search object

超参搜索配置。

表10 reward_attrs

参数

是否必选

参数类型

描述

name

String

指标名称。

mode

String

搜索方向。

  • max 指定时表示指标值越大越好;

  • min 指定时表示指标值越小越好。

regex

String

指标正则表达式。

表11 search_params

参数

是否必选

参数类型

描述

name

String

超参名称。

param_type

String

参数类型。

  • continuous 指定时表示这个超参是连续类型的。连续类型的超参在算法使用于训练作业时,控制台显示为输入框。

  • discrete 指定时表示这个超参是离散类型的。离散类型的超参在算法使用于训练作业时,控制台显示为下拉选择框架。

lower_bound

String

超参下界。

upper_bound

String

超参上界。

discrete_points_num

String

连续型超参离散化取值个数。

discrete_values

Array of strings

离散型超参的取值列表。

表12 algo_configs

参数

是否必选

参数类型

描述

name

String

搜索算法名称。

params

Array of AutoSearchAlgoConfigParameter objects

搜索算法参数。

表13 AutoSearchAlgoConfigParameter

参数

是否必选

参数类型

描述

key

String

参数键。

value

String

参数值。

type

String

参数种类。

表14 engine

参数

是否必选

参数类型

描述

engine_id

String

训练作业选择的引擎规格ID。engine_id,engine_name + engine_version和image_url方式三选一。

engine_name

String

训练作业选择的引擎名称。若填入engine_id则无需填写。

engine_version

String

训练作业选择的引擎版本名称。若填入engine_id则无需填写。

image_url

String

训练作业选择的自定义镜像地址。

表15 Task

参数

是否必选

参数类型

描述

role

String

任务角色,该功能暂未支持。

algorithm

algorithm object

算法管理算法配置。

task_resource

task_resource object

训练作业资源规格信息。

表16 algorithm

参数

是否必选

参数类型

描述

job_config

job_config object

算法配置信息,如启动文件等。

code_dir

String

算法的代码目录。如:“/usr/app/”。应与boot_file一同出现。

boot_file

String

算法的代码启动文件,需要在代码目录下。如:“/usr/app/boot.py”。应与code_dir一同出现。

engine

engine object

异构作业算法的引擎。

inputs

Array of inputs objects

算法的数据输入。

outputs

Array of outputs objects

算法的数据输出。

local_code_dir

String

算法的代码目录下载到训练容器内的本地路径。规则:1.必须为 /home 下的目录;2.v1兼容模式下,当前字段不生效;3.当 code_dir 以 file:// 为前缀时,当前字段不生效。

working_dir

String

运行算法时所在的工作目录。规则:v1兼容模式下,当前字段不生效。

表17 job_config

参数

是否必选

参数类型

描述

parameters

Array of Parameter objects

算法的运行参数。

inputs

Array of Input objects

算法的数据输入。

outputs

Array of Output objects

算法的数据输出。

engine

engine object

算法的引擎。

表18 Parameter

参数

是否必选

参数类型

描述

name

String

参数名称。

value

String

参数值。

description

String

参数描述信息。

constraint

constraint object

参数属性。

i18n_description

i18n_description object

国际化描述。

表19 constraint

参数

是否必选

参数类型

描述

type

String

参数种类。

editable

Boolean

是否可编辑。

required

Boolean

是否必须。

sensitive

Boolean

是否敏感。该功能暂未实现。

valid_type

String

有效种类。

valid_range

Array of strings

有效范围。

表20 i18n_description

参数

是否必选

参数类型

描述

language

String

国际语种,可选值如下:

  • zh-cn(中文),

  • en-us(英文)。

description

String

对应描述。

表21 Input

参数

是否必选

参数类型

描述

name

String

数据输入通道名称。

description

String

数据输入通道描述信息。

local_dir

String

数据输入通道映射的容器本地路径。

remote

InputDataInfo object

数据实际输入信息。枚举值:

  • dataset 指定输入为数据集;

  • obs 指定输入为OBS路径。

remote_constraint

Array of remote_constraint objects

数据输入约束。

表22 InputDataInfo

参数

是否必选

参数类型

描述

dataset

dataset object

数据输入信息为数据集。

obs

obs object

数据输入输出信息为OBS方式。

表23 dataset

参数

是否必选

参数类型

描述

id

String

训练作业的数据集ID。

version_id

String

训练作业的数据集版本ID。

obs_url

String

训练作业需要的数据集OBS路径URL,modelarts会通过数据集ID和数据集版本ID自动解析生成。如:“/usr/data/”。

表24 obs

参数

是否必选

参数类型

描述

obs_url

String

训练作业需要的数据集OBS路径URL。如:“/usr/data/”。

表25 remote_constraint

参数

是否必选

参数类型

描述

data_type

String

数据输入类型,包括数据存储位置、数据集两种方式。

attributes

String

数据输入为数据集时的相关属性。枚举值:

  • data_format 数据格式;

  • data_segmentation 数据切分方式;

  • dataset_type 标注类型。

表26 Output

参数

是否必选

参数类型

描述

name

String

数据输出通道名称。

description

String

数据输出通道描述信息。

local_dir

String

数据输出通道映射的容器本地路径。

remote

remote object

数据实际输出信息。

表27 remote

参数

是否必选

参数类型

描述

obs

obs object

数据实际输出到OBS。

表28 obs

参数

是否必选

参数类型

描述

obs_url

String

数据实际输出到OBS的路径。

表29 engine

参数

是否必选

参数类型

描述

engine_id

String

算法选择的引擎规格ID。

engine_name

String

算法选择的引擎版本名称。若填入engine_id则无需填写。

engine_version

String

算法选择的引擎版本名称。若填入engine_id则无需填写。

image_url

String

算法选择的自定义镜像地址。

表30 engine

参数

是否必选

参数类型

描述

engine_id

String

异构作业引擎规格的ID。如“caffe-1.0.0-python2.7”。

engine_name

String

异构作业引擎规格的名称。如“Caffe”。

engine_version

String

异构作业引擎规格的版本。

image_url

String

算法选择的自定义镜像地址。

表31 inputs

参数

是否必选

参数类型

描述

name

String

数据输入通道名称。

description

String

数据输入通道描述信息。

local_dir

String

数据输入通道映射的容器本地路径。

remote

remote object

数据实际输入信息。枚举值:

  • dataset 指定输入为数据集;

  • obs 指定输入为OBS路径。

表32 remote

参数

是否必选

参数类型

描述

obs

obs object

数据输入输出信息为OBS方式。

表33 obs

参数

是否必选

参数类型

描述

obs_url

String

训练作业需要的数据集OBS路径URL。如:“/usr/data/”。

表34 outputs

参数

是否必选

参数类型

描述

name

String

数据输出通道名称。

description

String

数据输出通道描述信息。

local_dir

String

数据输出通道映射的容器本地路径。

remote

remote object

数据实际输出信息。

表35 remote

参数

是否必选

参数类型

描述

obs

obs object

数据实际输出到OBS。

表36 obs

参数

是否必选

参数类型

描述

obs_url

String

数据实际输出到OBS的路径

表37 task_resource

参数

是否必选

参数类型

描述

flavor_id

String

训练作业选择的资源规格ID。

node_count

Integer

训练作业选择的资源副本数。

表38 spec

参数

是否必选

参数类型

描述

resource

resource object

训练作业资源规格信息。flavor_id和pool_id+[flavor_id]方式二选一。

volumes

Array of volumes objects

训练作业挂载卷信息。

log_export_path

log_export_path object

训练作业日志输出信息。

auto_stop

auto_stop object

训练作业的自动停止配置。

表39 resource

参数

是否必选

参数类型

描述

flavor_id

String

训练作业资源规格id。CPU规格专属资源池不支持指定flavor_id。GPU/Ascend规格专属资源池可选取值如下:

  • modelarts.pool.visual.xlarge(1卡)

  • modelarts.pool.visual.2xlarge(2卡)

  • modelarts.pool.visual.4xlarge(4卡)

  • modelarts.pool.visual.8xlarge(8卡)

node_count

Integer

资源池创建训练作业使用节点数。默认单节点。

pool_id

String

专属资源池id

表40 volumes

参数

是否必选

参数类型

描述

nfs

nfs object

nfs方式的挂载卷。

表41 nfs

参数

是否必选

参数类型

描述

nfs_server_path

String

nfs服务端路径。

local_path

String

挂载到训练容器中的路径。

read_only

Boolean

nfs挂载卷在容器中是否只读。

表42 log_export_path

参数

是否必选

参数类型

描述

obs_url

String

训练作业日志保存的OBS地址。

host_path

String

训练作业日志保存的宿主机的路径。

表43 auto_stop

参数

是否必选

参数类型

描述

time_unit

String

时间单位。可选取值如下:

  • HOURS

duration

Integer

运行时长,最小值为1

响应参数

状态码: 201

表44 响应Body参数

参数

参数类型

描述

kind

String

训练作业类型。默认使用job。枚举值:

  • job 训练作业。

metadata

JobMetadata object

训练作业元信息。

status

Status object

训练作业状态信息。创建作业无需填写。

algorithm

JobAlgorithmResponse object

训练作业算法。目前支持三种形式:

  • id 只取算法的id;

  • subscription_id+item_version_id 取算法的订阅id和版本id;

  • code_dir+boot_file 取训练作业的代码目录和启动文件;

tasks

Array of TaskResponse objects

异构训练作业的任务列表。

spec

spec object

训练作业规格参数。

表45 JobMetadata

参数

参数类型

描述

id

String

训练作业ID,创建成功后由ModelArts生成返回,无需填写。

name

String

训练作业名称。限制为1-64位只含数字、字母、下划线和中划线的名称。

workspace_id

String

指定作业所处的工作空间,默认值为“0”。

description

String

对训练作业的描述,默认为“NULL”,字符串的长度限制为[0, 256]。

create_time

Long

训练作业创建时间戳,单位为毫秒,创建成功后由ModelArts生成返回,无需填写。

user_name

String

训练作业创建用户的用户名,创建成功后由ModelArts生成返回,无需填写。

annotations

Map<String,String>

训练作业高级功能配置,可选取值如下:

  • "job_template": "Template RL"(异构作业)。

  • "fault-tolerance/job-retry-num": "3"(故障自动重启次数)。

表46 Status

参数

参数类型

描述

phase

String

训练作业一级状态,可选值如下: “Creating”, “Pending”, “Running”, “Failed”, “Completed”, “Terminating”, “Terminated”, “Abnormal”。

secondary_phase

String

训练作业二级状态为内部详细状态,可能会增加、修改、删除,不建议依赖;可选值如下: “Creating”, “Queuing”, “Running”, “Failed”, “Completed”, “Terminating”, “Terminated”, “CreateFailed”, “TerminatedFailed”, “Unknown”, “Lost”。

duration

Long

训练作业运行时长,单位为毫秒。

node_count_metrics

Array<Array<Integer>>

训练作业运行时节点数变化指标。

tasks

Array of strings

训练作业子任务名称。

start_time

Long

训练作业开始时间,格式为时间戳。

task_statuses

Array of task_statuses objects

训练在子任务状态信息。

表47 task_statuses

参数

参数类型

描述

task

String

训练作业子任务名称。

exit_code

Integer

训练作业子任务退出码。

message

String

训练作业子任务错误消息。

表48 JobAlgorithmResponse

参数

参数类型

描述

id

String

训练作业算法。目前支持三种形式:

  • id 只取算法的id;

  • subscription_id+item_version_id 取算法的订阅id和版本id;

  • code_dir+boot_file 取训练作业的代码目录和启动文件。;

name

String

算法名称。

subscription_id

String

订阅算法的订阅ID。应与item_version_id一同出现。

item_version_id

String

订阅算法的版本。应与subscription_id一同出现。

code_dir

String

训练作业的代码目录。如:“/usr/app/”。应与boot_file一同出现,若填入id或subscription_id+item_version_id则无需填写。

boot_file

String

训练作业的代码启动文件,需要在代码目录下。如:“/usr/app/boot.py”。应与code_dir一同出现,若填入id或subscription_id+item_version_id则无需填写。

autosearch_config_path

String

自动化搜索作业的yaml配置路径,需要提供一个OBS路径。

autosearch_framework_path

String

自动化搜索作业的框架代码目录,需要提供一个OBS路径。

command

String

自定义镜像训练作业的自定义镜像的容器的启动命令。例如 python train.py。

parameters

Array of Parameter objects

训练作业的运行参数。

policies

policies object

作业支持的策略。

inputs

Array of Input objects

训练作业的数据输入。

outputs

Array of Output objects

训练作业的结果输出。

engine

engine object

训练作业的引擎。使用算法管理的算法id或订阅算法subscription_id+item_version_id创建作业时,无需填写。

local_code_dir

String

算法的代码目录下载到训练容器内的本地路径。规则:1.必须为 /home 下的目录;2.v1兼容模式下,当前字段不生效;3.当 code_dir 以 file:// 为前缀时,当前字段不生效。

working_dir

String

运行算法时所在的工作目录。规则:v1兼容模式下,当前字段不生效。

environments

Array of Map<String,String> objects

训练作业的环境变量。格式:"key":"value".无需填写。

表49 Parameter

参数

参数类型

描述

name

String

参数名称。

value

String

参数值。

description

String

参数描述信息。

constraint

constraint object

参数属性。

i18n_description

i18n_description object

国际化描述。

表50 constraint

参数

参数类型

描述

type

String

参数种类。

editable

Boolean

是否可编辑。

required

Boolean

是否必须。

sensitive

Boolean

是否敏感。该功能暂未实现。

valid_type

String

有效种类。

valid_range

Array of strings

有效范围。

表51 i18n_description

参数

参数类型

描述

language

String

国际语种,可选值如下:

  • zh-cn(中文),

  • en-us(英文)。

description

String

对应描述。

表52 policies

参数

参数类型

描述

auto_search

auto_search object

超参搜索配置。

表54 reward_attrs

参数

参数类型

描述

name

String

指标名称。

mode

String

搜索方向。

  • max 指定时表示指标值越大越好;

  • min 指定时表示指标值越小越好。

regex

String

指标正则表达式。

表55 search_params

参数

参数类型

描述

name

String

超参名称。

param_type

String

参数类型。

  • continuous 指定时表示这个超参是连续类型的。连续类型的超参在算法使用于训练作业时,控制台显示为输入框。

  • discrete 指定时表示这个超参是离散类型的。离散类型的超参在算法使用于训练作业时,控制台显示为下拉选择框架。

lower_bound

String

超参下界。

upper_bound

String

超参上界。

discrete_points_num

String

连续型超参离散化取值个数。

discrete_values

Array of strings

离散型超参的取值列表。

表56 algo_configs

参数

参数类型

描述

name

String

搜索算法名称。

params

Array of AutoSearchAlgoConfigParameter objects

搜索算法参数。

表57 AutoSearchAlgoConfigParameter

参数

参数类型

描述

key

String

参数键。

value

String

参数值。

type

String

参数种类。

表58 Input

参数

参数类型

描述

name

String

数据输入通道名称。

description

String

数据输入通道描述信息。

local_dir

String

数据输入通道映射的容器本地路径。

remote

InputDataInfo object

数据实际输入信息。枚举值:

  • dataset 指定输入为数据集;

  • obs 指定输入为OBS路径。

remote_constraint

Array of remote_constraint objects

数据输入约束。

表59 InputDataInfo

参数

参数类型

描述

dataset

dataset object

数据输入信息为数据集。

obs

obs object

数据输入输出信息为OBS方式。

表60 dataset

参数

参数类型

描述

id

String

训练作业的数据集ID。

version_id

String

训练作业的数据集版本ID。

obs_url

String

训练作业需要的数据集OBS路径URL,modelarts会通过数据集ID和数据集版本ID自动解析生成。如:“/usr/data/”。

表61 obs

参数

参数类型

描述

obs_url

String

训练作业需要的数据集OBS路径URL。如:“/usr/data/”。

表62 remote_constraint

参数

参数类型

描述

data_type

String

数据输入类型,包括数据存储位置、数据集两种方式。

attributes

String

数据输入为数据集时的相关属性。枚举值:

  • data_format 数据格式;

  • data_segmentation 数据切分方式;

  • dataset_type 标注类型。

表63 Output

参数

参数类型

描述

name

String

数据输出通道名称。

description

String

数据输出通道描述信息。

local_dir

String

数据输出通道映射的容器本地路径。

remote

remote object

数据实际输出信息。

表64 remote

参数

参数类型

描述

obs

obs object

数据实际输出到OBS。

表65 obs

参数

参数类型

描述

obs_url

String

数据实际输出到OBS的路径。

表66 engine

参数

参数类型

描述

engine_id

String

训练作业选择的引擎规格ID。engine_id,engine_name + engine_version和image_url方式三选一。

engine_name

String

训练作业选择的引擎名称。若填入engine_id则无需填写。

engine_version

String

训练作业选择的引擎版本名称。若填入engine_id则无需填写。

image_url

String

训练作业选择的自定义镜像地址。

表67 TaskResponse

参数

参数类型

描述

role

String

任务角色,该功能暂未支持。

algorithm

algorithm object

算法管理算法配置。

task_resource

FlavorResponse object

训练作业、算法的规格信息。

表68 algorithm

参数

参数类型

描述

code_dir

String

算法启动文件所在目录绝对路径。

boot_file

String

算法启动文件绝对路径。

inputs

inputs object

算法输入通道信息。

outputs

outputs object

算法输出通道信息。

engine

engine object

异构作业所依赖的引擎。

local_code_dir

String

算法的代码目录下载到训练容器内的本地路径。规则:1.必须为 /home 下的目录;2.v1兼容模式下,当前字段不生效;3.当 code_dir 以 file:// 为前缀时,当前字段不生效。

working_dir

String

运行算法时所在的工作目录。规则:v1兼容模式下,当前字段不生效。

表69 inputs

参数

参数类型

描述

name

String

数据输入通道名称。

local_dir

String

数据输入输出通道映射的容器本地路径。

remote

remote object

数据实际输入信息,异构作业只支持OBS。

表70 remote

参数

参数类型

描述

obs

obs object

数据输入输出信息为OBS方式。

表71 obs

参数

参数类型

描述

obs_url

String

训练作业需要的数据集OBS路径URL。如:“/usr/data/”。

表72 outputs

参数

参数类型

描述

name

String

数据输出通道名称。

local_dir

String

数据输出通道映射的容器本地路径。

remote

remote object

数据实际输出信息。

mode

String

数据传输模式,默认为“upload_periodically”。

period

String

数据传输周期,默认为30s。

表73 remote

参数

参数类型

描述

obs

obs object

数据实际输出到OBS。

表74 obs

参数

参数类型

描述

obs_url

String

数据实际输出到OBS的路径

表75 engine

参数

参数类型

描述

engine_id

String

异构作业引擎规格的ID。如“caffe-1.0.0-python2.7”。

engine_name

String

异构作业引擎规格的名称。如“Caffe”。

engine_version

String

异构作业引擎规格的版本。

v1_compatible

Boolean

是否为v1兼容模式。

run_user

String

引擎默认启动用户uid。

image_url

String

算法选择的自定义镜像地址。

表76 FlavorResponse

参数

参数类型

描述

flavor_id

String

资源规格的ID。

flavor_name

String

资源规格的名称。

max_num

Integer

资源规格的最大节点数。

flavor_type

String

资源规格的类型。可选值如下:

  • CPU

  • GPU

  • Ascend

billing

billing object

资源规格计费信息。

flavor_info

flavor_info object

资源规格详细信息。

attributes

Map<String,String>

其他规格属性。

表77 billing

参数

参数类型

描述

code

String

计费码。

unit_num

Integer

计费卡数。

表78 flavor_info

参数

参数类型

描述

max_num

Integer

可以选择的最大节点数量(max_num,为1代表不支持分布式)。

cpu

cpu object

cpu规格信息。

gpu

gpu object

gpu规格信息。

npu

npu object

Ascend规格信息。

memory

memory object

内存信息。

disk

disk object

磁盘信息。

表79 cpu

参数

参数类型

描述

arch

String

cpu架构。

core_num

Integer

核数。

表80 gpu

参数

参数类型

描述

unit_num

Integer

gpu卡数。

product_name

String

产品名。

memory

String

内存。

表81 npu

参数

参数类型

描述

unit_num

String

npu卡数。

product_name

String

产品名。

memory

String

内存。

表82 memory

参数

参数类型

描述

size

Integer

内存大小。

unit

String

内存大小单位。

表83 disk

参数

参数类型

描述

size

Integer

磁盘大小。

unit

String

磁盘大小单位。

表84 spec

参数

参数类型

描述

resource

Resource object

训练作业资源规格信息。flavor_id和pool_id+[flavor_id]方式二选一。

volumes

Array of volumes objects

训练作业挂载卷信息。

log_export_path

log_export_path object

训练作业日志输出信息。

表85 Resource

参数

参数类型

描述

policy

String

训练作业资源规格模式,可选值如下: “regular”。

flavor_id

String

训练作业资源规格id。CPU规格专属资源池不支持指定flavor_id。GPU/Ascend规格专属资源池可选取值如下:

  • modelarts.pool.visual.xlarge(1卡)

  • modelarts.pool.visual.2xlarge(2卡)

  • modelarts.pool.visual.4xlarge(4卡)

  • modelarts.pool.visual.8xlarge(8卡)

flavor_name

String

使用flavor_id时,由ModelArts返回的只读规格名称。

node_count

Integer

训练作业选择的资源副本数。

pool_id

String

训练作业选择的资源池ID。

flavor_detail

flavor_detail object

训练作业、算法的规格信息。

表86 flavor_detail

参数

参数类型

描述

flavor_type

String

资源规格的类型。可选值如下:

  • CPU

  • GPU

  • Ascend

billing

billing object

资源规格计费信息。

flavor_info

flavor_info object

资源规格详细信息。

表87 billing

参数

参数类型

描述

code

String

计费码。

unit_num

Integer

计费卡数。

表88 flavor_info

参数

参数类型

描述

max_num

Integer

可以选择的最大节点数量(max_num,为1代表不支持分布式)。

cpu

cpu object

cpu规格信息。

gpu

gpu object

gpu规格信息。

npu

npu object

Ascend规格信息。

memory

memory object

内存信息。

disk

disk object

磁盘信息。

表89 cpu

参数

参数类型

描述

arch

String

cpu架构。

core_num

Integer

核数。

表90 gpu

参数

参数类型

描述

unit_num

Integer

gpu卡数。

product_name

String

产品名。

memory

String

内存。

表91 npu

参数

参数类型

描述

unit_num

String

npu卡数。

product_name

String

产品名。

memory

String

内存。

表92 memory

参数

参数类型

描述

size

Integer

内存大小。

unit

String

内存单元数。

表93 disk

参数

参数类型

描述

size

String

磁盘大小。

unit

String

磁盘大小单位,一般为GB。

表94 volumes

参数

参数类型

描述

nfs

nfs object

nfs方式的挂载卷。

表95 nfs

参数

参数类型

描述

nfs_server_path

String

nfs服务端路径。

local_path

String

挂载到训练容器中的路径。

read_only

Boolean

nfs挂载卷在容器中是否只读。

表96 log_export_path

参数

参数类型

描述

obs_url

String

训练作业日志保存的OBS地址。

host_path

String

训练作业日志保存的宿主机的路径。

状态码: 400

表97 响应Body参数

参数

参数类型

描述

error_msg

String

错误信息。

error_code

String

错误码。

error_solution

String

错误解决建议。

请求示例

  • 创建免费规格的训练作业。设置作业名称为“TestModelArtsJob”,描述为“This is a ModelArts job”。算法依赖的是id为3f5d6706-7b67-408d-8ba0-ec08048c45ed的算法,该算法未定义inputs与outputs,规格选用的是gpu免费规格。

    POST https://endpoint/v2/{project_id}/training-jobs
    
    {
      "kind" : "job",
      "metadata" : {
        "name" : "TestModelArtsJob",
        "description" : "This is a ModelArts job"
      },
      "algorithm" : {
        "id" : "3f5d6706-7b67-408d-8ba0-ec08048c45ed",
        "parameters" : [ {
          "name" : "input_dir",
          "value" : "obs://cn-north-4-rse/test/moxingtest-dir/"
        }, {
          "name" : "input_file",
          "value" : "obs://cn-north-4-rse/test/moxingtest/"
        }, {
          "name" : "large_file_method",
          "value" : "1"
        } ],
        "policies" : {
          "auto_search" : null
        },
        "environments" : { }
      },
      "spec" : {
        "resource" : {
          "flavor_id" : "modelarts.p3.large.public.free",
          "node_count" : 1
        },
        "log_export_path" : {
          "obs_url" : ""
        }
      }
    }
  • 使用自定义镜像创建训练作业。设置作业名称为“TestModelArtsJob2”,描述为“This is a ModelArts job2”的自定义镜像训练作业。使用专属资源池和nfs挂载。

    POST https://endpoint/v2/{project_id}/training-jobs
    
    {
      "kind" : "job",
      "metadata" : {
        "name" : "TestModelArtsJob2",
        "description" : "This is a ModelArts job2"
      },
      "algorithm" : {
        "engine" : {
          "image_url" : "xxxxxxxx/fastseq:1.2"
        },
        "command" : "cd /home/ma-user/ddp_demo && sh run_ddp.sh",
        "parameters" : [ ],
        "policies" : {
          "auto_search" : null
        },
        "environments" : {
          "NCCL_DEBUG" : "INFO",
          "NCCL_IB_DISABLE" : "0"
        }
      },
      "spec" : {
        "resource" : {
          "flavor_id" : "modelarts.pool.visual.xlarge",
          "node_count" : 1,
          "pool_id" : "poolfaf38d76"
        },
        "log_export_path" : {
          "obs_url" : "/cn-north-4-training-test/limou/ddp-demo-log/"
        },
        "volumes" : [ {
          "nfs" : {
            "nfs_server_path" : "192.168.0.82:/",
            "local_path" : "/home/ma-user/nfs/",
            "read_only" : false
          }
        } ]
      }
    }

响应示例

状态码: 201

ok

{
  "kind" : "job",
  "metadata" : {
    "id" : "425b7087-83de-49ed-9e40-5bb642be956f",
    "name" : "TestModelArtsJob",
    "description" : "This is a ModelArts job",
    "create_time" : 1637045545982,
    "workspace_id" : "0",
    "user_name" : ""
  },
  "status" : {
    "phase" : "Creating",
    "secondary_phase" : "Creating",
    "duration" : 0,
    "start_time" : 0,
    "node_count_metrics" : null,
    "tasks" : [ "worker-0", "server-0" ]
  },
  "algorithm" : {
    "id" : "3f5d6706-7b67-408d-8ba0-ec08048c45ed",
    "name" : "ttt-obs-gpu",
    "code_dir" : "/cn-north-4-rse/test/moxingtest-code/",
    "boot_file" : "/cn-north-4-rse/test/moxingtest-code/test_obs_gpu.py",
    "parameters" : [ {
      "name" : "input_dir",
      "description" : "",
      "i18n_description" : null,
      "value" : "s://cn-north-4-rse/test/moxingtest-dir/",
      "constraint" : {
        "type" : "String",
        "editable" : true,
        "required" : true,
        "sensitive" : false,
        "valid_type" : "None",
        "valid_range" : [ ]
      }
    }, {
      "name" : "input_file",
      "description" : "",
      "i18n_description" : null,
      "value" : "obs://cn-north-4-rse/test/moxingtest/",
      "constraint" : {
        "type" : "String",
        "editable" : true,
        "required" : true,
        "sensitive" : false,
        "valid_type" : "None",
        "valid_range" : [ ]
      }
    }, {
      "name" : "large_file_method",
      "description" : "",
      "i18n_description" : null,
      "value" : "1",
      "constraint" : {
        "type" : "Integer",
        "editable" : true,
        "required" : true,
        "sensitive" : false,
        "valid_type" : "None",
        "valid_range" : [ ]
      }
    } ],
    "engine" : {
      "engine_id" : "horovod-cp36-tf-1.16.2",
      "engine_name" : "Horovod",
      "engine_version" : "0.16.2-TF-1.13.1-python3.6"
    },
    "policies" : { }
  },
  "spec" : {
    "resource" : {
      "policy" : "regular",
      "flavor_id" : "modelarts.p3.large.public.free",
      "flavor_name" : "Computing GPU(V100) instance",
      "node_count" : 1,
      "flavor_detail" : {
        "flavor_type" : "GPU",
        "billing" : {
          "code" : "modelarts.vm.gpu.free",
          "unit_num" : 1
        },
        "flavor_info" : {
          "cpu" : {
            "arch" : "x86",
            "core_num" : 8
          },
          "gpu" : {
            "unit_num" : 1,
            "product_name" : "NVIDIA-V100",
            "memory" : "32GB"
          },
          "memory" : {
            "size" : 64,
            "unit" : "GB"
          }
        }
      }
    },
    "log_export_path" : { }
  }
}

状态码: 400

通用的错误应答消息体格式;如下为 id 是 3f5d6706-7b67-408d-8ba0-ec08048c45ee 的算法未找到时的返回信息。

{
  "error_msg" : "algorithm not found.",
  "error_code" : "ModelArts.2755",
  "error_solution" : "Check whether the training project information in the request is valid."
}

状态码

状态码

描述

201

ok

400

通用的错误应答消息体格式;如下为 id 是 3f5d6706-7b67-408d-8ba0-ec08048c45ee 的算法未找到时的返回信息。

错误码

请参见错误码

分享:

    相关文档

    相关产品