更新时间:2026-07-03 GMT+08:00

更新服务配置 - UpdateV2Service

功能介绍

该接口适用于需要动态调整模型服务配置的场景,对模型的性能参数、资源池配置、服务调用配置等进行更新升级。通过调用此接口,用户可以在原有服务的情况下,升级成一个新的服务版本。调用此接口前,服务状态必须为“停止”、“失败”或“运行中”,且用户需具有修改服务的权限。更新成功后,新配置立即生效;若失败,服务保持原有配置并返回错误信息。常见异常包括参数验证错误、权限验证错误和服务状态错误。若服务ID无效、版本号不存在或用户无权限,则返回400 Bad Request或403 Forbidden;若服务状态不允许切换,则返回400 Bad Request。

调试

您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。

授权信息

账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。

  • 如果使用角色与策略授权,具体权限要求请参见权限和授权项
  • 如果使用身份策略授权,需具备如下身份策略权限。

    授权项

    访问级别

    资源类型(*为必须)

    条件键

    别名

    依赖的授权项

    modelarts:service:update

    Write

    service *

    -

    -

    -

URI

PUT /v2/{project_id}/services/{service_id}

表1 路径参数

参数

是否必选

参数类型

描述

project_id

String

参数解释:

用户项目ID。获取方法请参见获取项目ID和名称

约束限制:

不涉及。

取值范围:

账号的项目ID。

默认取值:

不涉及。

service_id

String

参数解释:

服务ID,在创建服务时即可在返回体中获取,也可通过查询服务列表获取当前用户拥有的服务,其中service_id字段即为服务ID。

约束限制:

不涉及。

取值范围:

服务ID。

默认取值:

不涉及。

请求参数

表2 请求Header参数

参数

是否必选

参数类型

描述

X-Auth-Token

String

参数解释:

用户Token。通过调用IAM服务获取用户Token接口获取响应消息头中X-Subject-Token的值。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

Content-Type

String

参数解释:

消息体的类型(格式)

约束限制:

不涉及。

取值范围:

  • application/json

  • application/json;charset=utf-8

默认取值:

不涉及。

表3 请求Body参数

参数

是否必选

参数类型

描述

id

String

参数解释:

服务ID

约束限制:

不涉及。

取值范围:

不涉及

name

String

参数解释:

服务名称。

约束限制:

不涉及。

取值范围:

支持1-128个字符,可以包含字母、汉字、数字、连字符和下划线。

默认取值:

不涉及。

deploy_timeout_minutes

Integer

参数解释:

服务部署超时时间,integer类型,取值在1~300(860版本该参数做保留兼容)。

约束限制:

不涉及。

取值范围:

[0, 300]。

默认取值:

不涉及。

version

String

参数解释:

必填,填了之后,数据库中如果存在相同版本号,将会报错(仅修改描述的场景除外)。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

description

String

参数解释:

非必填,仅更新描述的场景直接修改对应version的数据库字段,不新增版本号。

约束限制:

不涉及。

取值范围:

不涉及

默认取值:

不涉及

group_configs

Array of GroupConfig objects

参数解释:

仅修改服务时不需传,兼容部署分离之前版本。

约束限制:

group_configs的最大元素数量为1。

取值范围:

不涉及。

默认取值:

不涉及。

runtime_config

RuntimeConfig object

参数解释:

服务运行配置

约束限制:

不涉及。

取值范围:

不涉及

默认取值:

不涉及

upgrade_config

UpgradeConfig object

参数解释:

升级配置

约束限制:

不涉及。

取值范围:

不涉及

默认取值:

不涉及

lts_strategy

String

参数解释:

日志策略。

约束限制:

不涉及。

取值范围:

  • POOL:使用资源池日志插件配置的日志流。

  • AUTO_CREATE:自动创建日志流。

  • DEFAULT: 由系统决定日志策略

默认取值:

AUTO_CREATE:自动创建日志流。

log_configs

Array of LtsConfiguration objects

参数解释:

日志配置,当开启LTS日志的时候,STDOUT类型为必填。

约束限制:

当开启LTS日志的时候,STDOUT类型为必填。

数量上限为2个。

tags

String

参数解释:

服务标签,上限20个

约束限制:

不涉及。

取值范围:

不涉及

默认取值:

不涉及

workspace_id

String

参数解释:

工作空间id,默认是“0”

约束限制:

不涉及。

取值范围:

不涉及

默认取值:

不涉及

schedule

Array of ScheduleConfig objects

参数解释:

定时停止配置。

约束限制:

仅当body中另一个参数description为空时,此参数才生效。

custom_metrics_path

String

参数解释:

该参数值由英文逗号隔开的协议、端口号、地址组成,其中地址长度不超过255 ,且需要与镜像给定的协议、地址、端口一致,否则指标无法上报。

task_type

String

参数解释:

模型类型。

取值范围:

  • TEXT_GENERATION:文本生成

  • IMAGE_UNDERSTANDING:图像理解

  • VIDEO_GENERATION:视频生成

  • IMAGE_GENERATION:图像生成

  • RERANK:重排序

  • VECTOR_MODEL:向量模型

  • EMBEDDING:Embedding嵌入

表4 GroupConfig

参数

是否必选

参数类型

描述

id

String

参数解释:

部署ID。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

name

String

参数解释:

部署名称。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

pool_id

String

参数解释:

资源池ID,查询指定资源池下的服务,默认不过滤。可通过查询资源池列表获取。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

count

Integer

参数解释:

部署场景下,服务实例数量。

约束限制:

不涉及。

取值范围:

[1, 128]。

默认取值:

不涉及。

system_log_dump_enable

Boolean

参数解释:

系统日志转储开关。

约束限制:

只有NPU资源池有,且逻辑池是没有的。

取值范围:

不涉及。

默认取值:

false。

unit_configs

Array of UnitConfig objects

参数解释:

推理单元配置。

约束限制:

单机推理时,个数只会为1;如果是分布式推理时,根据不同框架,实例单元配置可灵活配置。

weight

Integer

参数解释:

权重百分比,分配到此模型的流量权重,仅当模型部署为在线服务时需要配置。

约束限制:

不涉及。

取值范围:

[0, 100]。

默认取值:

不涉及。

secret_type

String

参数解释:

凭证类型相关配置,用户可以在此处选择使用的凭证类型(dew,agency)

约束限制:

1.使用临时委托凭证类型约束限制:集群已安装CCE容器存储(Everest)v2.4.204及以上版本,且集群版本为v1.28及以上且确保局点已启用IAM5服务。

2.若插件版本不足或集群不支持临时委托凭证,则需通过DEW服务挂载。

取值范围:

  • dew:DEW密钥。

  • agency:临时委托凭证。

默认取值:

不涉及。

secret_name

String

参数解释

凭证名称,用户使用dew类型凭证时可以在此处选择使用的凭证。

约束限制

不涉及。

priority

Integer

参数解释:

服务优先级。

约束限制:

  • 如服务处于“运行中”,priority字段为必要参数,且value必须与原服务的priority值相同;

  • 如服务处于“停止”,priority字段为非必要参数。

取值范围:

[1, 3]。

默认取值:

不涉及。

high_avail_switch

Boolean

参数解释:

高可用开关,开启后不同实例的pod将尽量均匀分布到不同的节点上。(准备下线,请使用schedule_strategy字段)

约束限制:

不涉及

取值范围:

  • true: 高可用开启

  • false: 高可用关闭

默认取值:

true。

schedule_strategy

String

参数解释:

调度策略。

约束限制:

不涉及。

取值范围:

  • HIGH_AVAILABILITY:高可用调度

  • HIGH_UTILIZATION:紧凑调度

  • HIGH_PERFORMANCE:高性能调度

默认取值:

HIGH_AVAILABILITY。

version

String

参数解释:

服务版本号,以数字及点号组成,形如1.0.1。

约束限制:

不涉及。

取值范围:

1.0.0 ~ 99.99.99,长度不超过8位。

默认取值:

不涉及。

version_id

String

参数解释:

版本id,可通过查询version列表查询。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

framework

String

参数解释:

算法框架。

取值范围:

  • COMMON: 普通在线服务。

running_count

Integer

参数解释:

部署场景下,服务运行实例数量。

约束限制:

不涉及。

取值范围:

[1, 128]。

默认取值:

不涉及。

deploy_type

String

参数解释:

部署类型。

取值范围:

  • SINGLE:单机单卡。

  • MULTI:多机多卡。

mirror_traffic_enable

Boolean

参数解释:

是否开启镜像流量。

取值范围:

不涉及。

mirror_traffic_weight

String

参数解释:

镜像流量权重。

取值范围:

50。

version_count

Integer

参数解释:

服务版本数量。

取值范围:

不涉及。

update_at

Long

参数解释:

更新时间,根据更新时的当前时间自动生成。

取值范围:

毫秒级时间戳,13位数字。

model

Model object

参数解释:

推理单元共用模型相关配置,用户可以在此处选择模型及权重文件配合镜像使用,此配置对所有推理单元生效。

约束限制:

不涉及。

advanced_config

AdvancedConfig object

参数解释:

部署高级配置。

约束限制:

不涉及。

表5 UnitConfig

参数

是否必选

参数类型

描述

id

String

参数解释:

实例单元ID。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

name

String

参数解释:

实例单元角色名称。

约束限制:

最大长度为16字符,且需满足正则:^[a-z0-9]([-a-z0-9]*[a-z0-9])?$

默认取值:

不涉及。

role

String

参数解释:

实例单元角色。

约束限制:

不涉及。

取值范围:

  • common:表示其他角色。

默认取值:

不涉及。

flavor

String

参数解释:

资源规格,根据所提供版本选择适合业务的规格。当specification为custom为自定义规格。由custom_spec指定部署的规格配置。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

image

Image object

参数解释:

镜像配置信息,包含镜像地址,镜像来源。

约束限制:

不涉及。

models

Array of Model objects

参数解释:

废弃参数,推荐使用files进行模型相关配置。

模型相关配置,用户可以在此处选择模型及权重文件配合镜像使用。

约束限制:

不涉及。

codes

Array of Code objects

参数解释:

废弃参数,推荐使用files进行代码相关配置。

代码相关配置,用户可以在此处选择代码所在的obs路径等。

约束限制:

不涉及。

files

Array of File objects

参数解释:

模型和代码相关配置,用户可以在此处选择模型及权重文件配合镜像使用以及代码所在的obs路径等。

约束限制:

不涉及。

dumps

Array of Dump objects

参数解释:

用户转储配置,用户可以在此处选择要转储的目的obs。

约束限制:

最多配置20组。

count

Integer

参数解释:

配置实例个数。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

cmd

String

参数解释:

启动命令。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

envs

Map<String,String>

参数解释:

环境变量。

约束限制:

变量键长度不大于64,由字母、数字、下划线、中划线、点组成,不能以数字开头。值的输入内容不能存在HTML标签,包括<^>。

readiness_health

Health object

参数解释:

就绪健康检查。

约束限制:

不涉及。

startup_health

Health object

参数解释:

启动健康检查。

约束限制:

不涉及。

liveness_health

Health object

参数解释:

存活健康检查。

取值范围:

不涉及。

port

Integer

参数解释:

端口。

约束限制:

不涉及。

取值范围:

[1,65535]。

默认取值:

不涉及。

recovery

String

参数解释:

自动重建策略,开启后,由于部署配置变更或者故障等原因导致Pod重启时,平台将按策略自动执行重建。若不开启,平台将不会主动干预处理。

约束限制:

不涉及。

取值范围:

  • Instance:部署副本重建,故障时重新拉起整个部署。

  • Role:单元重建,当部署单元内的Pod出现故障时,重启该单元内的所有Pod。

  • Pod:Pod重建,故障时重新拉起故障pod。

默认取值:

不涉及。

npu_reset_enable

Boolean

参数解释:

是否开启恢复策略。

约束限制:

不涉及。

取值范围:

  • true:开启恢复策略。

  • false:不开启恢复策略。

默认取值:

不涉及。

group_count

Integer

参数解释:

单元副本数,当部署类型deploy_type为SINGLE或工作负载类型workload_type为DEPLOYMENT时,该参数无效。

约束限制:

不涉及。

取值范围:

[1, 100] 或者为空。

默认取值:

默认值为1。

affinity

Affinity object

参数解释:

节点亲和调度设置。

约束限制:

不涉及。

group_policy

UnitGroupPolicy object

参数解释:

单副本资源实例调度约束配置。

约束限制:

不涉及。

表6 CustomSpec

参数

是否必选

参数类型

描述

gpu

Number

参数解释:

GPU个数。

约束限制:

不涉及。

取值范围:

支持配置小数,输入值不能小于0(最多支持2位小数,小数点后第3位做四舍五入处理)。

默认取值:

不涉及。

memory

Integer

参数解释:

内存,单位为MB。

约束限制:

不涉及。

取值范围:

仅支持整数。

默认取值:

不涉及。

cpu

Number

参数解释:

CPU核数。

约束限制:

不涉及。

取值范围:

支持配置小数,输入值不能小于0.01(最多支持2位小数,小数点后第3位做四舍五入处理)。

默认取值:

不涉及。

ascend

Integer

参数解释:

Ascend芯片个数。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

arch

String

参数解释:

架构类型。

约束限制:

不涉及。

取值范围:

枚举值:x86\arm64。

默认取值:

不涉及。

表7 Image

参数

是否必选

参数类型

描述

id

String

参数解释:

镜像ID。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

source

String

参数解释:

镜像类别,标识镜像来源。

约束限制:

不涉及。

取值范围:

  • swr:软件仓库服务。

  • image:[通用镜像]。

默认取值:

不涉及。

swr_path

String

参数解释:

镜像地址,source不同取值时,地址为不同值。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

category

String

参数解释:

镜像支持的规格。

约束限制:

不涉及。

取值范围:

  • GPU:图形处理器。

  • CPU:中央处理器。

  • ASCEND:昇腾芯片。

默认取值:

CPU。

表8 Model

参数

是否必选

参数类型

描述

source

String

参数解释:

代码来源类别。

约束限制:

不涉及。

取值范围:

如下参数不区分大小写

  • OBS:对象存储服务。

  • OBSFS:OBS的文件系统接口。

  • EFS:弹性文件服务。

  • LOCAL:挂载宿主机本地存储目录。

默认取值:

不涉及。

address

String

参数解释:

代码来源地址,格式遵循不同存储系统。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

mount_path

String

参数解释:

挂载到容器内的路径。

约束限制:

不涉及。

取值范围:

以(/)开头和结尾,可包含字母、数字、中划线、下划线,整个挂载路径长度不能超过255位。

默认取值:

不涉及。

host_cache

Boolean

参数解释:

是否支持模型本地缓存,默认是不支持。

约束限制:

不涉及。

取值范围:

  • true:支持。

  • false:不支持。

默认取值:

false。

efs_sub_path

String

参数解释:

当存储类别为EFS时,支持配置子目录。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

read_only

Boolean

参数解释:

挂载权限设置,是否只读。

约束限制:

不涉及。

取值范围:

  • true:只读。

  • false:非只读。

默认取值:

不涉及。

os_warm_up

Boolean

参数解释:

OS预热。

约束限制:

不涉及。

取值范围:

  • true:预热。

  • false:不预热。

默认取值:

不涉及。

source_name

String

参数解释:

预热名称。

约束限制:

os_warm_up为true时必填。

取值范围:

支持1-64位字符,可包含字母、中文、数字、中划线、下划线。

默认取值:

不涉及。

asset_id

String

参数解释:

预置资产id。

约束限制:

使用预置资产时必填。

取值范围:

支持1-64位字符,可包含字母、中文、数字、中划线、下划线。

默认取值:

不涉及。

表9 Code

参数

是否必选

参数类型

描述

source

String

参数解释:

代码来源类别。

约束限制:

不涉及。

取值范围:

  • OBS:对象存储服务。

  • OBSFS:OBS的文件系统接口。

  • EFS:弹性文件服务。

默认取值:

不涉及。

address

String

参数解释:

代码来源地址,格式遵循不同存储系统。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

source_id

String

参数解释:

代码来源ID,与address二选一,当且仅当source为EFS时,可以传入sfs turbo的ID。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

mount_path

String

参数解释:

挂载到容器内的路径。

约束限制:

不涉及。

取值范围:

以(/)开头和结尾,可包含字母、数字、中划线、下划线,整个挂载路径长度不能超过255位。

默认取值:

不涉及。

efs_sub_path

String

参数解释:

EFS子路径。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

read_only

Boolean

参数解释:

挂载权限设置, 是否只读。

约束限制:

不涉及。

取值范围:

  • true:只读。

  • false:非只读。

默认取值:

不涉及。

表10 File

参数

是否必选

参数类型

描述

source

String

参数解释:

代码来源类别。

约束限制:

不涉及。

取值范围:

如下参数不区分大小写

  • OBS:对象存储服务。

  • OBSFS:OBS的文件系统接口。

  • EFS:弹性文件服务。

  • LOCAL:挂载宿主机本地存储目录。

默认取值:

不涉及。

address

String

参数解释:

代码来源地址,格式遵循不同存储系统。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

mount_path

String

参数解释:

挂载到容器内的路径。

约束限制:

不涉及。

取值范围:

以(/)开头和结尾,可包含字母、数字、中划线、下划线,整个挂载路径长度不能超过255位。

默认取值:

不涉及。

host_cache

Boolean

参数解释:

是否支持模型本地缓存,默认是不支持。

约束限制:

不涉及。

取值范围:

  • true:支持。

  • false:不支持。

默认取值:

false。

efs_sub_path

String

参数解释:

当存储类别为EFS时,支持配置子目录。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

read_only

Boolean

参数解释:

挂载权限设置,是否只读。

约束限制:

不涉及。

取值范围:

  • true:只读。

  • false:非只读。

默认取值:

不涉及。

os_warm_up

Boolean

参数解释:

OS预热。

约束限制:

不涉及。

取值范围:

  • true:预热。

  • false:不预热。

默认取值:

不涉及。

source_name

String

参数解释:

预热名称。

约束限制:

os_warm_up为true时必填。

取值范围:

支持1-64位字符,可包含字母、中文、数字、中划线、下划线。

默认取值:

不涉及。

表11 Dump

参数

是否必选

参数类型

描述

source

String

参数解释:

转储挂载目录来源类别。

约束限制:

不涉及。

取值范围:

  • OBS:对象存储服务。

  • OBSFS:OBS的文件系统接口。

默认取值:

不涉及。

address

String

参数解释:

转储挂载目录来源地址,支持https或obs协议的obs地址。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

mount_path

String

参数解释:

挂载到容器内的路径,要求以/开头,后面可包含中划线,反斜杠,下划线,点号,字母,数字。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

表12 Health

参数

是否必选

参数类型

描述

check_method

String

参数解释:

健康检查方式:HTTP 或者 EXEC(命令行)。

约束限制:

不涉及。

取值范围:

  • HTTP:超文本传输协议。

  • EXEC:命令行。

默认取值:

创建的时候,check_method不传值,默认:check_method。

更新的时候,check_method不传值,会报错。

cmd

String

参数解释:

当健康检查方式为EXEC时,配置的命令行。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

url

String

参数解释:

当健康检查方式为HTTP 时,配置的请求地址。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

protocol

String

参数解释:

连接协议。

约束限制:

不涉及。

取值范围:

  • HTTPS:超文本传输协议安全版。

  • HTTP:超文本传输协议。

  • WSS:网络通信协议安全版。

  • WS:网络通信协议。

默认取值:

不涉及。

initial_delay_seconds

Integer

参数解释:

执行首次探测时,应该等待的时间。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

30。

timeout_seconds

Integer

参数解释:

执行探测的超时时间,默认1秒,最小1秒。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

period_seconds

Integer

参数解释:

执行健康检查的周期时间,执行探测的频率。默认是10秒,最小1秒。

约束限制:

不涉及。

取值范围:

最小值为1秒。

默认取值:

默认值为10秒。

failure_threshold

Integer

参数解释:

探测成功后,至少连续探测失败多少次才被认定为失败。默认是3。最小值是1。

约束限制:

不涉及。

取值范围:

最小值为1。

默认取值:

默认值为3。

表13 Affinity

参数

是否必选

参数类型

描述

affinity_type

String

参数解释:

节点亲和类型。

约束限制:

不涉及。

取值范围:

  • AFFINITY:亲和。

  • ANTI_AFFINITY:反亲和。

默认取值:

不涉及。

required

Boolean

参数解释:

是否设置强亲和。

约束限制:

不涉及。

取值范围:

  • true:设置强亲和。

  • false:不设置强亲和。

默认取值:

不涉及。

selection_mode

String

参数解释:

选择节点方式。

约束限制:

不涉及。

取值范围:

IP

默认取值:

不涉及。

targets

Map<String,String>

参数解释:

通过上述方式选择的列表,长度不能超过20。

约束限制:

不涉及。

表14 UnitGroupPolicy

参数

是否必选

参数类型

描述

schedule_scope

String

参数解释:

调度范围。

取值范围:

  • HYPERNODE:超节点调度

  • SLICE:柜级调度

表15 AdvancedConfig

参数

是否必选

参数类型

描述

deploy_timeout_minutes

String

参数解释:

部署超时时间。

upgrade_config

UpgradeConfig object

参数解释:

滚动升级配置

service_secret

ServiceSecret object

参数解释:

服务密钥

dynamic_routing_enable

Boolean

参数解释:

智能路由开关

strategy

String

参数解释:

智能路由策略

ems_enable

Boolean

参数解释:

EMS加速开关

metric_api_scheme

String

参数解释:

智能路由指标采集scheme

metric_api_port

String

参数解释:

智能路由指标采集端口

metric_api_path

String

参数解释:

智能路由指标采集地址

binpack_enable

Boolean

参数解释:

紧凑调度开关

graceful_shutdown_enabled

Boolean

参数解释:

优雅停机开关

container_user

String

参数解释:

指定用户

container_usergroup

String

参数解释:

指定用户组

custom_metrics_path

String

参数解释:

自定义监控采集指标地址

protocol

String

参数解释:

请求协议

约束限制:

不涉及。

取值范围:

HTTP、HTTPS。

默认取值:

不涉及。

port

String

参数解释:

端口

约束限制:

不涉及。

取值范围:

[1, 65535]。

默认取值:

不涉及。

表16 RuntimeConfig

参数

是否必选

参数类型

描述

service_invoke

ServiceInvoke object

参数解释:

服务调用时的相关配置。

约束限制:

不涉及。

service_limit

ServiceLimit object

参数解释:

服务限制信息。

约束限制:

不涉及。

service_secret

ServiceSecret object

参数解释:

服务密钥挂载。

约束限制:

不涉及。

server_task_limit

ServerTaskLimit object

参数解释:

服务任务限制信息。

表17 ServiceInvoke

参数

是否必选

参数类型

描述

port

Integer

参数解释:

服务端口号。

约束限制:

不涉及。

取值范围:

[1, 65535]。

默认取值:

不涉及。

protocol

String

参数解释:

服务请求协议。当选择WSS与WS时,服务接口会升级为WebSocket。开启WebSocket时,不支持同时设置“服务流量限制”。

约束限制:

异步服务仅支持HTTPS, HTTP。

取值范围:

HTTP:HTTP协议。

HTTPS:HTTPS协议。

WSS:WebSocket Secure协议。

WS:WebSocket协议。

默认取值:

不涉及。

auth_type

String

参数解释:

认证类型。

约束限制:

不涉及。

取值范围:

  • TOKEN:IAM Token认证。

  • API_KEY:API Key认证。

  • NONE:无认证。

默认取值:

不涉及。

internet_access_enable

Boolean

参数解释:

外网访问。

不涉及。

约束限制:

不涉及。

取值范围:

  • TRUE:要外网访问。

  • FALSE:无需内网审批。

默认取值:

不涉及。

intranet_approval_enable

Boolean

参数解释:

内网审批。

约束限制:

不涉及。

取值范围:

  • TRUE:要内网审批。

  • FALSE:无需内网审批。

默认取值:

不涉及。

dynamic_routing_enable

Boolean

参数解释:

动态路由开关。

约束限制:

不涉及。

取值范围:

  • TRUE:开启动态路由。

  • FALSE:不开启动态路由。

默认取值:

不涉及。

strategy

String

参数解释:

智能路由策略(861版本该字段在高级配置中)。

约束限制:

不涉及。

取值范围:

  • ROUND_ROBIN:轮询。

  • ORIGIN_IP_HASH:源IP哈希。

  • MIN_CONN:最小连接数。

  • MIN_FIRST_TOKEN_TIME:最小首token时延。

  • COMPOSITE: 综合负载。

  • SLO_BASED:SLO优先级。

默认取值:

不涉及。

metric_api_scheme

String

参数解释:

指标接口服务请求协议。

约束限制:

不涉及。

取值范围:

  • HTTP:HTTP协议。

  • HTTPS:HTTPS协议。

默认取值:

不涉及。

metric_api_port

String

参数解释:

指标接口端口号。

约束限制:

不涉及。

取值范围:

[1, 65535]。

默认取值:

不涉及。

metric_api_path

String

参数解释:

指标接口path。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

ems_enable

Boolean

参数解释:

是否开启EMS加速。

约束限制:

不涉及。

取值范围:

  • TRUE:开启EMS加速。

  • FALSE:不开启EMS加速。

默认取值:

不涉及。

request_retry_enable

Boolean

参数解释:

proxy支持请求重调度开关。

约束限制:

不涉及。

取值范围:

  • true:开启proxy支持请求重调度。

  • false:不开启proxy支持请求重调度。

默认取值:

false

request_retry_cnt_max

Integer

参数解释:

proxy支持请求重调度的重试次数

约束限制:

不涉及。

取值范围:

[1, 10]。

默认取值:

不涉及。

request_retry_interval_ms

Integer

参数解释:

proxy支持请求重调度的重试间隔,单位ms

约束限制:

不涉及。

取值范围:

[1, 10000]。

默认取值:

不涉及。

fuse_configs

FuseConfig object

参数解释:

熔断配置。

取值范围:

不涉及。

表18 FuseConfig

参数

是否必选

参数类型

描述

error_rate_fuse_enable

Boolean

参数解释:

错误率熔断开关。

约束限制:

不涉及。

取值范围:

  • true:开启错误率熔断。

  • false:不打开错误率熔断。

默认取值:

false:不打开错误率熔断。

error_rate_threshold

Float

参数解释:

错误率熔断阈值。

约束限制:

不涉及。

取值范围:

(0, 1](最多支持2位小数,小数点后第3位做四舍五入处理)。

默认取值:

不涉及。

表19 ServiceLimit

参数

是否必选

参数类型

描述

rate_limit

RateLimit object

参数解释:

流控相关指标。

约束限制:

不涉及。

request_size_limit

Integer

参数解释:

请求大小限制。

约束限制:

不涉及。

取值范围:

1-50M。

默认取值:

不涉及。

request_timeout

Integer

参数解释:

超时时间。

约束限制:

不涉及。

取值范围:

1到7200秒。

默认取值:

不涉及。

ip_white_list

Array of strings

参数解释:

IP白名单。

约束限制:

不涉及。

ip_black_list

Array of strings

参数解释:

IP黑名单。

约束限制:

不涉及。

表20 RateLimit

参数

是否必选

参数类型

描述

num

Integer

参数解释:

服务流量限制是指指定单位内一个服务能够被访问的次数上限。

约束限制:

不涉及。

取值范围:

1-10000。

默认取值:

不涉及。

unit

String

参数解释:

流量限制单元。

约束限制:

不涉及。

取值范围:

  • SECONDS(秒)。

  • MINUTES(分钟)。

默认取值:

不涉及。

表21 ServiceSecret

参数

是否必选

参数类型

描述

secret_enable

Boolean

参数解释:

是否启用密钥。

约束限制:

不涉及。

取值范围:

  • true:启用密钥。

  • false:不启用密钥。

默认取值:

false。

secret_type

String

参数解释:

密钥类型。

约束限制:

不涉及。

取值范围:

  • custom:自定义密钥。

  • dew:DEW密钥。

默认取值:

不涉及。

secret_volumes

Array of SecretVolume objects

参数解释:

密钥挂载。

约束限制:

上限30个。

group_enable

Boolean

参数解释:

是否启用镜像的用户组。

约束限制:

不涉及。

取值范围:

  • true:启用镜像的用户组。

  • false:不启用镜像的用户组。

默认取值:

false。

表22 SecretVolume

参数

是否必选

参数类型

描述

secret_name

String

参数解释:

密钥名称。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

secret_key

String

参数解释:

密钥key。

约束限制:

匹配一个长度在1到63之间的字符串,只能包含字母、数字、点、下划线和连字符,并且不能以两个连续的点(..)开头。

取值范围:

不涉及。

默认取值:

不涉及。

secret_value

String

参数解释:

密钥值。

约束限制:

长度在1~32768,Base64编码后的密钥值。

取值范围:

不涉及。

默认取值:

不涉及。

mount_path

String

参数解释:

挂载路径。

约束限制:

不涉及。

取值范围:

以(/)开头和结尾,可包含字母、数字、中划线、下划线,整个挂载路径长度不能超过255位。

默认取值:

不涉及。

unique_identifier

String

参数解释:

返回唯一标识。

约束限制:

不涉及。

取值范围:

由密钥key和挂载路径拼接而成。

表23 ServerTaskLimit

参数

是否必选

参数类型

描述

max_task

Integer

参数解释:

单个服务任务限制总数。

取值范围:

[0, 10000]。

表24 UpgradeConfig

参数

是否必选

参数类型

描述

type

String

参数解释:

升级类型。

约束限制:

不涉及。

取值范围:

  • ROLLING:滚动升级,默认值。

默认取值:

不涉及。

rolling_update

RollingUpdate object

参数解释:

滚动更新配置。

约束限制:

不涉及。

表25 RollingUpdate

参数

是否必选

参数类型

描述

max_surge

String

参数解释:

滚动更新时最多可以启动多少个Pod。

约束限制:

百分数类型字符串。

取值范围:

1%-100%。

默认取值:

1%。

max_unavailable

String

参数解释:

滚动更新时最多可以删除多少个Pod。

约束限制:

百分数类型字符串。

取值范围:

1%-100%。

默认取值:

1%。

表26 LtsConfiguration

参数

是否必选

参数类型

描述

status

String

参数解释:

日志服务状态。

取值范围:

  • ON:开启。

  • OFF:关闭。

type

String

参数解释:

LTS日志类型。

约束限制:

不涉及。

取值范围:

  • STDOUT:标准日志输入输出

  • EVENT:Kubernetes事件

默认取值:

不涉及。

log_group_id

String

参数解释:

日志组ID,用户选择自己已有的日志组,不填时,会自动创建。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

log_stream_id

String

参数解释:

日志流id,用户选择自己已有的日志组。不填时,会自动创建。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

表27 ScheduleConfig

参数

是否必选

参数类型

描述

duration

Integer

参数解释:

对应的时间单位的数值。

约束限制:

与time_unit共同确认时间设置的范围是1分钟~7天之间。

取值范围:

不涉及。

默认取值:

不涉及。

time_unit

String

参数解释:

时间的单位。

约束限制:

与duration共同确认时间设置的范围是1分钟~7天之间。

取值范围:

  • MINUTES:分钟。

  • HOURS:小时。

  • DAYS:天。

默认取值:

不涉及。

type

String

参数解释:

调度类型,当前仅支持取值为STOP。

约束限制:

不涉及。

取值范围:

  • STOP:停止。

默认取值:

不涉及。

响应参数

状态码:200

表28 响应Body参数

参数

参数类型

描述

id

String

参数解释:

服务ID,在创建服务时即可在返回体中获取,也可通过查询服务列表获取当前用户拥有的服务,其中service_id字段即为服务ID。

取值范围:

不涉及。

name

String

参数解释:

服务名,用户在创建服务时自定义的名称。

取值范围:

支持1-64位字符,可包含字母、中文、数字、中划线、下划线。

workspace_id

String

参数解释:

工作空间ID。

取值范围:

  • 0:默认空间ID。

  • 由数字和小写字母组成的32位字符:其他空间ID,可参考工作空间创建

type

String

参数解释:

推理服务类型。

取值范围:

  • REAL_TIME:在线服务。

  • ASYNC_REAL_TIME:异步服务。

deploy_type

String

参数解释:

部署方式。

取值范围:

  • SINGLE:单机单卡。

  • MULTI:多机多卡。

status

String

参数解释:

服务当前状态。

取值范围:

  • DEPLOYING:部署中 。

  • FAILED:失败 。

  • STOPPED:停止。

  • RUNNING:运行中。

  • DELETING:删除中 。

  • STOPPING:停止中 。

  • CONCERNING:告警 。

  • UPGRADING:升级中 。

  • ERROR:异常 。

  • INIT:待部署。

failure_reason

String

参数解释:

在线服务失败原因。

取值范围:

不涉及。

version

ServiceVersionResponse object

参数解释:

当前服务版本信息。

predict_url

Array of PredictUrlResponse objects

参数解释:

在线服务访问地址,创建服务接口无返回,详情接口中返回。

dispatcher_group_id

String

参数解释:

服务绑定的dispatcher组ID,创建服务接口无返回,详情接口中返回。

取值范围:

不涉及。

tags

Array of TagsResponse objects

参数解释:

TMS对接标签类。

deploy_timeout_minutes

Integer

参数解释:

部署超时时间。

schedule

Array of ScheduleConfigResponse objects

参数解释:

定时停止配置。

create_at

String

参数解释:

创建时间,根据创建时的当前时间自动生成。

取值范围:

毫秒级时间戳,13位数字,如1609459200000。

update_at

String

参数解释:

更新时间,根据更新时的当前时间自动生成。

取值范围:

毫秒级时间戳,13位数字,如1609459200000。

task_type

String

参数解释:

模型类型。

取值范围:

  • TEXT_GENERATION:文本生成

  • IMAGE_UNDERSTANDING:图像理解

  • VIDEO_GENERATION:视频生成

  • IMAGE_GENERATION:图像生成

  • RERANK:重排序

  • VECTOR_MODEL:向量模型

  • EMBEDDING:Embedding嵌入

provider

String

参数解释:

服务提供者的账号id(创建服务时通过X-Auth-Token-Provider请求头解析iam token而来),该值不为空时,该服务的所有更新操作需要在请求头中添加X-Auth-Token-Provider,取值为该账号id的domain级或project级token。

frozen_infos

Array of FrozenInfo objects

参数解释:

当服务或者部署被冻结时返回的冻结类型信息。

表29 ServiceVersionResponse

参数

参数类型

描述

id

String

参数解释:

版本id。

取值范围:

不涉及。

version

String

参数解释:

版本号。

取值范围:

不涉及。

description

String

参数解释:

描述。

取值范围:

不涉及。

predict_url

String

参数解释:

推理请求的访问地址。

取值范围:

不涉及。

runtime_config

RuntimeConfigResponse object

参数解释:

服务运行配置。

upgrade_config

UpgradeConfigResponse object

参数解释:

服务升级配置。

instance_groups

Array of GroupConfigResponse objects

参数解释:

服务部署信息。

lts_strategy

String

参数解释:

日志策略。

取值范围:

  • POOL:使用资源池日志插件配置的日志流。

  • AUTO_CREATE:自动创建日志流。

  • DEFAULT: 由系统决定日志策略

lts_status

String

参数解释:

部署对接lts状态。

取值范围:

  • ON:开启。

  • OFF:关闭。

lts_event_status

String

参数解释:

部署对接lts k8s事件状态。

取值范围:

  • ON:开启。

  • OFF:关闭。

log_configs

Array of LogConfigResponse objects

参数解释:

服务日志配置信息。

deploy_timeout_minutes

Integer

参数解释:

部署超时时间。

取值范围:

不涉及。

表30 RuntimeConfigResponse

参数

参数类型

描述

service_invoke

ServiceInvokeResponse object

参数解释:

服务调用时的相关配置。

service_limit

ServiceLimitResponse object

参数解释:

服务限制信息。

约束限制:

不涉及。

service_secret

ServiceSecretResponse object

参数解释:

服务密钥挂载。

server_task_limit

ServerTaskLimit object

参数解释:

服务任务限制信息。

表31 ServiceInvokeResponse

参数

参数类型

描述

port

Integer

参数解释:

服务端口号。

取值范围:

[1, 65535]。

protocol

String

参数解释:

服务请求协议。当选择WSS与WS时,服务接口会升级为WebSocket。开启WebSocket时,不支持同时设置“服务流量限制”。

取值范围:

  • HTTP:HTTP协议。

  • HTTPS:HTTPS协议。

  • WSS:WebSocket Secure协议。

  • WS:WebSocket协议。

auth_type

String

参数解释:

认证类型。

取值范围:

  • TOKEN:IAM Token认证。

  • API_KEY:API Key认证。

  • NONE:无认证。

internet_access_enable

Boolean

参数解释:

外网访问。

取值范围:

  • TRUE:要外网访问。

  • FALSE:不要外网访问。

intranet_approval_enable

Boolean

参数解释:

内网审批。

取值范围:

  • TRUE:要内网审批。

  • FALSE:不要内网审批。

dynamic_routing_enable

Boolean

参数解释:

动态路由开关。

取值范围:

  • TRUE:开启动态路由。

  • FALSE:不开启动态路由。

strategy

String

参数解释:

智能路由策略(861版本该字段在高级配置中)。

取值范围:

  • ROUND_ROBIN:轮询。

  • ORIGIN_IP_HASH:源IP哈希。

  • MIN_CONN:最小连接数。

  • MIN_FIRST_TOKEN_TIME:最小首token时延。

  • COMPOSITE:综合负载。

  • SLO_BASED:SLO优先级。

metric_api_scheme

String

参数解释:

指标接口服务请求协议。

取值范围:

  • HTTP:HTTP协议。

  • HTTPS:HTTPS协议。

metric_api_port

String

参数解释:

指标接口端口号。

取值范围:

[1, 65535]。

metric_api_path

String

参数解释:

指标接口path。

取值范围:

不涉及。

ems_enable

Boolean

参数解释:

是否开启EMS加速。

取值范围:

  • TRUE:开启EMS加速。

  • FALSE:不开启EMS加速。

request_retry_enable

Boolean

参数解释:

proxy支持请求重调度开关。

取值范围:

  • true:开启proxy支持请求重调度。

  • false:不开启proxy支持请求重调度。

request_retry_cnt_max

Integer

参数解释:

proxy支持请求重调度的重试次数

取值范围:

[1, 10]。

request_retry_interval_ms

Integer

参数解释:

proxy支持请求重调度的重试间隔,单位ms

取值范围:

[1, 10000]。

表32 FuseConfig

参数

参数类型

描述

error_rate_fuse_enable

Boolean

参数解释:

错误率熔断开关。

约束限制:

不涉及。

取值范围:

  • true:开启错误率熔断。

  • false:不打开错误率熔断。

默认取值:

false:不打开错误率熔断。

error_rate_threshold

Float

参数解释:

错误率熔断阈值。

约束限制:

不涉及。

取值范围:

(0, 1](最多支持2位小数,小数点后第3位做四舍五入处理)。

默认取值:

不涉及。

表33 ServiceLimitResponse

参数

参数类型

描述

rate_limit

RateLimitResponse object

参数解释:

流控相关指标。

request_size_limit

Integer

参数解释:

请求大小限制。

取值范围:

1-50M。

request_timeout

Integer

参数解释:

超时时间。

取值范围:

1到7200秒。

ip_white_list

Array of strings

参数解释:

IP白名单。

ip_black_list

Array of strings

参数解释:

IP黑名单。

表34 RateLimitResponse

参数

参数类型

描述

num

Integer

参数解释:

服务流量限制是指指定单位内一个服务能够被访问的次数上限。

取值范围:

1-10000。

unit

String

参数解释:

流量限制单元。

取值范围:

  • NANOS(纳秒)。

  • MICROS(微秒)。

  • MILLIS(毫秒)。

  • SECONDS(秒)。

  • MINUTES(分钟)。

  • HOURS(小时)。

  • DAYS(天)。

表35 ServiceSecretResponse

参数

参数类型

描述

secret_enable

Boolean

参数解释:

是否启用密钥。

取值范围:

  • true:启用密钥。

  • false:不启用密钥。

secret_type

String

参数解释:

密钥类型。

取值范围:

  • custom:自定义密钥。

  • dew:DEW密钥。

secret_volumes

Array of SecretVolumeResponse objects

参数解释:

密钥挂载。

约束限制:

上限30个。

group_enable

Boolean

参数解释:

是否启用镜像的用户组。

取值范围:

  • true:启用镜像的用户组。

  • false:不启用镜像的用户组。

group_id

Long

参数解释:

镜像的用户组ID。

取值范围:

1000~4294967294。

表36 SecretVolumeResponse

参数

参数类型

描述

secret_name

String

参数解释:

密钥名称。

取值范围:

长度不大于63。

secret_value

String

参数解释:

密钥值。

取值范围:

长度不大于32768。

mount_path

String

参数解释:

挂载路径。

取值范围:

不涉及。

表37 ServerTaskLimit

参数

参数类型

描述

max_task

Integer

参数解释:

单个服务任务限制总数。

取值范围:

[0, 10000]。

表38 UpgradeConfigResponse

参数

参数类型

描述

type

String

参数解释:

升级类型。

取值范围:

  • ROLLING:滚动升级,默认值。

rolling_update

RollingUpdateResponse object

参数解释:

滚动更新配置。

表39 RollingUpdateResponse

参数

参数类型

描述

max_surge

String

参数解释:

滚动更新时最多可以启动多少个Pod。

取值范围:

不涉及。

max_unavailable

String

参数解释:

滚动更新时最多可以删除多少个Pod。

取值范围:

不涉及。

表40 GroupConfigResponse

参数

参数类型

描述

id

String

参数解释:

部署ID。

取值范围:

不涉及。

name

String

参数解释:

部署名称。

取值范围:

不涉及。

pool_id

String

参数解释:

资源池ID,查询指定资源池下的服务,默认不过滤。可通过查询资源池列表获取。

取值范围:

不涉及。

count

Integer

参数解释:

部署场景下,服务实例数量。

约束限制:

不涉及。

取值范围:

[1, 128]。

默认取值:

不涉及。

system_log_dump_enable

Boolean

参数解释:

系统日志转储开关。

约束限制:

只有NPU资源池有,且逻辑池是没有的。

取值范围:

不涉及。

默认取值:

false。

unit_configs

Array of UnitConfigResponse objects

参数解释:

推理单元配置。

weight

Integer

参数解释:

权重百分比,分配到此模型的流量权重,仅当模型部署为在线服务时需要配置。

取值范围:

[0, 100]。

traffic_ratio

String

参数解释:

流量比例,单个部署实例预期接收用户的流量与总流量比值,是由流量权重配置和部署状态计算所得的值。

取值范围:

0.00%~100.00%。

secret_type

String

参数解释:

凭证类型相关配置,用户可以在此处选择使用的凭证类型(dew,agency)

约束限制:

不涉及。

取值范围:

  • dew:DEW密钥。

  • agency:临时委托凭证。

默认取值:

不涉及。

secret_name

String

参数解释:

凭证名称,用户使用dew类型凭证时可以在此处选择使用的凭证。

约束限制:

不涉及。

priority

Integer

参数解释:

服务优先级。

约束限制:

不涉及。

取值范围:

[1, 3]。

默认取值:

不涉及。

high_avail_switch

Boolean

参数解释:

高可用开关,开启后不同实例的pod将尽量均匀分布到不同的节点上。(准备下线,请使用schedule_strategy字段)

取值范围:

  • true: 高可用开启

  • false: 高可用关闭。

framework

String

参数解释:

算法框架。

取值范围:

  • COMMON: 普通在线服务。

version

String

参数解释:

服务版本号,以数字及点号组成,形如1.0.1。

约束限制:

不涉及。

取值范围:

1.0.0 ~ 99.99.99,长度不超过8位。

默认取值:

不涉及。

version_id

String

参数解释:

版本id,可通过查询version列表查询。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

status

String

参数解释:

服务当前状态。

取值范围:

  • DEPLOYING:部署中。

  • FAILED:失败。

  • STOPPED:停止。

  • RUNNING:运行中。

  • DELETING:删除中。

  • STOPPING:停止中。

  • CONCERNING:告警。

  • DELETED: 已删除。

  • RESTARTING: 重启中。

  • UPGRADING:升级中。

  • ERROR:异常。

  • INTERRUPTING:中断中。

running_count

Integer

参数解释:

部署场景下,服务运行实例数量。

约束限制:

不涉及。

取值范围:

[1, 128]。

默认取值:

不涉及。

deploy_type

String

参数解释:

部署类型。

取值范围:

  • SINGLE:单机单卡。

  • MULTI:多机多卡。

mirror_traffic_enable

Boolean

参数解释:

是否开启镜像流量。

取值范围:

不涉及。

mirror_traffic_weight

String

参数解释:

镜像流量权重。

取值范围:

50。

version_count

Integer

参数解释:

服务版本数量。

取值范围:

不涉及。

workload_type

String

参数解释:

工作负载类型。

取值范围:

不涉及。

update_at

Long

参数解释:

更新时间,根据更新时的当前时间自动生成。

取值范围:

毫秒级时间戳,13位数字。

lts_state

String

参数解释:

部署对接lts状态。

取值范围:

  • ON:开启。

  • OFF:关闭。

infer_name

String

参数解释:

部署ID。

model

ModelResponse object

参数解释:

模型相关配置,用户可以在此处选择模型及权重文件配合镜像使用。

约束限制:

不涉及。

advanced_config

AdvancedConfig object

参数解释:

部署高级配置。

约束限制:

不涉及。

description

String

参数解释:

部署描述。

create_at

String

参数解释:

创建时间,根据创建时的当前时间自动生成。

取值范围:

毫秒级时间戳,13位数字,如1609459200000。

schedule_strategy

String

参数解释:

调度策略。

取值范围:

  • HIGH_AVAILABILITY:高可用调度

  • HIGH_UTILIZATION:紧凑调度

  • HIGH_PERFORMANCE:高性能调度

表41 UnitConfigResponse

参数

参数类型

描述

id

String

参数解释:

实例单元ID。

取值范围:

不涉及。

name

String

参数解释:

实例单元名称。

取值范围:

不涉及。

role

String

参数解释:

实例单元角色。

取值范围:

  • common:表示其他角色。

custom_spec

CustomSpec object

参数解释:

自定义资源规格配置。

flavor

String

参数解释:

资源规格,根据所提供版本选择适合业务的规格。当specification为custom时表示自定义规格。由custom_spec指定部署的规格配置。

取值范围:

不涉及。

image

ImageResponse object

参数解释:

镜像配置信息,包含镜像地址,镜像来源。

models

Array of ModelResponse objects

参数解释:

模型相关配置,用户可以在此处选择模型及权重文件配合镜像使用。

files

Array of FileResponse objects

参数解释:

模型和代码相关配置,用户可以在此处选择模型及权重文件配合镜像使用以及代码所在的obs路径等。

codes

Array of CodeResponse objects

参数解释:

代码相关配置,用户可以在此处选择代码所在的obs路径等。

dumps

Array of DumpResponse objects

参数解释:

转储相关配置,用户可以在此处选择转储的目的obs路径等。

count

Integer

参数解释:

配置实例个数。

取值范围:

不涉及。

group_count

Integer

参数解释:

单元副本数,当部署类型deploy_type为SINGLE或工作负载类型workload_type为DEPLOYMENT时,该参数无效。

取值范围:

[1, 100] 或者为空。

默认取值:

默认值为1。

cmd

String

参数解释:

启动命令。

取值范围:

不涉及。

envs

Map<String,String>

参数解释:

环境变量。

readiness_health

HealthResponse object

参数解释:

就绪健康检查。

startup_health

HealthResponse object

参数解释:

启动健康检查。

liveness_health

HealthResponse object

参数解释:

存活健康检查。

port

Integer

参数解释:

端口。

取值范围:

[1,65535]。

recovery

String

参数解释:

自动重建策略,开启后,由于部署配置变更或者故障等原因导致Pod重启时,平台将按策略自动执行重建。若不开启,平台将不会主动干预处理。

取值范围:

  • Instance:部署副本重建,故障时重新拉起整个部署。

  • Role:单元重建,当部署单元内的Pod出现故障时,重启该单元内的所有Pod。

  • Pod:Pod重建,故障时重新拉起故障pod。

npu_reset_enable

Boolean

参数解释:

是否开启恢复策略。

取值范围:

  • true:开启恢复策略。

  • false:不开启恢复策略。

affinity

AffinityResponse object

参数解释:

节点亲和调度设置。

flavor_display_name

String

参数解释:

规格展示名。仅使用切分规格部署的服务返回有此字段。

取值范围:

不涉及。

termination_grace

TerminationGrace object

参数解释:

开启后,支持设置停机时间及停机命令等,避免正在处理的请求被强制中断,从而提高系统的可用性和稳定性。

约束限制:

长度不超过255。

取值范围:

- 协议范围:http/https。

- 端口范围:1-65535。

- 地址范围:仅包含字母、数字、点号(.)、中划线(-)、下划线(_)、斜杠(/)的路径,非斜杠(/)开头。

默认取值:

不涉及。

security_config

ServiceSecurityConfig object

参数解释:

启动业务容器设置信息。

取值范围:

不涉及。

group_policy

UnitGroupPolicyResponse object

参数解释:

单副本资源实例调度约束配置。

约束限制:

不涉及。

表42 CustomSpec

参数

参数类型

描述

gpu

Number

参数解释:

GPU个数。

约束限制:

不涉及。

取值范围:

支持配置小数,输入值不能小于0(最多支持2位小数,小数点后第3位做四舍五入处理)。

默认取值:

不涉及。

memory

Integer

参数解释:

内存,单位为MB。

约束限制:

不涉及。

取值范围:

仅支持整数。

默认取值:

不涉及。

cpu

Number

参数解释:

CPU核数。

约束限制:

不涉及。

取值范围:

支持配置小数,输入值不能小于0.01(最多支持2位小数,小数点后第3位做四舍五入处理)。

默认取值:

不涉及。

ascend

Integer

参数解释:

Ascend芯片个数。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

arch

String

参数解释:

架构类型。

约束限制:

不涉及。

取值范围:

枚举值:x86\arm64。

默认取值:

不涉及。

表43 ImageResponse

参数

参数类型

描述

id

String

参数解释:

镜像id。

取值范围:

不涉及。

source

String

参数解释:

镜像类别,标识镜像来源。

取值范围:

  • swr:软件仓库服务。

swr_path

String

参数解释:

镜像地址,source不同取值时,地址为不同值。

取值范围:

不涉及。

category

String

参数解释:

镜像支持的规格。

取值范围:

  • GPU:图形处理器。

  • CPU:中央处理器。

  • ASCEND:昇腾芯片。

表44 ModelResponse

参数

参数类型

描述

source

String

参数解释:

代码来源类别。

取值范围:

  • OBS:对象存储服务。

  • OBSFS:OBS的文件系统接口。

  • EFS:弹性文件服务。

  • LOCAL:挂载宿主机本地存储目录。

address

String

参数解释:

代码来源地址,格式遵循不同存储系统。

取值范围:

不涉及。

source_id

String

参数解释:

来源ID。

取值范围:

不涉及。

mount_path

String

参数解释:

挂载到容器内的路径。

约束限制:

不涉及。

取值范围:

以(/)开头和结尾,可包含字母、数字、中划线、下划线,整个挂载路径长度不能超过255位。

默认取值:

不涉及。

host_cache

Boolean

参数解释:

是否支持模型本地缓存,默认是不支持。

取值范围:

  • true:支持。

  • false:不支持。

efs_sub_path

String

参数解释:

当存储类别为EFS时,支持配置子目录。

取值范围:

不涉及。

read_only

Boolean

参数解释:

挂载权限设置,是否只读。

取值范围:

  • true:只读。

  • false:非只读。

os_warm_up

Boolean

参数解释:

OS预热。

取值范围:

  • true:预热。

  • false:不预热。

source_name

String

参数解释:

预热名称。

约束限制:

os_warm_up为true时必填。

取值范围:

支持1-64位字符,可包含字母、中文、数字、中划线、下划线。

默认取值:

不涉及。

asset_id

String

参数解释:

预置资产id。

取值范围:

支持1-64位字符,可包含字母、中文、数字、中划线、下划线。

表45 FileResponse

参数

参数类型

描述

source

String

参数解释:

代码来源类别。

取值范围:

  • OBS:对象存储服务。

  • OBSFS:OBS的文件系统接口。

  • EFS:弹性文件服务。

  • LOCAL:挂载宿主机本地存储目录。

address

String

参数解释:

代码来源地址,格式遵循不同存储系统。

取值范围:

不涉及。

mount_path

String

参数解释:

挂载到容器内的路径。

约束限制:

不涉及。

取值范围:

以(/)开头和结尾,可包含字母、数字、中划线、下划线,整个挂载路径长度不能超过255位。

默认取值:

不涉及。

host_cache

Boolean

参数解释:

是否支持模型本地缓存,默认是不支持。

取值范围:

  • true:支持。

  • false:不支持。

efs_sub_path

String

参数解释:

当存储类别为EFS时,支持配置子目录。

取值范围:

不涉及。

read_only

Boolean

参数解释:

挂载权限设置,是否只读。

取值范围:

  • true:只读。

  • false:非只读。

os_warm_up

Boolean

参数解释:

OS预热。

取值范围:

  • true:预热。

  • false:不预热。

source_name

String

参数解释:

预热名称。

约束限制:

os_warm_up为true时必填。

取值范围:

支持1-64位字符,可包含字母、中文、数字、中划线、下划线。

默认取值:

不涉及。

表46 CodeResponse

参数

参数类型

描述

source

String

参数解释:

代码来源类别。

取值范围:

  • OBS:对象存储服务。

  • OBSFS:OBS的文件系统接口。

  • EFS:弹性文件服务。

address

String

参数解释:

代码来源地址,格式遵循不同存储系统。

取值范围:

不涉及。

source_id

String

参数解释:

代码来源ID,与address二选一,当且仅当source为EFS时,可以传入sfs turbo的ID。

取值范围:

不涉及。

mount_path

String

参数解释:

挂载到容器内的路径。

约束限制:

不涉及。

取值范围:

以(/)开头和结尾,可包含字母、数字、中划线、下划线,整个挂载路径长度不能超过255位。

默认取值:

不涉及。

efs_sub_path

String

参数解释:

EFS子路径。

取值范围:

不涉及。

read_only

Boolean

参数解释:

挂载权限设置, 是否只读。

取值范围:

  • true:只读。

  • false:非只读。

表47 DumpResponse

参数

参数类型

描述

source

String

参数解释:

用户转储来源类别。

取值范围:

  • OBS:对象存储服务。

  • OBSFS:OBS的文件系统接口。

address

String

参数解释:

用户转储来源地址,格式遵循不同存储系统。

取值范围:

不涉及。

mount_path

String

参数解释:

挂载到容器内的路径,要求以/开头,后面可包含中划线,反斜杠,下划线,点号,字母,数字。

取值范围:

不涉及。

type

String

参数解释:

转储类型。

取值范围:

  • DUMP:用户自定义转储。

  • DUMP_SYS:系统转储。

表48 HealthResponse

参数

参数类型

描述

check_method

String

参数解释:

健康检查方式:HTTP 或者 EXEC(命令行)。

取值范围:

  • HTTP:超文本传输协议。

  • EXEC:命令行。

cmd

String

参数解释:

当健康检查方式为EXEC时,配置的命令行。

取值范围:

不涉及。

url

String

参数解释:

当健康检查方式为HTTP 时,配置的请求地址。

取值范围:

不涉及。

protocol

String

参数解释:

连接协议。

取值范围:

  • HTTP:HTTP协议。

  • HTTPS:HTTPS协议。

  • WSS:WebSocket Secure协议。

  • WS:WebSocket协议。

initial_delay_seconds

Integer

参数解释:

执行首次探测时,应该等待的时间。

取值范围:

不涉及。

timeout_seconds

Integer

参数解释:

执行探测的超时时间,默认1秒,最小1秒。

取值范围:

不涉及。

period_seconds

Integer

参数解释:

执行健康检查的周期时间,执行探测的频率。默认是10秒,最小1秒。

取值范围:

不涉及。

failure_threshold

Integer

参数解释:

探测成功后,至少连续探测失败多少次才被认定为失败。默认是3。最小值是1。

取值范围:

不涉及。

表49 AffinityResponse

参数

参数类型

描述

affinity_type

String

参数解释:

节点亲和类型。

取值范围:

  • AFFINITY:亲和。

  • ANTI_AFFINITY:反亲和。

required

Boolean

参数解释:

是否设置强亲和。

取值范围:

  • true:设置强亲和。

  • false:不设置强亲和。

selection_mode

String

参数解释:

选择节点方式。

取值范围:

IP。

targets

Map<String,String>

参数解释:

通过上述方式选择的列表,长度不能超过20。

表50 TerminationGrace

参数

参数类型

描述

pre_stop_cmd

String

参数解释: 停机命令在容器收到停止信号时触发,但必须在停机时间的宽限期内完成,否则容器会被强制停止。您可以通过该命令精细化操作,如关闭数据库连接、释放文件句柄、停止子进程等。

约束限制:

长度不超过255。

取值范围:

  • 协议范围:http/https。

  • 端口范围:1-65535。

  • 地址范围:仅包含字母、数字、点号(.)、中划线(-)、下划线(_)、斜杠(/)的路径,非斜杠(/)开头。

默认取值:

不涉及。

termination_grace_period_seconds

Integer

参数解释:

该参数表示 Pod 收到停止信号到强制停止的最大时间窗口,用于 Pod 执行清理操作(如关闭连接、释放资源、保存状态等)。

约束限制:

长度不超过255。

取值范围:

  • 协议范围:http/https。

  • 端口范围:1-65535。

  • 地址范围:仅包含字母、数字、点号(.)、中划线(-)、下划线(_)、斜杠(/)的路径,非斜杠(/)开头。

默认取值:

不涉及。

表51 ServiceSecurityConfig

参数

参数类型

描述

user_id

Long

参数解释:

启动业务容器时设置的user_id,默认可为空。

取值范围:

[1, 60000]。

group_id

Long

参数解释:

启动业务容器时设置的group_id,默认可为空。

取值范围:

[1, 60000]。

表52 UnitGroupPolicyResponse

参数

参数类型

描述

schedule_scope

String

参数解释:

调度范围。

取值范围:

HYPERNODE:超节点调度

SLICE:柜级调度

表53 AdvancedConfig

参数

参数类型

描述

deploy_timeout_minutes

String

参数解释:

部署超时时间。

upgrade_config

UpgradeConfig object

参数解释:

滚动升级配置

service_secret

ServiceSecret object

参数解释:

服务密钥

dynamic_routing_enable

Boolean

参数解释:

智能路由开关

strategy

String

参数解释:

智能路由策略

ems_enable

Boolean

参数解释:

EMS加速开关

metric_api_scheme

String

参数解释:

智能路由指标采集scheme

metric_api_port

String

参数解释:

智能路由指标采集端口

metric_api_path

String

参数解释:

智能路由指标采集地址

binpack_enable

Boolean

参数解释:

紧凑调度开关

graceful_shutdown_enabled

Boolean

参数解释:

优雅停机开关

container_user

String

参数解释:

指定用户

container_usergroup

String

参数解释:

指定用户组

custom_metrics_path

String

参数解释:

自定义监控采集指标地址

protocol

String

参数解释:

请求协议

约束限制:

不涉及。

取值范围:

HTTP、HTTPS。

默认取值:

不涉及。

port

String

参数解释:

端口

约束限制:

不涉及。

取值范围:

[1, 65535]。

默认取值:

不涉及。

表54 UpgradeConfig

参数

参数类型

描述

type

String

参数解释:

升级类型。

约束限制:

不涉及。

取值范围:

  • ROLLING:滚动升级,默认值。

默认取值:

不涉及。

rolling_update

RollingUpdate object

参数解释:

滚动更新配置。

约束限制:

不涉及。

表55 RollingUpdate

参数

参数类型

描述

max_surge

String

参数解释:

滚动更新时最多可以启动多少个Pod。

约束限制:

百分数类型字符串。

取值范围:

1%-100%。

默认取值:

1%。

max_unavailable

String

参数解释:

滚动更新时最多可以删除多少个Pod。

约束限制:

百分数类型字符串。

取值范围:

1%-100%。

默认取值:

1%。

表56 ServiceSecret

参数

参数类型

描述

secret_enable

Boolean

参数解释:

是否启用密钥。

约束限制:

不涉及。

取值范围:

  • true:启用密钥。

  • false:不启用密钥。

默认取值:

false。

secret_type

String

参数解释:

密钥类型。

约束限制:

不涉及。

取值范围:

  • custom:自定义密钥。

  • dew:DEW密钥。

默认取值:

不涉及。

secret_volumes

Array of SecretVolume objects

参数解释:

密钥挂载。

约束限制:

上限30个。

group_enable

Boolean

参数解释:

是否启用镜像的用户组。

约束限制:

不涉及。

取值范围:

  • true:启用镜像的用户组。

  • false:不启用镜像的用户组。

默认取值:

false。

表57 SecretVolume

参数

参数类型

描述

secret_name

String

参数解释:

密钥名称。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

secret_key

String

参数解释:

密钥key。

约束限制:

匹配一个长度在1到63之间的字符串,只能包含字母、数字、点、下划线和连字符,并且不能以两个连续的点(..)开头。

取值范围:

不涉及。

默认取值:

不涉及。

secret_value

String

参数解释:

密钥值。

约束限制:

长度在1~32768,Base64编码后的密钥值。

取值范围:

不涉及。

默认取值:

不涉及。

mount_path

String

参数解释:

挂载路径。

约束限制:

不涉及。

取值范围:

以(/)开头和结尾,可包含字母、数字、中划线、下划线,整个挂载路径长度不能超过255位。

默认取值:

不涉及。

unique_identifier

String

参数解释:

返回唯一标识。

约束限制:

不涉及。

取值范围:

由密钥key和挂载路径拼接而成。

表58 LogConfigResponse

参数

参数类型

描述

type

String

参数解释:

日志输出类型。

取值范围:

  • STDOUT:日志输出到控制台或终端。

  • EVENT:k8s事件。

status

String

参数解释:

日志服务状态。

取值范围:

  • ON:开启。

  • OFF:关闭。

log_group_id

String

参数解释:

日志组ID,用户选择自己已有的日志组,不填时,会自动创建。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

log_stream_id

String

参数解释:

日志流id,用户选择自己已有的日志组。不填时,会自动创建。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

deployment_id

String

参数解释:

日志流对应的部署ID。当日志策略为default或pool时有值。

约束限制:

不涉及。

取值范围:

不涉及。

默认取值:

不涉及。

表59 PredictUrlResponse

参数

参数类型

描述

type

String

参数解释:

访问方式。

取值范围:

  • CONSOLE:通过控制台界面访问。

  • PUBLIC:通过公网访问。

  • INTERNAL:通过内网访问。

urls

Array of strings

参数解释:

推理请求的访问地址,仅当type为REAL_TIME时,且服务部署完成后才会确保该字段有值。

表60 TagsResponse

参数

参数类型

描述

key

String

参数解释:

标签键字段。

约束限制:

不涉及。

取值范围:

长度为1~128,标签的键可以包含任意语种字母、数字、空格,以及_ . : = + - @特殊字符,但首尾不能含有空格,不能以_sys_开头。

默认取值:

不涉及。

value

String

参数解释:

标签值字段。

取值范围:

长度为255,包括字母、数字、下划线、点、斜杠、等号、加号、减号和@符号。

表61 ScheduleConfigResponse

参数

参数类型

描述

due_time

Long

参数解释:

触发时间,UTC毫秒,13位时间戳。

取值范围:

不涉及。

duration

Integer

参数解释:

对应的时间单位的数值。

取值范围:

不涉及。

time_unit

String

参数解释:

调度时间单位。

取值范围:

  • MINUTES:分钟。

  • HOURS:小时。

  • DAYS:天。

type

String

参数解释:

调度类型,当前仅支持取值为STOP。

取值范围:

  • STOP:停止。

processed

Boolean

参数解释:

表示是否处理完成。

取值范围:

  • true:该定时任务已经执行过。

  • false:该定时任务尚未执行。

表62 FrozenInfo

参数

参数类型

描述

effect

Integer

冻结后的影响。可选值如下:

  • 1:冻结后可释放

  • 2:冻结后不可释放

请求示例

修改服务配置。

PUT https://{endpoint}/v2/{project_id}/services/{service_id}

{
  "schedule" : [ {
    "time_unit" : "HOURS",
    "type" : "STOP",
    "duration" : 10
  } ],
  "id" : "123e4567-e89b-12d3-a456-426655440000",
  "name" : "service-example",
  "version" : "0.0.1",
  "deploy_timeout_minutes" : 60,
  "description" : "",
  "workspace_id" : "0",
  "group_configs" : [ {
    "framework" : "COMMON",
    "name" : "instance-example",
    "pool_id" : "pool-example",
    "weight" : 100,
    "count" : 1,
    "unit_configs" : [ {
      "image" : {
        "source" : "SWR",
        "swr_path" : "swr.cn-north-7.myhuaweicloud.com/example/helloworld-example:0.0.1"
      },
      "flavor" : "flavor-example",
      "cmd" : "/bin/bash -c start.sh",
      "count" : 1
    } ]
  } ],
  "tags" : [ ],
  "runtime_config" : {
    "service_invoke" : {
      "port" : 123,
      "protocol" : "HTTPS",
      "auth_type" : "NONE",
      "dynamic_routing_enable" : false
    },
    "service_limit" : {
      "request_size_limit" : 20,
      "request_timeout" : 30,
      "ip_white_list" : [ ],
      "ip_black_list" : [ ],
      "rate_limit" : {
        "num" : 200,
        "unit" : "SECONDS"
      }
    }
  },
  "upgrade_config" : {
    "type" : "ROLLING",
    "rolling_update" : {
      "max_surge" : "20%",
      "max_unavailable" : "20%"
    }
  }
}

响应示例

状态码:200

修改服务配置成功。

{
  "create_at" : 1733470423880,
  "failure_reason" : "",
  "id" : "123e4567-e89b-12d3-a456-426655440000",
  "name" : "infer-10",
  "schedule" : [ {
    "due_time" : 0,
    "duration" : 1,
    "processed" : false,
    "time_unit" : "HOURS",
    "type" : "STOP"
  } ],
  "status" : "DEPLOYING",
  "deploy_timeout_minutes" : 60,
  "type" : "REAL_TIME",
  "update_at" : 1733482797586,
  "version" : {
    "description" : "0.1.0版本更新",
    "id" : "0ed64919-729c-4ecc-bbdf-87381013322b",
    "instance_groups" : [ {
      "count" : 1,
      "framework" : "COMMON",
      "id" : "f702f711-1cc1-4b5b-921e-87381013322b",
      "name" : "xxxxx1",
      "pool_id" : "pool-infer-xxxx",
      "unit_configs" : [ {
        "cmd" : "",
        "codes" : [ {
          "address" : "https://example.obs.example1.com",
          "mount_path" : "/codes/",
          "source" : "EFS",
          "source_id" : "98b57430-a738-4bce-9dea-2c70eb5f1005"
        } ],
        "envs" : {
          "additionalProp1" : "string1",
          "additionalProp3" : "string2",
          "additionalProp2" : "string3"
        },
        "flavor" : "CPU: 2核 8GB",
        "id" : "8a0e84c0939b9c2101939ba30846004d",
        "image" : {
          "category" : "CPU",
          "source" : "SWR",
          "swr_path" : "swr.huaweicloud.com/atelier/pytorch_1_4:pytorch_1.4-cuda_10.1-py37-ubuntu_18.04-x86_64-041ba2e"
        },
        "models" : [ {
          "mount_path" : "/models/",
          "source" : "EFS",
          "source_id" : "98b57430-a738-4bce-9dea-2c70eb5f1005"
        } ],
        "role" : "COMMON"
      } ],
      "weight" : 100
    } ],
    "runtime_config" : {
      "service_invoke" : {
        "auth_type" : "TOKEN",
        "port" : 65534,
        "protocol" : "HTTPS",
        "dynamic_routing_enable" : false
      },
      "service_limit" : {
        "rate_limit" : {
          "num" : 1999,
          "unit" : "NANOS"
        },
        "request_size_limit" : 49,
        "request_timeout" : 1799
      }
    },
    "version" : "0.1.0"
  },
  "workspace_id" : "0"
}

状态码

状态码

描述

200

修改服务配置成功。

错误码

请参见错误码