创建服务 - CreateV2Service
功能介绍
将模型部署为在线服务,适用于用户在开发或运维过程中需要将训练好的模型部署为在线服务,以便通过API或HTTP接口提供预测或处理能力的场景。调用此接口前,用户必须具有创建服务的权限,并提供合法的模型镜像路径和完整的服务配置信息(如服务名称、模型镜像路径、资源配置、升级配置等)。调用成功后,系统将成功创建并部署服务,服务状态变为“部署中”,并生成服务的唯一ID返回给用户。服务的详细信息(如状态、创建时间、更新时间等)也会记录在系统中。如果用户没有创建服务的权限,或提供的模型镜像路径不合法,或服务配置信息不完整,调用将返回相应的错误信息。如果系统在部署过程中遇到资源不足或其他内部错误,也将返回错误信息并记录日志。
调试
您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
授权信息
账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。
- 如果使用角色与策略授权,具体权限要求请参见权限和授权项。
- 如果使用身份策略授权,需具备如下身份策略权限。
授权项
访问级别
资源类型(*为必须)
条件键
别名
依赖的授权项
modelarts::createService
Write
-
-
modelarts:service:create
modelarts:workspace:get
URI
POST /v2/{project_id}/services
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| project_id | 是 | String | 参数解释: 用户项目ID。获取方法请参见获取项目ID和名称。 约束限制: 不涉及。 取值范围: 账号的项目ID。 默认取值: 不涉及。 |
请求参数
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| X-Auth-Token | 是 | String | 参数解释: 用户Token。通过调用IAM服务获取用户Token接口获取响应消息头中X-Subject-Token的值。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| Content-Type | 是 | String | 参数解释: 消息体的类型(格式)。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| X-Auth-Token-Provider | 否 | String | 参数解释: 服务提供者的domain级或project级Token,创建服务携带该请求头时,系统将解析该token并将账号id保存为服务的提供者即provider,该服务将被系统保护,仅携带该提供者的domain级或project级Token的更新操作允许执行。通过调用IAM服务获取用户Token接口获取响应消息头中X-Subject-Token的值。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| name | 是 | String | 参数解释: 服务名,用户在创建服务时自定义的名称。 约束限制: 服务在删除之前名字不能重复。 取值范围: 支持1-64位字符,可包含字母、中文、数字、中划线、下划线。 默认取值: 不涉及。 |
| version | 否 | String | 参数解释: 服务版本号,以数字及点号组成,形如1.0.1。 约束限制: 不涉及。 取值范围: 1.0.0 ~ 99.99.99,长度不超过8位。 默认取值: 前端可不传默认设置为1.0.0。 |
| description | 否 | String | 参数解释: 服务备注。 约束限制: 不涉及。 取值范围: 长度不可以超过512,不能包含大于号,小于号。 默认取值: 默认为空。 |
| type | 是 | String | 参数解释: 推理服务类型。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| deploy_type | 是 | String | 参数解释: 部署类型。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| group_configs | 是 | Array of GroupConfig objects | 参数解释: 服务实例组配置。 约束限制: 仅创建服务时group_configs可传[]空数组,group_configs的最大元素数量为1。 |
| runtime_config | 是 | RuntimeConfig object | 参数解释: 服务运行配置。 约束限制: 不涉及。 |
| upgrade_config | 否 | UpgradeConfig object | 参数解释: 升级服务配置,仅创建服务时可不传。 约束限制: 不涉及。 |
| lts_strategy | 否 | String | 参数解释: 日志策略。 约束限制: 不涉及。 取值范围: 默认取值: AUTO_CREATE:自动创建日志流。 |
| log_configs | 否 | Array of LtsConfiguration objects | 参数解释: 日志配置。 约束限制: 当开启LTS日志的时候,STDOUT类型为必填。 数量上限为2个。 |
| tags | 否 | Array of tags objects | 参数解释: 服务标签。 约束限制: 上限20个。 |
| workspace_id | 否 | String | 参数解释: 工作空间ID。 约束限制: 不涉及。 取值范围:
默认取值: 不涉及。 |
| schedule | 否 | Array of ScheduleConfig objects | 参数解释: 定时停止配置。 约束限制: 最多支持一个定时任务。 |
| custom_metrics_path | 是 | String | 参数解释: 该参数值由英文逗号隔开的协议、端口号、地址组成,比如:[http,8080,metrics],其中地址长度不超过255 ,且需要与镜像给定的协议、地址、端口一致,否则指标无法上报。 约束限制: 长度不超过255。 取值范围: 默认取值: 不涉及。 |
| deploy_timeout_minutes | 否 | Integer | 参数解释: 服务部署超时时间,integer类型,取值在1~300 (860版本该参数在服务层级做保留兼容)。 约束限制: 不涉及。 取值范围: [0, 300]。 默认取值: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| id | 否 | String | 参数解释: 部署ID。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| name | 是 | String | 参数解释: 部署名称。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| pool_id | 否 | String | 参数解释: 资源池ID,查询指定资源池下的服务,默认不过滤。可通过查询资源池列表获取。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| count | 否 | Integer | 参数解释: 部署场景下,服务实例数量。 约束限制: 不涉及。 取值范围: [1, 128]。 默认取值: 不涉及。 |
| system_log_dump_enable | 否 | Boolean | 参数解释: 系统日志转储开关。 约束限制: 只有NPU资源池有,且逻辑池是没有的。 取值范围: 不涉及。 默认取值: false。 |
| unit_configs | 否 | Array of UnitConfig objects | 参数解释: 推理单元配置。 约束限制: 单机推理时,个数只会为1;如果是分布式推理时,根据不同框架,实例单元配置可灵活配置。 |
| weight | 是 | Integer | 参数解释: 权重百分比,分配到此模型的流量权重,仅当模型部署为在线服务时需要配置。 约束限制: 不涉及。 取值范围: [0, 100]。 默认取值: 不涉及。 |
| secret_type | 否 | String | 参数解释: 凭证类型相关配置,用户可以在此处选择使用的凭证类型(dew,agency) 约束限制: 1.使用临时委托凭证类型约束限制:集群已安装CCE容器存储(Everest)v2.4.204及以上版本,且集群版本为v1.28及以上且确保局点已启用IAM5服务。 2.若插件版本不足或集群不支持临时委托凭证,则需通过DEW服务挂载。 取值范围: 默认取值: 不涉及。 |
| secret_name | 否 | String | 参数解释: 凭证名称,用户使用dew类型凭证时可以在此处选择使用的凭证。 约束限制: 不涉及。 |
| priority | 否 | Integer | 参数解释: 服务优先级。 约束限制: 取值范围: [1, 3]。 默认取值: 不涉及。 |
| high_avail_switch | 否 | Boolean | 参数解释: 高可用开关,开启后不同实例的pod将尽量均匀分布到不同的节点上。(准备下线,请使用schedule_strategy字段) 约束限制: 不涉及 取值范围: 默认取值: true。 |
| schedule_strategy | 否 | String | 参数解释: 调度策略。 约束限制: 不涉及。 取值范围: 默认取值: HIGH_AVAILABILITY。 |
| version | 否 | String | 参数解释: 服务版本号,以数字及点号组成,形如1.0.1。 约束限制: 不涉及。 取值范围: 1.0.0 ~ 99.99.99,长度不超过8位。 默认取值: 不涉及。 |
| version_id | 否 | String | 参数解释: 版本id,可通过查询version列表查询。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| framework | 否 | String | 参数解释: 算法框架。 取值范围: |
| running_count | 否 | Integer | 参数解释: 部署场景下,服务运行实例数量。 约束限制: 不涉及。 取值范围: [1, 128]。 默认取值: 不涉及。 |
| deploy_type | 否 | String | 参数解释: 部署类型。 取值范围: |
| mirror_traffic_enable | 否 | Boolean | 参数解释: 是否开启镜像流量。 取值范围: 不涉及。 |
| mirror_traffic_weight | 否 | String | 参数解释: 镜像流量权重。 取值范围: 50。 |
| version_count | 否 | Integer | 参数解释: 服务版本数量。 取值范围: 不涉及。 |
| update_at | 否 | Long | 参数解释: 更新时间,根据更新时的当前时间自动生成。 取值范围: 毫秒级时间戳,13位数字。 |
| model | 否 | Model object | 参数解释: 推理单元共用模型相关配置,用户可以在此处选择模型及权重文件配合镜像使用,此配置对所有推理单元生效。 约束限制: 不涉及。 |
| advanced_config | 否 | AdvancedConfig object | 参数解释: 部署高级配置。 约束限制: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| id | 否 | String | 参数解释: 实例单元ID。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| name | 否 | String | 参数解释: 实例单元角色名称。 约束限制: 最大长度为16字符,且需满足正则:^[a-z0-9]([-a-z0-9]*[a-z0-9])?$ 默认取值: 不涉及。 |
| role | 否 | String | 参数解释: 实例单元角色。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| flavor | 否 | String | 参数解释: 资源规格,根据所提供版本选择适合业务的规格。当specification为custom为自定义规格。由custom_spec指定部署的规格配置。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| image | 是 | Image object | 参数解释: 镜像配置信息,包含镜像地址,镜像来源。 约束限制: 不涉及。 |
| models | 否 | Array of Model objects | 参数解释: 废弃参数,推荐使用files进行模型相关配置。 模型相关配置,用户可以在此处选择模型及权重文件配合镜像使用。 约束限制: 不涉及。 |
| codes | 否 | Array of Code objects | 参数解释: 废弃参数,推荐使用files进行代码相关配置。 代码相关配置,用户可以在此处选择代码所在的obs路径等。 约束限制: 不涉及。 |
| files | 否 | Array of File objects | 参数解释: 模型和代码相关配置,用户可以在此处选择模型及权重文件配合镜像使用以及代码所在的obs路径等。 约束限制: 不涉及。 |
| dumps | 否 | Array of Dump objects | 参数解释: 用户转储配置,用户可以在此处选择要转储的目的obs。 约束限制: 最多配置20组。 |
| count | 是 | Integer | 参数解释: 配置实例个数。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| cmd | 否 | String | 参数解释: 启动命令。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| envs | 否 | Map<String,String> | 参数解释: 环境变量。 约束限制: 变量键长度不大于64,由字母、数字、下划线、中划线、点组成,不能以数字开头。值的输入内容不能存在HTML标签,包括<^>。 |
| readiness_health | 否 | Health object | 参数解释: 就绪健康检查。 约束限制: 不涉及。 |
| startup_health | 否 | Health object | 参数解释: 启动健康检查。 约束限制: 不涉及。 |
| liveness_health | 否 | Health object | 参数解释: 存活健康检查。 取值范围: 不涉及。 |
| port | 否 | Integer | 参数解释: 端口。 约束限制: 不涉及。 取值范围: [1,65535]。 默认取值: 不涉及。 |
| recovery | 否 | String | 参数解释: 自动重建策略,开启后,由于部署配置变更或者故障等原因导致Pod重启时,平台将按策略自动执行重建。若不开启,平台将不会主动干预处理。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| npu_reset_enable | 否 | Boolean | 参数解释: 是否开启恢复策略。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| group_count | 否 | Integer | 参数解释: 单元副本数,当部署类型deploy_type为SINGLE或工作负载类型workload_type为DEPLOYMENT时,该参数无效。 约束限制: 不涉及。 取值范围: [1, 100] 或者为空。 默认取值: 默认值为1。 |
| affinity | 否 | Affinity object | 参数解释: 节点亲和调度设置。 约束限制: 不涉及。 |
| group_policy | 否 | UnitGroupPolicy object | 参数解释: 单副本资源实例调度约束配置。 约束限制: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| gpu | 否 | Number | 参数解释: GPU个数。 约束限制: 不涉及。 取值范围: 支持配置小数,输入值不能小于0(最多支持2位小数,小数点后第3位做四舍五入处理)。 默认取值: 不涉及。 |
| memory | 否 | Integer | 参数解释: 内存,单位为MB。 约束限制: 不涉及。 取值范围: 仅支持整数。 默认取值: 不涉及。 |
| cpu | 否 | Number | 参数解释: CPU核数。 约束限制: 不涉及。 取值范围: 支持配置小数,输入值不能小于0.01(最多支持2位小数,小数点后第3位做四舍五入处理)。 默认取值: 不涉及。 |
| ascend | 否 | Integer | 参数解释: Ascend芯片个数。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| arch | 否 | String | 参数解释: 架构类型。 约束限制: 不涉及。 取值范围: 枚举值:x86\arm64。 默认取值: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| id | 否 | String | 参数解释: 镜像ID。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| source | 是 | String | 参数解释: 镜像类别,标识镜像来源。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| swr_path | 是 | String | 参数解释: 镜像地址,source不同取值时,地址为不同值。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| category | 否 | String | 参数解释: 镜像支持的规格。 约束限制: 不涉及。 取值范围: 默认取值: CPU。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| source | 是 | String | 参数解释: 代码来源类别。 约束限制: 不涉及。 取值范围: 如下参数不区分大小写 默认取值: 不涉及。 |
| address | 否 | String | 参数解释: 代码来源地址,格式遵循不同存储系统。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| mount_path | 是 | String | 参数解释: 挂载到容器内的路径。 约束限制: 不涉及。 取值范围: 以(/)开头和结尾,可包含字母、数字、中划线、下划线,整个挂载路径长度不能超过255位。 默认取值: 不涉及。 |
| host_cache | 否 | Boolean | 参数解释: 是否支持模型本地缓存,默认是不支持。 约束限制: 不涉及。 取值范围: 默认取值: false。 |
| efs_sub_path | 否 | String | 参数解释: 当存储类别为EFS时,支持配置子目录。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| read_only | 否 | Boolean | 参数解释: 挂载权限设置,是否只读。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| os_warm_up | 否 | Boolean | 参数解释: OS预热。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| source_name | 否 | String | 参数解释: 预热名称。 约束限制: os_warm_up为true时必填。 取值范围: 支持1-64位字符,可包含字母、中文、数字、中划线、下划线。 默认取值: 不涉及。 |
| asset_id | 否 | String | 参数解释: 预置资产id。 约束限制: 使用预置资产时必填。 取值范围: 支持1-64位字符,可包含字母、中文、数字、中划线、下划线。 默认取值: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| source | 是 | String | 参数解释: 代码来源类别。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| address | 否 | String | 参数解释: 代码来源地址,格式遵循不同存储系统。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| source_id | 否 | String | 参数解释: 代码来源ID,与address二选一,当且仅当source为EFS时,可以传入sfs turbo的ID。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| mount_path | 是 | String | 参数解释: 挂载到容器内的路径。 约束限制: 不涉及。 取值范围: 以(/)开头和结尾,可包含字母、数字、中划线、下划线,整个挂载路径长度不能超过255位。 默认取值: 不涉及。 |
| efs_sub_path | 否 | String | 参数解释: EFS子路径。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| read_only | 否 | Boolean | 参数解释: 挂载权限设置, 是否只读。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| source | 是 | String | 参数解释: 代码来源类别。 约束限制: 不涉及。 取值范围: 如下参数不区分大小写 默认取值: 不涉及。 |
| address | 否 | String | 参数解释: 代码来源地址,格式遵循不同存储系统。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| mount_path | 是 | String | 参数解释: 挂载到容器内的路径。 约束限制: 不涉及。 取值范围: 以(/)开头和结尾,可包含字母、数字、中划线、下划线,整个挂载路径长度不能超过255位。 默认取值: 不涉及。 |
| host_cache | 否 | Boolean | 参数解释: 是否支持模型本地缓存,默认是不支持。 约束限制: 不涉及。 取值范围: 默认取值: false。 |
| efs_sub_path | 否 | String | 参数解释: 当存储类别为EFS时,支持配置子目录。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| read_only | 否 | Boolean | 参数解释: 挂载权限设置,是否只读。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| os_warm_up | 否 | Boolean | 参数解释: OS预热。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| source_name | 否 | String | 参数解释: 预热名称。 约束限制: os_warm_up为true时必填。 取值范围: 支持1-64位字符,可包含字母、中文、数字、中划线、下划线。 默认取值: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| source | 是 | String | 参数解释: 转储挂载目录来源类别。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| address | 否 | String | 参数解释: 转储挂载目录来源地址,支持https或obs协议的obs地址。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| mount_path | 是 | String | 参数解释: 挂载到容器内的路径,要求以/开头,后面可包含中划线,反斜杠,下划线,点号,字母,数字。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| check_method | 否 | String | 参数解释: 健康检查方式:HTTP 或者 EXEC(命令行)。 约束限制: 不涉及。 取值范围: 默认取值: 创建的时候,check_method不传值,默认:check_method。 更新的时候,check_method不传值,会报错。 |
| cmd | 否 | String | 参数解释: 当健康检查方式为EXEC时,配置的命令行。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| url | 否 | String | 参数解释: 当健康检查方式为HTTP 时,配置的请求地址。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| protocol | 否 | String | 参数解释: 连接协议。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| initial_delay_seconds | 是 | Integer | 参数解释: 执行首次探测时,应该等待的时间。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 30。 |
| timeout_seconds | 是 | Integer | 参数解释: 执行探测的超时时间,默认1秒,最小1秒。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| period_seconds | 是 | Integer | 参数解释: 执行健康检查的周期时间,执行探测的频率。默认是10秒,最小1秒。 约束限制: 不涉及。 取值范围: 最小值为1秒。 默认取值: 默认值为10秒。 |
| failure_threshold | 是 | Integer | 参数解释: 探测成功后,至少连续探测失败多少次才被认定为失败。默认是3。最小值是1。 约束限制: 不涉及。 取值范围: 最小值为1。 默认取值: 默认值为3。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| affinity_type | 是 | String | 参数解释: 节点亲和类型。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| required | 是 | Boolean | 参数解释: 是否设置强亲和。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| selection_mode | 是 | String | 参数解释: 选择节点方式。 约束限制: 不涉及。 取值范围: IP 默认取值: 不涉及。 |
| targets | 是 | Map<String,String> | 参数解释: 通过上述方式选择的列表,长度不能超过20。 约束限制: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| deploy_timeout_minutes | 否 | String | 参数解释: 部署超时时间。 |
| upgrade_config | 否 | UpgradeConfig object | 参数解释: 滚动升级配置 |
| service_secret | 否 | ServiceSecret object | 参数解释: 服务密钥 |
| dynamic_routing_enable | 否 | Boolean | 参数解释: 智能路由开关 |
| strategy | 否 | String | 参数解释: 智能路由策略 |
| ems_enable | 否 | Boolean | 参数解释: EMS加速开关 |
| metric_api_scheme | 否 | String | 参数解释: 智能路由指标采集scheme |
| metric_api_port | 否 | String | 参数解释: 智能路由指标采集端口 |
| metric_api_path | 否 | String | 参数解释: 智能路由指标采集地址 |
| binpack_enable | 否 | Boolean | 参数解释: 紧凑调度开关 |
| graceful_shutdown_enabled | 否 | Boolean | 参数解释: 优雅停机开关 |
| container_user | 否 | String | 参数解释: 指定用户 |
| container_usergroup | 否 | String | 参数解释: 指定用户组 |
| custom_metrics_path | 否 | String | 参数解释: 自定义监控采集指标地址 |
| protocol | 否 | String | 参数解释: 请求协议 约束限制: 不涉及。 取值范围: HTTP、HTTPS。 默认取值: 不涉及。 |
| port | 是 | String | 参数解释: 端口 约束限制: 不涉及。 取值范围: [1, 65535]。 默认取值: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| service_invoke | 是 | ServiceInvoke object | 参数解释: 服务调用时的相关配置。 约束限制: 不涉及。 |
| service_limit | 是 | ServiceLimit object | 参数解释: 服务限制信息。 约束限制: 不涉及。 |
| service_secret | 否 | ServiceSecret object | 参数解释: 服务密钥挂载。 约束限制: 不涉及。 |
| server_task_limit | 否 | ServerTaskLimit object | 参数解释: 服务任务限制信息。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| port | 是 | Integer | 参数解释: 服务端口号。 约束限制: 不涉及。 取值范围: [1, 65535]。 默认取值: 不涉及。 |
| protocol | 是 | String | 参数解释: 服务请求协议。当选择WSS与WS时,服务接口会升级为WebSocket。开启WebSocket时,不支持同时设置“服务流量限制”。 约束限制: 异步服务仅支持HTTPS, HTTP。 取值范围: HTTP:HTTP协议。 HTTPS:HTTPS协议。 WSS:WebSocket Secure协议。 WS:WebSocket协议。 默认取值: 不涉及。 |
| auth_type | 是 | String | 参数解释: 认证类型。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| internet_access_enable | 否 | Boolean | 参数解释: 外网访问。 不涉及。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| intranet_approval_enable | 否 | Boolean | 参数解释: 内网审批。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| dynamic_routing_enable | 否 | Boolean | 参数解释: 动态路由开关。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| strategy | 否 | String | 参数解释: 智能路由策略(861版本该字段在高级配置中)。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| metric_api_scheme | 否 | String | 参数解释: 指标接口服务请求协议。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| metric_api_port | 否 | String | 参数解释: 指标接口端口号。 约束限制: 不涉及。 取值范围: [1, 65535]。 默认取值: 不涉及。 |
| metric_api_path | 否 | String | 参数解释: 指标接口path。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| ems_enable | 否 | Boolean | 参数解释: 是否开启EMS加速。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| request_retry_enable | 否 | Boolean | 参数解释: proxy支持请求重调度开关。 约束限制: 不涉及。 取值范围: 默认取值: false |
| request_retry_cnt_max | 否 | Integer | 参数解释: proxy支持请求重调度的重试次数 约束限制: 不涉及。 取值范围: [1, 10]。 默认取值: 不涉及。 |
| request_retry_interval_ms | 否 | Integer | 参数解释: proxy支持请求重调度的重试间隔,单位ms 约束限制: 不涉及。 取值范围: [1, 10000]。 默认取值: 不涉及。 |
| fuse_configs | 否 | FuseConfig object | 参数解释: 熔断配置。 取值范围: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| error_rate_fuse_enable | 否 | Boolean | 参数解释: 错误率熔断开关。 约束限制: 不涉及。 取值范围: 默认取值: false:不打开错误率熔断。 |
| error_rate_threshold | 否 | Float | 参数解释: 错误率熔断阈值。 约束限制: 不涉及。 取值范围: (0, 1](最多支持2位小数,小数点后第3位做四舍五入处理)。 默认取值: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| rate_limit | 是 | RateLimit object | 参数解释: 流控相关指标。 约束限制: 不涉及。 |
| request_size_limit | 是 | Integer | 参数解释: 请求大小限制。 约束限制: 不涉及。 取值范围: 1-50M。 默认取值: 不涉及。 |
| request_timeout | 是 | Integer | 参数解释: 超时时间。 约束限制: 不涉及。 取值范围: 1到7200秒。 默认取值: 不涉及。 |
| ip_white_list | 否 | Array of strings | 参数解释: IP白名单。 约束限制: 不涉及。 |
| ip_black_list | 否 | Array of strings | 参数解释: IP黑名单。 约束限制: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| num | 是 | Integer | 参数解释: 服务流量限制是指指定单位内一个服务能够被访问的次数上限。 约束限制: 不涉及。 取值范围: 1-10000。 默认取值: 不涉及。 |
| unit | 是 | String | 参数解释: 流量限制单元。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| secret_enable | 否 | Boolean | 参数解释: 是否启用密钥。 约束限制: 不涉及。 取值范围: 默认取值: false。 |
| secret_type | 否 | String | 参数解释: 密钥类型。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| secret_volumes | 否 | Array of SecretVolume objects | 参数解释: 密钥挂载。 约束限制: 上限30个。 |
| group_enable | 否 | Boolean | 参数解释: 是否启用镜像的用户组。 约束限制: 不涉及。 取值范围: 默认取值: false。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| secret_name | 否 | String | 参数解释: 密钥名称。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| secret_key | 否 | String | 参数解释: 密钥key。 约束限制: 匹配一个长度在1到63之间的字符串,只能包含字母、数字、点、下划线和连字符,并且不能以两个连续的点(..)开头。 取值范围: 不涉及。 默认取值: 不涉及。 |
| secret_value | 否 | String | 参数解释: 密钥值。 约束限制: 长度在1~32768,Base64编码后的密钥值。 取值范围: 不涉及。 默认取值: 不涉及。 |
| mount_path | 是 | String | 参数解释: 挂载路径。 约束限制: 不涉及。 取值范围: 以(/)开头和结尾,可包含字母、数字、中划线、下划线,整个挂载路径长度不能超过255位。 默认取值: 不涉及。 |
| unique_identifier | 否 | String | 参数解释: 返回唯一标识。 约束限制: 不涉及。 取值范围: 由密钥key和挂载路径拼接而成。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| type | 否 | String | 参数解释: 升级类型。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| rolling_update | 否 | RollingUpdate object | 参数解释: 滚动更新配置。 约束限制: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| max_surge | 否 | String | 参数解释: 滚动更新时最多可以启动多少个Pod。 约束限制: 百分数类型字符串。 取值范围: 1%-100%。 默认取值: 1%。 |
| max_unavailable | 否 | String | 参数解释: 滚动更新时最多可以删除多少个Pod。 约束限制: 百分数类型字符串。 取值范围: 1%-100%。 默认取值: 1%。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| status | 是 | String | 参数解释: 日志服务状态。 取值范围: |
| type | 是 | String | 参数解释: LTS日志类型。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| log_group_id | 否 | String | 参数解释: 日志组ID,用户选择自己已有的日志组,不填时,会自动创建。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| log_stream_id | 否 | String | 参数解释: 日志流id,用户选择自己已有的日志组。不填时,会自动创建。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| 参数 | 是否必选 | 参数类型 | 描述 |
|---|---|---|---|
| key | 否 | String | 参数解释: 标签键字段。 约束限制: 不涉及。 取值范围: 长度为1~128,标签的键可以包含任意语种字母、数字、空格,以及_ . : = + - @特殊字符,但首尾不能含有空格,不能以_sys_开头。 默认取值: 不涉及。 |
| value | 否 | String | 参数解释: 标签value值。 约束限制: 最大长度为256。 取值范围: 任意数量的字母、数字、空格、下划线、点、冒号、斜杠、等号、加号、减号、@等字符开始和结束的字符串。 默认取值: 不涉及。 |
响应参数
状态码:200
| 参数 | 参数类型 | 描述 |
|---|---|---|
| id | String | 参数解释: 服务ID,在创建服务时即可在返回体中获取,也可通过查询服务列表获取当前用户拥有的服务,其中service_id字段即为服务ID。 取值范围: 不涉及。 |
| name | String | 参数解释: 服务名,用户在创建服务时自定义的名称。 取值范围: 支持1-64位字符,可包含字母、中文、数字、中划线、下划线。 |
| workspace_id | String | 参数解释: 工作空间ID。 取值范围:
|
| type | String | 参数解释: 推理服务类型。 取值范围: |
| deploy_type | String | 参数解释: 部署方式。 取值范围: |
| status | String | 参数解释: 服务当前状态。 取值范围: |
| failure_reason | String | 参数解释: 在线服务失败原因。 取值范围: 不涉及。 |
| version | ServiceVersionResponse object | 参数解释: 当前服务版本信息。 |
| predict_url | Array of PredictUrlResponse objects | 参数解释: 在线服务访问地址,创建服务接口无返回,详情接口中返回。 |
| dispatcher_group_id | String | 参数解释: 服务绑定的dispatcher组ID,创建服务接口无返回,详情接口中返回。 取值范围: 不涉及。 |
| tags | Array of TagsResponse objects | 参数解释: TMS对接标签类。 |
| deploy_timeout_minutes | Integer | 参数解释: 部署超时时间。 |
| schedule | Array of ScheduleConfigResponse objects | 参数解释: 定时停止配置。 |
| create_at | String | 参数解释: 创建时间,根据创建时的当前时间自动生成。 取值范围: 毫秒级时间戳,13位数字,如1609459200000。 |
| update_at | String | 参数解释: 更新时间,根据更新时的当前时间自动生成。 取值范围: 毫秒级时间戳,13位数字,如1609459200000。 |
| task_type | String | 参数解释: 模型类型。 取值范围: |
| provider | String | 参数解释: 服务提供者的账号id(创建服务时通过X-Auth-Token-Provider请求头解析iam token而来),该值不为空时,该服务的所有更新操作需要在请求头中添加X-Auth-Token-Provider,取值为该账号id的domain级或project级token。 |
| frozen_infos | Array of FrozenInfo objects | 参数解释: 当服务或者部署被冻结时返回的冻结类型信息。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| id | String | 参数解释: 版本id。 取值范围: 不涉及。 |
| version | String | 参数解释: 版本号。 取值范围: 不涉及。 |
| description | String | 参数解释: 描述。 取值范围: 不涉及。 |
| predict_url | String | 参数解释: 推理请求的访问地址。 取值范围: 不涉及。 |
| runtime_config | RuntimeConfigResponse object | 参数解释: 服务运行配置。 |
| upgrade_config | UpgradeConfigResponse object | 参数解释: 服务升级配置。 |
| instance_groups | Array of GroupConfigResponse objects | 参数解释: 服务部署信息。 |
| lts_strategy | String | 参数解释: 日志策略。 取值范围: |
| lts_status | String | 参数解释: 部署对接lts状态。 取值范围: |
| lts_event_status | String | 参数解释: 部署对接lts k8s事件状态。 取值范围: |
| log_configs | Array of LogConfigResponse objects | 参数解释: 服务日志配置信息。 |
| deploy_timeout_minutes | Integer | 参数解释: 部署超时时间。 取值范围: 不涉及。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| service_invoke | ServiceInvokeResponse object | 参数解释: 服务调用时的相关配置。 |
| service_limit | ServiceLimitResponse object | 参数解释: 服务限制信息。 约束限制: 不涉及。 |
| service_secret | ServiceSecretResponse object | 参数解释: 服务密钥挂载。 |
| server_task_limit | ServerTaskLimit object | 参数解释: 服务任务限制信息。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| port | Integer | 参数解释: 服务端口号。 取值范围: [1, 65535]。 |
| protocol | String | 参数解释: 服务请求协议。当选择WSS与WS时,服务接口会升级为WebSocket。开启WebSocket时,不支持同时设置“服务流量限制”。 取值范围: |
| auth_type | String | 参数解释: 认证类型。 取值范围: |
| internet_access_enable | Boolean | 参数解释: 外网访问。 取值范围: |
| intranet_approval_enable | Boolean | 参数解释: 内网审批。 取值范围: |
| dynamic_routing_enable | Boolean | 参数解释: 动态路由开关。 取值范围: |
| strategy | String | 参数解释: 智能路由策略(861版本该字段在高级配置中)。 取值范围: |
| metric_api_scheme | String | 参数解释: 指标接口服务请求协议。 取值范围: |
| metric_api_port | String | 参数解释: 指标接口端口号。 取值范围: [1, 65535]。 |
| metric_api_path | String | 参数解释: 指标接口path。 取值范围: 不涉及。 |
| ems_enable | Boolean | 参数解释: 是否开启EMS加速。 取值范围: |
| request_retry_enable | Boolean | 参数解释: proxy支持请求重调度开关。 取值范围: |
| request_retry_cnt_max | Integer | 参数解释: proxy支持请求重调度的重试次数 取值范围: [1, 10]。 |
| request_retry_interval_ms | Integer | 参数解释: proxy支持请求重调度的重试间隔,单位ms 取值范围: [1, 10000]。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| error_rate_fuse_enable | Boolean | 参数解释: 错误率熔断开关。 约束限制: 不涉及。 取值范围: 默认取值: false:不打开错误率熔断。 |
| error_rate_threshold | Float | 参数解释: 错误率熔断阈值。 约束限制: 不涉及。 取值范围: (0, 1](最多支持2位小数,小数点后第3位做四舍五入处理)。 默认取值: 不涉及。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| rate_limit | RateLimitResponse object | 参数解释: 流控相关指标。 |
| request_size_limit | Integer | 参数解释: 请求大小限制。 取值范围: 1-50M。 |
| request_timeout | Integer | 参数解释: 超时时间。 取值范围: 1到7200秒。 |
| ip_white_list | Array of strings | 参数解释: IP白名单。 |
| ip_black_list | Array of strings | 参数解释: IP黑名单。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| num | Integer | 参数解释: 服务流量限制是指指定单位内一个服务能够被访问的次数上限。 取值范围: 1-10000。 |
| unit | String | 参数解释: 流量限制单元。 取值范围: |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| secret_enable | Boolean | 参数解释: 是否启用密钥。 取值范围: |
| secret_type | String | 参数解释: 密钥类型。 取值范围: |
| secret_volumes | Array of SecretVolumeResponse objects | 参数解释: 密钥挂载。 约束限制: 上限30个。 |
| group_enable | Boolean | 参数解释: 是否启用镜像的用户组。 取值范围: |
| group_id | Long | 参数解释: 镜像的用户组ID。 取值范围: 1000~4294967294。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| secret_name | String | 参数解释: 密钥名称。 取值范围: 长度不大于63。 |
| secret_value | String | 参数解释: 密钥值。 取值范围: 长度不大于32768。 |
| mount_path | String | 参数解释: 挂载路径。 取值范围: 不涉及。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| type | String | 参数解释: 升级类型。 取值范围: |
| rolling_update | RollingUpdateResponse object | 参数解释: 滚动更新配置。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| max_surge | String | 参数解释: 滚动更新时最多可以启动多少个Pod。 取值范围: 不涉及。 |
| max_unavailable | String | 参数解释: 滚动更新时最多可以删除多少个Pod。 取值范围: 不涉及。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| id | String | 参数解释: 部署ID。 取值范围: 不涉及。 |
| name | String | 参数解释: 部署名称。 取值范围: 不涉及。 |
| pool_id | String | 参数解释: 资源池ID,查询指定资源池下的服务,默认不过滤。可通过查询资源池列表获取。 取值范围: 不涉及。 |
| count | Integer | 参数解释: 部署场景下,服务实例数量。 约束限制: 不涉及。 取值范围: [1, 128]。 默认取值: 不涉及。 |
| system_log_dump_enable | Boolean | 参数解释: 系统日志转储开关。 约束限制: 只有NPU资源池有,且逻辑池是没有的。 取值范围: 不涉及。 默认取值: false。 |
| unit_configs | Array of UnitConfigResponse objects | 参数解释: 推理单元配置。 |
| weight | Integer | 参数解释: 权重百分比,分配到此模型的流量权重,仅当模型部署为在线服务时需要配置。 取值范围: [0, 100]。 |
| traffic_ratio | String | 参数解释: 流量比例,单个部署实例预期接收用户的流量与总流量比值,是由流量权重配置和部署状态计算所得的值。 取值范围: 0.00%~100.00%。 |
| secret_type | String | 参数解释: 凭证类型相关配置,用户可以在此处选择使用的凭证类型(dew,agency) 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| secret_name | String | 参数解释: 凭证名称,用户使用dew类型凭证时可以在此处选择使用的凭证。 约束限制: 不涉及。 |
| priority | Integer | 参数解释: 服务优先级。 约束限制: 不涉及。 取值范围: [1, 3]。 默认取值: 不涉及。 |
| high_avail_switch | Boolean | 参数解释: 高可用开关,开启后不同实例的pod将尽量均匀分布到不同的节点上。(准备下线,请使用schedule_strategy字段) 取值范围: |
| framework | String | 参数解释: 算法框架。 取值范围: |
| version | String | 参数解释: 服务版本号,以数字及点号组成,形如1.0.1。 约束限制: 不涉及。 取值范围: 1.0.0 ~ 99.99.99,长度不超过8位。 默认取值: 不涉及。 |
| version_id | String | 参数解释: 版本id,可通过查询version列表查询。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| status | String | 参数解释: 服务当前状态。 取值范围: |
| running_count | Integer | 参数解释: 部署场景下,服务运行实例数量。 约束限制: 不涉及。 取值范围: [1, 128]。 默认取值: 不涉及。 |
| deploy_type | String | 参数解释: 部署类型。 取值范围: |
| mirror_traffic_enable | Boolean | 参数解释: 是否开启镜像流量。 取值范围: 不涉及。 |
| mirror_traffic_weight | String | 参数解释: 镜像流量权重。 取值范围: 50。 |
| version_count | Integer | 参数解释: 服务版本数量。 取值范围: 不涉及。 |
| workload_type | String | 参数解释: 工作负载类型。 取值范围: 不涉及。 |
| update_at | Long | 参数解释: 更新时间,根据更新时的当前时间自动生成。 取值范围: 毫秒级时间戳,13位数字。 |
| lts_state | String | 参数解释: 部署对接lts状态。 取值范围: |
| infer_name | String | 参数解释: 部署ID。 |
| model | ModelResponse object | 参数解释: 模型相关配置,用户可以在此处选择模型及权重文件配合镜像使用。 约束限制: 不涉及。 |
| advanced_config | AdvancedConfig object | 参数解释: 部署高级配置。 约束限制: 不涉及。 |
| description | String | 参数解释: 部署描述。 |
| create_at | String | 参数解释: 创建时间,根据创建时的当前时间自动生成。 取值范围: 毫秒级时间戳,13位数字,如1609459200000。 |
| schedule_strategy | String | 参数解释: 调度策略。 取值范围: |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| id | String | 参数解释: 实例单元ID。 取值范围: 不涉及。 |
| name | String | 参数解释: 实例单元名称。 取值范围: 不涉及。 |
| role | String | 参数解释: 实例单元角色。 取值范围: |
| custom_spec | CustomSpec object | 参数解释: 自定义资源规格配置。 |
| flavor | String | 参数解释: 资源规格,根据所提供版本选择适合业务的规格。当specification为custom时表示自定义规格。由custom_spec指定部署的规格配置。 取值范围: 不涉及。 |
| image | ImageResponse object | 参数解释: 镜像配置信息,包含镜像地址,镜像来源。 |
| models | Array of ModelResponse objects | 参数解释: 模型相关配置,用户可以在此处选择模型及权重文件配合镜像使用。 |
| files | Array of FileResponse objects | 参数解释: 模型和代码相关配置,用户可以在此处选择模型及权重文件配合镜像使用以及代码所在的obs路径等。 |
| codes | Array of CodeResponse objects | 参数解释: 代码相关配置,用户可以在此处选择代码所在的obs路径等。 |
| dumps | Array of DumpResponse objects | 参数解释: 转储相关配置,用户可以在此处选择转储的目的obs路径等。 |
| count | Integer | 参数解释: 配置实例个数。 取值范围: 不涉及。 |
| group_count | Integer | 参数解释: 单元副本数,当部署类型deploy_type为SINGLE或工作负载类型workload_type为DEPLOYMENT时,该参数无效。 取值范围: [1, 100] 或者为空。 默认取值: 默认值为1。 |
| cmd | String | 参数解释: 启动命令。 取值范围: 不涉及。 |
| envs | Map<String,String> | 参数解释: 环境变量。 |
| readiness_health | HealthResponse object | 参数解释: 就绪健康检查。 |
| startup_health | HealthResponse object | 参数解释: 启动健康检查。 |
| liveness_health | HealthResponse object | 参数解释: 存活健康检查。 |
| port | Integer | 参数解释: 端口。 取值范围: [1,65535]。 |
| recovery | String | 参数解释: 自动重建策略,开启后,由于部署配置变更或者故障等原因导致Pod重启时,平台将按策略自动执行重建。若不开启,平台将不会主动干预处理。 取值范围: |
| npu_reset_enable | Boolean | 参数解释: 是否开启恢复策略。 取值范围: |
| affinity | AffinityResponse object | 参数解释: 节点亲和调度设置。 |
| flavor_display_name | String | 参数解释: 规格展示名。仅使用切分规格部署的服务返回有此字段。 取值范围: 不涉及。 |
| termination_grace | TerminationGrace object | 参数解释: 开启后,支持设置停机时间及停机命令等,避免正在处理的请求被强制中断,从而提高系统的可用性和稳定性。 约束限制: 长度不超过255。 取值范围: - 协议范围:http/https。 - 端口范围:1-65535。 - 地址范围:仅包含字母、数字、点号(.)、中划线(-)、下划线(_)、斜杠(/)的路径,非斜杠(/)开头。 默认取值: 不涉及。 |
| security_config | ServiceSecurityConfig object | 参数解释: 启动业务容器设置信息。 取值范围: 不涉及。 |
| group_policy | UnitGroupPolicyResponse object | 参数解释: 单副本资源实例调度约束配置。 约束限制: 不涉及。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| gpu | Number | 参数解释: GPU个数。 约束限制: 不涉及。 取值范围: 支持配置小数,输入值不能小于0(最多支持2位小数,小数点后第3位做四舍五入处理)。 默认取值: 不涉及。 |
| memory | Integer | 参数解释: 内存,单位为MB。 约束限制: 不涉及。 取值范围: 仅支持整数。 默认取值: 不涉及。 |
| cpu | Number | 参数解释: CPU核数。 约束限制: 不涉及。 取值范围: 支持配置小数,输入值不能小于0.01(最多支持2位小数,小数点后第3位做四舍五入处理)。 默认取值: 不涉及。 |
| ascend | Integer | 参数解释: Ascend芯片个数。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| arch | String | 参数解释: 架构类型。 约束限制: 不涉及。 取值范围: 枚举值:x86\arm64。 默认取值: 不涉及。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| id | String | 参数解释: 镜像id。 取值范围: 不涉及。 |
| source | String | 参数解释: 镜像类别,标识镜像来源。 取值范围: |
| swr_path | String | 参数解释: 镜像地址,source不同取值时,地址为不同值。 取值范围: 不涉及。 |
| category | String | 参数解释: 镜像支持的规格。 取值范围: |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| source | String | 参数解释: 代码来源类别。 取值范围: |
| address | String | 参数解释: 代码来源地址,格式遵循不同存储系统。 取值范围: 不涉及。 |
| source_id | String | 参数解释: 来源ID。 取值范围: 不涉及。 |
| mount_path | String | 参数解释: 挂载到容器内的路径。 约束限制: 不涉及。 取值范围: 以(/)开头和结尾,可包含字母、数字、中划线、下划线,整个挂载路径长度不能超过255位。 默认取值: 不涉及。 |
| host_cache | Boolean | 参数解释: 是否支持模型本地缓存,默认是不支持。 取值范围: |
| efs_sub_path | String | 参数解释: 当存储类别为EFS时,支持配置子目录。 取值范围: 不涉及。 |
| read_only | Boolean | 参数解释: 挂载权限设置,是否只读。 取值范围: |
| os_warm_up | Boolean | 参数解释: OS预热。 取值范围: |
| source_name | String | 参数解释: 预热名称。 约束限制: os_warm_up为true时必填。 取值范围: 支持1-64位字符,可包含字母、中文、数字、中划线、下划线。 默认取值: 不涉及。 |
| asset_id | String | 参数解释: 预置资产id。 取值范围: 支持1-64位字符,可包含字母、中文、数字、中划线、下划线。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| source | String | 参数解释: 代码来源类别。 取值范围: |
| address | String | 参数解释: 代码来源地址,格式遵循不同存储系统。 取值范围: 不涉及。 |
| mount_path | String | 参数解释: 挂载到容器内的路径。 约束限制: 不涉及。 取值范围: 以(/)开头和结尾,可包含字母、数字、中划线、下划线,整个挂载路径长度不能超过255位。 默认取值: 不涉及。 |
| host_cache | Boolean | 参数解释: 是否支持模型本地缓存,默认是不支持。 取值范围: |
| efs_sub_path | String | 参数解释: 当存储类别为EFS时,支持配置子目录。 取值范围: 不涉及。 |
| read_only | Boolean | 参数解释: 挂载权限设置,是否只读。 取值范围: |
| os_warm_up | Boolean | 参数解释: OS预热。 取值范围: |
| source_name | String | 参数解释: 预热名称。 约束限制: os_warm_up为true时必填。 取值范围: 支持1-64位字符,可包含字母、中文、数字、中划线、下划线。 默认取值: 不涉及。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| source | String | 参数解释: 代码来源类别。 取值范围: |
| address | String | 参数解释: 代码来源地址,格式遵循不同存储系统。 取值范围: 不涉及。 |
| source_id | String | 参数解释: 代码来源ID,与address二选一,当且仅当source为EFS时,可以传入sfs turbo的ID。 取值范围: 不涉及。 |
| mount_path | String | 参数解释: 挂载到容器内的路径。 约束限制: 不涉及。 取值范围: 以(/)开头和结尾,可包含字母、数字、中划线、下划线,整个挂载路径长度不能超过255位。 默认取值: 不涉及。 |
| efs_sub_path | String | 参数解释: EFS子路径。 取值范围: 不涉及。 |
| read_only | Boolean | 参数解释: 挂载权限设置, 是否只读。 取值范围: |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| source | String | 参数解释: 用户转储来源类别。 取值范围: |
| address | String | 参数解释: 用户转储来源地址,格式遵循不同存储系统。 取值范围: 不涉及。 |
| mount_path | String | 参数解释: 挂载到容器内的路径,要求以/开头,后面可包含中划线,反斜杠,下划线,点号,字母,数字。 取值范围: 不涉及。 |
| type | String | 参数解释: 转储类型。 取值范围: |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| check_method | String | 参数解释: 健康检查方式:HTTP 或者 EXEC(命令行)。 取值范围: |
| cmd | String | 参数解释: 当健康检查方式为EXEC时,配置的命令行。 取值范围: 不涉及。 |
| url | String | 参数解释: 当健康检查方式为HTTP 时,配置的请求地址。 取值范围: 不涉及。 |
| protocol | String | 参数解释: 连接协议。 取值范围: |
| initial_delay_seconds | Integer | 参数解释: 执行首次探测时,应该等待的时间。 取值范围: 不涉及。 |
| timeout_seconds | Integer | 参数解释: 执行探测的超时时间,默认1秒,最小1秒。 取值范围: 不涉及。 |
| period_seconds | Integer | 参数解释: 执行健康检查的周期时间,执行探测的频率。默认是10秒,最小1秒。 取值范围: 不涉及。 |
| failure_threshold | Integer | 参数解释: 探测成功后,至少连续探测失败多少次才被认定为失败。默认是3。最小值是1。 取值范围: 不涉及。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| affinity_type | String | 参数解释: 节点亲和类型。 取值范围: |
| required | Boolean | 参数解释: 是否设置强亲和。 取值范围: |
| selection_mode | String | 参数解释: 选择节点方式。 取值范围: IP。 |
| targets | Map<String,String> | 参数解释: 通过上述方式选择的列表,长度不能超过20。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| pre_stop_cmd | String | 参数解释: 停机命令在容器收到停止信号时触发,但必须在停机时间的宽限期内完成,否则容器会被强制停止。您可以通过该命令精细化操作,如关闭数据库连接、释放文件句柄、停止子进程等。 约束限制: 长度不超过255。 取值范围: 默认取值: 不涉及。 |
| termination_grace_period_seconds | Integer | 参数解释: 该参数表示 Pod 收到停止信号到强制停止的最大时间窗口,用于 Pod 执行清理操作(如关闭连接、释放资源、保存状态等)。 约束限制: 长度不超过255。 取值范围: 默认取值: 不涉及。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| user_id | Long | 参数解释: 启动业务容器时设置的user_id,默认可为空。 取值范围: [1, 60000]。 |
| group_id | Long | 参数解释: 启动业务容器时设置的group_id,默认可为空。 取值范围: [1, 60000]。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| schedule_scope | String | 参数解释: 调度范围。 取值范围: HYPERNODE:超节点调度 SLICE:柜级调度 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| deploy_timeout_minutes | String | 参数解释: 部署超时时间。 |
| upgrade_config | UpgradeConfig object | 参数解释: 滚动升级配置 |
| service_secret | ServiceSecret object | 参数解释: 服务密钥 |
| dynamic_routing_enable | Boolean | 参数解释: 智能路由开关 |
| strategy | String | 参数解释: 智能路由策略 |
| ems_enable | Boolean | 参数解释: EMS加速开关 |
| metric_api_scheme | String | 参数解释: 智能路由指标采集scheme |
| metric_api_port | String | 参数解释: 智能路由指标采集端口 |
| metric_api_path | String | 参数解释: 智能路由指标采集地址 |
| binpack_enable | Boolean | 参数解释: 紧凑调度开关 |
| graceful_shutdown_enabled | Boolean | 参数解释: 优雅停机开关 |
| container_user | String | 参数解释: 指定用户 |
| container_usergroup | String | 参数解释: 指定用户组 |
| custom_metrics_path | String | 参数解释: 自定义监控采集指标地址 |
| protocol | String | 参数解释: 请求协议 约束限制: 不涉及。 取值范围: HTTP、HTTPS。 默认取值: 不涉及。 |
| port | String | 参数解释: 端口 约束限制: 不涉及。 取值范围: [1, 65535]。 默认取值: 不涉及。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| type | String | 参数解释: 升级类型。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| rolling_update | RollingUpdate object | 参数解释: 滚动更新配置。 约束限制: 不涉及。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| max_surge | String | 参数解释: 滚动更新时最多可以启动多少个Pod。 约束限制: 百分数类型字符串。 取值范围: 1%-100%。 默认取值: 1%。 |
| max_unavailable | String | 参数解释: 滚动更新时最多可以删除多少个Pod。 约束限制: 百分数类型字符串。 取值范围: 1%-100%。 默认取值: 1%。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| secret_enable | Boolean | 参数解释: 是否启用密钥。 约束限制: 不涉及。 取值范围: 默认取值: false。 |
| secret_type | String | 参数解释: 密钥类型。 约束限制: 不涉及。 取值范围: 默认取值: 不涉及。 |
| secret_volumes | Array of SecretVolume objects | 参数解释: 密钥挂载。 约束限制: 上限30个。 |
| group_enable | Boolean | 参数解释: 是否启用镜像的用户组。 约束限制: 不涉及。 取值范围: 默认取值: false。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| secret_name | String | 参数解释: 密钥名称。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| secret_key | String | 参数解释: 密钥key。 约束限制: 匹配一个长度在1到63之间的字符串,只能包含字母、数字、点、下划线和连字符,并且不能以两个连续的点(..)开头。 取值范围: 不涉及。 默认取值: 不涉及。 |
| secret_value | String | 参数解释: 密钥值。 约束限制: 长度在1~32768,Base64编码后的密钥值。 取值范围: 不涉及。 默认取值: 不涉及。 |
| mount_path | String | 参数解释: 挂载路径。 约束限制: 不涉及。 取值范围: 以(/)开头和结尾,可包含字母、数字、中划线、下划线,整个挂载路径长度不能超过255位。 默认取值: 不涉及。 |
| unique_identifier | String | 参数解释: 返回唯一标识。 约束限制: 不涉及。 取值范围: 由密钥key和挂载路径拼接而成。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| type | String | 参数解释: 日志输出类型。 取值范围: |
| status | String | 参数解释: 日志服务状态。 取值范围: |
| log_group_id | String | 参数解释: 日志组ID,用户选择自己已有的日志组,不填时,会自动创建。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| log_stream_id | String | 参数解释: 日志流id,用户选择自己已有的日志组。不填时,会自动创建。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| deployment_id | String | 参数解释: 日志流对应的部署ID。当日志策略为default或pool时有值。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| type | String | 参数解释: 访问方式。 取值范围: |
| urls | Array of strings | 参数解释: 推理请求的访问地址,仅当type为REAL_TIME时,且服务部署完成后才会确保该字段有值。 |
| 参数 | 参数类型 | 描述 |
|---|---|---|
| key | String | 参数解释: 标签键字段。 约束限制: 不涉及。 取值范围: 长度为1~128,标签的键可以包含任意语种字母、数字、空格,以及_ . : = + - @特殊字符,但首尾不能含有空格,不能以_sys_开头。 默认取值: 不涉及。 |
| value | String | 参数解释: 标签值字段。 取值范围: 长度为255,包括字母、数字、下划线、点、斜杠、等号、加号、减号和@符号。 |
请求示例
创建在线推理服务。
POST https://{endpoint}/v2/{project_id}/services
{
"schedule" : [ {
"time_unit" : "HOURS",
"type" : "STOP",
"duration" : 1
} ],
"version" : "0.0.1",
"description" : "",
"deploy_timeout_minutes" : 60,
"tags" : [ ],
"name" : "service-example",
"type" : "REAL_TIME",
"deploy_type" : "SINGLE",
"group_configs" : [ {
"weight" : 100,
"name" : "instance-example",
"pool_id" : "pool-example",
"framework" : "COMMON",
"count" : 1,
"unit_configs" : [ {
"image" : {
"id" : "71ad5a75-14c4-1d14-883f-f350969ea9c7",
"source" : "SWR",
"swr_path" : "swr.cn-north-7.myhuaweicloud.com/example/helloworld-example:0.0.1"
},
"flavor" : "flavor-example",
"count" : 1
} ]
} ],
"runtime_config" : {
"service_invoke" : {
"port" : 123,
"protocol" : "HTTPS",
"auth_type" : "NONE",
"dynamic_routing_enable" : false
},
"service_limit" : {
"request_size_limit" : 20,
"request_timeout" : 30,
"ip_white_list" : [ ],
"ip_black_list" : [ ],
"rate_limit" : {
"num" : 200,
"unit" : "SECONDS"
}
}
},
"workspace_id" : "0",
"custom_metrics_path" : "",
"upgrade_config" : {
"type" : "ROLLING",
"rolling_update" : {
"max_surge" : "20%",
"max_unavailable" : "20%"
}
}
} 响应示例
状态码:200
创建在线推理服务成功。
{
"id" : "123e4567-e89b-12d3-a456-426655440000",
"name" : "service-example",
"schedule" : [ {
"due_time" : 0,
"duration" : 1,
"processed" : false,
"time_unit" : "HOURS",
"type" : "STOP"
} ],
"version" : {
"deploy_timeout_minutes" : 60,
"description" : "infer-description",
"id" : "081cd8c0-af1b-4300-b077-a1b87d2d2fa8",
"instance_groups" : [ {
"count" : 1,
"framework" : "COMMON",
"id" : "8a927efb-43f6-4a0b-8222-a1b87d2d2fa8",
"name" : "instance-example",
"pool_id" : "pool-xinfer-1216-dev-04f258c84780d5a52f3bc00dc15aa5e7",
"priority" : 1,
"unit_configs" : [ {
"codes" : [ ],
"count" : 1,
"custom_spec" : {
"cpu" : 0.1,
"memory" : 50
},
"envs" : {
"additionalProp1" : "string",
"additionalProp2" : "string",
"a" : "1"
},
"id" : "8a0e4ab7970bc24d01970bcd7f460003",
"image" : {
"category" : "CPU",
"id" : "bc84b0e49e910cd7918b1dfaeaa478f9c7e5242c6733525ca88304f026fa24e4",
"source" : "SWR",
"swr_path" : "swr.cn-north-7.myhuaweicloud.com/example/helloworld-example:0.0.1"
},
"npu_reset_enable" : false,
"port" : 65535,
"role" : "COMMON"
} ],
"weight" : 100
} ],
"log_configs" : [ ],
"runtime_config" : {
"service_invoke" : {
"auth_type" : "API_KEY",
"dynamic_routing_enable" : false,
"ems_enable" : false,
"internet_access_enable" : true,
"intranet_approval_enable" : true,
"port" : 9876,
"protocol" : "HTTPS"
},
"service_limit" : {
"ip_black_list" : [ ],
"ip_white_list" : [ ],
"rate_limit" : {
"num" : 2000,
"unit" : "SECONDS"
},
"request_size_limit" : 50,
"request_timeout" : 600
},
"service_secret" : {
"group_enable" : false,
"secret_enable" : false,
"secret_volumes" : [ ]
}
},
"upgrade_config" : {
"rolling_update" : {
"max_surge" : "20%",
"max_unavailable" : "20%"
},
"type" : "ROLLING"
},
"version" : "0.0.0"
},
"type" : "REAL_TIME",
"workspace_id" : "0",
"deploy_type" : "SINGLE",
"tags" : [ ]
} 状态码
| 状态码 | 描述 |
|---|---|
| 200 | 创建在线推理服务成功。 |
错误码
请参见错误码。