# 创建服务 - CreateInferService #### 功能介绍 将模型部署为在线服务，适用于用户在开发或运维过程中需要将训练好的模型部署为在线服务，以便通过API或HTTP接口提供预测或处理能力的场景。调用此接口前，用户必须具有创建服务的权限，并提供合法的模型镜像路径和完整的服务配置信息（如服务名称、模型镜像路径、资源配置、升级配置等）。调用成功后，系统将成功创建并部署服务，服务状态变为"部署中"，并生成服务的唯一ID返回给用户。服务的详细信息（如状态、创建时间、更新时间等）也会记录在系统中。如果用户没有创建服务的权限，或提供的模型镜像路径不合法，或服务配置信息不完整，调用将返回相应的错误信息。如果系统在部署过程中遇到资源不足或其他内部错误，也将返回错误信息并记录日志。 #### 调试 您可以在[API Explorer](https://console.huaweicloud.com/apiexplorer/#/openapi/ModelArts/doc?api=CreateInferService)中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 #### 授权信息 账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。 - 如果使用角色与策略授权，具体权限要求请参见[权限和授权项](https://support.huaweicloud.com/api-modelarts/modelarts_03_0138.html)。 - 如果使用身份策略授权，需具备如下身份策略权限。 | 授权项 | 访问级别 | 资源类型（\*为必须） | 条件键 | 别名 | 依赖的授权项 | |:---|:---|:---|:---|:---|:---| | modelarts::createService | Write | - | - | modelarts:service:create | modelarts:workspace:get | #### URI POST /v2/{project_id}/services 表1路径参数 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | project_id | 是 | String | **参数解释：** 用户项目ID。获取方法请参见[获取项目ID和名称](https://support.huaweicloud.com/api-modelarts/modelarts_03_0147.html)。 **约束限制：** 不涉及。 **取值范围：** 账号的项目ID。 **默认取值：** 不涉及。 | #### 请求参数 表2请求Header参数 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | X-Auth-Token | 是 | String | **参数解释：** 用户Token。通过调用IAM服务获取用户Token接口获取响应消息头中X-Subject-Token的值。获取方法请参见[获取IAM用户Token（使用密码）](https://support.huaweicloud.com/api-modelarts/modelarts_03_0004.html)。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | Content-Type | 是 | String | **参数解释：** 消息体的类型（格式）。 **约束限制：** 不涉及。 **取值范围：** - application/json。 - application/json;charset=utf-8。 **默认取值：** 不涉及。 | | X-Auth-Token-Provider | 否 | String | **参数解释：** 服务提供者的domain级或project级Token，创建服务携带该请求头时，系统将解析该token并将账号id保存为服务的提供者即provider，该服务将被系统保护，仅携带该提供者的domain级或project级Token的更新操作允许执行。通过调用IAM服务获取用户Token接口获取响应消息头中X-Subject-Token的值。获取方法请参见[获取IAM用户Token（使用密码）](https://support.huaweicloud.com/api-modelarts/modelarts_03_0004.html)。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | 表3请求Body参数 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | name | 是 | String | **参数解释：** 服务名，用户在[创建服务](https://support.huaweicloud.com/api-modelarts/CreateInferService.html#ZH-CN_TOPIC_0000002723741846)时自定义的名称。 **约束限制：** 服务在删除之前名字不能重复。 **取值范围：** 支持1-64位字符，可包含字母、中文、数字、中划线、下划线。 **默认取值：** 不涉及。 | | version | 否 | String | **参数解释：** 服务版本号，以数字及点号组成，形如1.0.1。 **约束限制：** 不涉及。 **取值范围：** 1.0.0 \~ 99.99.99，长度不超过8位。 **默认取值：** 前端可不传默认设置为1.0.0。 | | description | 否 | String | **参数解释：** 服务备注。 **约束限制：** 不涉及。 **取值范围：** 长度不可以超过512，不能包含大于号，小于号。 **默认取值：** 默认为空。 | | type | 是 | String | **参数解释：** 推理服务类型。 **约束限制：** 不涉及。 **取值范围：** - REAL_TIME：在线服务。 - ASYNC_REAL_TIME：异步服务。 **默认取值：** 不涉及。 | | deploy_type | 是 | String | **参数解释：** 部署类型。 **约束限制：** 不涉及。 **取值范围：** - SINGLE：单机单卡。 - MULTI：多机多卡。 **默认取值：** 不涉及。 | | group_configs | 是 | Array of [GroupConfig] objects | **参数解释：** 服务实例组配置。 **约束限制：** 仅创建服务时group_configs可传\[\]空数组，group_configs的最大元素数量为1。 | | runtime_config | 是 | [RuntimeConfigCreateRequest] object | **参数解释：** 服务运行配置。 **约束限制：** 不涉及。 | | upgrade_config | 否 | [UpgradeConfig] object | **参数解释：** 升级服务配置，仅创建服务时可不传。 **约束限制：** 不涉及。 | | lts_strategy | 否 | String | **参数解释：** 日志策略。 **约束限制：** 不涉及。 **取值范围：** - POOL：使用资源池日志插件配置的日志流。 - AUTO_CREATE：自动创建日志流。 - DEFAULT: 由系统决定日志策略 **默认取值：** AUTO_CREATE：自动创建日志流。 | | log_configs | 否 | Array of [LtsConfiguration] objects | **参数解释：** 服务日志配置。 **约束限制：** 数量上限为3个，且每种类型只可配置一个。 | | tags | 否 | Array of [tags] objects | **参数解释：** 服务标签。 **约束限制：** 上限20个。 | | workspace_id | 否 | String | **参数解释：** 工作空间ID。 **约束限制：** 不涉及。 **取值范围：** - 0：默认空间ID。 - 由数字和小写字母组成的32位字符：其他空间ID，可参考[工作空间创建](https://support.huaweicloud.com/api-modelarts/CreateWorkspace.html#ZH-CN_TOPIC_0000002753341517)。 **默认取值：** 不涉及。 | | schedule | 否 | Array of [ScheduleConfig] objects | **参数解释：** 定时停止配置。 **约束限制：** 最多支持一个定时任务。 | | custom_metrics_path | 是 | String | **参数解释：** 该参数值由英文逗号隔开的协议、端口号、地址组成，比如：\[http,8080,metrics\]，其中地址长度不超过255 ，且需要与镜像给定的协议、地址、端口一致，否则指标无法上报。 **约束限制：** 长度不超过255。 **取值范围：** - 协议范围：http/https。 - 端口范围：1-65535。 - 地址范围：仅包含字母、数字、点号（.）、中划线（-)、下划线（_）、斜杠（/）的路径，非斜杠（/）开头。 **默认取值：** 不涉及。 | | deploy_timeout_minutes | 否 | Integer | **参数解释：** 服务部署超时时间，integer类型，取值在1\~300 （860版本该参数在服务层级做保留兼容）。 **约束限制：** 不涉及。 **取值范围：** \[0, 300\]。 **默认取值：** 不涉及。 | | task_type | 否 | String | **参数解释：** 模型类型。 **取值范围：** - TEXT_GENERATION：文本生成 - IMAGE_UNDERSTANDING：图像理解 - VIDEO_GENERATION：视频生成 - IMAGE_GENERATION：图像生成 - RERANK：重排序 - VECTOR_MODEL：向量模型 - EMBEDDING：Embedding嵌入 | | workload_type | 否 | String | **参数解释：** 工作负载类型。 **取值范围：** - DEPLOYMENT：DEPLOYMENT类型 - LWS：LWS类型 | 表4GroupConfig | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | id | 否 | String | **参数解释：** 部署ID。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | name | 是 | String | **参数解释：** 部署名称。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | pool_id | 否 | String | **参数解释：** 资源池ID，查询指定资源池下的服务，默认不过滤。可通过[查询资源池列表](https://support.huaweicloud.com/api-modelarts/ShowPool.html#ZH-CN_TOPIC_0000002753501559)获取。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | count | 否 | Integer | **参数解释：** 部署场景下，服务实例数量。 **约束限制：** 不涉及。 **取值范围：** \[1, 128\]。 **默认取值：** 不涉及。 | | system_log_dump_enable | 否 | Boolean | **参数解释：** 系统日志转储开关。 **约束限制：** 只有NPU资源池有，且逻辑池是没有的。 **取值范围：** 不涉及。 **默认取值：** false。 | | unit_configs | 否 | Array of [UnitConfig] objects | **参数解释：** 推理单元配置。 **约束限制：** 单机推理时，个数只会为1；如果是分布式推理时，根据不同框架，实例单元配置可灵活配置。 | | weight | 是 | Integer | **参数解释：** 权重百分比，分配到此模型的流量权重，仅当模型部署为在线服务时需要配置。 **约束限制：** 不涉及。 **取值范围：** \[0, 100\]。 **默认取值：** 不涉及。 | | secret_type | 否 | String | **参数解释：** 凭证类型相关配置，用户可以在此处选择使用的凭证类型（dew，agency） **约束限制：** 1.使用临时委托凭证类型约束限制:集群已安装CCE容器存储（Everest）v2.4.204及以上版本，且集群版本为v1.28及以上且确保局点已启用IAM5服务。 2.若插件版本不足或集群不支持临时委托凭证，则需通过DEW服务挂载。 **取值范围：** - dew：DEW密钥。 - agency：临时委托凭证。 **默认取值：** 不涉及。 | | secret_name | 否 | String | **参数解释**： 凭证名称，用户使用dew类型凭证时可以在此处选择使用的凭证。 **约束限制**： 不涉及。 | | priority | 否 | Integer | **参数解释：** 服务优先级。 **约束限制：** - 如服务处于"运行中"，priority字段为必要参数，且value必须与原服务的priority值相同； - 如服务处于"停止"，priority字段为非必要参数。 **取值范围：** \[1, 3\]。 **默认取值：** 不涉及。 | | high_avail_switch | 否 | Boolean | **参数解释：** 高可用开关，开启后不同实例的pod将尽量均匀分布到不同的节点上。（准备下线，请使用schedule_strategy字段） **约束限制：** 不涉及。 **取值范围：** - true：高可用开启。 - false：高可用关闭。 **默认取值：** true。 | | schedule_strategy | 否 | String | **参数解释：** 调度策略。 **约束限制：** 不涉及。 **取值范围：** - HIGH_AVAILABILITY：高可用调度 - HIGH_UTILIZATION：紧凑调度 - HIGH_PERFORMANCE：高性能调度 **默认取值：** HIGH_AVAILABILITY。 | | version | 否 | String | **参数解释：** 服务版本号，以数字及点号组成，形如1.0.1。 **约束限制：** 不涉及。 **取值范围：** 1.0.0 \~ 99.99.99，长度不超过8位。 **默认取值：** 不涉及。 | | version_id | 否 | String | **参数解释：** 版本id，可通过查询version列表查询。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | description | 否 | String | **参数解释：** 服务备注。 **约束限制：** 不涉及。 **取值范围：** 长度不可以超过512，不能包含大于号，小于号。 **默认取值：** 默认为空。 | | framework | 否 | String | **参数解释：** 服务框架。 **约束限制：** 仅支持以下枚举值：COMMON \| VLLM \| MINDIE。 **取值范围：** 仅支持以下枚举值：COMMON \| VLLM \| MINDIE。 **默认取值：** COMMON。 | | running_count | 否 | Integer | **参数解释：** 部署场景下，服务运行实例数量。 **约束限制：** 不涉及。 **取值范围：** \[1, 128\]。 **默认取值：** 不涉及。 | | deploy_type | 否 | String | **参数解释：** 部署类型。 **取值范围：** - SINGLE：单机单卡。 - MULTI：多机多卡。 | | mirror_traffic_enable | 否 | Boolean | **参数解释：** 是否开启镜像流量。 **取值范围：** 不涉及。 | | mirror_traffic_weight | 否 | String | **参数解释：** 镜像流量权重。 **取值范围：** 50。 | | version_count | 否 | Integer | **参数解释：** 服务版本数量。 **取值范围：** 不涉及。 | | workload_type | 否 | String | **参数解释：** 工作负载类型。 **取值范围：** - DEPLOYMENT：DEPLOYMENT类型 - LWS：LWS类型 | | update_at | 否 | Long | **参数解释：** 更新时间，根据更新时的当前时间自动生成。 **取值范围：** 毫秒级时间戳，13位数字。 | | model | 否 | [ModelResource] object | **参数解释：** 推理单元共用模型相关配置，用户可以在此处选择模型及权重文件配合镜像使用,此配置对所有推理单元生效。 **约束限制：** 不涉及。 | | advanced_config | 否 | [AdvancedConfig] object | **参数解释：** 高级配置，服务部署时的配置。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | 表5UnitConfig | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | id | 否 | String | **参数解释：** 实例单元ID。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | name | 否 | String | **参数解释：** 实例单元角色名称。 **约束限制：** 最大长度为16字符，且需满足正则：\^\[a-z0-9\](\[-a-z0-9\]\*\[a-z0-9\])?$ **默认取值：** 不涉及。 | | role | 否 | String | **参数解释：** 实例单元角色。 **约束限制：** 不涉及。 **取值范围：** - COMMON：表示其他角色。 **默认取值：** 不涉及。 | | custom_spec | 否 | [CustomResourceSpec] object | **参数解释：** 自定义资源规格配置。 **约束限制：** 不涉及。 **参数示例：** "custom_spec": { "arch": "x86", "cpu": 0.51, "memory": 1024.0 }, | | flavor | 否 | String | **参数解释：** 资源规格，根据所提供版本选择适合业务的规格。当specification为custom为自定义规格。由custom_spec指定部署的规格配置。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | flavor_display_name | 否 | String | **参数解释：** 资源规格的显示名称。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | image | 是 | [ImageInfo] object | **参数解释：** 镜像配置信息，包含镜像地址，镜像来源。 **约束限制：** 不涉及。 | | models | 否 | Array of [ModelResource] objects | **参数解释：** 废弃参数，推荐使用files进行模型相关配置。 模型相关配置，用户可以在此处选择模型及权重文件配合镜像使用。 **约束限制：** 不涉及。 | | codes | 否 | Array of [Code] objects | **参数解释：** 废弃参数，推荐使用files进行代码相关配置。 代码相关配置，用户可以在此处选择代码所在的obs路径等。 **约束限制：** 不涉及。 | | files | 否 | Array of [FileInfo] objects | **参数解释：** 模型和代码相关配置，用户可以在此处选择模型及权重文件配合镜像使用以及代码所在的obs路径等。 **约束限制：** 不涉及。 | | dumps | 否 | Array of [Dump] objects | **参数解释：** 用户转储配置，用户可以在此处选择要转储的目的obs。 **约束限制：** 最多配置20组。 | | count | 否 | Integer | **参数解释：** 配置实例个数。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | cmd | 否 | String | **参数解释：** 启动命令。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | termination_grace | 否 | [TerminationGrace] object | **参数解释：** 优雅终止配置。 **约束限制：** 不涉及。 | | envs | 否 | Map\ | **参数解释：** 环境变量。 **约束限制：** 变量键长度不大于64，由字母、数字、下划线、中划线、点组成，不能以数字开头。值的输入内容不能存在HTML标签，包括\<\^\>。 | | readiness_health | 否 | [Health] object | **参数解释：** 就绪健康检查。 **约束限制：** 不涉及。 | | startup_health | 否 | [Health] object | **参数解释：** 启动健康检查。 **约束限制：** 不涉及。 | | liveness_health | 否 | [Health] object | **参数解释：** 存活健康检查。 **取值范围：** 不涉及。 | | port | 否 | Integer | **参数解释：** 端口。 **约束限制：** 不涉及。 **取值范围：** \[1,65535\]。 **默认取值：** 不涉及。 | | recovery | 否 | String | **参数解释：** 自动重建策略，开启后，由于部署配置变更或者故障等原因导致Pod重启时，平台将按策略自动执行重建。若不开启，平台将不会主动干预处理。 **约束限制：** 不涉及。 **取值范围：** - Instance：部署副本重建，故障时重新拉起整个部署。 - Role：单元重建，当部署单元内的Pod出现故障时，重启该单元内的所有Pod。 - Pod：Pod重建，故障时重新拉起故障pod。 **默认取值：** 不涉及。 | | npu_reset_enable | 否 | Boolean | **参数解释：** 是否开启恢复策略。 **约束限制：** 不涉及。 **取值范围：** - true：开启恢复策略。 - false：不开启恢复策略。 **默认取值：** 不涉及。 | | group_count | 否 | Integer | **参数解释：** 单元副本数，当部署类型deploy_type为SINGLE或工作负载类型workload_type为DEPLOYMENT时，该参数无效。 **约束限制：** 不涉及。 **取值范围：** \[1, 100\] 或者为空。 **默认取值：** 默认值为1。 | | affinity | 否 | [Affinity] object | **参数解释：** 节点亲和调度设置。 **约束限制：** 不涉及。 | | security_config | 否 | [ServiceSecurityConfig] object | **参数解释：** 容器用户ID/用户组ID配置。 **约束限制：** 不涉及。 | | pool_resource_flavor | 否 | String | **参数解释：** 节点池资源规格。 **约束限制：** 只能包含字母、数字、点、中划线和下划线。 **取值范围：** 长度不超过128字符。 **默认取值：** 不涉及。 | 表6CustomResourceSpec | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | gpu | 否 | Float | **参数解释：** GPU个数。 **约束限制：** 不涉及。 **取值范围：** 支持配置小数，输入值不能小于0（最多支持2位小数，小数点后第3位做四舍五入处理）。 **默认取值：** 不涉及。 | | memory | 否 | Integer | **参数解释：** 内存，单位为MB。 **约束限制：** 不涉及。 **取值范围：** 仅支持整数。 **默认取值：** 不涉及。 | | cpu | 否 | Float | **参数解释：** CPU核数。 **约束限制：** 不涉及。 **取值范围：** 支持配置小数，输入值不能小于0.01（最多支持2位小数，小数点后第3位做四舍五入处理）。 **默认取值：** 不涉及。 | | ascend | 否 | Integer | **参数解释：** Ascend芯片个数。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | arch | 否 | String | **参数解释：** 架构类型。 **约束限制：** 不涉及。 **取值范围：** 枚举值：x86 \| arm64。 **默认取值：** 不涉及。 | 表7ImageInfo | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | id | 否 | String | **参数解释：** 镜像ID。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | source | 是 | String | **参数解释：** 镜像类别，标识镜像来源。 **约束限制：** 不涉及。 **取值范围：** - SWR：软件仓库服务。 - IMAGE：\[通用镜像\]。 **默认取值：** 不涉及。 | | swr_path | 是 | String | **参数解释：** 镜像地址，source不同取值时，地址为不同值。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | category | 否 | String | **参数解释：** 镜像支持的规格。 **约束限制：** 不涉及。 **取值范围：** - GPU：图形处理器。 - CPU：中央处理器。 - ASCEND：昇腾芯片。 **默认取值：** CPU。 | 表8ModelResource | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | source | 是 | String | **参数解释：** 代码来源类别。 **约束限制：** 不涉及。 **取值范围：** 如下参数不区分大小写 - OBS：对象存储服务。 - OBSFS：OBS的文件系统接口。 - EFS：弹性文件服务。 - LOCAL：挂载宿主机本地存储目录。 **默认取值：** 不涉及。 | | address | 否 | String | **参数解释：** 代码来源地址，格式遵循不同存储系统。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | mount_path | 是 | String | **参数解释：** 挂载到容器内的路径，要求以/开头，后面可包含中划线、反斜杠、下划线、点号、字母、数字。 **约束限制：** 不涉及。 **取值范围：** 以(/)开头和结尾，可包含字母、数字、中划线、下划线，整个挂载路径长度不能超过255位。 **默认取值：** 不涉及。 | | host_cache | 否 | Boolean | **参数解释：** 是否支持模型本地缓存，默认是不支持。 **约束限制：** 不涉及。 **取值范围：** - true：支持。 - false：不支持。 **默认取值：** false。 | | efs_sub_path | 否 | String | **参数解释：** 当存储类别为EFS时，支持配置子目录。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | read_only | 否 | Boolean | **参数解释：** 挂载权限设置，是否只读。 **约束限制：** 不涉及。 **取值范围：** - true：只读。 - false：非只读。 **默认取值：** 不涉及。 | | os_warm_up | 否 | Boolean | **参数解释：** OS预热。 **约束限制：** 不涉及。 **取值范围：** - true：预热。 - false：不预热。 **默认取值：** 不涉及。 | | source_name | 否 | String | **参数解释：** 预热名称。 **约束限制：** os_warm_up为true时必填。 **取值范围：** 支持1-64位字符，可包含字母、中文、数字、中划线、下划线。 **默认取值：** 不涉及。 | | asset_id | 否 | String | **参数解释：** 预置资产id。 **约束限制：** 使用预置资产时必填。 **取值范围：** 支持1-64位字符，可包含字母、中文、数字、中划线、下划线。 **默认取值：** 不涉及。 | 表9Code | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | source | 是 | String | **参数解释：** 代码来源类别。 **约束限制：** 不涉及。 **取值范围：** - OBS：对象存储服务。 - OBSFS：OBS的文件系统接口。 - EFS：弹性文件服务。 **默认取值：** 不涉及。 | | address | 否 | String | **参数解释：** 代码来源地址，格式遵循不同存储系统。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | source_id | 否 | String | **参数解释：** 代码来源ID，与address二选一，当且仅当source为EFS时，可以传入sfs turbo的ID。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | mount_path | 是 | String | **参数解释：** 挂载到容器内的路径。 **约束限制：** 不涉及。 **取值范围：** 以(/)开头和结尾，可包含字母、数字、中划线、下划线，整个挂载路径长度不能超过255位。 **默认取值：** 不涉及。 | | efs_sub_path | 否 | String | **参数解释：** EFS子路径。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | read_only | 否 | Boolean | **参数解释：** 挂载权限设置, 是否只读。 **约束限制：** 不涉及。 **取值范围：** - true：只读。 - false：非只读。 **默认取值：** 不涉及。 | 表10FileInfo | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | source | 是 | String | **参数解释：** 代码来源类别。 **约束限制：** 不涉及。 **取值范围：** 如下参数不区分大小写 - OBS：对象存储服务。 - OBSFS：OBS的文件系统接口。 - EFS：弹性文件服务。 - LOCAL：挂载宿主机本地存储目录。 **默认取值：** 不涉及。 | | address | 否 | String | **参数解释：** 代码来源地址，格式遵循不同存储系统。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | mount_path | 是 | String | **参数解释：** 挂载到容器内的路径。 **约束限制：** 不涉及。 **取值范围：** 以(/)开头和结尾，可包含字母、数字、中划线、下划线，整个挂载路径长度不能超过255位。 **默认取值：** 不涉及。 | | host_cache | 否 | Boolean | **参数解释：** 是否支持模型本地缓存，默认是不支持。 **约束限制：** 不涉及。 **取值范围：** - true：支持。 - false：不支持。 **默认取值：** false。 | | efs_sub_path | 否 | String | **参数解释：** 当存储类别为EFS时，支持配置子目录。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | read_only | 否 | Boolean | **参数解释：** 挂载权限设置，是否只读。 **约束限制：** 不涉及。 **取值范围：** - true：只读。 - false：非只读。 **默认取值：** 不涉及。 | | os_warm_up | 否 | Boolean | **参数解释：** OS预热。 **约束限制：** 不涉及。 **取值范围：** - true：预热。 - false：不预热。 **默认取值：** 不涉及。 | | source_name | 否 | String | **参数解释：** 预热名称。 **约束限制：** os_warm_up为true时必填。 **取值范围：** 支持1-64位字符，可包含字母、中文、数字、中划线、下划线。 **默认取值：** 不涉及。 | 表11Dump | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | source | 是 | String | **参数解释：** 转储挂载目录来源类别。 **约束限制：** 不涉及。 **取值范围：** - OBS：对象存储服务。 - OBSFS：OBS的文件系统接口。 **默认取值：** 不涉及。 | | address | 否 | String | **参数解释：** 转储挂载目录来源地址，支持https或obs协议的obs地址。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | mount_path | 是 | String | **参数解释：** 挂载到容器内的路径，要求以/开头，后面可包含中划线，反斜杠，下划线，点号，字母，数字。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | 表12TerminationGrace | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | pre_stop_cmd | 否 | String | **参数解释：** 停机命令在容器收到停止信号时触发，但必须在停机时间的宽限期内完成，否则容器会被强制停止。您可以通过该命令精细化操作，如关闭数据库连接、释放文件句柄、停止子进程等。 **约束限制：** 长度不超过255。 **取值范围：** - 协议范围：http/https。 - 端口范围：1-65535。 - 地址范围：仅包含字母、数字、点号（.）、中划线（-)、下划线（_）、斜杠（/）的路径，非斜杠（/）开头。 **默认取值：** 不涉及。 | | termination_grace_period_seconds | 否 | Integer | **参数解释：** 该参数表示 Pod 收到停止信号到强制停止的最大时间窗口，用于 Pod 执行清理操作（如关闭连接、释放资源、保存状态等）。 **约束限制：** 长度不超过255。 **取值范围：** - 协议范围：http/https。 - 端口范围：1-65535。 - 地址范围：仅包含字母、数字、点号（.）、中划线（-)、下划线（_）、斜杠（/）的路径，非斜杠（/）开头。 **默认取值：** 不涉及。 | 表13Health | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | check_method | 否 | String | **参数解释：** 健康检查方式：HTTP 或者 EXEC（命令行）。 **约束限制：** 不涉及。 **取值范围：** - HTTP：超文本传输协议。 - EXEC：命令行。 **默认取值：** 创建的时候，check_method不传值，默认：check_method。 更新的时候，check_method不传值，会报错。 | | cmd | 否 | String | **参数解释：** 当健康检查方式为EXEC时必填，配置的命令行。 **约束限制：** 字符长度限制\[0, 1024\]，不能包含字符：#\~\^$\|%\&\*\<\>()'"\[\]{} **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | url | 否 | String | **参数解释：** 当健康检查方式为HTTP 时必填，配置的请求地址。 **约束限制：** 字符长度限制\[0, 1024\]，首字符为/，后续字符可以是：字母 数字 中划线 下划线 %%: **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | protocol | 否 | String | **参数解释：** 连接协议。默认HTTP。 **约束限制：** 不涉及。 **取值范围：** - HTTPS：超文本传输协议安全版。 - HTTP：超文本传输协议。 - WSS：网络通信协议安全版。 - WS：网络通信协议。 **默认取值：** 不涉及。 | | initial_delay_seconds | 是 | Integer | **参数解释：** 执行首次探测时，应该等待的时间，默认30秒，最小1秒。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 默认值为30。 | | timeout_seconds | 是 | Integer | **参数解释：** 执行探测的超时时间，默认30秒，最小1秒。 **约束限制：** 不涉及。 **取值范围：** 最小值为1秒。 **默认取值：** 默认值为30秒。 | | period_seconds | 是 | Integer | **参数解释：** 执行健康检查的周期时间，执行探测的频率。默认是10秒，最小1秒。 **约束限制：** 不涉及。 **取值范围：** 最小值为1秒。 **默认取值：** 默认值为10秒。 | | failure_threshold | 是 | Integer | **参数解释：** 探测成功后，至少连续探测失败多少次才被认定为失败。默认是3。最小值是1。 **约束限制：** 不涉及。 **取值范围：** 最小值为1。 **默认取值：** 默认值为3。 | 表14Affinity | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | affinity_type | 是 | String | **参数解释：** 节点亲和类型。 **约束限制：** 不涉及。 **取值范围：** - AFFINITY：亲和。 - ANTI_AFFINITY：反亲和。 **默认取值：** 不涉及。 | | required | 是 | Boolean | **参数解释：** 是否设置强亲和。 **约束限制：** 不涉及。 **取值范围：** - true：设置强亲和。 - false：不设置强亲和。 **默认取值：** 不涉及。 | | selection_mode | 是 | String | **参数解释：** 选择节点方式。 **约束限制：** 不涉及。 **取值范围：** IP **默认取值：** 不涉及。 | | targets | 是 | Map\ | **参数解释：** 通过上述方式选择的列表，长度不能超过20。 **约束限制：** 不涉及。 | 表15ServiceSecurityConfig | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | user_id | 否 | Long | **参数解释：** 启动业务容器时设置的user_id，默认可为空。 **取值范围：** \[1, 60000\]。 | | group_id | 否 | Long | **参数解释：** 启动业务容器时设置的group_id，默认可为空。 **取值范围：** \[1, 60000\]。 | 表16AdvancedConfig | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | deploy_timeout_minutes | 否 | String | **参数解释：** 部署超时时间 | | upgrade_config | 是 | [UpgradeConfig] object | **参数解释：** 滚动升级配置 | | service_secret | 否 | [ServiceSecret] object | **参数解释：** 服务密钥 | | dynamic_routing_enable | 否 | Boolean | **参数解释：** 智能路由开关 | | strategy | 否 | String | **参数解释：** 智能路由策略 | | ems_enable | 否 | Boolean | **参数解释：** EMS加速开关 | | metric_api_scheme | 否 | String | **参数解释：** 智能路由指标采集scheme | | metric_api_port | 否 | String | **参数解释：** 智能路由指标采集端口 | | metric_api_path | 否 | String | **参数解释：** 智能路由指标采集地址 | | custom_metrics_path | 否 | String | **参数解释：** 自定义监控采集指标地址 | | port | 是 | Integer | **参数解释：** 容器端口 | | protocol | 是 | String | **参数解释：** 容器请求协议。当选择WSS与WS时，服务接口会升级为WebSocket。开启WebSocket时，不支持同时设置"服务流量限制"。 **取值范围：** - HTTP：HTTP协议。 - HTTPS：HTTPS协议。 - WSS：WebSocket Secure协议。 - WS：WebSocket协议。 - TCP：传输控制协议。 - NA：不使用任何协议。 | 表17RuntimeConfigCreateRequest | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | service_invoke | 是 | [ServiceInvokeCreateRequest] object | **参数解释：** 服务调用时的相关配置。 **约束限制：** 不涉及。 | | service_limit | 是 | [ServiceLimit] object | **参数解释：** 服务限制信息。 **约束限制：** 不涉及。 | | service_secret | 否 | [ServiceSecret] object | **参数解释：** 服务密钥挂载。 **约束限制：** 不涉及。 | | server_task_limit | 否 | [ServerTaskLimit] object | **参数解释：** 服务任务限制信息。 | 表18ServiceInvokeCreateRequest | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | port | 是 | Integer | **参数解释：** 服务端口号。 **约束限制：** 不涉及。 **取值范围：** \[1, 65535\]。 **默认取值：** 不涉及。 | | protocol | 是 | String | 参数解释： 服务请求协议。当选择WSS与WS时，服务接口会升级为WebSocket。开启WebSocket时，不支持同时设置"服务流量限制"。 约束限制： 异步服务仅支持HTTPS, HTTP。 取值范围： HTTP：HTTP协议。 HTTPS：HTTPS协议。 WSS：WebSocket Secure协议。 WS：WebSocket协议。 默认取值： 不涉及。 | | auth_type | 是 | String | **参数解释：** 认证类型。 **约束限制：** 不涉及。 **取值范围：** - TOKEN：IAM Token认证。 - API_KEY：API Key认证。 - NONE：无认证。 **默认取值：** 不涉及。 | | internet_access_enable | 否 | Boolean | **参数解释：** 公网访问开关。开启后，允许通过互联网访问在线服务，公网访问每日调用上限为 10,000 次，若预期访问数超过上限推荐使用内网访问。 **约束限制：** 不涉及。 **取值范围：** - TRUE：开启公网访问。 - FALSE：关闭公网访问。 **默认取值：** 不涉及。 | | intranet_approval_enable | 否 | Boolean | **参数解释：** 内网审批开关。关闭后，三方用户的内网接入申请自动生效，无需审批。 **约束限制：** 不涉及。 **取值范围：** - TRUE：开启内网审批。 - FALSE：关闭内网审批。 **默认取值：** 不涉及。 | | dynamic_routing_enable | 否 | Boolean | **参数解释：** 动态路由开关。 **约束限制：** 不涉及。 **取值范围：** - TRUE：开启动态路由。 - FALSE：不开启动态路由。 **默认取值：** 不涉及。 | | strategy | 否 | String | **参数解释：** 智能路由策略（861版本该字段在高级配置中）。 **约束限制：** 不涉及。 **取值范围：** - ROUND_ROBIN：轮询。 - ORIGIN_IP_HASH：源IP哈希。 - MIN_CONN：最小连接数。 - MIN_FIRST_TOKEN_TIME：最小首token时延。 - COMPOSITE： 综合负载。 - SLO_BASED：SLO优先级。 **默认取值：** 不涉及。 | | metric_api_scheme | 否 | String | **参数解释：** 指标接口服务请求协议。 **约束限制：** 不涉及。 **取值范围：** - HTTP：HTTP协议。 - HTTPS：HTTPS协议。 **默认取值：** 不涉及。 | | metric_api_port | 否 | String | **参数解释：** 指标接口端口号。 **约束限制：** 不涉及。 **取值范围：** \[1, 65535\]。 **默认取值：** 不涉及。 | | metric_api_path | 否 | String | **参数解释：** 指标接口path。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | ems_enable | 否 | Boolean | **参数解释：** 是否开启EMS加速。 **约束限制：** 不涉及。 **取值范围：** - TRUE：开启EMS加速。 - FALSE：不开启EMS加速。 **默认取值：** 不涉及。 | | request_retry_enable | 否 | Boolean | **参数解释：** proxy支持请求重调度开关。 **约束限制：** 不涉及。 **取值范围：** - true：开启proxy支持请求重调度。 - false：不开启proxy支持请求重调度。 **默认取值：** false | | request_retry_cnt_max | 否 | Integer | **参数解释：** proxy支持请求重调度的重试次数 **约束限制：** 不涉及。 **取值范围：** \[1, 10\]。 **默认取值：** 不涉及。 | | request_retry_interval_ms | 否 | Integer | **参数解释：** proxy支持请求重调度的重试间隔，单位ms **约束限制：** 不涉及。 **取值范围：** \[1, 10000\]。 **默认取值：** 不涉及。 | | fuse_configs | 否 | [FuseConfig] object | **参数解释：** 熔断配置。 **取值范围：** 不涉及。 | | elb_connection | 否 | [ElbConnectionCreateRequest] object | **参数解释：** ELB接入配置。 **取值范围：** 不涉及。 | | custom_urls | 否 | Array of strings | **参数解释：** 服务的自定义调用地址。 **取值范围：** 不涉及。 | 表19FuseConfig | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | error_rate_fuse_enable | 否 | Boolean | **参数解释：** 错误率熔断开关。 **约束限制：** 不涉及。 **取值范围：** - true：开启错误率熔断。 - false：不打开错误率熔断。 **默认取值：** false：不打开错误率熔断。 | | error_rate_threshold | 否 | Float | **参数解释：** 错误率熔断阈值。 **约束限制：** 不涉及。 **取值范围：** (0, 1\]（最多支持2位小数，小数点后第3位做四舍五入处理）。 **默认取值：** 不涉及。 | 表20ElbConnectionCreateRequest | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | elb_id | 是 | String | **参数解释：** 负载均衡器ID。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | m_tls | 否 | Boolean | **参数解释：** 负载均衡器的HTTPS监听器是否开启双向认证。 **约束限制：** 仅推理服务协议为HTTPS或WSS时可配置为true，否则忽略该配置 **取值范围：** 不涉及。 **默认取值：** false | | ca_cert_id | 否 | String | **参数解释：** 负载均衡器的HTTPS监听器配置的客户端证书ID。 **约束限制：** 仅推理服务协议为HTTPS或WSS时可配置，否则忽略该配置 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | server_cert_id | 否 | String | **参数解释：** 负载均衡器的HTTPS监听器配置的服务端证书ID。 **约束限制：** 仅推理服务协议为HTTPS或WSS时可配置，否则忽略该配置。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | sni_cert_ids | 否 | Array of strings | **参数解释：** 负载均衡器的HTTPS监听器配置的SNI（服务器名称指示）证书ID列表。 **约束限制：** 仅推理服务协议为HTTPS或WSS时可配置，否则忽略该配置。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | 表21ServiceLimit | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | rate_limit | 是 | [RateLimit] object | **参数解释：** 流控相关指标。 **约束限制：** 不涉及。 | | request_size_limit | 是 | Integer | **参数解释：** 请求大小限制。 **约束限制：** 不涉及。 **取值范围：** 1-50M。 **默认取值：** 不涉及。 | | request_timeout | 是 | Integer | **参数解释：** 超时时间。 **约束限制：** 不涉及。 **取值范围：** 1到7200秒。 **默认取值：** 不涉及。 | | ip_white_list | 否 | Array of strings | **参数解释：** IP白名单。 **约束限制：** 不涉及。 | | ip_black_list | 否 | Array of strings | **参数解释：** IP黑名单。 **约束限制：** 不涉及。 | 表22RateLimit | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | num | 是 | Integer | **参数解释：** 服务流量限制是指指定单位内一个服务能够被访问的次数上限。 **约束限制：** 不涉及。 **取值范围：** 1-10000。 **默认取值：** 不涉及。 | | unit | 是 | String | **参数解释：** 流量限制单元。 **约束限制：** 不涉及。 **取值范围：** - SECONDS（秒）。 - MINUTES（分钟）。 **默认取值：** 不涉及。 | 表23ServiceSecret | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | secret_enable | 否 | Boolean | **参数解释：** 是否启用密钥。 **约束限制：** 不涉及。 **取值范围：** - true：启用密钥。 - false：不启用密钥。 **默认取值：** false。 | | secret_type | 否 | String | **参数解释：** 密钥类型。 **约束限制：** 不涉及。 **取值范围：** - custom：自定义密钥。 - dew：DEW密钥。 **默认取值：** 不涉及。 | | secret_volumes | 否 | Array of [SecretVolume] objects | **参数解释：** 密钥挂载。 **约束限制：** 上限30个。 | | group_enable | 否 | Boolean | **参数解释：** 是否启用镜像的用户组。 **约束限制：** 不涉及。 **取值范围：** - true：启用镜像的用户组。 - false：不启用镜像的用户组。 **默认取值：** false。 | | group_id | 否 | Long | **参数解释：** 镜像的用户组ID。 **约束限制：** 不涉及。 **取值范围：** 1000\~4294967294。 **默认取值：** 不涉及。 | 表24SecretVolume | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | secret_name | 否 | String | **参数解释：** 密钥名称。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | secret_key | 否 | String | **参数解释：** 密钥key。 **约束限制：** 匹配一个长度在1到63之间的字符串，只能包含字母、数字、点、下划线和连字符，并且不能以两个连续的点（..）开头。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | secret_value | 否 | String | **参数解释：** 密钥值。 **约束限制：** 长度在1\~32768，Base64编码后的密钥值。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | mount_path | 是 | String | **参数解释：** 挂载路径。 **约束限制：** 不涉及。 **取值范围：** 以(/)开头和结尾，可包含字母、数字、中划线、下划线，整个挂载路径长度不能超过255位。 **默认取值：** 不涉及。 | 表25ServerTaskLimit | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | max_task | 否 | Integer | **参数解释：** 单个服务任务限制总数。 **取值范围：** \[0, 10000\]。 | 表26UpgradeConfig | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | type | 否 | String | **参数解释：** 升级类型。 **约束限制：** 不涉及。 **取值范围：** - ROLLING：滚动升级，默认值。 **默认取值：** 不涉及。 | | rolling_update | 否 | [RollingUpdate] object | **参数解释：** 滚动更新配置。 **约束限制：** 不涉及。 | 表27RollingUpdate | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | max_surge | 否 | String | **参数解释：** 滚动更新时最多可以启动多少个Pod。 **约束限制：** 百分数类型字符串。 **取值范围：** 1%-100%。 **默认取值：** 1%。 | | max_unavailable | 否 | String | **参数解释：** 滚动更新时最多可以删除多少个Pod。 **约束限制：** 百分数类型字符串。 **取值范围：** 1%-100%。 **默认取值：** 1%。 | 表28LtsConfiguration | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | status | 是 | String | **参数解释：** 日志服务状态。 **取值范围：** - ON：开启。 - OFF：关闭。 **默认取值：** ON。 | | type | 是 | String | **参数解释：** LTS日志类型。 **约束限制：** 不涉及。 **取值范围：** - STDOUT：容器标准输出 - EVENT：Kubernetes事件 - FILE：容器日志文件 **默认取值：** 不涉及。 | | log_group_id | 否 | String | **参数解释：** 日志组ID，用户选择自己已有的日志组，不填时，会自动创建。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | log_stream_id | 否 | String | **参数解释：** 日志流id，用户选择自己已有的日志组。不填时，会自动创建。 **约束限制：** 不涉及。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | files | 否 | Array of [LtsFiles] objects | **参数解释：** 容器日志文件配置。 **约束限制：** 数量上限为10个。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | 表29LtsFiles | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | log_path | 是 | String | **参数解释：** 日志文件路径。 **约束限制：** 1.路径必须以 %%开头，且第一级目录不能使用通配符，只能包含大写字母，小写字母，数字或特殊符号-_/\*?，长度不能超过 512 个字符。 2.最多允许三级目录使用通配符进行匹配。 **取值范围：** 不涉及 **默认取值：** 不涉及。 | | file_pattern | 是 | String | **参数解释：** 日志文件名称。 **约束限制：** 只能包含大写字母，小写字母，数字或特殊字符-_\*?，不支持.gz .tar .zip后缀类型，长度不能超过 255 个字符。 **取值范围：** 不涉及 **默认取值：** 不涉及。 | 表30tags | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | key | 否 | String | **参数解释：** 标签键字段。 **约束限制：** 不涉及。 **取值范围：** 长度为1\~128，标签的键可以包含任意语种字母、数字、空格，以及_ . : = + - @特殊字符，但首尾不能含有空格，不能以_sys_开头。 **默认取值：** 不涉及。 | | value | 否 | String | **参数解释：** 标签value值。 **约束限制：** 最大长度为256。 **取值范围：** 任意数量的字母、数字、空格、下划线、点、冒号、斜杠、等号、加号、减号、@等字符开始和结束的字符串。 **默认取值：** 不涉及。 | 表31ScheduleConfig | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | duration | 否 | Integer | **参数解释：** 对应的时间单位的数值。 **约束限制：** 与time_unit共同确认时间设置的范围是1分钟\~7天之间。 **取值范围：** 不涉及。 **默认取值：** 不涉及。 | | time_unit | 否 | String | **参数解释：** 时间的单位。 **约束限制：** 与duration共同确认时间设置的范围是1分钟\~7天之间。 **取值范围：** - MINUTES：分钟。 - HOURS：小时。 - DAYS：天。 **默认取值：** 不涉及。 | | type | 否 | String | **参数解释：** 调度类型，当前仅支持取值为STOP。 **约束限制：** 不涉及。 **取值范围：** - STOP：停止。 **默认取值：** 不涉及。 | #### 响应参数 **状态码：200** 表32响应Body参数 | 参数 | 参数类型 | 描述 | |:---|:---|:---| | id | String | **参数解释：** 服务ID，在[创建服务](https://support.huaweicloud.com/api-modelarts/CreateInferService.html#ZH-CN_TOPIC_0000002723741846)时即可在返回体中获取，也可通过[查询服务列表](https://support.huaweicloud.com/api-modelarts/ListInferServices.html#ZH-CN_TOPIC_0000002723741848)获取当前用户拥有的服务，其中service_id字段即为服务ID。 **取值范围：** 不涉及。 | | name | String | **参数解释：** 服务名，用户在[创建服务](https://support.huaweicloud.com/api-modelarts/CreateInferService.html#ZH-CN_TOPIC_0000002723741846)时自定义的名称。 **取值范围：** 支持1-64位字符，可包含字母、中文、数字、中划线、下划线。 | | workspace_id | String | **参数解释：** 工作空间ID。 **取值范围：** - 0：默认空间ID。 - 由数字和小写字母组成的32位字符：其他空间ID，可参考[工作空间创建](https://support.huaweicloud.com/api-modelarts/CreateWorkspace.html#ZH-CN_TOPIC_0000002753341517)。 | | type | String | **参数解释：** 推理服务类型。 **取值范围：** - REAL_TIME：在线服务。 - ASYNC_REAL_TIME：异步服务。 | | deploy_type | String | **参数解释：** 部署方式。 **取值范围：** - SINGLE：单机单卡。 - MULTI：多机多卡。 | | status | String | **参数解释：** 服务当前状态。 **取值范围：** - DEPLOYING：部署中 。 - FAILED：失败 。 - STOPPED：停止。 - RUNNING：运行中。 - DELETING：删除中 。 - STOPPING：停止中 。 - CONCERNING：告警 。 - UPGRADING：升级中 。 - ERROR：异常 。 - INIT：待部署。 | | failure_reason | String | **参数解释：** 在线服务失败原因。 **取值范围：** 不涉及。 | | version | [ServiceVersionResponse] object | **参数解释：** 当前服务版本信息。 | | predict_url | Array of [PredictUrlResponse] objects | **参数解释：** 在线服务访问地址，创建服务接口无返回，详情接口中返回。 | | dispatcher_group_id | String | **参数解释：** 服务绑定的dispatcher组ID，创建服务接口无返回，详情接口中返回。 **取值范围：** 不涉及。 | | tags | Array of [TagsResponse] objects | **参数解释：** TMS对接标签类。 | | deploy_timeout_minutes | Integer | **参数解释：** 部署超时时间。 | | schedule | Array of [ScheduleConfigResponse] objects | **参数解释：** 定时停止配置。 | | create_at | String | **参数解释：** 创建时间，根据创建时的当前时间自动生成。 **取值范围：** 毫秒级时间戳，13位数字，如1609459200000。 | | update_at | String | **参数解释：** 更新时间，根据更新时的当前时间自动生成。 **取值范围：** 毫秒级时间戳，13位数字，如1609459200000。 | | task_type | String | **参数解释：** 模型类型。 **取值范围：** - TEXT_GENERATION：文本生成 - IMAGE_UNDERSTANDING：图像理解 - VIDEO_GENERATION：视频生成 - IMAGE_GENERATION：图像生成 - RERANK：重排序 - VECTOR_MODEL：向量模型 - EMBEDDING：Embedding嵌入 | | provider | String | **参数解释：** 服务提供者的账号id（创建服务时通过X-Auth-Token-Provider请求头解析iam token而来），该值不为空时，该服务的所有更新操作需要在请求头中添加X-Auth-Token-Provider，取值为该账号id的domain级或project级token。 | | frozen_infos | Array of [FrozenInfo] objects | **参数解释：** 当服务或者部署被冻结时返回的冻结类型信息。 | 表33ServiceVersionResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | id | String | **参数解释：** 版本id。 **取值范围：** 不涉及。 | | version | String | **参数解释：** 版本号。 **取值范围：** 不涉及。 | | description | String | **参数解释：** 描述。 **取值范围：** 不涉及。 | | predict_url | String | **参数解释：** 推理请求的访问地址。 **取值范围：** 不涉及。 | | runtime_config | [RuntimeConfigResponse] object | **参数解释：** 服务运行配置。 | | upgrade_config | [UpgradeConfigResponse] object | **参数解释：** 服务升级配置。 | | instance_groups | Array of [GroupConfigResponse] objects | **参数解释：** 服务部署信息。 | | lts_strategy | String | **参数解释：** 日志策略。 **取值范围：** - POOL：使用资源池日志插件配置的日志流。 - AUTO_CREATE：自动创建日志流。 - DEFAULT: 由系统决定日志策略 | | lts_status | String | **参数解释：** 服务容器标准输出对接lts开关状态。 **取值范围：** - ON：开启。 - OFF：关闭。 | | lts_event_status | String | **参数解释：** 服务对接lts k8s事件开关状态。 **取值范围：** - ON：开启。 - OFF：关闭。 | | lts_file_status | String | **参数解释：** 服务容器日志文件对接lts开关状态。 **取值范围：** - ON：开启。 - OFF：关闭。 | | log_configs | Array of [LogConfigResponse] objects | **参数解释：** 服务日志配置信息。 | | deploy_timeout_minutes | Integer | **参数解释：** 部署超时时间。 **取值范围：** 不涉及。 | 表34RuntimeConfigResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | service_invoke | [ServiceInvokeResponse] object | **参数解释：** 服务调用时的相关配置。 | | service_limit | [ServiceLimitResponse] object | **参数解释：** 服务限制信息。 | | service_secret | [ServiceSecretResponse] object | **参数解释：** 服务密钥挂载。 | | server_task_limit | [ServerTaskLimit] object | **参数解释：** 服务任务限制信息。 | 表35ServiceInvokeResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | port | Integer | **参数解释：** 服务端口号。 **取值范围：** \[1, 65535\]。 | | protocol | String | **参数解释：** 服务请求协议。当选择WSS与WS时，服务接口会升级为WebSocket。开启WebSocket时，不支持同时设置"服务流量限制"。 **取值范围：** - HTTP：HTTP协议。 - HTTPS：HTTPS协议。 - WSS：WebSocket Secure协议。 - WS：WebSocket协议。 | | auth_type | String | **参数解释：** 认证类型。 **取值范围：** - TOKEN：IAM Token认证。 - API_KEY：API Key认证。 - NONE：无认证。 | | internet_access_enable | Boolean | **参数解释：** 公网访问开关。开启后，允许通过互联网访问在线服务，公网访问每日调用上限为 10,000 次，若预期访问数超过上限推荐使用内网访问。 **取值范围：** - TRUE：开启公网访问。 - FALSE：关闭公网访问。 | | intranet_approval_enable | Boolean | **参数解释：** 内网审批开关。关闭后，三方用户的内网接入申请自动生效，无需审批。 **取值范围：** - TRUE：开启内网审批。 - FALSE：关闭内网审批。 | | dynamic_routing_enable | Boolean | **参数解释：** 动态路由开关。 **取值范围：** - TRUE：开启动态路由。 - FALSE：不开启动态路由。 | | strategy | String | **参数解释：** 智能路由策略。 **取值范围：** - ROUND_ROBIN：轮询。 - ORIGIN_IP_HASH：源IP哈希。 - MIN_CONN：最小连接数。 - MIN_FIRST_TOKEN_TIME：最小首token时延。 - COMPOSITE：综合负载。 - SLO_BASED：SLO优先级。 | | metric_api_scheme | String | **参数解释：** 指标接口服务请求协议。 **取值范围：** - HTTP：HTTP协议。 - HTTPS：HTTPS协议。 | | metric_api_port | String | **参数解释：** 指标接口端口号。 **取值范围：** \[1, 65535\]。 | | metric_api_path | String | **参数解释：** 指标接口path。 **取值范围：** 不涉及。 | | ems_enable | Boolean | **参数解释：** 是否开启EMS加速。 **取值范围：** - TRUE：开启EMS加速。 - FALSE：不开启EMS加速。 | | request_retry_enable | Boolean | **参数解释：** proxy支持请求重调度开关。 **取值范围：** - true：开启proxy支持请求重调度。 - false：不开启proxy支持请求重调度。 | | request_retry_cnt_max | Integer | **参数解释：** proxy支持请求重调度的重试次数 **取值范围：** \[1, 10\]。 | | request_retry_interval_ms | Integer | **参数解释：** proxy支持请求重调度的重试间隔，单位ms **取值范围：** \[1, 10000\]。 | | fuse_configs | [FuseConfig] object | **参数解释：** 熔断配置。 **取值范围：** 不涉及。 | | elb_connection | [ElbConnectionResponse] object | **参数解释：** ELB接入配置。 **取值范围：** 不涉及。 | 表36FuseConfig | 参数 | 参数类型 | 描述 | |:---|:---|:---| | error_rate_fuse_enable | Boolean | **参数解释：** 错误率熔断开关。 **取值范围：** - true：开启错误率熔断。 - false：不打开错误率熔断。 | | error_rate_threshold | Float | **参数解释：** 错误率熔断阈值。 **取值范围：** (0, 1\]（最多支持2位小数，小数点后第3位做四舍五入处理）。 | 表37ElbConnectionResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | elb_id | String | **参数解释：** 负载均衡器ID。 **取值范围：** 不涉及。 | | listener_id | String | **参数解释：** 负载均衡器的监听器ID。 **取值范围：** 不涉及。 | | m_tls | Boolean | **参数解释：** 负载均衡器的HTTPS监听器是否开启双向认证。 **取值范围：** 不涉及。 | | ca_cert_id | String | **参数解释：** 负载均衡器的HTTPS监听器配置的客户端证书ID。 **取值范围：** 不涉及。 | | server_cert_id | String | **参数解释：** 负载均衡器的HTTPS监听器配置的服务端证书ID。 **取值范围：** 不涉及。 | | sni_cert_ids | Array of strings | **参数解释：** 负载均衡器的HTTPS监听器配置的SNI（服务器名称指示）证书ID列表。 **取值范围：** 不涉及。 | | status | String | **参数解释：** ELB连接状态。 **取值范围：** - CONNECTING：连接中。 - CONNECTED：已连接。 - CONNECT_FAILED：连接失败。 - DISCONNECTING：断开中 - DISCONNET_FAILED：断开失败 | | message | String | **参数解释：** ELB连接失败时的错误信息。 **取值范围：** 不涉及。 | | residual_resources | [ResidualResources] object | **参数解释：** ELB断开失败时的残留资源。 **取值范围：** 不涉及。 | 表38ResidualResources | 参数 | 参数类型 | 描述 | |:---|:---|:---| | elb_listener_id | String | **参数解释：** 负载均衡器监听器ID。 **取值范围：** 不涉及。 | | elb_pool_id | String | **参数解释：** 后端服务器组ID。 **取值范围：** 不涉及。 | | vpcep_id | String | **参数解释：** 终端节点ID。 **取值范围：** 不涉及。 | 表39ServiceLimitResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | rate_limit | [RateLimitResponse] object | **参数解释：** 流控相关指标。 | | request_size_limit | Integer | **参数解释：** 请求大小限制。 **取值范围：** 1-50M。 | | request_timeout | Integer | **参数解释：** 超时时间。 **取值范围：** 1到7200秒。 | | ip_white_list | Array of strings | **参数解释：** IP白名单。 | | ip_black_list | Array of strings | **参数解释：** IP黑名单。 | 表40RateLimitResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | num | Integer | **参数解释：** 服务流量限制是指指定单位内一个服务能够被访问的次数上限。 **取值范围：** 1-10000。 | | unit | String | **参数解释：** 流量限制单元。 **取值范围：** - NANOS（纳秒）。 - MICROS（微秒）。 - MILLIS（毫秒）。 - SECONDS（秒）。 - MINUTES（分钟）。 - HOURS（小时）。 - DAYS（天）。 | 表41ServiceSecretResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | secret_enable | Boolean | **参数解释：** 是否启用密钥。 **取值范围：** - true：启用密钥。 - false：不启用密钥。 | | secret_type | String | **参数解释：** 密钥类型。 **取值范围：** - custom：自定义密钥。 - dew：DEW密钥。 | | secret_volumes | Array of [SecretVolumeResponse] objects | **参数解释：** 密钥挂载。 | | group_enable | Boolean | **参数解释：** 是否启用镜像的用户组。 **取值范围：** - true：启用镜像的用户组。 - false：不启用镜像的用户组。 | | group_id | Long | **参数解释：** 镜像的用户组ID。 **取值范围：** 1000\~4294967294。 | 表42SecretVolumeResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | secret_name | String | **参数解释：** 密钥名称。 **取值范围：** 不涉及。 | | secret_key | String | **参数解释：** 密钥key。 **取值范围：** 长度不大于63。 | | secret_value | String | **参数解释：** 密钥值。 **取值范围：** 长度不大于32768。 | | mount_path | String | **参数解释：** 挂载路径。 **取值范围：** 不涉及。 | 表43ServerTaskLimit | 参数 | 参数类型 | 描述 | |:---|:---|:---| | max_task | Integer | **参数解释：** 单个服务任务限制总数。 **取值范围：** \[0, 10000\]。 | 表44UpgradeConfigResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | type | String | **参数解释：** 升级类型。 **取值范围：** - ROLLING：滚动升级，默认值。 | | rolling_update | [RollingUpdateResponse] object | **参数解释：** 滚动更新配置。 | 表45RollingUpdateResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | max_surge | String | **参数解释：** 滚动更新时最多可以启动多少个Pod。 **取值范围：** 不涉及。 | | max_unavailable | String | **参数解释：** 滚动更新时最多可以删除多少个Pod。 **取值范围：** 不涉及。 | 表46GroupConfigResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | id | String | **参数解释：** 部署ID。 **取值范围：** 不涉及。 | | name | String | **参数解释：** 部署名称。 **取值范围：** 不涉及。 | | pool_id | String | **参数解释：** 资源池ID，查询指定资源池下的服务，默认不过滤。可通过[查询资源池列表](https://support.huaweicloud.com/api-modelarts/ShowPool.html#ZH-CN_TOPIC_0000002753501559)获取。 **取值范围：** 不涉及。 | | count | Integer | **参数解释：** 部署场景下，服务实例数量。 **取值范围：** \[1, 128\]。 | | system_log_dump_enable | Boolean | **参数解释：** 系统日志转储开关。 **取值范围：** 不涉及。 | | unit_configs | Array of [UnitConfigResponse] objects | **参数解释：** 推理单元配置。 | | weight | Integer | **参数解释：** 权重百分比，分配到此模型的流量权重，仅当模型部署为在线服务时需要配置。 **取值范围：** \[0, 100\]。 | | traffic_ratio | String | **参数解释：** 流量比例，单个部署实例预期接收用户的流量与总流量比值，是由流量权重配置和部署状态计算所得的值。 **取值范围：** 0.00%\~100.00%。 | | secret_type | String | **参数解释：** 凭证类型相关配置，用户可以在此处选择使用的凭证类型（dew，agency） **取值范围：** - dew：DEW密钥。 - agency：临时委托凭证。 | | secret_name | String | **参数解释：** 凭证名称，用户使用dew类型凭证时可以在此处选择使用的凭证。 | | priority | Integer | **参数解释：** 服务优先级。 **取值范围：** \[1, 3\]。 | | high_avail_switch | Boolean | **参数解释：** 高可用开关，开启后不同实例的pod将尽量均匀分布到不同的节点上。（准备下线，请使用schedule_strategy字段） **取值范围：** - true: 高可用开启 - false: 高可用关闭。 | | framework | String | **参数解释：** 算法框架。 **取值范围：** - COMMON： 普通在线服务。 | | version | String | **参数解释：** 服务版本号，以数字及点号组成，形如1.0.1。 **取值范围：** 1.0.0 \~ 99.99.99，长度不超过8位。 | | version_id | String | **参数解释：** 版本id，可通过查询version列表查询。 **取值范围：** 不涉及。 | | status | String | **参数解释：** 服务当前状态。 **取值范围：** - DEPLOYING：部署中。 - FAILED：失败。 - STOPPED：停止。 - RUNNING：运行中。 - DELETING：删除中。 - STOPPING：停止中。 - CONCERNING：告警。 - DELETED: 已删除。 - RESTARTING: 重启中。 - UPGRADING：升级中。 - ERROR：异常。 - INTERRUPTING：中断中。 | | running_count | Integer | **参数解释：** 部署场景下，服务运行实例数量。 **取值范围：** \[1, 128\]。 | | deploy_type | String | **参数解释：** 部署类型。 **取值范围：** - SINGLE：单机单卡。 - MULTI：多机多卡。 | | mirror_traffic_enable | Boolean | **参数解释：** 是否开启镜像流量。 **取值范围：** 不涉及。 | | mirror_traffic_weight | String | **参数解释：** 镜像流量权重。 **取值范围：** 50。 | | version_count | Integer | **参数解释：** 服务版本数量。 **取值范围：** 不涉及。 | | workload_type | String | **参数解释：** 工作负载类型。 **取值范围：** 不涉及。 | | update_at | Long | **参数解释：** 更新时间，根据更新时的当前时间自动生成。 **取值范围：** 毫秒级时间戳，13位数字。 | | lts_state | String | **参数解释：** 部署对接lts状态。 **取值范围：** - ON：开启。 - OFF：关闭。 | | infer_name | String | **参数解释：** 部署ID。 | | model | [InferModelResponse] object | **参数解释：** 模型相关配置，用户可以在此处选择模型及权重文件配合镜像使用。 | | advanced_config | [AdvancedConfig] object | **参数解释：** 部署高级配置。 | | description | String | **参数解释：** 部署描述。 | | create_at | String | 参数解释： 创建时间，根据创建时的当前时间自动生成。 取值范围： 毫秒级时间戳，13位数字，如1609459200000。 | | schedule_strategy | String | **参数解释：** 调度策略。 **取值范围：** - HIGH_AVAILABILITY：高可用调度 - HIGH_UTILIZATION：紧凑调度 - HIGH_PERFORMANCE：高性能调度 | 表47UnitConfigResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | id | String | **参数解释：** 实例单元ID。 **取值范围：** 不涉及。 | | name | String | **参数解释：** 实例单元名称。 **取值范围：** 不涉及。 | | role | String | **参数解释：** 实例单元角色。 **取值范围：** - COMMON：表示其他角色。 | | custom_spec | [CustomResourceSpec] object | **参数解释：** 自定义资源规格配置。 | | flavor | String | **参数解释：** 资源规格，根据所提供版本选择适合业务的规格。当specification为custom时表示自定义规格。由custom_spec指定部署的规格配置。 **取值范围：** 不涉及。 | | image | [ImageInfoResponse] object | **参数解释：** 镜像配置信息，包含镜像地址，镜像来源。 | | models | Array of [InferModelResponse] objects | **参数解释：** 模型相关配置，用户可以在此处选择模型及权重文件配合镜像使用。 | | files | Array of [FileResponse] objects | **参数解释：** 模型和代码相关配置，用户可以在此处选择模型及权重文件配合镜像使用以及代码所在的obs路径等。 | | codes | Array of [CodeResponse] objects | **参数解释：** 代码相关配置，用户可以在此处选择代码所在的obs路径等。 | | dumps | Array of [DumpResponse] objects | **参数解释：** 转储相关配置，用户可以在此处选择转储的目的obs路径等。 | | count | Integer | **参数解释：** 配置实例个数。 **取值范围：** 不涉及。 | | group_count | Integer | **参数解释：** 单元副本数，当部署类型deploy_type为SINGLE或工作负载类型workload_type为DEPLOYMENT时，该参数无效。 **取值范围：** \[1, 100\] 或者为空。 | | cmd | String | **参数解释：** 启动命令。 **取值范围：** 不涉及。 | | envs | Map\ | **参数解释：** 环境变量。 | | readiness_health | [HealthResponse] object | **参数解释：** 就绪健康检查。 | | startup_health | [HealthResponse] object | **参数解释：** 启动健康检查。 | | liveness_health | [HealthResponse] object | **参数解释：** 存活健康检查。 | | port | Integer | **参数解释：** 端口。 **取值范围：** \[1,65535\]。 | | recovery | String | **参数解释：** 自动重建策略，开启后，由于部署配置变更或者故障等原因导致Pod重启时，平台将按策略自动执行重建。若不开启，平台将不会主动干预处理。 **取值范围：** - Instance：部署副本重建，故障时重新拉起整个部署。 - Role：单元重建，当部署单元内的Pod出现故障时，重启该单元内的所有Pod。 - Pod：Pod重建，故障时重新拉起故障pod。 | | npu_reset_enable | Boolean | **参数解释：** 是否开启恢复策略。 **取值范围：** - true：开启恢复策略。 - false：不开启恢复策略。 | | affinity | [AffinityResponse] object | **参数解释：** 节点亲和调度设置。 | | flavor_display_name | String | **参数解释：** 规格展示名。仅使用切分规格部署的服务返回有此字段。 **取值范围：** 不涉及。 | | termination_grace | [TerminationGrace] object | **参数解释：** 开启后，支持设置停机时间及停机命令等，避免正在处理的请求被强制中断，从而提高系统的可用性和稳定性。 **取值范围：** - 协议范围：http/https。 - 端口范围：1-65535。 - 地址范围：仅包含字母、数字、点号（.）、中划线（-)、下划线（_）、斜杠（/）的路径，非斜杠（/）开头。 | | security_config | [ServiceSecurityConfig] object | **参数解释：** 启动业务容器设置信息。 **取值范围：** 不涉及。 | | pool_resource_flavor | String | **参数解释：** 节点池资源规格。 **取值范围：** 长度不超过128字符。 | 表48CustomResourceSpec | 参数 | 参数类型 | 描述 | |:---|:---|:---| | gpu | Float | **参数解释：** GPU个数。 **取值范围：** 支持配置小数，输入值不能小于0（最多支持2位小数，小数点后第3位做四舍五入处理）。 | | memory | Integer | **参数解释：** 内存，单位为MB。 **取值范围：** 仅支持整数。 | | cpu | Float | **参数解释：** CPU核数。 **取值范围：** 支持配置小数，输入值不能小于0.01（最多支持2位小数，小数点后第3位做四舍五入处理）。 | | ascend | Integer | **参数解释：** Ascend芯片个数。 **取值范围：** 不涉及。 | | arch | String | **参数解释：** 架构类型。 **取值范围：** 枚举值：x86 \| arm64。 | 表49ImageInfoResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | id | String | **参数解释：** 镜像id。 **取值范围：** 不涉及。 | | source | String | **参数解释：** 镜像类别，标识镜像来源。 **取值范围：** - SWR：软件仓库服务。 | | swr_path | String | **参数解释：** 镜像地址，source不同取值时，地址为不同值。 **取值范围：** 不涉及。 | | category | String | **参数解释：** 镜像支持的规格。 **取值范围：** - GPU：图形处理器。 - CPU：中央处理器。 - ASCEND：昇腾芯片。 | 表50InferModelResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | source | String | **参数解释：** 代码来源类别。 **取值范围：** 如下参数不区分大小写 - OBS：对象存储服务。 - OBSFS：OBS的文件系统接口。 - EFS：弹性文件服务。 - TRAIN：训练作业。 - LOCAL：挂载宿主机本地存储目录。 | | address | String | **参数解释：** 代码来源地址，格式遵循不同存储系统。 **取值范围：** 不涉及。 | | source_id | String | **参数解释：** 来源ID。 **取值范围：** 不涉及。 | | mount_path | String | **参数解释：** 挂载到容器内的路径，要求以/开头，后面可包含中划线、反斜杠、下划线、点号、字母、数字。 **取值范围：** 以(/)开头和结尾，可包含字母、数字、中划线、下划线，整个挂载路径长度不能超过255位。 | | host_cache | Boolean | **参数解释：** 是否支持模型本地缓存，默认是不支持。 **取值范围：** - true：支持。 - false：不支持。 | | efs_sub_path | String | **参数解释：** 当存储类别为EFS时，支持配置子目录。 **取值范围：** 不涉及。 | | read_only | Boolean | **参数解释：** 挂载权限设置，是否只读。 **取值范围：** - true：只读。 - false：非只读。 | | os_warm_up | Boolean | **参数解释：** OS预热。 **取值范围：** - true：预热。 - false：不预热。 | | source_name | String | **参数解释：** 预热名称。 **取值范围：** 支持1-64位字符，可包含字母、中文、数字、中划线、下划线。 | | asset_id | String | **参数解释：** 预置资产id。 **取值范围：** 支持1-64位字符，可包含字母、中文、数字、中划线、下划线。 | 表51FileResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | source | String | **参数解释：** 代码来源类别。 **取值范围：** - OBS：对象存储服务。 - OBSFS：OBS的文件系统接口。 - EFS：弹性文件服务。 - LOCAL：挂载宿主机本地存储目录。 | | address | String | **参数解释：** 代码来源地址，格式遵循不同存储系统。 **取值范围：** 不涉及。 | | mount_path | String | **参数解释：** 挂载到容器内的路径。 **取值范围：** 以(/)开头和结尾，可包含字母、数字、中划线、下划线，整个挂载路径长度不能超过255位。 | | host_cache | Boolean | **参数解释：** 是否支持模型本地缓存，默认是不支持。 **取值范围：** - true：支持。 - false：不支持。 | | efs_sub_path | String | **参数解释：** 当存储类别为EFS时，支持配置子目录。 **取值范围：** 不涉及。 | | read_only | Boolean | **参数解释：** 挂载权限设置，是否只读。 **取值范围：** - true：只读。 - false：非只读。 | | os_warm_up | Boolean | **参数解释：** OS预热。 **取值范围：** - true：预热。 - false：不预热。 | | source_name | String | **参数解释：** 预热名称。 **取值范围：** 支持1-64位字符，可包含字母、中文、数字、中划线、下划线。 | 表52CodeResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | source | String | **参数解释：** 代码来源类别。 **取值范围：** - OBS：对象存储服务。 - OBSFS：OBS的文件系统接口。 - EFS：弹性文件服务。 | | address | String | **参数解释：** 代码来源地址，格式遵循不同存储系统。 **取值范围：** 不涉及。 | | source_id | String | **参数解释：** 代码来源ID，与address二选一，当且仅当source为EFS时，可以传入sfs turbo的ID。 **取值范围：** 不涉及。 | | mount_path | String | **参数解释：** 挂载到容器内的路径。 **取值范围：** 以(/)开头和结尾，可包含字母、数字、中划线、下划线，整个挂载路径长度不能超过255位。 | | efs_sub_path | String | **参数解释：** EFS子路径。 **取值范围：** 不涉及。 | | read_only | Boolean | **参数解释：** 挂载权限设置, 是否只读。 **取值范围：** - true：只读。 - false：非只读。 | 表53DumpResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | source | String | **参数解释：** 用户转储来源类别。 **取值范围：** - OBS：对象存储服务。 - OBSFS：OBS的文件系统接口。 | | address | String | **参数解释：** 用户转储来源地址，格式遵循不同存储系统。 **取值范围：** 不涉及。 | | mount_path | String | **参数解释：** 挂载到容器内的路径，要求以/开头，后面可包含中划线，反斜杠，下划线，点号，字母，数字。 **取值范围：** 不涉及。 | | type | String | **参数解释：** 转储类型。 **取值范围：** - DUMP：用户自定义转储。 - DUMP_SYS：系统转储。 | 表54HealthResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | check_method | String | **参数解释：** 健康检查方式：HTTP 或者 EXEC（命令行）。 **取值范围：** - HTTP：超文本传输协议。 - EXEC：命令行。 | | cmd | String | **参数解释：** 当健康检查方式为EXEC时，配置的命令行。 **取值范围：** 不涉及。 | | url | String | **参数解释：** 当健康检查方式为HTTP 时，配置的请求地址。 **取值范围：** 不涉及。 | | protocol | String | **参数解释：** 连接协议。默认HTTP。 **取值范围：** - HTTPS：超文本传输协议安全版。 - HTTP：超文本传输协议。 - WSS：网络通信协议安全版。 - WS：网络通信协议。 | | initial_delay_seconds | Integer | **参数解释：** 执行首次探测时，应该等待的时间，默认30秒，最小1秒。 **取值范围：** 不涉及。 | | timeout_seconds | Integer | **参数解释：** 执行探测的超时时间，默认30秒，最小1秒。 **取值范围：** 最小值为1秒。 | | period_seconds | Integer | **参数解释：** 执行健康检查的周期时间，执行探测的频率。默认是10秒，最小1秒。 **取值范围：** 最小值为1秒。 | | failure_threshold | Integer | **参数解释：** 探测成功后，至少连续探测失败多少次才被认定为失败。默认是3。最小值是1。 **取值范围：** 最小值为1。 | 表55AffinityResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | affinity_type | String | **参数解释：** 节点亲和类型。 **取值范围：** - AFFINITY：亲和。 - ANTI_AFFINITY：反亲和。 | | required | Boolean | **参数解释：** 是否设置强亲和。 **取值范围：** - true：设置强亲和。 - false：不设置强亲和。 | | selection_mode | String | **参数解释：** 选择节点方式。 **取值范围：** IP。 | | targets | Map\ | **参数解释：** 通过上述方式选择的列表，长度不能超过20。 | 表56TerminationGrace | 参数 | 参数类型 | 描述 | |:---|:---|:---| | pre_stop_cmd | String | **参数解释：** 停机命令在容器收到停止信号时触发，但必须在停机时间的宽限期内完成，否则容器会被强制停止。您可以通过该命令精细化操作，如关闭数据库连接、释放文件句柄、停止子进程等。 **取值范围：** - 协议范围：http/https。 - 端口范围：1-65535。 - 地址范围：仅包含字母、数字、点号（.）、中划线（-)、下划线（_）、斜杠（/）的路径，非斜杠（/）开头。 | | termination_grace_period_seconds | Integer | **参数解释：** 该参数表示 Pod 收到停止信号到强制停止的最大时间窗口，用于 Pod 执行清理操作（如关闭连接、释放资源、保存状态等）。 **取值范围：** - 协议范围：http/https。 - 端口范围：1-65535。 - 地址范围：仅包含字母、数字、点号（.）、中划线（-)、下划线（_）、斜杠（/）的路径，非斜杠（/）开头。 | 表57ServiceSecurityConfig | 参数 | 参数类型 | 描述 | |:---|:---|:---| | user_id | Long | **参数解释：** 启动业务容器时设置的user_id，默认可为空。 **取值范围：** \[1, 60000\]。 | | group_id | Long | **参数解释：** 启动业务容器时设置的group_id，默认可为空。 **取值范围：** \[1, 60000\]。 | 表58AdvancedConfig | 参数 | 参数类型 | 描述 | |:---|:---|:---| | deploy_timeout_minutes | String | **参数解释：** 部署超时时间 | | upgrade_config | [UpgradeConfig] object | **参数解释：** 滚动升级配置 | | service_secret | [ServiceSecret] object | **参数解释：** 服务密钥 | | dynamic_routing_enable | Boolean | **参数解释：** 智能路由开关 | | strategy | String | **参数解释：** 智能路由策略 | | ems_enable | Boolean | **参数解释：** EMS加速开关 | | metric_api_scheme | String | **参数解释：** 智能路由指标采集scheme | | metric_api_port | String | **参数解释：** 智能路由指标采集端口 | | metric_api_path | String | **参数解释：** 智能路由指标采集地址 | | custom_metrics_path | String | **参数解释：** 自定义监控采集指标地址 | | port | Integer | **参数解释：** 容器端口 | | protocol | String | **参数解释：** 容器请求协议。当选择WSS与WS时，服务接口会升级为WebSocket。开启WebSocket时，不支持同时设置"服务流量限制"。 **取值范围：** - HTTP：HTTP协议。 - HTTPS：HTTPS协议。 - WSS：WebSocket Secure协议。 - WS：WebSocket协议。 - TCP：传输控制协议。 - NA：不使用任何协议。 | 表59UpgradeConfig | 参数 | 参数类型 | 描述 | |:---|:---|:---| | type | String | **参数解释：** 升级类型。 **取值范围：** - ROLLING：滚动升级，默认值。 | | rolling_update | [RollingUpdate] object | **参数解释：** 滚动更新配置。 | 表60RollingUpdate | 参数 | 参数类型 | 描述 | |:---|:---|:---| | max_surge | String | **参数解释：** 滚动更新时最多可以启动多少个Pod。 **取值范围：** 1%-100%。 | | max_unavailable | String | **参数解释：** 滚动更新时最多可以删除多少个Pod。 **取值范围：** 1%-100%。 | 表61ServiceSecret | 参数 | 参数类型 | 描述 | |:---|:---|:---| | secret_enable | Boolean | **参数解释：** 是否启用密钥。 **取值范围：** - true：启用密钥。 - false：不启用密钥。 | | secret_type | String | **参数解释：** 密钥类型。 **取值范围：** - custom：自定义密钥。 - dew：DEW密钥。 | | secret_volumes | Array of [SecretVolume] objects | **参数解释：** 密钥挂载。 | | group_enable | Boolean | **参数解释：** 是否启用镜像的用户组。 **取值范围：** - true：启用镜像的用户组。 - false：不启用镜像的用户组。 | | group_id | Long | **参数解释：** 镜像的用户组ID。 **取值范围：** 1000\~4294967294。 | 表62SecretVolume | 参数 | 参数类型 | 描述 | |:---|:---|:---| | secret_name | String | **参数解释：** 密钥名称。 **取值范围：** 不涉及。 | | secret_key | String | **参数解释：** 密钥key。 **取值范围：** 不涉及。 | | secret_value | String | **参数解释：** 密钥值。 **取值范围：** 不涉及。 | | mount_path | String | **参数解释：** 挂载路径。 **取值范围：** 以(/)开头和结尾，可包含字母、数字、中划线、下划线，整个挂载路径长度不能超过255位。 | 表63LogConfigResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | type | String | **参数解释：** 日志输出类型。 **取值范围：** - STDOUT：日志输出到控制台或终端。 - EVENT：k8s事件。 - FILE：容器日志文件 | | status | String | **参数解释：** 日志服务状态。 **取值范围：** - ON：开启。 - OFF：关闭。 - FAILED：开启失败。 | | log_group_id | String | **参数解释：** 日志组ID。 **取值范围：** 不涉及。 | | log_stream_id | String | **参数解释：** 日志流id。 **取值范围：** 不涉及。 | | deployment_id | String | **参数解释：** 日志流对应的部署ID。 **取值范围：** 不涉及。 | | failure_reason | String | **参数解释：** 失败原因，部署开启LTS对接失败的原因。 **取值范围：** 不涉及。 | 表64PredictUrlResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | type | String | **参数解释：** 访问方式。 **取值范围：** - CONSOLE：通过控制台界面访问。 - PUBLIC：通过公网访问。 - INTERNAL：通过内网访问。 | | urls | Array of strings | **参数解释：** 推理请求的访问地址，仅当type为REAL_TIME时，且服务部署完成后才会确保该字段有值。 | 表65TagsResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | key | String | **参数解释：** 标签键字段。 **取值范围：** 长度为1\~128，标签的键可以包含任意语种字母、数字、空格，以及_ . : = + - @特殊字符，但首尾不能含有空格，不能以_sys_开头。 | | value | String | **参数解释：** 标签值字段。 **取值范围：** 长度为255，包括字母、数字、下划线、点、斜杠、等号、加号、减号和@符号。 | 表66ScheduleConfigResponse | 参数 | 参数类型 | 描述 | |:---|:---|:---| | due_time | Long | **参数解释：** 触发时间，UTC毫秒，13位时间戳。 **取值范围：** 不涉及。 | | duration | Integer | **参数解释：** 对应的时间单位的数值。 **取值范围：** 不涉及。 | | time_unit | String | **参数解释：** 调度时间单位。 **取值范围：** - MINUTES：分钟。 - HOURS：小时。 - DAYS：天。 | | type | String | **参数解释：** 调度类型，当前仅支持取值为STOP。 **取值范围：** - STOP：停止。 | | processed | Boolean | **参数解释：** 表示是否处理完成。 **取值范围：** - true：该定时任务已经执行过。 - false：该定时任务尚未执行。 | 表67FrozenInfo | 参数 | 参数类型 | 描述 | |:---|:---|:---| | scene | String | 冻结场景。可选值如下： - ARREAR：欠费冻结 - POLICE：公安冻结 - ILLEGAL：违规冻结 | | effect | Integer | 冻结后的影响。可选值如下： - 1：冻结后可释放 - 2：冻结后不可释放 | #### 请求示例 创建在线推理服务。 ``` POST https://{endpoint}/v2/{project_id}/services { "schedule" : [ { "time_unit" : "HOURS", "type" : "STOP", "duration" : 1 } ], "version" : "0.0.1", "description" : "", "deploy_timeout_minutes" : 60, "tags" : [ ], "name" : "service-example", "type" : "REAL_TIME", "deploy_type" : "SINGLE", "group_configs" : [ { "weight" : 100, "name" : "instance-example", "pool_id" : "pool-example", "framework" : "COMMON", "count" : 1, "unit_configs" : [ { "image" : { "id" : "71ad5a75-14c4-1d14-883f-f350969ea9c7", "source" : "SWR", "swr_path" : "swr.cn-north-7.myhuaweicloud.com/example/helloworld-example:0.0.1" }, "flavor" : "flavor-example", "count" : 1 } ] } ], "runtime_config" : { "service_invoke" : { "port" : 123, "protocol" : "HTTPS", "auth_type" : "NONE", "dynamic_routing_enable" : false }, "service_limit" : { "request_size_limit" : 20, "request_timeout" : 30, "ip_white_list" : [ ], "ip_black_list" : [ ], "rate_limit" : { "num" : 200, "unit" : "SECONDS" } } }, "workspace_id" : "0", "custom_metrics_path" : "", "upgrade_config" : { "type" : "ROLLING", "rolling_update" : { "max_surge" : "20%", "max_unavailable" : "20%" } } } ``` #### 响应示例 **状态码：200** ``` { "id" : "123e4567-e89b-12d3-a456-426655440000", "name" : "service-example", "schedule" : [ { "due_time" : 0, "duration" : 1, "processed" : false, "time_unit" : "HOURS", "type" : "STOP" } ], "version" : { "deploy_timeout_minutes" : 60, "description" : "infer-description", "id" : "081cd8c0-af1b-4300-b077-a1b87d2d2fa8", "instance_groups" : [ { "count" : 1, "framework" : "COMMON", "id" : "8a927efb-43f6-4a0b-8222-a1b87d2d2fa8", "name" : "instance-example", "pool_id" : "pool-xinfer-1216-dev-04f258c84780d5a52f3bc00dc15aa5e7", "priority" : 1, "unit_configs" : [ { "codes" : [ ], "count" : 1, "custom_spec" : { "cpu" : 0.1, "memory" : 50 }, "envs" : { "additionalProp1" : "string", "additionalProp2" : "string", "a" : "1" }, "id" : "8a0e4ab7970bc24d01970bcd7f460003", "image" : { "category" : "CPU", "id" : "bc84b0e49e910cd7918b1dfaeaa478f9c7e5242c6733525ca88304f026fa24e4", "source" : "SWR", "swr_path" : "swr.cn-north-7.myhuaweicloud.com/example/helloworld-example:0.0.1" }, "npu_reset_enable" : false, "port" : 65535, "role" : "COMMON" } ], "weight" : 100 } ], "log_configs" : [ ], "runtime_config" : { "service_invoke" : { "auth_type" : "API_KEY", "dynamic_routing_enable" : false, "ems_enable" : false, "internet_access_enable" : true, "intranet_approval_enable" : true, "port" : 9876, "protocol" : "HTTPS" }, "service_limit" : { "ip_black_list" : [ ], "ip_white_list" : [ ], "rate_limit" : { "num" : 2000, "unit" : "SECONDS" }, "request_size_limit" : 50, "request_timeout" : 600 }, "service_secret" : { "group_enable" : false, "secret_enable" : false, "secret_volumes" : [ ] } }, "upgrade_config" : { "rolling_update" : { "max_surge" : "20%", "max_unavailable" : "20%" }, "type" : "ROLLING" }, "version" : "0.0.0" }, "type" : "REAL_TIME", "workspace_id" : "0", "deploy_type" : "SINGLE", "tags" : [ ] } ``` #### 状态码 | 状态码 | 描述 | |:---|:---| | 200 | 创建在线推理服务成功。 | #### 错误码 请参见[错误码](https://support.huaweicloud.com/api-modelarts/modelarts_03_0095.html)。