创建Endpoint

workspace_id

是

String

• 参数解释：工作空间ID。

• 约束限制：不涉及。

• 取值范围：获取方法，请参见获取工作空间ID。

• 默认取值：不涉及。

X-Auth-Token

否

String

• 参数解释：租户Token。获取方法，请参见认证鉴权。

• 约束限制：不涉及。

• 取值范围：不涉及。

• 默认取值：不涉及。

name

是

String

• 参数解释：Endpoint名称。

• 约束限制：只能包含中文、字母、数字、下划线、中划线、半角句号（.）、空格。

• 取值范围：不涉及。

• 默认取值：不涉及。

description

否

String

• 参数解释：描述信息。

• 约束限制：不涉及。

• 取值范围：不涉及。

• 默认取值：不涉及。

type

是

String

• 参数解释：Endpoint的类型。

• 约束限制：不涉及。

• 取值范围：

  • service：Service EP，代表一个可接收Service请求资源组；

  • ray：RayCluter on k8s的EP，代表一个Ray集群；

  • inference：推理的EP，代表一个推理函数实例；

  • job：Job EP，代表一个可接收Job请求资源组；

  • ray_service：RayService on k8s的EP，代表一个RayService。

  • sql：SQL EP，代表一个可接收SQL请求资源组。

• 默认取值：不涉及。

reserved_resource

否

ReservedResource object

通用预留资源。

ray_resource

否

RayResourceInput object

创建Ray集群的资源配置。

cap

否

CapRef object

CAP信息。

log_config

否

LogConfig object

Ray日志配置。

config

否

EndpointConfig object

端点的配置

cache_list

否

Array of CacheConfig objects

• 参数解释：分布式缓存配置。

• 约束限制：不涉及。

• 取值范围：不涉及。

• 默认取值：不涉及。

apu

否

ResourceDef object

资源定义信息。

dpu

否

ResourceDef object

资源定义信息。

mu

否

ResourceDemand object

资源需求量配置。

spec_code

是

String

• 参数解释：Endpoint状态。

• 约束限制：资源规格编码，从查询规格列表ListSpecs接口获取。

• 取值范围：不涉及。

• 默认取值：不涉及。

warm_up_num

是

Integer

预热资源量。

max_num

否

Integer

最大资源量，不填默认为预热资源量，即不使用弹性资源。

head_node_resource

是

HeadNodeResourceDemand object

headNode资源需求量配置。

work_node_resources

是

Array of WorkNodeResourceDemand objects

工作节点资源配置。

spec_code

是

String

• 参数解释：资源规格。

• 约束限制：不涉及。

• 取值范围：从规格列表查询获取。

• 默认取值：不涉及。

name

是

String

• 参数解释：资源配置名称。

• 约束限制：不涉及。

• 取值范围：不涉及。

• 默认取值：不涉及。

resource

是

ResourceDemand object

资源需求量配置。

spec_code

是

String

• 参数解释：资源规格。

• 约束限制：不涉及。

• 取值范围：从规格列表查询获取。

• 默认取值：不涉及。

min

是

Integer

最小数。

max

是

Integer

最大数。

cap_id

否

String

• 参数解释：CapId。

• 约束限制：32~36位的英文、数字、中划线(-)组合。

• 取值范围：不涉及。

• 默认取值：不涉及。

version_id

否

String

• 参数解释：CapVersionId。

• 约束限制：32~36位的英文、数字、中划线(-)组合。

• 取值范围：不涉及。

• 默认取值：不涉及。

enable_lts_log

否

Boolean

是否开启日志并记录到LTS，默认不开启。

enable_obs_log

否

Boolean

• 参数解释：是否开启日志转储到OBS。

• 约束限制：开启的时候需要先开启日志记录到LTS，否则无法开启。

• 取值范围：不涉及。

• 默认取值：false。

obs_path

否

String

• 参数解释：日志存储的OBS路径。

• 约束限制：不涉及。

• 取值范围：不涉及。

• 默认取值：不涉及。

ray_service_config

否

RayServiceConfig object

RayService类型端点的配置。

ray_serve_config

是

RayServeConfig object

RayServe配置

ray_cluster_config

是

RayClusterConfig object

Ray集群配置

data_infos

否

Array of DataBriefInfo objects

数据信息

applications

否

Array of ServeApplication objects

Application

name

是

String

• 参数解释：Application的名称。

• 约束限制：只能包含中文、字母、数字、下划线、中划线、半角句号（.）、空格。

• 取值范围：不涉及。

• 默认取值：不涉及。

import_path

是

String

• 参数解释：输入路径。

• 约束限制：不涉及。

• 取值范围：不涉及。

• 默认取值：不涉及。

deployments

是

Array of Deployment objects

Deployment列表

runtime_env

是

ServeRuntimeEnv object

Serve的运行时环境配置，可选参数有：working_dir：代码将在其中运行的工作目录。必须是远程URI，如s3或本地路径;env_vars：要设置的环境变量。

route_prefix

否

String

• 参数解释：路由前缀。

• 约束限制：要求在RayServe中具有唯一性，不能跟其他的Application的前缀重复

• 取值范围：不涉及。

• 默认取值：不涉及。

name

否

String

• 参数解释：Deployment的名称。

• 约束限制：只能包含中文、字母、数字、下划线、中划线、半角句号（.）、空格。

• 取值范围：不涉及。

• 默认取值：不涉及。

ray_actor_options

否

RayActorOptions object

RayActor配置

autoscaling_config

否

AutoscalingConfig object

自动扩缩的配置

num_replicas

否

Integer

副本数量

user_config

否

Object

用户自定义配置

max_replicas_per_node

否

Integer

每个节点允许的最大副本数

num_cpus

否

Double

CPU数量

memory

否

Double

内存数量

resources

否

String

• 参数解释：资源配置。

• 约束限制：不涉及。

• 取值范围：不涉及。

• 默认取值：不涉及。

target_num_ongoing_requests_per_replica

否

Integer

每个副本单位时间能提供的平均请求数

max_concurrent_queries

否

Integer

每个副本可接受的最大并发请求数

min_replicas

否

Integer

最小副本数

max_replicas

否

Integer

最大副本数

initial_replicas

否

Integer

初始副本数

upscale_delay_s

否

Integer

扩容之前的等待时间

downscale_delay_s

否

Integer

缩容之前的等待时间

working_dir

否

String

• 参数解释：代码将在其中运行的工作目录。

• 约束限制：必须是远程URI，如s3或本地路径。

• 取值范围：不涉及。

• 默认取值：不涉及。

env_vars

否

Map<String,String>

要设置的环境变量。

head_group_spec

是

HeadGroupSpecV2 object

HeadGroup的配置

worker_group_specs

是

Array of WorkerGroupSpecV2 objects

Worker Group的配置

limits

否

ResourceSpec object

资源限制

requests

否

ResourceSpec object

要求最小资源数

name

否

String

• 参数解释：名称。

• 约束限制：不涉及。

• 取值范围：不涉及。

• 默认取值：不涉及。

min_replicas

否

Integer

最小副本数。

max_replicas

否

Integer

最大副本数。

limits

否

ResourceSpec object

资源限制

requests

否

ResourceSpec object

最小资源数

spec_code

否

String

• 参数解释：资源规格。

• 约束限制：不涉及。

• 取值范围：从规格列表查询获取。

• 默认取值：不涉及。

input_path

否

String

• 参数解释：地址。

• 约束限制：不涉及。

• 取值范围：不涉及。

• 默认取值：不涉及。

mnt_path

是

String

• 参数解释：分布式缓存id。

• 约束限制：不涉及。

• 取值范围：已创建的分布式缓存资源id。

• 默认取值：不涉及。

cache_ins_id

是

String

• 参数解释：分布式缓存id。

• 约束限制：不涉及。

• 取值范围：已创建的分布式缓存资源id。

• 默认取值：不涉及。

error_code

String

• 参数解释：错误码。

• 约束限制：该值不可修改。

• 取值范围：不涉及。

• 默认取值：不涉及。

error_msg

String

• 参数解释：错误描述。

• 约束限制：该值不可修改。

• 取值范围：不涉及。

• 默认取值：不涉及。

solution_msg

String

• 参数解释：解决方案描述。

• 约束限制：该值不可修改。

• 取值范围：不涉及。

• 默认取值：不涉及。

error_code

String

• 参数解释：错误码。

• 约束限制：该值不可修改。

• 取值范围：不涉及。

• 默认取值：不涉及。

error_msg

String

• 参数解释：错误描述。

• 约束限制：该值不可修改。

• 取值范围：不涉及。

• 默认取值：不涉及。

solution_msg

String

• 参数解释：解决方案描述。

• 约束限制：该值不可修改。

• 取值范围：不涉及。

• 默认取值：不涉及。

error_code

String

• 参数解释：错误码。

• 约束限制：该值不可修改。

• 取值范围：不涉及。

• 默认取值：不涉及。

error_msg

String

• 参数解释：错误描述。

• 约束限制：该值不可修改。

• 取值范围：不涉及。

• 默认取值：不涉及。

solution_msg

String

• 参数解释：解决方案描述。

• 约束限制：该值不可修改。

• 取值范围：不涉及。

• 默认取值：不涉及。

error_code

String

• 参数解释：错误码。

• 约束限制：该值不可修改。

• 取值范围：不涉及。

• 默认取值：不涉及。

error_msg

String

• 参数解释：错误描述。

• 约束限制：该值不可修改。

• 取值范围：不涉及。

• 默认取值：不涉及。

solution_msg

String

• 参数解释：解决方案描述。

• 约束限制：该值不可修改。

• 取值范围：不涉及。

• 默认取值：不涉及。

202

Accepted

400

BadRequest

401

Unauthorized

403

Forbidden

408

Request Time-out

500

InternalServerError