创建Ray服务

前提条件

• 已有可正常使用的华为云账号。具体操作，请参见创建IAM用户并授权使用DataArtsFabric和配置DataArtsFabric服务委托权限。
• 已有至少一个正常可用的工作空间。具体操作，请参见创建工作空间。
• 已购买相应的Ray资源。具体操作，请参见购买Ray资源。
• 已创建Ray服务镜像包版本与推理部署文件。关于如何创建镜像包，请参见创建镜像包。
• 如果使用云日志服务LTS查看日志，则需要授予LTS权限。具体操作，请参见授权IAM用户使用云日志服务LTS。

创建Ray服务

1. 登录DataArtsFabric工作空间管理台。
2. 选择已创建的工作空间，单击“进入工作空间”，在左侧导航栏选择“资源与资产 > Ray服务” ，单击右上角的“创建Ray服务”。
3. 在“创建Ray服务”页面，配置Ray服务的相关信息，包括基础信息、日志设置、Ray集群、数据信息和Ray Serve。
   关于配置项的说明，请参见表1。

   表1 创建Ray服务配置项说明

   参数		说明
   基础设置	Ray服务名称	创建Ray服务的名称。
   	添加描述	单击“添加描述”，在文本框输入Ray服务的简介。支持1000字符。
   	镜像包来源	选择我的Ray服务镜像包。支持公共Ray服务镜像包和我的Ray服务镜像包。 公共Ray服务镜像包：公共共享镜像包，由DataArtsFabric服务提供，基于开源的Ray镜像，包含支持通道加密、dashboard安全访问、密钥加解密等DataArtsFabric特性增强能力。 我的Ray服务镜像包：由租户自定义镜像包，租户可以根据需求自定义Ray镜像，并通过DataArtsFabric提供的“镜像包管理”功能创建相应的镜像包并部署。
   	镜像包名称	使用的服务镜像包名称。
   	镜像包版本	可根据需求选择不同的Ray服务版本。
   日志设置	启用LTS	是否将Ray服务运行日志存储到华为云LTS服务提供的日志服务中。 启用后，将采集以下路径下的日志： /tmp/ray/session_latest/logs/**/* /var/log/service-log/**/*
   	日志组	选择华为云LTS服务日志组。您可以在云日志服务LTS控制台创建日志组，具体操作请参见创建日志组。
   	日志流	选择华为云LTS服务日志流。您可以在云日志服务LTS控制台创建日志流，具体操作请参见创建日志流。
   Ray集群配置	Head规格	创建Ray集群的Head节点规格，可根据业务需求选择。 规格选择列表中可以看到所有的规格，选择的规格可根据创建的Ray资源向下兼容，例如创建了一个fabric.ray.dpu.d4x的资源，在选择head规格时可以选择fabric.ray.dpu.d1x、fabric.ray.dpu.d2x、fabric.ray.dpu.d4x，即一个大的资源规格可以被拆分为多个小的资源规格。
   	Worker规格	创建Ray集群的Worker Group规格。您可以单击添加Worker组创建多个规格的Worker Group。 从资源规格列表中选择一个规格部署Worker节点，同时配置Worker节点的数量上下限，Worker节点下限至少为1，上限请根据业务压力填写。 Ray集群初始化创建下限数量的Worker规格，根据负载压力动态弹性扩缩到上限数量。 Worker节点的规格选择也遵循已有资源向下兼容拆分的规则。例如，当前购买的Ray资源为fabric.ray.dpu.d4x，其中Head节点规格选择了fabric.ray.dpu.d1x，那么Worker节点也可以选择fabric.ray.dpu.d1x，同时数量上限设置为3。
   数据信息	数据输入	运行推理服务时使用的模型路径，Ray服务创建之后会将该路径下模型文件复制至Ray服务集群。
   Ray Serve配置	增加Application	您可以单击“增加Application”，配置和定制部署文件、运行环境和调度参数等，最多增加5个Application。
   	Application名称	创建Application的名称。
   	代码目录	执行推理所需的代码目录，支持选择“OBS对象存储”、“镜像内部路径”和“其他”。
   	部署文件路径	推理实例在代码中的路径。
   	路由前缀	推理路由前缀，不同Application的路由前缀不可重复。
   	环境变量	根据业务需求选中“环境变量”，单击“增加”填写环境变量。训练容器中预置的环境变量请参考管理训练容器环境变量。
   	Deployment	Application内部对应的推理实例。选中“Deployment”，根据各Application内具体规格填写。 单个Application内可建立多个Deployment，每个Deployment可单独作Ray Actor、自动扩缩与推理自定义配置。 Deployment可在Ray Actor中单独配置资源占用，但单个Application内Deployment配置占用资源之和不得超过基础配置中Worker规格。 Deployment可配置固定副本数与最大副本数，也可配置自动扩缩范围；如果Deployment已配置固定副本数，将无法进行自动扩缩配置。

查看Ray服务详情

1. 登录DataArtsFabric工作空间管理台。
2. 选择已创建的工作空间，单击“进入工作空间”，在左侧导航栏选择“资源与资产 > Ray服务”。
3. 在“Ray服务”页面，单击目标Ray服务名称进入Ray服务详情页面。

   在“Ray服务详情”页面，可以查看Ray服务的概览和Ray Serve配置。详细说明，请参见表2和表3。

   表2 概览页签的参数说明

   参数	说明
   Ray服务名称	自定义的Ray服务名称。
   Ray服务 ID	Ray服务唯一标识ID。
   状态	当前Ray服务状态。
   描述	对Ray服务的自定义描述信息。
   创建人	Ray服务的创建者。
   创建时间	创建Ray服务的时间。
   镜像包版本	Ray服务当前部署的Ray服务镜像版本信息。
   Head规格	Ray服务部署Head节点所占资源规格及数量。
   Worker规格	Ray服务部署Worker节点所占资源规格及数量。
   Dashboard	Ray服务Dashboard的访问地址。
   数据信息	根据用户自定义输入路径生成的路径及环境变量信息。
   LTS转储开启	是或否，创建Ray服务时日志设置中开启LTS则为是。
   查看LTS日志	LTS转储开启时，您可以单击链接跳转到LTS日志流查看日志。

   表3 Ray Serve配置页签的参数说明

   参数	说明
   Application名称	创建Application的名称。
   推理地址	调用推理服务的具体地址，具体操作请参见运行推理服务。
   代码目录	执行推理所需的代码目录。
   部署文件路径	推理实例在代码中的路径。
   路由前缀	推理路由前缀，不同Application的路由前缀不可重复。
   环境变量	容器内环境变量，当前基于代码目录与模型目录生成
   Deployment	Application内部对应的推理实例。 单个Application内可存在多个Deployment，每个Deployment可单独作Ray Actor、自动扩缩与推理自定义配置。 Deployment可在Ray Actor中单独配置资源占用，但单个Application内Deployment配置占用资源之和不得超过基础配置中Worker规格。 Deployment可配置固定副本数与最大副本数，也可配置自动扩缩范围；如果Deployment已配置固定副本数，将无法进行自动扩缩配置。