# 创建Ray服务 #### 前提条件 - 已有可正常使用的华为云账号。具体操作，请参见[创建IAM用户并授权使用DataArts Fabric](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0003.html)和[配置DataArts Fabric服务委托权限](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0006.html)。 - 已有至少一个正常可用的工作空间。具体操作，请参见[创建工作空间](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0004.html)。 - 已购买相应的Ray资源。具体操作，请参见[购买Ray资源](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0043.html)。 - 已创建Ray服务镜像包版本与推理部署文件。关于如何创建镜像包，请参见[创建镜像包](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0015.html#ZH-CN_TOPIC_0000002045672061__section177131310174916)。 - 如果使用云日志服务LTS查看日志，则需要授予LTS权限。具体操作，请参见[授权IAM用户使用云日志服务LTS](https://support.huaweicloud.com/usermanual-lts/lts_04_0015.html)。 #### 创建Ray服务 1. 登录[DataArts Fabric工作空间管理台](https://console.huaweicloud.com/fabric/)。 2. 选择已创建的工作空间，单击"进入工作空间"，在左侧导航栏选择"资源与资产 \> Ray服务" ，单击右上角的"创建Ray服务"。 3. 在"创建Ray服务"页面，配置Ray服务的相关信息，包括基础信息、日志设置、Ray集群、数据信息和Ray Serve。 关于配置项的说明，请参见[表1]。 图1基础信息配置 ![](https://support.huaweicloud.com/usermanual-fabric/figure/zh-cn_image_0000002210101222.png) 图2Ray Serve配置 ![](https://support.huaweicloud.com/usermanual-fabric/figure/zh-cn_image_0000002193684977.png) 表1创建Ray服务配置项说明 | 参数 || 说明 | |:---|---|:---| | 基础设置 | Ray服务名称 | 创建Ray服务的名称。 | | 基础设置 | 添加描述 | 单击"添加描述"，在文本框输入Ray服务的简介。支持1000字符。 | | 基础设置 | 镜像包来源 | 选择我的Ray服务镜像包。支持公共Ray服务镜像包和我的Ray服务镜像包。 - 公共Ray服务镜像包：公共共享镜像包，由DataArts Fabric服务提供，基于开源的Ray镜像，包含支持通道加密、dashboard安全访问、密钥加解密等DataArts Fabric特性增强能力。 - 我的Ray服务镜像包：由租户自定义镜像包，租户可以根据需求自定义Ray镜像，并通过DataArts Fabric提供的"镜像包管理"功能创建相应的镜像包并部署。 | | 基础设置 | 镜像包名称 | 使用的服务镜像包名称。 | | 基础设置 | 镜像包版本 | 可根据需求选择不同的Ray服务版本。 | | 日志设置 | 启用LTS | 是否将Ray服务运行日志存储到华为云LTS服务提供的日志服务中。 启用后，将采集以下路径下的日志： - /tmp/ray/session_latest/logs/\*\*/\* - /var/log/service-log/\*\*/\* | | 日志设置 | 日志组 | 选择华为云LTS服务日志组。您可以在云日志服务LTS控制台创建日志组，具体操作请参见[创建日志组](https://support.huaweicloud.com/usermanual-lts/lts_04_0003.html#section1)。 | | 日志设置 | 日志流 | 选择华为云LTS服务日志流。您可以在云日志服务LTS控制台创建日志流，具体操作请参见[创建日志流](https://support.huaweicloud.com/usermanual-lts/lts_04_0004.html#section1)。 | | Ray集群配置 | Head规格 | 创建Ray集群的Head节点规格，可根据业务需求选择。 规格选择列表中可以看到所有的规格，选择的规格可根据创建的Ray资源向下兼容，例如创建了一个fabric.ray.dpu.d4x的资源，在选择head规格时可以选择fabric.ray.dpu.d1x、fabric.ray.dpu.d2x、fabric.ray.dpu.d4x，即一个大的资源规格可以被拆分为多个小的资源规格。 | | Ray集群配置 | Worker规格 | 创建Ray集群的Worker Group规格。您可以单击添加Worker组创建多个规格的Worker Group。 从资源规格列表中选择一个规格部署Worker节点，同时配置Worker节点的数量上下限，Worker节点下限至少为1，上限请根据业务压力填写。 Ray集群初始化创建下限数量的Worker规格，根据负载压力动态弹性扩缩到上限数量。 Worker节点的规格选择也遵循已有资源向下兼容拆分的规则。例如，当前购买的Ray资源为fabric.ray.dpu.d4x，其中Head节点规格选择了fabric.ray.dpu.d1x，那么Worker节点也可以选择fabric.ray.dpu.d1x，同时数量上限设置为3。 | | 数据信息 | 数据输入 | 运行推理服务时使用的模型路径，Ray服务创建之后会将该路径下模型文件复制至Ray服务集群。 | | Ray Serve配置 | 增加Application | 您可以单击"增加Application"，配置和定制部署文件、运行环境和调度参数等，最多增加5个Application。 | | Ray Serve配置 | Application名称 | 创建Application的名称。 | | Ray Serve配置 | 代码目录 | 执行推理所需的代码目录，支持选择"OBS对象存储"、"镜像内部路径"和"其他"。 | | Ray Serve配置 | 部署文件路径 | 推理实例在代码中的路径。 | | Ray Serve配置 | 路由前缀 | 推理路由前缀，不同Application的路由前缀不可重复。 | | Ray Serve配置 | 环境变量 | 根据业务需求选中"环境变量"，单击"增加"填写环境变量。训练容器中预置的环境变量请参考[管理训练容器环境变量](https://support.huaweicloud.com/usermanual-standard-modelarts/develop-modelarts-0104.html)。 | | Ray Serve配置 | Deployment | Application内部对应的推理实例。选中"Deployment"，根据各Application内具体规格填写。 单个Application内可建立多个Deployment，每个Deployment可单独作Ray Actor、自动扩缩与推理自定义配置。 Deployment可在Ray Actor中单独配置资源占用，但单个Application内Deployment配置占用资源之和不得超过基础配置中Worker规格。 Deployment可配置固定副本数与最大副本数，也可配置自动扩缩范围；如果Deployment已配置固定副本数，将无法进行自动扩缩配置。 | #### 查看Ray服务详情 1. 登录[DataArts Fabric工作空间管理台](https://console.huaweicloud.com/fabric/)。 2. 选择已创建的工作空间，单击"进入工作空间"，在左侧导航栏选择"资源与资产 \> Ray服务"。 3. 在"Ray服务"页面，单击目标Ray服务名称进入Ray服务详情页面。 在"Ray服务详情"页面，可以查看Ray服务的概览和Ray Serve配置。详细说明，请参见[表2]和[表3]。 图3概览 ![](https://support.huaweicloud.com/usermanual-fabric/figure/zh-cn_image_0000002210275934.png) 图4Ray Serve配置 ![](https://support.huaweicloud.com/usermanual-fabric/figure/zh-cn_image_0000002194885977.png) 表2概览页签的参数说明 | 参数 | 说明 | |:---|:---| | Ray服务名称 | 自定义的Ray服务名称。 | | Ray服务 ID | Ray服务唯一标识ID。 | | 状态 | 当前Ray服务状态。 | | 描述 | 对Ray服务的自定义描述信息。 | | 创建人 | Ray服务的创建者。 | | 创建时间 | 创建Ray服务的时间。 | | 镜像包版本 | Ray服务当前部署的Ray服务镜像版本信息。 | | Head规格 | Ray服务部署Head节点所占资源规格及数量。 | | Worker规格 | Ray服务部署Worker节点所占资源规格及数量。 | | Dashboard | Ray服务Dashboard的访问地址。 | | 数据信息 | 根据用户自定义输入路径生成的路径及环境变量信息。 | | LTS转储开启 | 是或否，创建Ray服务时日志设置中开启LTS则为是。 | | 查看LTS日志 | LTS转储开启时，您可以单击链接跳转到LTS日志流查看日志。 | 表3Ray Serve配置页签的参数说明 | 参数 | 说明 | |:---|:---| | Application名称 | 创建Application的名称（如[图4 Ray Serve配置]为fruit_app与math_app）。 | | 推理地址 | 调用推理服务的具体地址，具体操作请参见[运行推理服务](https://support.huaweicloud.com/usermanual-fabric/dataartsfabric_02_0048.html)。 | | 代码目录 | 执行推理所需的代码目录。 | | 部署文件路径 | 推理实例在代码中的路径。 | | 路由前缀 | 推理路由前缀，不同Application的路由前缀不可重复。 | | 环境变量 | 容器内环境变量，当前基于代码目录与模型目录生成 | | Deployment | Application内部对应的推理实例。 单个Application内可存在多个Deployment，每个Deployment可单独作Ray Actor、自动扩缩与推理自定义配置。 Deployment可在Ray Actor中单独配置资源占用，但单个Application内Deployment配置占用资源之和不得超过基础配置中Worker规格。 Deployment可配置固定副本数与最大副本数，也可配置自动扩缩范围；如果Deployment已配置固定副本数，将无法进行自动扩缩配置。 |