文档首页/ AI开发平台ModelArts/ 推理部署（即将下线）/ 管理AI应用/ 创建AI应用/ 从容器镜像中选择元模型
更新时间：2024-10-30 GMT+08:00
查看PDF
分享

从容器镜像中选择元模型

针对ModelArts目前不支持的AI引擎，您可以通过自定义镜像的方式将编写的模型导入ModelArts。

约束与限制

  • 关于自定义镜像规范和说明，请参见模型镜像规范。
  • 针对您开发并训练完成的模型，需要提供对应的模型配置文件，此文件需遵守ModelArts的填写规范，详情请参见模型配置文件编写说明。编写完成后，需将此文件上传至OBS指定目录下。
  • 使用容器化部署，导入的元模型有大小限制，详情请参见导入AI应用对于镜像大小限制。

前提条件

确保您使用的OBS目录与ModelArts在同一区域。

创建AI应用操作步骤

  1. 登录ModelArts管理控制台，在左侧导航栏中选择“AI应用”，进入AI应用列表页面。
  2. 单击左上角的“创建应用”，进入“创建应用”页面。
  3. 在“创建应用”页面，填写相关参数。
    1. 填写AI应用基本信息，详细参数说明请参见表1。
      表1 AI应用基本信息参数说明

      参数名称

      说明

      名称

      AI应用名称。支持1～64位可见字符（含中文），名称可以包含字母、中文、数字、中划线、下划线。

      版本

      设置所创建AI应用的版本。第一次导入时，默认为0.0.1。

      说明：

      AI应用创建完成后，可以通过创建新版本，导入不同的元模型进行调优。

      描述

      AI应用的简要描述。
    2. 填写元模型来源及其相关参数。当“元模型来源”选择“从容器镜像中选择”时，其相关的参数配置请参见表2。
      图1 从容器镜像中选择AI应用
      表2 元模型来源参数说明

      参数

      说明

      “容器镜像所在的路径”

      单击从容器镜像中导入模型的镜像，其中，模型均为Image类型，且不再需要用配置文件中的“swr_location”来指定您的镜像位置。

      制作自定义镜像的操作指导及规范要求，请参见模型镜像规范。

      说明：

      您选择的模型镜像将共享给系统管理员，请确保具备共享该镜像的权限（不支持导入其他账户共享给您的镜像），部署上线时，ModelArts将使用该镜像部署成推理服务，请确保您的镜像能正常启动并提供推理接口。

      “容器调用接口”

      模型提供的推理接口所使用的协议和端口号，请根据模型实际定义的推理接口进行配置。

      说明：

      ModelArts提供的请求协议和端口号的缺省值是HTTP和8080。用户需根据实际的自定义镜像进行配置。

      “镜像复制”

      镜像复制开关，选择是否将容器镜像中的模型镜像复制到ModelArts中。

      • 关闭时，表示不复制模型镜像，可极速创建AI应用，更改或删除SWR源目录中的镜像会影响服务部署。
      • 开启时，表示复制模型镜像，无法极速创建AI应用，SWR源目录中的镜像更改或删除不影响服务部署。
      说明：

      若使用他人共享的镜像，需要开启镜像复制功能，否则会导致创建AI应用失败。

      “健康检查”

      用于指定AI应用的健康检查。仅当自定义镜像中配置了健康检查接口，才能配置“健康检查”，否则会导致AI应用创建失败。当前支持以下三种探针：

      • 启动探针：用于检测应用实例是否已经启动。如果提供了启动探针(startup probe)，则禁用所有其他探针，直到它成功为止。如果启动探针失败，将会重启实例。如果没有提供启动探针，则默认状态为成功Success。
      • 就绪探针：用于检测应用实例是否已经准备好接收流量。如果就绪探针失败，即实例未准备好，会从服务负载均衡的池中剔除该实例，不会将流量路由到该实例，直到探测成功。
      • 存活探针：用于检测应用实例内应用程序的健康状态。如果存活探针失败，即应用程序不健康，将会自动重启实例。

      3种探针的配置参数均为：

      • 检查方式：可以选择“HTTP请求检查”或者“执行命令检查”。
      • 健康检查URL：“检查方式”选择“HTTP请求检查”时显示，填写健康检查的URL，默认值为“/health”。
      • 健康检查命令：“检查方式”选择“执行命令检查”时显示，填写健康检查的命令。
      • 健康检查周期（秒）：填写1-2147483647之前的整数，单位为秒。
      • 延迟时间（秒）：实例启动后，延迟执行健康检查的时间。填写0-2147483647之间的整数，单位为秒，不能为空。
      • 超时时间 （秒）： 每次检查的超时时间，填写0-2147483647之间的整数，单位为秒。
      • 最大失败次数：填写1-2147483647之间的整数。在服务启动阶段，当健康检查请求连续失败达到所填次数后，服务会进入异常状态；在服务运行阶段，当健康检查请求连续失败达到所填次数后，服务会进入告警状态。
      说明：

      当AI应用配置了健康检查，部署的服务在收到停止指令后，会延后3分钟才停止。

      “AI应用说明”

      为了帮助其他AI应用开发者更好的理解及使用您的AI应用，建议您提供AI应用的说明文档。单击“添加AI应用说明”，设置“文档名称”及其“URL”。AI应用说明支持增加3条。

      “部署类型”

      选择此AI应用支持部署服务的类型，部署上线时只支持部署为此处选择的部署类型，例如此处只选择在线服务，那您导入后只能部署为在线服务。

      “启动命令”

      指定模型的启动命令，您可以自定义该命令。

      说明：

      包含字符$，|，>，<，`，!，\n，\，?，-v，--volume，--mount，--tmpfs，--privileged，--cap-add的启动命令，在AI应用发布时将会置空。

      “apis定义”

      提供AI应用对外Restfull api数据定义，用于定义AI应用的输入、输出格式。apis定义填写规范请参见模型配置文件编写说明中的apis参数说明，示例代码请参见apis参数代码示例。
    3. 确认信息填写无误，单击“立即创建”，完成AI应用创建。

      在AI应用列表中，您可以查看刚创建的AI应用及其对应的版本。当AI应用状态变更为“正常”时，表示AI应用创建成功。在此页面，您还可以进行创建新版本、快速部署服务等操作。

后续操作

部署服务：在“AI应用列表”中，单击AI应用的操作列的“部署”，在对应版本所在行，单击“操作”列的部署按钮，可以将AI应用部署上线为创建AI应用时所选择的部署类型。

父主题： 创建AI应用