更新时间:2024-09-02 GMT+08:00
分享

约束与限制

本节介绍ModelArts服务在使用过程中的约束和限制。

规格限制

表1 规格说明

资源类型

规格

说明

计算资源

所有按需计费、包年/包月、套餐包中的计算资源规格,包括CPU、GPU和NPU

购买的所有类型的计算资源均不支持跨Region使用。

计算资源

套餐包

套餐包仅用于公共资源池,不能用于专属资源池。

配额限制

查看每个配额项目支持的默认配额,请参考怎样查看我的配额?,登录控制台查询您的配额详情。

表2 配额

资源类型

默认配额限制

是否支持调整

说明

Standard Notebook

一个账号最多创建10个Notebook。

更多信息,请参见创建Notebook实例

Standard推理部署在线服务

单个账号最多可创建20个在线服务。

提交工单申请提升配额

更多信息,请参见部署在线服务

Standard推理部署批量服务

单个账号最多可创建1000个批量服务。

更多信息,请参见部署批量服务

Standard推理部署边缘服务

单个账号最多可创建1000个边缘服务。

Standard专属资源池

一个账号最多创建50个专属资源池。

提交工单申请提升配额

更多信息,请参见创建专属资源池

Standard标签

1个训练作业、Notebook实例或在线服务任务最多支持20个标签配额。

更多信息,请参见标签

功能限制

表3 功能约束与限制

功能

使用限制

Standard专属资源池

  • 单次创建Standard专属资源池时,节点数建议不大于30,否则可能触发限流导致创建失败。更多信息请参见,创建专属资源池
  • 只支持对状态为“运行中”的Standard专属资源池进行扩缩容,且不能缩容到0。
  • Standard专属资源池状态处于“运行中”时,才能修改资源池的作业类型。
  • Standard专属资源池状态处于“运行中”,且专属池中的节点需要含有GPU/Ascend资源,才能升级专属资源池的驱动。
  • 对于Standard逻辑资源池,需要开启节点绑定后才能进行驱动升级,请提交工单联系华为工程师开启节点绑定。

Standard Notebook

  • Notebook实例删除后不可恢复,实例删除后,挂载目录下的数据也将一并删除,请谨慎操作。
  • Notebook实例状态必须在“停止”中,才能变更Notebook实例镜像。
  • Notebook实例状态只有处于“停止”“运行中”“启动失败”时,才能变更Notebook实例规格。
  • Notebook实例的存储配置采用的是云硬盘EVS。云硬盘EVS存储容量最大支持4096GB,达到4096GB时,不允许再扩容。单次最大可以扩容100GB。
  • Notebook实例停止后,扩容后的EVS容量仍然有效。EVS计费也是按照扩容后的容量进行计费。云硬盘EVS只要使用就会计费,请在停止Notebook实例后,确认不使用EVS就及时删除数据,释放资源,避免产生费用。
  • Notebook中保存的镜像大小不超过35G,镜像层数不能超过125层。否则镜像会保存失败。

Standard训练作业

  • 训练日志仅保留30天,超过30天会被清理。如果用户需要永久保存日志,请在创建训练作业时,打开永久保存日志开关设置作业日志路径即可将日志转存至OBS路径。Ascend训练场景下,默认要求填写作业日志在OBS的存放路径,其他资源的训练场景下,永久保存日志开关需要用户手动开启。
  • 仅专属资源池支持使用Cloud Shell登录训练容器,且训练作业必须处于“运行中”状态。
  • 在训练管理的“创建算法”页面,来源于AI Gallery中订阅的算法不支持另存为新算法。
  • 训练作业卡死检测目前仅支持资源类型为GPU的训练作业。
  • 仅使用新版专属资源池训练时才支持设置训练作业优先级。公共资源池和旧版专属资源池均不支持设置训练作业优先级。
  • 仅支持PyTorch和MindSpore框架的分布式训练和调测,如果MindSpore要进行多机分布式训练调试,则每台机器上都必须有8张卡。
  • 使用自定义镜像创建训练作业时,镜像大小推荐15GB以内,最大不要超过资源池的容器引擎空间大小的一半。镜像过大会直接影响训练作业的启动时间。ModelArts公共资源池的容器引擎空间为50G,专属资源池的容器引擎空间的默认为50G,支持在创建专属资源池时自定义容器引擎空间。
  • 用于训练的自定义镜像的默认用户必须为“uid”为“1000”的用户。

Standard推理的创建AI应用

  • 创建AI应用时导入OBS文件,最大支持20GB。更多信息,请参见创建AI应用
  • 创建AI应用时,系统文件超过容器引擎空间大小时,会提示镜像内空间不足。当前,公共资源池容器引擎空间的大小最大支持50G,专属资源池容器引擎空间的默认为50G,专属资源池容器引擎空间可在创建资源池时自定义设置,设置专属资源池容器引擎空间不会造成额外费用增加。更多信息,请参见导入AI应用对镜像大小的约束限制
  • 自动学习项目中,在完成模型部署后,其生成的模型也将自动上传至AI应用列表中。但是自动学习生成的AI应用无法下载,只能用于部署上线。

Standard推理服务部署

  • 只支持使用专属资源池部署的在线服务使用CloudShell访问推理容器,且在线服务必须处于“运行中”状态。
  • Standard推理中,将AI应用部署为批量服务时,只支持使用公共资源池,暂不支持使用专属资源池。
  • 对于同步请求模式的AI应用,如果预测请求时延超过60s,会造成请求失败,甚至会有服务业务中断的风险,预测请求时延超过60s时,建议制作异步请求模式的镜像。

Lite Server

  • ModelArts Lite Server使用裸金属服务器时,如果升级/修改操作系统内核或者驱动,很可能导致驱动和内核版本不兼容,从而导致OS无法启动,或者基本功能不可用。如果需要升级/修改,请联系华为云技术支持
  • ModelArts Lite Server使用ECS服务器时不支持重装操作系统,部分区域使用裸金属服务器时也不支持重装操作系统,若您想重装操作系统,您可通过切换操作系统的方式解决。更多信息,请参见Server使用前须知
  • ModelArts Lite Server服务器重装或者切换操作系统后,对应的EVS系统盘ID发生变化,和下单时订单中的EVS ID已经不一致, 因此EVS系统盘无法扩容,并显示信息:"当前订单已到期,无法进行扩容操作,请续订"。建议通过挂载数据盘EVS或挂载SFS盘等方式进行存储扩容。

Lite Cluster

  • 只支持对状态为“运行中”的Lite Cluster资源池进行扩缩容,且不能缩容到0。
  • 对于新建的Lite Cluster资源池,支持在新建时资源池指定容器引擎空间大小。
  • 对于存量的Lite Cluster资源池,可设置容器引擎空间大小应用于新增的节点,存量节点不支持修改容器引擎空间大小,且会导致资源池内该规格下节点的dockerBaseSize不一致,可能会使得部分任务在不同节点的运行情况不一致。
  • Lite Cluster资源池状态处于“运行中”,且资源池中的节点需要含有GPU/Ascend资源时,才可以升级Lite Cluster资源池的驱动。
  • 对于的ite Cluster逻辑资源池,需要开启节点绑定后才能进行驱动升级,请提交工单联系华为工程师开启节点绑定。

ModelArts与OBS交互

  • ModelArts不支持从加密的OBS桶中读取数据,创建OBS桶时,请勿开启桶加密。
  • ModelArts不支持跨区域访问OBS桶,请确保使用的OBS与ModelArts在同一区域。

相关文档