本节介绍ModelArts服务在使用过程中的约束和限制。
规格限制
表1 规格说明 | 资源类型 | 规格 | 说明 |
| 计算资源 | 所有按需计费、包年/包月、套餐包中的计算资源规格,包括CPU、GPU和NPU | 购买的所有类型的计算资源均不支持跨Region使用。 |
| 计算资源 | 套餐包 | 套餐包仅用于公共资源池,不能用于专属资源池。 |
功能限制
表2 功能约束与限制 | 功能 | 使用限制 |
| 专属资源池 | - 单次创建专属资源池时,节点数建议不大于30,否则可能触发限流导致创建失败。
更多信息,请参见创建专属资源池。 - 只支持对状态为“运行中”的专属资源池进行扩缩容,且不能缩容到0。
- 专属资源池状态处于“运行中”时,才能修改资源池的作业类型。
- 专属资源池状态处于“运行中”,且专属池中的节点需要含有GPU/Ascend资源,才能升级专属资源池的驱动。
- 对于逻辑资源池,需要开启节点绑定后才能进行驱动升级,请提交工单联系工程师开启节点绑定。
|
| Notebook | - Notebook实例删除后不可恢复,实例删除后,挂载目录下的数据也将一并删除,请谨慎操作。
- Notebook实例状态必须在“停止”中,才能变更Notebook实例镜像。
- Notebook实例状态只有处于“停止”、“运行中”和“启动失败”时,才能变更Notebook实例规格。
- Notebook实例的存储配置采用的是云硬盘EVS。云硬盘EVS存储容量最大支持4096GB,达到4096GB时,不允许再扩容。单次最大可以扩容100GB。
- Notebook实例停止后,扩容后的EVS容量仍然有效。EVS计费也是按照扩容后的容量进行计费。云硬盘EVS只要使用就会计费,请在停止Notebook实例后,确认不使用EVS就及时删除数据,释放资源,避免产生费用。
- Notebook中保存的镜像大小不超过35G,镜像层数不能超过125层。否则镜像会保存失败。
|
| 训练作业 | - 训练日志仅保留30天,超过30天会被清理。如果用户需要永久保存日志,请在创建训练作业时,打开永久保存日志开关设置作业日志路径即可将日志转存至OBS路径。Ascend训练场景下,默认要求填写作业日志在OBS的存放路径,其他资源的训练场景下,永久保存日志开关需要用户手动开启。
- 仅专属资源池支持使用Cloud Shell登录训练容器,且训练作业必须处于“运行中”状态。
- 在训练管理的“创建算法”页面,来源于AI Gallery中订阅的算法不支持另存为新算法。
- 训练作业卡死检测目前仅支持资源类型为GPU的训练作业。
- 仅使用新版专属资源池训练时才支持设置训练作业优先级。公共资源池和旧版专属资源池均不支持设置训练作业优先级。
- 仅支持PyTorch和MindSpore框架的分布式训练和调测,如果MindSpore要进行多机分布式训练调试,则每台机器上都必须有8张卡。
- 使用自定义镜像创建训练作业时,镜像大小推荐15GB以内,最大不要超过资源池的容器引擎空间大小的一半。镜像过大会直接影响训练作业的启动时间。ModelArts公共资源池的容器引擎空间为50G,专属资源池的容器引擎空间的默认为50G,支持在创建专属资源池时自定义容器引擎空间。
- 用于训练的自定义镜像的默认用户必须是“uid”为“1000”的用户。
|
| 推理的创建模型 | |
| 推理服务部署 | - 只支持使用专属资源池部署的在线服务使用CloudShell访问推理容器,且在线服务必须处于“运行中”状态。
- 推理中,将模型部署为批量服务时,只支持使用公共资源池,暂不支持使用专属资源池。
- 对于同步请求模式的模型,如果预测请求时延超过60s,会造成请求失败,甚至会有服务业务中断的风险,预测请求时延超过60s时,建议制作异步请求模式的镜像。
|
| 轻量算力节点 | - ModelArts轻量算力节点使用裸金属服务器时,如果升级/修改操作系统内核或者驱动,很可能导致驱动和内核版本不兼容,从而导致OS无法启动,或者基本功能不可用。
如果需要升级或修改,请联系华为云技术支持。 - ModelArts轻量算力节点使用ECS服务器时不支持重装操作系统,部分区域使用裸金属服务器时也不支持重装操作系统,如果您想重装操作系统,您可通过切换操作系统的方式解决。更多信息,请参见Server使用前须知。
- ModelArts轻量算力节点服务器重装或者切换操作系统后,对应的EVS系统盘ID发生变化,和下单时订单中的EVS ID已经不一致, 因此EVS系统盘无法扩容,并显示信息:"当前订单已到期,无法进行扩容操作,请续订"。建议通过挂载数据盘EVS或挂载SFS盘等方式进行存储扩容。
|
| 轻量算力集群 | - 只支持对状态为“运行中”的轻量算力集群资源池进行扩缩容,且不能缩容到0。
- 对于新建的轻量算力集群资源池,支持在新建时资源池指定容器引擎空间大小。
- 对于存量的轻量算力集群资源池,可设置容器引擎空间大小应用于新增的节点,存量节点不支持修改容器引擎空间大小,且会导致资源池内该规格下节点的dockerBaseSize不一致,可能会使得部分任务在不同节点的运行情况不一致。
- 轻量算力集群资源池状态处于“运行中”,且资源池中的节点需要含有GPU/Ascend资源时,才可以升级轻量算力集群资源池的驱动。
- 对于轻量算力集群逻辑资源池,需要开启节点绑定后才能进行驱动升级,请提交工单联系工程师开启节点绑定。
|
| ModelArts与OBS交互 | - ModelArts不支持从加密的OBS桶中读取数据,创建OBS桶时,请勿开启桶加密。
- ModelArts不支持跨区域访问OBS桶,请确保使用的OBS与ModelArts在同一区域。
|