ModelArts预置镜像
在使用ModelArts进行机器学习开发时,用户经常需要根据不同的框架和CUDA版本配置环境,这可能导致配置复杂度增加和使用问题。如何帮助减少配置复杂度和使用问题?ModelArts提供了基于不同框架、不同CUDA版本的预置镜像,您可以在创建Notebook、模型训练或在线推理时,直接选择ModelArts提供的预置镜像。通过使用预置镜像,用户可以快速启动开发环境,减少配置时间,专注于模型开发和训练,从而提高开发效率。
约束限制
基于HCE系统的容器镜像约束限制如下:
资源池集群的Docker版本必须满足:Euler2.9版本≥h59,Euler2.10版本≥h53,Euler2.11版本≥h2。否则,可能会出现系统兼容性问题。
您可以登录资源池集群节点查询Docker版本。
docker --version
预置镜像命名规则说明
ModelArts预置镜像遵循一定的命名规则,您可以通过镜像名称了解到此镜像的基本信息。通常镜像命名会包含以下几个固定字段,建议您添加自定义镜像时使用统一的命名规则。
| 框架 | 预置镜像名称示例 | 镜像名称解读 |
|---|---|---|
| VeOmni | veomni_v0.1.6-pytorch_2.7.1-cann_8.3.rc1-py_3.11-hce_2.0.2509-aarch64-snt9b |
|
| MindSpeed-LLM | mindspeed_llm_2.2.0-pytorch_2.7.1-cann_8.2.rc2-py_3.11-hce_2.0.2509-aarch64-snt9b |
|
| VeRL | verl_0.7.0-pytorch_2.7.1-cann_8.3.rc1-py_3.11-hce_2.0.2509-aarch64-snt9b |
|
| AReaL | areal_0.5.1-pytorch_2.7.1-cann_8.3.rc1-py_3.11-hce_2.0.2509-aarch64-snt9b |
|
| MindSpore | mindspore_2.7.1-cann_8.3.rc1-py_3.11-euler_2.10.11-aarch64-snt9b |
|
| TensorFlow | tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64 |
|
| PyTorch | pytorch_2.7.1-cann_8.3.rc1-py_3.11-hce_2.0.2509-aarch64-snt9b |
|
预置镜像能力
ModelArts为您提供了基于不同机器学习框架的官方镜像。下文介绍基于VeOmni、MindSpeed-LLM、VeRL、AReaL、Conda等主流框架的官方镜像信息。
VeOmni
VeOmni是由seed团队推出的开源全模态分布式训练框架,基于PyTorch构建。该框架以模型为核心,将分布式并行逻辑与模型计算过程解耦,支持灵活组合多种并行策略(如fsdp、sp、ep),能够高效扩展至超长序列和大规模MOE模型的训练场景。VeOmni提供轻量级的全模态接口,简化多模态编解码器的接入流程,集成动态批处理、高效算子等系统级优化技术,提升训练效率与稳定性。
主要特性
- 模型与并行解耦:基于PyTorch原生分布式能力,将分布式并行逻辑与模型计算过程解耦,支持FSDP、序列并行(SP)、专家并行(EP)的灵活组合。
- 全模态接入能力:提供轻量级的全模态接口,简化多模态(视觉、语音等)编解码器的接入流程,支持复杂的多模态大模型训练。
- 昇腾算子级优化:深度适配torch_npu (2.7.1),集成动态批处理(Dynamic Batching)与高效融合算子,针对全模态场景提升计算吞吐。
- 超大规模扩展性:支持高效扩展至超长序列训练,并针对大规模MoE(混合专家模型)架构进行了底层系统级优化,确保训练稳定性。
MindSpeed-LLM
MindSpeed-LLM是基于昇腾计算生态的大语言模型分布式训练套件。它深度融合了MindSpeed加速库与Megatron-LM核心架构,旨在为合作伙伴提供端到端的大模型训练方案。本镜像集成了分布式预训练、指令微调及全流程工具链(数据预处理、权重转换、算子加速、基线评估等),实现开箱即用的华为昇腾NPU开发环境。
核心组件版本
本镜像已预装并完成环境适配的核心组件如下:
- MindSpeed-LLM:GitCode(Ascend)
- MindSpeed:GitHub(NVIDIA)
主要特性
- 昇腾原生加速:深度集成MindSpeed,针对torch_npu进行指令集级优化,支持高效的混合精度训练与算子融合。
- 分布式训练支持:基于Megatron-LM核心,支持张量并行(TP)、流水线并行(PP)的多维度并行策略。
- 全栈工具链:内置权重转换工具(支持主流开源模型转NPU格式)、分布式数据预处理、以及基于Ray的资源调度。
- 生态兼容性:支持主流大模型架构,并集成PEFT(微调)与Transformers库,方便迁移开源社区模型。
VeRL
VeRL作为强化学习领域兼具易用性与高性能的开源框架,以其模块化的算法库和原生支持分布式训练等特性,成为科研与工业界落地强化学习方案的优选工具。本镜像深度集成VeRL核心框架,全面覆盖强化学习算法研发、策略训练、仿真验证等全流程场景需求。
适用场景
- 强化学习算法开发与实验:在Notebook中快速进行强化学习算法设计与验证。
- 训练与调优:在训练作业中使用单卡/多卡进行大规模强化学习训练。
- 教育与培训:提供稳定一致的实验环境,便于课程教学与技能培训。
AReaL
AReaL作为当前强化学习领域主流的开源框架之一,以其全异步训推一体的特质和活跃的社区生态而广受青睐。本镜像集成了AReaL及其生态组件(vLLM、vLLM-Ascend),并提供多种版本组合,以满足不同开发、训练及部署场景的需求。
ModelArts提供灵活的AReaL版本、Python版本、 CANN版本(适用于华为昇腾NPU)的组合,用户可以选择合适的镜像版本,实现开箱即用的强化学习环境。
主要特性
- 预装依赖:
- 常用科学计算库:NumPy、Pandas。
- 推理框架:vLLM、vLLM-Ascend。
- 模型部署工具:TensorBoard。
- 开箱即用: 无需额外配置环境,直接启动最佳实践的脚本,自动启动集群并启动训练。
适用场景
强化学习的多数场景。
MindSpore
昇思MindSpore是一个全场景深度学习框架,旨在实现易开发、高效执行和全场景统一部署三大目标。MindSpore预置镜像预装了MindSpore,并提供多种Python、CANN、Euler和Ubuntu的版本组合,支持Ascend加速卡场景。
TensorFlow
TensorFlow是一个端到端平台,它让研究人员能够在机器学习领域推动前沿技术,同时也使开发者能够轻松构建并部署由机器学习驱动的应用程序。TensorFlow预置镜像预装了TensorFlow,提供多种Python、CUDA、CANN、Euler、Ubuntu的版本组合,支持GPU、Ascend加速卡场景。
PyTorch
PyTorch作为当前深度学习领域主流的开源框架之一,以其动态图机制、Python优先的设计和活跃的社区生态而广受青睐。PyTorch预置镜像集成了PyTorch及其生态组件(Torchvision、Torchaudio),并提供多种版本组合,以满足不同开发、训练及部署场景的需求。
ModelArts提供灵活的PyTorch版本、Python版本、CUDA版本(适用于NVIDIA GPU)以及CANN版本(适用于华为昇腾NPU)的组合,并兼容多种操作系统环境(如Ubuntu、EulerOS)。用户可根据硬件平台(NVIDIA GPU或华为昇腾NPU)和项目需求,选择合适的镜像版本,实现开箱即用的深度学习环境。
- 多硬件支持:
- NVIDIA GPU:支持CUDA加速,提供cuDNN、NCCL等优化库。
- 华为昇腾NPU:集成torch_npu插件,支持混合精度训练、分布式训练等。
- 预装依赖:
- 常用科学计算库:NumPy、SciPy、Pandas。
- 视觉处理库:OpenCV、Pillow。
- 模型部署工具:ONNX Runtime、TensorBoard。
- 开发工具:JupyterLab、IPython、tqdm等。
- 开箱即用: 无需额外配置环境,直接启动Notebook、在线服务或训练任务。
适用场景
- AI开发与实验:在Notebook中快速进行模型原型设计、调试和可视化。
- 训练与调优:在训练作业中使用单卡/多卡进行大规模数据训练。
- 部署与服务化:通过在线服务将训练好的模型部署为RESTful API。
- 教育与培训:提供稳定一致的实验环境,便于课程教学与技能培训。
核心镜像列表
基于PyTorch、MindSpore、TensorFlow框架的核心预置镜像信息如下。不同区域支持的镜像可能不同,请以控制台界面为准。
- 查看ModelArts支持的镜像版本列表和镜像地址,请参见查看预置镜像版本列表/镜像地址。
- 查看镜像组件的详情信息,请参见查看镜像组件的详细信息。
| 镜像名称 | 适配芯片 | 适用范围 | 创建时间 | 更新说明 | 镜像地址 |
|---|---|---|---|---|---|
| pytorch_2.7.1-cann_8.5.2-py_3.12-hce_2.0.2512-aarch64-snt9b23 | Ascend snt9b2x(例如Snt9b23等) | Notebook、训练、推理部署 | 2026/04/29 | cann更新至8.5.2,Python更新至3.12版本,Huawei Cloud Euler更新至2.0.2512版本。 | |
| pytorch_2.7.1-cann_8.5.2-py_3.12-hce_2.0.2512-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/04/29 | cann更新至8.5.2,Python更新至3.12版本,Huawei Cloud Euler更新至2.0.2512版本。 | |
| pytorch_2.7.1-cann_8.5.2-py_3.12-euler_2.10.11-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/04/29 | cann更新至8.5.2,Python更新至3.12版本,Euler操作系统更新至2.10.11版本。 | |
| pytorch_2.6.0-cann_8.2.rc1-py_3.11-euler_2.10.11-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/02/04 | pytorch更新至2.6.0,cann更新至CANN 8.2.RC1,配套驱动Ascend HDK 25.2.0。 | |
| pytorch_2.1.0-cann_8.1.rc1-py_3.10-euler_2.10.11-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/02/04 | cann更新至CANN 8.1.RC1.B150,配套驱动Ascend HDK 25.0.RC1。 | |
| pytorch_2.1.0-cann_8.0.rc3-py_3.9-euler_2.10.10-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/02/04 | cann更新至8.0.rc3,配套驱动Ascend HDK 24.1.RC3。 | |
| pytorch_2.1.0-cann_8.0.rc2-py_3.9-euler_2.10.7-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/02/04 | cann更新至8.0.rc2,配套驱动Ascend HDK 24.1.RC2。 | |
| pytorch_2.1.0-cann_8.0.rc1-py_3.9-euler_2.10.7-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/02/04 | cann更新至8.0.rc1。 | |
| pytorch_2.1.0-cann_8.0.0-py_3.10-euler_2.10.11-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/02/04 | cann更新至CANN 8.0.0.beta1,配套驱动Ascend HDK 24.1.0。 | |
| pytorch_1.11.0-cann_8.0.rc2-py_3.9-euler_2.10.7-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/02/04 | cann更新至8.0.rc2,配套驱动Ascend HDK 24.1.RC2。 | |
| pytorch_1.11.0-cann_8.0.rc1-py_3.9-euler_2.10.7-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/02/04 | cann更新至8.0.rc1。 | |
| pytorch_2.7.1-cann_8.3.rc1-py_3.11-euler2.10.11-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2025-12-08 | Python升级3.11、三方软件升级等。 | |
| pytorch_1.11.0-cann_6.3.2-py_3.7-euler_2.10.7-aarch64-d910b | Ascend snt9b | Notebook、训练、推理部署 | 2023/09/14 | cann更新至6.3.2,Python更新至3.7版本。 | |
| pytorch_2.7.1-cann_8.3.rc1-py_3.11-hce_2.0.2509-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2025-11-11 | Python升级3.11、操作系统升级HCE.2509、areal等。 |
| 预置镜像 | 适配芯片 | 适用范围 | 创建时间 | 更新说明 | 镜像地址 |
|---|---|---|---|---|---|
| mindspore_2.7.2-cann_8.5.2-py_3.11-euler_2.10.11-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/04/29 | cann更新至8.5.2,Python更新至3.11,Euler操作系统更新至2.10.11版本。 | |
| mindspore_2.7.2-cann_8.5.2-py_3.11-hce_2.0.2512-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/04/29 | cann更新至8.5.2,Python更新至3.11,Huawei Cloud Euler更新至2.0.2512版本。 | |
| mindspore_ascend:mindspore_2.7.2-cann_8.5.2-py_3.11-hce_2.0.2512-aarch64-snt9b23 | Ascend snt9b2x(例如Snt9b23等) | Notebook、训练、推理部署 | 2026/04/29 | cann更新至8.5.2,Python更新至3.11,Huawei Cloud Euler更新至2.0.2512版本。 | |
| mindspore_2.7.0rc1-cann_8.2.rc1-py_3.11-euler_2.10.11-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/02/04 | mindspore更新至2.7.0rc1,cann更新至CANN 8.2.RC1,配套驱动Ascend HDK 25.2.0。 | |
| mindspore_2.6.0rc1-cann_8.1.rc1-py_3.10-euler_2.10.11-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/02/04 | mindspore更新至mindspore_2.6.0rc1,cann更新至CANN 8.1.RC1.B150,配套驱动Ascend HDK 25.0.RC1。 | |
| mindspore_2.4.10-cann_8.0.0-py_3.10-euler_2.10.11-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/02/04 | mindspore更新至2.4.10,cann更新至CANN 8.0.0.beta1,配套驱动Ascend HDK 24.1.0。 | |
| mindspore_2.4.0-cann_8.0.rc3-py_3.9-euler_2.10.10-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/02/04 | cann更新至8.0.rc3,配套驱动Ascend HDK 24.1.RC3。 | |
| mindspore_2.3.0-cann_8.0.rc2-py_3.9-euler_2.10.7-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/02/04 | mindspore更新至2.3.0,cann更新至8.0.rc2,配套驱动Ascend HDK 24.1.RC2。 | |
| mindspore_2.3.0-cann_8.0.rc1-py_3.9-euler_2.10.7-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2026/02/04 | mindspore更新至2.3.0-rc4,cann更新至8.0.rc1。 下线ma-cau1.1.6、ma-cau-adapter1.1.3。 | |
| mindspore_2.1.0-cann_6.3.2-py_3.7-euler_2.10.7-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2023/11/17 | cann更新至6.3.2,Python更新至3.7。 | |
| mindspore_2.2.0-cann_7.0.1-py_3.9-euler_2.10.7-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2023/08/11 | cann更新至7.0.1,Python更新至3.9。 | |
| mindspore_2.7.1-cann_8.3.rc1-py_3.11-euler_2.10.11-aarch64-snt9b | Ascend snt9b | Notebook、训练、推理部署 | 2025-12-05 | Python升级3.11、三方软件升级等。 |
查看预置镜像版本列表/镜像地址
请按照控制台界面选择以下操作,查看ModelArts支持的框架、预置镜像列表、镜像地址等信息。
- 新版控制台:
- 在ModelArts管理控制台左侧导航栏,选择“资产管理 > 镜像”。
- 在“预置镜像”页签,查看支持的框架。 图1 预置镜像框架
- 单击预置镜像框架卡片,在“概览信息”页签,查看镜像的详细说明;在“版本列表”页签,查看预置镜像版本列表,包括版本、镜像地址、大小、创建时间等。 图2 预置镜像版本列表
- 旧版控制台:
- 在ModelArts管理控制台左侧导航栏,选择“资产管理 > 镜像管理”。
- 在“镜像管理”页面,查看镜像的名称、所属组织、版本总数等信息。
- 单击镜像名称,查看预置镜像版本列表,包括镜像版本、状态、资源类型、镜像大小、SWR地址等。
查看镜像组件的详细信息
您可以任选以下方式,查看镜像组件的详细信息。
- 方式一:在容器中查看
- 执行以下命令,启动容器。
docker run -it image_name bash
请将image_name替换为实际的镜像地址,获取方式请参见查看预置镜像版本列表/镜像地址。
- 进入容器后,执行以下命令查看对应的版本信息。
pip list
- 执行以下命令,启动容器。
- 方式二:在Notebook中查看
- 使用预置镜像创建Notebook,并以JupyterLab方式接入。具体操作,请参见使用JupyterLab在线开发和调试代码。
- 打开Terminal,执行以下命令查看对应的版本信息。
pip list