基于PyTorch NPU快速部署开源大模型

ModelArts平台提供了Tensorflow，PyTorch，MindSpore等常用深度学习任务的基础镜像，镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时，您可以基于这些基础镜像制作一个新的镜像并进行训练。 训练基础镜像列表 ModelArts中预置的训练基础镜像如下表所示。

查看更多 →

考训练作业支持的AI引擎。PyTorch的举例：不要选PyTorch-1.0.0、PyTorch-1.3.0、PyTorch-1.4.0。选择如下图： 图1 选择训练作业支持的AI框架 父主题： PyCharm Toolkit使用

查看更多 →

ory/data 【可选】dataset_info.json配置文件所属的绝对路径；如使用自定义数据集，yaml配置文件需添加此参数。 是否选择加速深度学习训练框架Deepspeed，可参考表1选择不同的框架。 是，选用ZeRO (Zero Redundancy Optimizer)优化器。

查看更多 →

engine_name String 引擎规格的名称。如“Caffe”。 engine_version String 引擎规格的版本。对一个引擎名称，有多个版本的引擎，如使用python2.7的"Caffe-1.0.0-python2.7"等。 v1_compatible Boolean 是否为v1兼容模式。

查看更多 →

。适用字符串类型的字段。 RANGE：按照固定的字段值范围映射到分片编号。适用整数、时间类型的字段。 CUSTOM：用户插件实现特定的SPI。适用所有类型的字段。 INTERVAL：按照时间间隔分表，分片列必须为时间类型或时间格式的字符串。 分库数量：设置分库的数量。参考架构选择

查看更多 →

执行框架转换 应用场景 针对企业中使用Dubbo等其他API框架的存量服务，AstroPro支持将代码统一转换为Spring MVC + OpenAPI的主流框架。转换后的框架将统一化，这有助于简化技术栈，降低技术多样性带来的复杂性，同时提高开发和运维团队的效率。 框架转换为Astro

查看更多 →

0.0/0 为了更好的获取和更新系统和软件，建议您更新镜像源为华为云镜像源，详细操作，请参见如何使用自动化工具配置华为云镜像源(x86_64和ARM)？。 资源和成本规划 本次实践所用的资源配置及软件版本如表2中所示。当您使用不同的硬件规格或软件版本时，本指导中的命令及参数可能会发生改变，需要您根据实际情况进行调整。

查看更多 →

ModelArts支持哪些AI框架？ ModelArts的开发环境Notebook、训练作业、模型推理（即AI应用管理和部署上线）支持的AI框架及其版本，不同模块的呈现方式存在细微差异，各模块支持的AI框架请参见如下描述。 统一镜像列表 ModelArts提供了ARM+Ascend规格的统一镜像，包

查看更多 →

工作流调度 DataArts Studio -DLF调度。 自建大数据生态的调度工具，如Airflow。 企业级多租户 基于表的权限管理，可以精细化到列权限。 基于文件的权限管理。 高性能 性能 基于软硬件一体化的深度垂直优化。 大数据开源版本性能。 跨源分析 支持多种数据格式，云上多

查看更多 →

架构技术框架的最佳实践，架构师对工作负载的架构进行全面、系统的评估，确保架构符合最新的需求、规范，符合最新的云上最佳实践。架构审视是一个持续的过程，建议在关键里程碑点进行审视或定期例行（如每半年一次）审视。 研发生产力提升 基于云的应用研发，技术、工具和工程实践都有很高的成熟度。

查看更多 →

封装基础开发组件，为开发者提供简单易用的开发接口，使开发者专注于其业务应用之上，提升开发体验和开发效率。 技能输出 技能在设备上运行的数据，通过数据管理用户可下载设备的数据，也可通过查看设备数据查看技能的运行效果。 技能模板 平台内置的技能模板可用于开发新技能，包含了技能的代码和所有参数设置。用

查看更多 →

容器内执行以下命令，指定NPU内存分配策略的环境变量，开启动态内存分配，即在需要时动态分配内存，可以提高内存利用率，减少OOM错误的发生。 export PYTORCH_NPU_ALLOC_CONF = expandable_segments:True 将yaml文件中的per_device_train_bat

查看更多 →

9-euler_2.10.7-aarch64-snt9b 表7 pytorch_2.1.0-cann_8.0.rc1-py_3.9-euler_2.10.7-aarch64-snt9b AI引擎框架 URL 包含的依赖项 pytorch 2.1.0 + mindspore-lite 2.3

查看更多 →

创建算法 机器学习从有限的观测数据中学习一般性的规律，并利用这些规律对未知的数据进行预测。为了获取更准确的预测结果，用户需要选择一个合适的算法来训练模型。针对不同的场景，ModelArts提供大量的算法样例。以下章节提供了关于业务场景、算法学习方式、算法实现方式的指导。 选择算法的实现方式

查看更多 →

OpenSoraPlan1.0 支持如下框架或模型基于DevServer的PyTorch NPU的训练： Diffusers Koyha_ss Wav2Lip InternVL2 OpenSora1.2 OpenSoraPlan1.0 SD WEBUI套件适配PyTorch NPU的推理指导（6.3.908）

查看更多 →

应用场景1：多类型作业混合部署 随着各行各业的发展，涌现出越来越多的领域框架来支持业务的发展，这些框架都在相应的业务领域有着不可替代的作用，例如Spark，Tensorflow，Flink等。在业务复杂性能不断增加的情况下，单一的领域框架很难应对现在复杂的业务场景，因此现在普遍使用多种框架达成业务目标。但随

查看更多 →

自动学习 准备数据 模型训练 部署上线 模型发布

查看更多 →

cend驱动适配的CANN（华为针对AI场景推出的异构计算架构）计算库。 提交训练作业后，ModelArts Standard平台会自动运行训练作业的启动文件。 Ascend-Powered-Engine框架的启动文件的默认启动方式如下： 每个训练作业的启动文件的运行次数取决于任

查看更多 →

DIS有哪些特点和优势？ 无限扩展：DIS数据通道的吞吐量每小时可从数MB扩展到数TB，PUT记录每秒钟可从数千次扩展到数百万。 易于使用：您可以在几秒钟内创建DIS数据通道，轻松地将数据放入通道中，并构建用于数据处理的应用程序。 成本低廉：DIS没有前期成本，您只需要为实际使用的资源付费即可。

查看更多 →

感，脱敏）的设定、元数据的发布等，为数据源计算节点提供全生命周期的可靠性监控、运维管理。 可信联邦学习 对接主流深度学习框架实现横向和纵向的联邦训练，支持基于安全密码学(如不经意传输、差分隐私等)的多方样本对齐和训练模型的保护。 数据使用监管 为数据参与方提供可视化的数据使用流图

查看更多 →

ud-LLM AIGC代码包：AscendCloud-AIGC 算子依赖包：AscendCloud-OPP 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 支持的特性 表1 本版本支持的特性说明

查看更多 →