适配昇腾的Megatron-LM训练框架 |──MindSpeed/ # MindSpeed昇腾大模型加速库 |──ModelLink/ # ModelLink端到端的大语言模型方案

查看更多 →

上传镜像 通过health docker push命令将镜像上传至 EIHealth 平台项目中。 命令结构 health docker push <image-name:tag-name> [flags] 表1 参数说明 参数 简写 是否必选 说明 image-name 无 是 镜像名称。

查看更多 →

/home/ma-user/ws 使用ma-user用户安装依赖包。 #进入scripts目录换 cd /home/ma-user/ws/llm_train/AscendSpeed #执行安装命令 sh scripts/install.sh 为了避免因使用不同版本的 transformers 库进行训练和推理而

查看更多 →

查询镜像 使用health docker images命令查询项目中的镜像。 命令结构 health docker images [flags] 表1 参数说明 参数 简写 是否必选 说明 --name -n 否 查询指定镜像名下的所有tag信息，支持模糊查找。 --type -t

查看更多 →

准备镜像 准备训练Llama2-13B模型适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 训练基础镜像

查看更多 →

原因分析 使用客户端上传的镜像每一层layer都进行了tgz压缩，而页面上传的镜像包是经过docker打包的，每一层layer只进行了打包，没有压缩。所以两种方式上传的镜像大小显示会不一致。 SWR镜像仓库支持ARM镜像上传么？ SWR镜像仓库对镜像的内核架构是没有任何限制的，

查看更多 →

注意：CPU架构必须选择鲲鹏计算，镜像推荐选择EulerOS。 图1 购买E CS 创建镜像组织。 在SWR服务页面创建镜像组织。 图2 创建镜像组织 安装Docker。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install

查看更多 →

上传镜像 镜像上传需要使用SWR镜像容器服务，开通及使用请参照容器 镜像服务 SWR_用户指南。 上传镜像 访问SWR容器镜像服务，在左侧导航栏选择“总览”，然后单击右上方“创建组织”。 创建名称为hw_swr的组织 获取SWR登录指令 访问SWR容器镜像服务，在左侧导航栏选择“总览”，然后单击右上角“登录指令”。

查看更多 →

镜像迁移 为保证集群迁移后容器镜像可正常拉取，提升容器部署效率，建议您将第三方云镜像仓库迁移至华为云容器镜像服务（SWR）。UCS华为云集群和多云集群配合SWR为您提供容器自动化交付流水线，采用并行传输的镜像拉取方式，能够大幅提升容器的交付效率。 image-migrator是一

查看更多 →

推送镜像到镜像仓库 操作场景 推送镜像到镜像仓库可以帮助您将本地的镜像推送到容器镜像服务的镜像仓库中，更方便的管理您的镜像。推送镜像到镜像仓库有两种方式：通过容器镜像客户端上传和通过SWR页面上传。 客户端上传镜像，是指在安装了容器引擎客户端的机器上使用docker命令或者ctr

查看更多 →

打印如下信息，表示上传镜像成功。 图5 成功上传镜像 Step8 注册镜像 镜像上传至SWR成功后，在ModelArts控制台的“镜像管理”页面中单击“注册镜像”。 图6 在ModelArts控制台注册镜像 在镜像源中，选择上一步中上传到SWR自有镜像仓中的镜像名，作为模型推理使用的镜像，架构选

查看更多 →

准备镜像 准备大模型推理适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2

查看更多 →

镜像包 镜像包，package.json里面的type为docker，一般是以docker镜像的形式存储在镜像仓中。也可以用docker的镜像包打出tar包的形式，同时在tar包同层级目录放置package.json内容，和tar包一起，再打出zip包格式。 容器镜像地址分为四个

查看更多 →

打印如下信息，表示上传镜像成功。 图7 成功上传镜像 Step8 注册镜像 镜像上传至SWR成功后，在ModelArts控制台的“镜像管理”页面中单击“注册镜像”。 图8 在ModelArts控制台注册镜像 在镜像源中，选择上一步中上传到SWR自有镜像仓中的镜像名，作为模型推理使用的镜像，架构选

查看更多 →

打印如下信息，表示上传镜像成功。 图7 成功上传镜像 Step8 注册镜像 镜像上传至SWR成功后，在ModelArts控制台的“镜像管理”页面中单击“注册镜像”。 图8 在ModelArts控制台注册镜像 在镜像源中，选择上一步中上传到SWR自有镜像仓中的镜像名，作为模型推理使用的镜像，架构选

查看更多 →

准备镜像 准备训练模型适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2

查看更多 →

标记镜像 使用health docker tag命令给待上传的镜像打标签。 执行镜像相关命令，请在本地搭建Docker环境，要求安装的容器引擎版本必须为1.11.2及以上。 默认标记到当前所在项目，需先使用切换项目命令进入想要上传镜像的项目。 命令结构 health docker tag

查看更多 →

16.0-6.0.rc3 # 安装依赖库 pip3 install -r requirement.txt # 编包 python setup.py bdist_wheel # 安装 cd dist pip install torchvision_npu-0.16.*

查看更多 →

适配昇腾的Megatron-LM训练框架 |──MindSpeed/ # MindSpeed昇腾大模型加速库 |──ModelLink/ # ModelLink端到端的大语言模型方案

查看更多 →

Harbor是VMware公司开源的企业级Docker Registry管理项目，在开源Docker Distribution能力基础上扩展了例如权限管理（RBAC）、镜像安全扫描、镜像复制等功能。Harbor目前已成为自建容器镜像托管及分发服务的首选。 公网访问场景 Harbor上配置镜像仓库。 Harbor在1

查看更多 →

上传镜像 操作场景 客户端上传镜像，是指在安装了容器引擎客户端的机器上使用docker命令将镜像上传到容器镜像服务的镜像仓库。 如果容器引擎客户端机器为云上的ECS或CCE节点，根据机器所在区域有两种网络链路可以选择： 如果机器与容器镜像仓库在同一区域，则上传镜像走内网链路。 如

查看更多 →