Open-Sora1.2基于DevServer适配PyTorch NPU训练推理指导（6.3.910）

方案概览

本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。

适配的Cann版本是cann_8.0.rc3。

约束限制

• 本方案目前仅适用于企业客户。
• 本文档适配昇腾云ModelArts 6.3.910版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
• 确保容器可以访问公网。

资源规格要求

推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。

软件配套版本

镜像版本

本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。

不同软件版本对应的基础镜像地址不同，请严格按照软件版本和镜像配套关系获取基础镜像。

Step1 检查环境

1. 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
   

   购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。

   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

2. SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。

   npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
   npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数

   如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

3. 检查是否安装docker。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

4. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
   sysctl -p | grep net.ipv4.ip_forward

Step2 下载依赖代码包并上传到宿主机

下载华为侧插件代码包AscendCloud-AIGC-6.3.910-xxx.zip文件，获取路径参见表1。本案例使用的是压缩包中的multimodal_algorithm/OpenSora1.2/，将OpenSora1.2整个文件夹上传到宿主机上。

Step3 构建标准镜像和容器环境

Step3 构建标准镜像和容器环境 和 Step4 构建与代码解耦的镜像和容器环境 都是搭建容器环境，任选其中一个即可。

一、构建镜像

基于官方提供的基础镜像构建自定义镜像opensora1.2:1.0。参考如下命令在宿主机上编写Dockerfile文件。镜像地址{image_url}请参见表2。

镜像Dockerfile:

FROM {image_url}

COPY --chown=ma-user:ma-group OpenSora1.2/* /home/ma-user/OpenSora1.2/

RUN cd /home/ma-user/OpenSora1.2 && bash prepare.sh
WORKDIR /home/ma-user/OpenSora1.2

Step4 构建与代码解耦的镜像和容器环境

Step3 构建标准镜像和容器环境 和 Step4 构建与代码解耦的镜像和容器环境 都是搭建容器环境，任选其中一个即可。

一、启动镜像

docker run -itd --name ${container_name} -v /sys/fs/cgroup:/sys/fs/cgroup:ro  -v /etc/localtime:/etc/localtime -v /usr/local/Ascend/driver:/usr/local/Ascend/driver -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi --shm-size 300g --device=/dev/davinci_manager --device=/dev/hisi_hdc --device=/dev/devmm_svm --device=/dev/davinci0 --device=/dev/davinci1 --device=/dev/davinci2 --device=/dev/davinci3 --device=/dev/davinci4 --device=/dev/davinci5 --device=/dev/davinci6 --device=/dev/davinci7  --security-opt seccomp=unconfined --network=bridge -v ${work_dir}:${container_work_dir}  {image_url}  bash

参数说明：

• --name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。
• --device=/dev/davinci0，...， --device=/dev/davinci7：挂载NPU设备，示例中挂载了8张卡davinci0~davinci7，可根据需要选择挂载卡数。
• -v ${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统，work_dir为宿主机中工作目录，目录下存放着训练所需代码、数据等文件。container_dir为要挂载到的容器中的目录。为方便两个地址可以相同。注意：将OpenSora1.2放入挂载目录下。
• {image_url}镜像地址请参见表2。
  

  • driver及npu-smi需同时挂载至容器。
  • 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。

二、进入容器

通过容器名称进入容器中。默认使用ma-user用户执行后续命令。

docker exec -it ${container_name} bash

三、构建环境

需要将OpenSora1.2放入挂载目录下，container_work_dir 是挂载目录。并保证文件权限能被ma-user用户使用和修改。

cp -r {container_work_dir}/OpenSora1.2 /home/ma-user/
cd /home/ma-user/OpenSora1.2
bash prepare.sh

Step5 下载权重文件

建议手动下载所需的权重文件，保证文件权限能被ma-user用户使用和修改，在/home/ma-user/OpenSora1.2/目录下进行操作。

1. 创建文件夹存放不同的权重文件。

   mkdir weights

2. 下载 OpenSora-VAE-v1.2权重，将下载好的权重放在 ./weights 目录下。

   OpenSora-VAE-v1.2 官网下载地址：https://huggingface.co/hpcai-tech/OpenSora-VAE-v1.2/tree/main

3. 下载 OpenSora-STDiT-v3权重，将下载好的权重放在 ./weights 目录下。

   OpenSora-STDiT-v3 官网下载地址：https://huggingface.co/hpcai-tech/OpenSora-STDiT-v3/tree/main

4. 下载 t5-v1_1-xxl 权重，将下载好的权重放在 ./weights 目录下。

   t5-v1_1-xxl 官网下载地址： https://huggingface.co/DeepFloyd/t5-v1_1-xxl/tree/main

5. 下载 pixart_sigma_sdxlvae_T5_diffusers的vae权重，将下载好的权重放在 ./weights 目录下。

   pixart_sigma_sdxlvae_T5_diffusers 官网下载地址：https://huggingface.co/PixArt-alpha/pixart_sigma_sdxlvae_T5_diffusers/tree/main

   下载下图中vae文件夹的内容。注意：本地下载文件时配置文件会变成vae_config.json，修改为config.json

   图1 下载vae文件夹的内容
   
6. 下载vgg权重，将下载好的权重放在 ./weights 目录下。

   vgg16-397923af.pth 官网下载地址： https://download.pytorch.org/models/vgg16-397923af.pth

   vgg.pth 官网下载地址：https://heibox.uni-heidelberg.de/f/607503859c864bc1b30b/?dl=1

   将权重vgg16-397923af.pth复制到 /home/ma-user/.cache/torch/hub/checkpoints/下，这个文件夹需要自己创建。

   cp weights/vgg16-397923af.pth /home/ma-user/.cache/torch/hub/checkpoints/vgg16-397923af.pth

   下载完成的权重文件如下图所示：

   图2 下载完成的权重文件
   

Step6 下载数据集

下载原始数据集。

cd /home/ma-user/OpenSora1.2/
mkdir -p datasets/webvid
wget https://anon-datasets.s3.amazonaws.com/results_2M_val.csv
python download_datasets.py

Step7 VAE训练

vae训练分为3个阶段，后两次训练根据其前一次训练的结果继续训练。

1. 第一阶段训练

   torchrun --nnodes=1 --nproc_per_node=8 train_vae.py configs/vae/train/stage1.py --data-path ./datasets/webvid_meta_data.csv

   训练完后的权重文件保存在 ./outputs/vae_stage1 文件夹下 （例如 ./outputs/vae_stage1/XXX-OpenSoraVAE_V1_2/epochX-global_step1000/model，X为按顺序自动生成的数字）

   具体位置打印在日志中，注意：输出文件夹是自动生成，只有日志中打印的位置才是保存权重的位置。

   图3 VAE第一阶段训练日志
   
2. 第二阶段训练

   export pretrain_path="上阶段训练的权重，例如./outputs/vae_stage1/XXX-OpenSoraVAE_V1_2/epochX-global_step1000/model"
   torchrun --nnodes=1 --nproc_per_node=8 train_vae.py configs/vae/train/stage2.py --data-path ./datasets/webvid_meta_data.csv --ckpt-path $pretrain_path

   训练完后的权重文件保存在 ./outputs/vae_stage2 文件夹下 （例如 ./outputs/vae_stage2/XXX-OpenSoraVAE_V1_2/epochX-global_step1000/model，X为按顺序自动生成的数字）

3. 第三阶段训练

   export pretrain_path="上阶段训练的权重，例如./outputs/vae_stage2/XXX-OpenSoraVAE_V1_2/epochX-global_step1000/model"
   torchrun --nnodes=1 --nproc_per_node=8 train_vae.py configs/vae/train/stage3.py --data-path ./datasets/webvid_meta_data.csv --ckpt-path $pretrain_path

   训练完后的权重文件保存在 ./outputs/vae_stage3 文件夹下 （例如 ./outputs/vae_stage3/XXX-OpenSoraVAE_V1_2/epochX-global_step1000/model，X为按顺序自动生成的数字）

Step8 DIT训练

dit训练分为3个阶段，后两次训练根据其前一次训练的结果继续训练。

1. 第一阶段训练

   torchrun --standalone --nproc_per_node 8 train.py configs/opensora-v1-2/train/stage1.py --data-path ./datasets/webvid_meta_data.csv

   训练完后的权重文件保存在 ./outputs 文件夹下 （例如 ./outputs/XXX-STDiT3-XL-2/epochX-global_step200/model，X为按顺序自动生成的数字）。

   具体位置打印在日志中：

   图4 DIT第一阶段训练日志
   

   训练完成后在目录底下生成loss.txt文件(例如./outputs/XXX-STDiT3-XL-2/epochX-global_step200/model)记录每一步的loss。

2. 第二阶段训练

   export pretrain_path="上阶段训练的权重，例如./outputs/XXX-STDiT3-XL-2/epochX-global_step200/model"
   torchrun --standalone --nproc_per_node 8 train.py configs/opensora-v1-2/train/stage2.py --data-path ./datasets/webvid_meta_data.csv --ckpt-path $pretrain_path

   训练完后的权重文件保存在 ./outputs 文件夹下 （例如 ./outputs/001-STDiT3-XL-2/epochX-global_step200/model，X为按顺序自动生成的数字），具体位置打印在日志中。

3. 第三阶段训练

   export pretrain_path="上阶段训练的权重，例如 ./outputs/XXX-STDiT3-XL-2/epochX-global_step200/model"
   torchrun --standalone --nproc_per_node 8 train.py configs/opensora-v1-2/train/stage3.py --data-path ./datasets/webvid_meta_data.csv --ckpt-path $pretrain_path

   训练完后的权重文件保存在 ./outputs 文件夹下 （例如 ./outputs/XXX-STDiT3-XL-2/epochX-global_step200/model，X为按顺序自动生成的数字），具体位置打印在日志中。

Step9 推理

对于大尺寸、长时间的视频强制需要多卡推理，具体要求见下图，绿色允许只用单卡推理，蓝色至少双卡推理。

图5 推理视频要求

单卡推理

python inference.py configs/opensora-v1-2/inference/sample.py --num-frames 4s --resolution 720p --aspect-ratio 9:16 --prompt "a beautiful waterfall"

多卡推理

torchrun --nproc_per_node 2 inference.py configs/opensora-v1-2/inference/sample.py --num-frames 16s --resolution 720p --aspect-ratio 9:16 --prompt "a beautiful waterfall"

最终结果保存在samples/samples/sample_0000.mp4。