Open-Sora1.2基于DevServer适配PyTorch NPU训练推理指导（6.3.907）
本文档主要介绍如何在ModelArts Lite DevServer上，使用PyTorch_npu+华为自研Ascend Snt9B硬件，完成Open-Sora 1.2 训练和推理。
方案概览
本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。
适配的Cann版本是cann_8.0.rc2。
约束限制
- 本方案目前仅适用于企业客户。
- 本文档适配昇腾云ModelArts 6.3.907版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
- 确保容器可以访问公网。
资源规格要求
推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。
软件配套版本
|
分类 |
名称 |
获取路径 |
|---|---|---|
|
插件代码包 |
AscendCloud-6.3.907软件包中的AscendCloud-AIGC-6.3.907-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。 |
获取路径：Support-E
说明：
如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 |
镜像版本
本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。
|
配套软件版本 |
镜像用途 |
镜像地址 |
配套 |
获取方式 |
|---|---|---|---|---|
|
6.3.907版本 |
基础镜像 |
swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240727152329-0f2c29a |
cann_8.0.rc2 pytorch_2.1.0 驱动23.0.6 |
从SWR拉取 |
不同软件版本对应的基础镜像地址不同，请严格按照软件版本和镜像配套关系获取基础镜像。
Step1 检查环境
- 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。
当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。
- SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。
npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。
- 检查是否安装docker。
docker -v #检查docker是否安装
如尚未安装，运行以下命令安装docker。
yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64
- 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。
sysctl -p | grep net.ipv4.ip_forward
如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward
Step2 下载依赖代码包并上传到宿主机
下载华为侧插件代码包AscendCloud-AIGC-6.3.907-xxx.zip文件，获取路径参见表1。本案例使用的是解压到子目录 multimodal_algorithm/OpenSora1.2/ 目录下的所有文件，将该目录上传到宿主机上。
Step3 构建镜像
基于官方提供的基础镜像构建自定义镜像Open-Sora 1.2:1.0。参考如下命令编写Dockerfile文件。镜像地址{image_url}请参见表2。
FROM {image_url}
COPY --chown=ma-user:ma-group OpenSora1.2/* /home/ma-user/OpenSora1.2/
RUN cd /home/ma-user/OpenSora1.2 && bash prepare.sh && pip install numpy==1.26.4
WORKDIR /home/ma-user/OpenSora1.2
如果只想构建无代码镜像:
1. 单独下载 https://github.com/hpcaitech/Open-Sora/blob/main/requirements/requirements.txt ，使用其构建镜像。
FROM {image_url}
RUN pip install -r requirements.txt && pip install numpy==1.26.4
WORKDIR /home/ma-user/OpenSora1.2
2.另外单独对代码进行适配
cd /home/ma-user/OpenSora1.2/ bash prepare.sh
构建自定义镜像OpenSora1.2:1.0。
docker build -t OpenSora1.2:1.0 .
Step4 启动镜像
docker run -itd --name ${container_name} -v /sys/fs/cgroup:/sys/fs/cgroup:ro -v /etc/localtime:/etc/localtime -v /usr/local/Ascend/driver:/usr/local/Ascend/driver -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi --shm-size 300g --device=/dev/davinci_manager --device=/dev/hisi_hdc --device=/dev/devmm_svm --device=/dev/davinci0 --security-opt seccomp=unconfined --network=bridge OpenSora1.2:1.0 bash
参数说明：
- --name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。
- --device=/dev/davinci0：挂载NPU设备，该推理示例中挂载了1张卡davinci0。
- driver及npu-smi需同时挂载至容器。
- 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。
Step5 进入容器
通过容器名称进入容器中。默认使用ma-user用户执行后续命令。
docker exec -it ${container_name} bash
Step6 下载权重文件
建议手动下载所需的权重文件，在/home/ma-user/OpenSora1.2/目录下进行操作。
- 创建文件夹存放不同的权重文件。
cd /home/ma-user/OpenSora1.2/ mkdir weights
- 下载 OpenSora-VAE-v1.2权重，将下载好的权重放在 ./weights 目录下。
OpenSora-VAE-v1.2 官网下载地址：https://huggingface.co/hpcai-tech/OpenSora-VAE-v1.2/tree/main
- 下载 OpenSora-STDiT-v3权重，将下载好的权重放在 ./weights 目录下。
OpenSora-STDiT-v3 官网下载地址：https://huggingface.co/hpcai-tech/OpenSora-STDiT-v3/tree/main
- 下载 t5-v1_1-xxl 权重，将下载好的权重放在 ./weights 目录下。
t5-v1_1-xxl 官网下载地址： https://huggingface.co/DeepFloyd/t5-v1_1-xxl/tree/main
- 下载 pixart_sigma_sdxlvae_T5_diffusers的vae权重，将下载好的权重放在 ./weights 目录下。
pixart_sigma_sdxlvae_T5_diffusers 官网下载地址：https://huggingface.co/PixArt-alpha/pixart_sigma_sdxlvae_T5_diffusers/tree/main
下载下图中vae文件夹的内容。
图1 下载vae文件夹的内容
- 下载vgg权重，将下载好的权重放在 ./weights 目录下。
vgg16-397923af.pth 官网下载地址： https://download.pytorch.org/models/vgg16-397923af.pth
vgg.pth 官网下载地址：https://heibox.uni-heidelberg.de/f/607503859c864bc1b30b/?dl=1
将权重 vgg16-397923af.pth 放在 /home/ma-user/.cache/torch/hub/checkpoints/ 下，这个文件夹需要自己创建。
cp weights/vgg16-397923af.pth /home/ma-user/.cache/torch/hub/checkpoints/vgg16-397923af.pth
下载完成的权重文件如下图所示：
图2 下载完成的权重文件
Step7 下载数据集
下载原始数据集。
cd /home/ma-user/OpenSora1.2/ mkdir datasets && cd datasets && mkdir webvid wget https://anon-datasets.s3.amazonaws.com/results_2M_val.csv python download_datasets.py cd ..
download_datasets.py的内容：
import os
import pandas as pd
for idx, row in pd.read_csv('results_2M_val.csv').iterrows():
os.system(f"wget -O './datasets/webvid/{row['videoid']}.mp4' --no-check-certificate {row['contentUrl']}")
预处理数据。
python -m tools.datasets.convert video ./datasets/webvid --output ./datasets/webvid_meta.csv python -m tools.datasets.datautil ./datasets/webvid_meta.csv --info --fmin 1 python merge_data.py
merge_data.py的内容。
import pandas as pd
merged_df = pd.merge(pd.read_csv('./datasets/webvid_meta_info_fmin1.csv'), pd.read_csv('./datasets/results_2M_val.csv')[['videoid', 'name']], left_on='id', right_on='videoid', how='left')
merged_df = merged_df.rename(columns={'name': 'text'})
merged_df.to_csv('./datasets/webvid_meta_data.csv', index=False)
Step8 VAE训练
vae训练分为3个阶段，后两次训练根据其前一次训练的结果继续训练。
- 第一阶段训练
torchrun --nnodes=1 --nproc_per_node=8 train_vae.py configs/vae/train/stage1.py --data-path ./datasets/webvid_meta_data.csv
训练完后的权重文件保存在 ./output/vae_stage1 文件夹下 （例如 ./outputs/vae_stage1/000-OpenSoraVAE_V1_2/epoch0-global_step1000/model）
具体位置打印在日志中：
图4 VAE第一阶段训练日志
- 第二阶段训练
export pretrain_path = "上阶段训练的权重，例如./outputs/vae_stage1/000-OpenSoraVAE_V1_2/epoch0-global_step1000/model" torchrun --nnodes=1 --nproc_per_node=8 train_vae.py configs/vae/train/stage2.py --data-path ./datasets/webvid_meta_data.csv --ckpt-path $pretrain_path
训练完后的权重文件保存在 ./output/vae_stage2 文件夹下 （例如 ./outputs/vae_stage2/000-OpenSoraVAE_V1_2/epoch0-global_step1000/model）
- 第三阶段训练
export pretrain_path = "上阶段训练的权重，例如./outputs/vae_stage2/000-OpenSoraVAE_V1_2/epoch0-global_step1000/model" torchrun --nnodes=1 --nproc_per_node=8 train_vae.py configs/vae/train/stage3.py --data-path ./datasets/webvid_meta_data.csv --ckpt-path $pretrain_path
训练完后的权重文件保存在 ./output/vae_stage3 文件夹下 （例如 ./outputs/vae_stage3/000-OpenSoraVAE_V1_2/epoch0-global_step1000/model）
Step9 DIT训练
dit训练分为3个阶段，后两次训练根据其前一次训练的结果继续训练。
- 第一阶段训练
torchrun --standalone --nproc_per_node 8 train.py configs/opensora-v1-2/train/stage1.py --data-path ./datasets/webvid_meta_data.csv
训练完后的权重文件保存在 ./output 文件夹下 （例如 ./outputs/000-STDiT3-XL-2/epoch0-global_step200/model）。
具体位置打印在日志中：
图5 DIT第一阶段训练日志
训练完成后在目录底下生成loss.txt文件(例如./outputs/000-STDiT3-XL-2/epoch0-global_step200/model)记录每一步的loss。
- 第二阶段训练
export pretrain_path = "上阶段训练的权重，例如./outputs/000-STDiT3-XL-2/epoch0-global_step200/model" torchrun --standalone --nproc_per_node 8 train.py configs/opensora-v1-2/train/stage2.py --data-path ./datasets/webvid_meta_data.csv --ckpt-path $pretrain_path
训练完后的权重文件保存在 ./output 文件夹下 （例如 ./outputs/001-STDiT3-XL-2/epoch0-global_step200/model），具体位置打印在日志中。
- 第三阶段训练
torchrun --standalone --nproc_per_node 8 train.py configs/opensora-v1-2/train/stage1.py --data-path ./datasets/webvid_meta_data.csv export pretrain_path = "上阶段训练的权重，例如 ./outputs/001-STDiT3-XL-2/epoch0-global_step200/model" torchrun --standalone --nproc_per_node 8 train.py configs/opensora-v1-2/train/stage3.py --data-path ./datasets/webvid_meta_data.csv --ckpt-path $pretrain_path
训练完后的权重文件保存在 ./output 文件夹下 （例如 ./outputs/002-STDiT3-XL-2/epoch0-global_step200/model），具体位置打印在日志中。
Step10 推理
对与大尺寸、长时间的视频强制需要多卡推理，具体要求见下图，绿色允许只用单卡推理，蓝色至少双卡推理。
单卡推理
python inference.py configs/opensora-v1-2/inference/sample.py --num-frames 4s --resolution 720p --aspect-ratio 9:16 --prompt "a beautiful waterfall"
多卡推理
torchrun --nproc_per_node 2 scripts/inference.py configs/opensora-v1-2/inference/sample.py --num-frames 16s --resolution 720p --aspect-ratio 9:16 --prompt "a beautiful waterfall"
最终结果保存在samples/samples/sample_0000.mp4。
