文档首页/ AI开发平台ModelArts/ 最佳实践/ 视频生成模型训练推理/ Wan2.2文/图生视频模型基于Lite Server适配NPU训练指导（6.5.908）
更新时间：2025-10-17 GMT+08:00
查看PDF
分享

Wan2.2文/图生视频模型基于Lite Server适配NPU训练指导（6.5.908）

方案概览

Wan2.2是一套全面而开放的视频基础模型，它突破了视频生成的界限，是一个能够生成中英文文本的视频模型，具有强大的视频生成功能，可增强其实际应用。

本文主要介绍如何在ModelArts的Lite Server环境中，使用NPU卡对Wan2.2模型进行文/图生视频训练。完成本方案的部署，需要先联系您所在企业的华为方技术支持购买Server资源。

本方案支持的模型包含Wan2.2-T2V-A14B，Wan2.2-I2V-A14B

资源规格要求

推荐使用ModelArts Lite Server的Ascend Snt9B单机资源。

表1 Ascend Snt9B 环境要求

名称

版本

driver

25.2.1

PyTorch

pytorch_2.5.1

获取软件和镜像

表2 获取软件和镜像

分类

名称

获取路径

插件代码包

AscendCloud-6.5.908-xxx.zip软件包中的AscendCloud-AIGC-6.5.908-xxx.zip

说明：

包名中的xxx表示具体的时间戳，以包名的实际时间为准。

获取路径：Support-E，在此路径中查找下载ModelArts 6.5.908.5版本。

说明：

如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

基础镜像

Snt9B：西南-贵阳一：

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250729103313-3a25129

Snt9B：中国-香港：

swr.ap-southeast-1.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250729103313-3a25129

从SWR拉取。

约束限制

  • 本文档适配ModelArts 6.5.908版本，请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
  • 确保容器可以访问公网。

步骤一：准备环境

  1. 请参考Lite Server资源开通，购买Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。

    当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

  2. SSH登录机器后，检查NPU设备状态。运行如下命令，返回NPU设备信息。 
    npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数

    如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

  3. 检查docker是否安装。 
    docker -v   #检查docker是否安装

    如尚未安装，运行以下命令安装docker。

    yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64
  4. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 
    sysctl -p | grep net.ipv4.ip_forward
    如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。 
    sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
sysctl -p | grep net.ipv4.ip_forward

因训练过程中使用磁盘空间大，建议挂载1T以上磁盘

步骤二：获取基础镜像

建议使用官方提供的镜像部署服务。镜像地址{image_url}参见表2。

docker pull {image_url}

步骤三：启动容器镜像

  1. Snt9B启动容器镜像。启动前请先按照参数说明修改${}中的参数。 
    export work_dir="自定义挂载的工作目录"
export container_work_dir="自定义挂载到容器内的工作目录"
export container_name="自定义容器名称"
export image_name="镜像名称或ID"
// 启动一个容器去运行镜像 
docker run -itd \    
    --network=host \
    --device=/dev/davinci0 \
    --device=/dev/davinci1 \
    --device=/dev/davinci2 \
    --device=/dev/davinci3 \
    --device=/dev/davinci4 \
    --device=/dev/davinci5 \
    --device=/dev/davinci6 \
    --device=/dev/davinci7 \
    --device=/dev/davinci_manager \
    --device=/dev/devmm_svm \
    --device=/dev/hisi_hdc \
    --shm-size=256g \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
    -v /var/log/npu/:/usr/slog \
    -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
    -v ${work_dir}:${container_work_dir} \
    --name ${container_name} \
    ${image_name} \
    /bin/bash

    参数说明：

    • -v ${work_dir}:${container_work_dir}：代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下可存放项目所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
      • 容器不能挂载到/home/ma-user目录，此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。
      • driver及npu-smi需同时挂载至容器。
    • --name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。
    • ${image_name}：容器镜像的名称。
    • --device=/dev/davinci0 ：挂载对应卡到容器，当需要挂载多卡，请依次添加多项该配置。
  2. Snt9B通过容器名称进入容器中。默认使用ma-user用户，后续所有操作步骤都在ma-user用户下执行。 
    docker exec -it ${container_name} bash

步骤四：安装依赖和软件包

  1. 安装插件代码包。将获取到的插件代码包AscendCloud-AIGC-6.5.908-xxx.zip文件上传到容器的/home/ma-user目录下，并解压。 
    cd /home/ma-user
unzip AscendCloud-AIGC-6.5.908-*.zip #解压
  2. 安装依赖 
    cd /home/ma-user/aigc_train/torch_npu/DiffSynth-Studio/wan2.2
bash prepare.sh
  3. 下载模型权重https://huggingface.co/Wan-AI。
    1. 下载文生视频训练权重，保存在Wan2.2-T2V-A14B目录下，并上传Wan2.2-T2V-A14B目录到容器/home/ma-user路径下。
    2. 下载图生视频训练权重，保存在Wan2.2-I2V-A14B目录下，并上传Wan2.2-I2V-A14B目录到容器/home/ma-user路径下。
  4. 请自行准备训练数据集，上传到容器/home/ma-user路径下。数据集制作请遵守原仓要求中的操作步骤。
    图1 数据集制作要求

步骤五：Wan2.2文/图生视频训练

  1. 修改容器中/home/ma-user/anaconda3/envs/PyTorch-2.5.1/lib/python3.11/site-packages/deepspeed/comm/torch.py的156行init_process_group函数中内容。

    原版代码内容如下：

    修改后代码如下：

  2. 数据集特征提取

    关键参数说明：

    dataset_base_path：训练数据集视频路径

    dataset_metadata_path：训练数据集csv文件路径

    model_paths: 模型权重中的vae，text_encoder路径

    tokenizer_paths：模型tokenizer路径

    output_path：数据集特征保存路径，注意：480p，720p保存在不同的路径

    height： 图像的高度，480p为480， 720p为720

    width： 图像的宽度，480p为832， 720p为1280 
    cd /home/ma-user/aigc_train/torch_npu/DiffSynth-Studio/wan2.2/DiffSynth-Studio

# 文生视频SFT/Lora训练任务数据集特征提取
bash examples/wanvideo/model_training/data_process/Wan2.2-T2V-A14B_data_process.sh

# 图生视频SFT/Lora训练任务数据集特征提取
bash examples/wanvideo/model_training/data_process/Wan2.2-I2V-A14B_data_process.sh
  3. 模型训练。

    关键参数说明：

    dataset_base_path：数据集特征路径。 480p，720p加载不同的特征

    model_paths: 模型权重中的dit路径

    tokenizer_paths：模型tokenizer路径

    output_path：训练后权重的保存路径。 
    # 文生视频14B-480p/720p SFT训练
bash examples/wanvideo/model_training/full/Wan2.2-T2V-A14B.sh

# 图生视频14B-480p/720p SFT训练
bash examples/wanvideo/model_training/full/Wan2.2-I2V-A14B.sh

# 文生视频14B-480p/720p lora训练
bash examples/wanvideo/model_training/lora/Wan2.2-T2V-A14B.sh

# 图生视频14B-480p/720p lora训练
bash examples/wanvideo/model_training/lora/Wan2.2-I2V-A14B.sh

训练完成图例

相关文档