CogVideoX训练推理基于DevServer适配PyTorch NPU指导（6.3.910）

方案概览

本方案介绍了在ModelArts的DevServer上使用昇腾计算资源开展CogVideoX-2b/5b LoRA训练的详细过程，以及使用CogVideoX-2b/5b预训练模型进行推理步骤。完成本方案的部署，需要先联系您所在企业的华为方技术支持购买DevServer资源。

本方案目前仅适用于企业客户。

资源规格要求

推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B单机。

获取软件和镜像

约束限制

• 本文档适配昇腾云ModelArts 6.3.910版本，请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
• 确保容器可以访问公网。

步骤一：准备环境

1. 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
   

   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

2. SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。

   npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
   npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数

   如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

3. 检查docker是否安装。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

4. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
   sysctl -p | grep net.ipv4.ip_forward

步骤二：获取基础镜像

建议使用官方提供的镜像部署服务。镜像地址{image_url}参见表2。

docker pull {image_url}

步骤三：启动容器镜像

1. 启动容器镜像。启动前请先按照参数说明修改${}中的参数。

   export work_dir="自定义挂载的工作目录"
   export container_work_dir="自定义挂载到容器内的工作目录"
   export container_name="自定义容器名称"
   export image_name="镜像名称或ID"
   // 启动一个容器去运行镜像 
   docker run  -itd --net=bridge \
       --device=/dev/davinci0 \
       --device=/dev/davinci1 \
       --device=/dev/davinci2 \
       --device=/dev/davinci3 \
       --device=/dev/davinci_manager \
       --device=/dev/devmm_svm \
       --device=/dev/hisi_hdc \
       --shm-size=32g \
       -v /usr/local/dcmi:/usr/local/dcmi \
       -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
       -v /var/log/npu/:/usr/slog \
       -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
       -v ${work_dir}:${container_work_dir} \
       --name ${container_name} \
       ${image_name} \
       /bin/bash

   参数说明：

   • -v ${work_dir}:${container_work_dir}：代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下可存放项目所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
     

     • 容器不能挂载到/home/ma-user目录，此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。

     • driver及npu-smi需同时挂载至容器。
   • --name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。
   • ${image_name}：容器镜像的名称。
   • --device=/dev/davinci0 ：挂载对应卡到容器，当需要挂载多卡，请依次添加多项该配置
2. 通过容器名称进入容器中。默认使用ma-user用户，后续所有操作步骤都在ma-user用户下执行。

   docker exec -it ${container_name} bash

步骤四：安装依赖和软件包

1. git clone和git lfs下载大模型可以参考如下操作。
   1. 由于欧拉源上没有git-lfs包，所以需要从压缩包中解压使用，在浏览器中输入如下地址下载git-lfs压缩包并上传到容器的/home/ma-user目录下

      https://github.com/git-lfs/git-lfs/releases/download/v3.2.0/git-lfs-linux-arm64-v3.2.0.tar.gz

      或直接下载到容器，这样在容器中可以直接使用。

      cd /home/ma-user
      wget https://github.com/git-lfs/git-lfs/releases/download/v3.2.0/git-lfs-linux-arm64-v3.2.0.tar.gz

   2. 进入容器，执行安装git lfs命令。

      cd /home/ma-user
      tar -zxvf git-lfs-linux-arm64-v3.2.0.tar.gz 
      cd git-lfs-3.2.0 
      sudo sh install.sh

   3. 设置git配置去掉ssl校验。

      git config --global http.sslVerify false

2. 从github拉取CogVideoX代码。

   cd /home/ma-user
   git clone https://github.com/THUDM/CogVideo.git
   cd /home/ma-user/CogVideo
   git checkout abb40ec7d831683bd5b38

3. 获取THUDM/CogVideoX-2b和THUDM/CogVideoX-5b模型，将其下载至容器内。

   #CogVideoX-2b模型地址
   https://huggingface.co/THUDM/CogVideoX-2b
   #CogVideoX-5b模型地址
   https://huggingface.co/THUDM/CogVideoX-5b

4. 若进行训练微调需依赖decord和triton包，arm版本可参考附录安装编译。
5. 安装CogVideo Ascend软件包。
   1. 将获取到的CogVideo Ascend软件包AscendCloud-AIGC-*.zip文件上传到容器的/home/ma-user目录下。获取路径参见获取软件和镜像。
   2. 解压AscendCloud-AIGC-*.zip文件，解压后将里面指定文件与对应CogVideo文件进行替换，执行以下命令即可。

      cd /home/ma-user
      unzip AscendCloud-AIGC-*.zip -d ./AscendCloud
      cd AscendCloud/multimodal_algorithm/CogVideo/
      dos2unix install.sh
      bash install.sh

      

      AscendCloud-AIGC-*.zip后面的*表示时间戳，请按照实际替换。

      CogVideo Ascend软件包内容如下：

      |---CogVideo/
          --- infer.py      推理示例代码
          --- install.sh    安装torch-npu适配修改及优化脚本
          --- modify.patch         适配CogVideo训练代码git patch文件
          --- README.md            适配文档基于官方代码commit id说明
          --- requirements.txt     python依赖包

步骤五：CogVideo微调

使用/home/ma-user/CogVideo/finetune/finetune_single_rank.sh官方脚本对CogVideo进行微调。

1. 数据准备

   首先，你需要准备数据集，数据集格式如下，其中，videos.txt 存放 videos 中的视频

   .
   ├── prompt.txt
   ├── videos
   └── videos.txt

   可以从这里下载Wild-Heart/Disney-VideoGeneration-Dataset视频微调数据集作为测试微调。

2. LoRA微调

   需要在整个训练过程中更新模型参数，请在CogVideo/finetune/finetune_single_rank.sh脚本中指定正确的参数，如下所示：

   export MODEL_PATH="THUDM/CogVideoX-2b"  # 模型路径
   export CACHE_PATH="~/.cache"
   export DATASET_PATH="Disney-VideoGeneration-Dataset"  # 数据集路径
   export OUTPUT_PATH="cogvideox-lora-single-node"       # 模型及日志输出路径
   export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
   export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3   # 昇腾卡号，容器内挂载卡号一般从0开始计数，例：挂载4张卡，卡号为0,1,2,3

   微调CogVideoX-2B ，建议使用fp16，CogVideoX-5B使用bf16，修改参数如下：

   --mixed_precision fp16

   LoRA 允许轻量级模型调整，只需更新一小部分参数。要启动训练，请运行以下脚本：

   cd /home/ma-user/CogVideo/finetune/
   bash finetune_single_rank.sh

以上微调文档提示来自官方文档，有关可用LoRA微调脚本参数及其功能的全面文档，您可以参考官方CogVideo文档。

步骤六：CogVideo推理

文生视频推理：

cd /home/ma-user/CogVideo
# 使用CogVideoX-2b模型进行推理,示例命令如下
python infer.py --model_path /home/CogVideoX-2b --dtype float16 --schedule DDIM
# 使用CogVideoX-5b模型进行推理,示例命令如下
python infer.py --model_path /home/CogVideoX-5b --dtype bfloat16 --schedule DPM

示例代码参数解释如下：

python infer.py
--model_path 模型路径
--dtype 用于计算的数据类型，建议模型2b使用float16，5b使用bfloat16
--prompt 要生成视频的描述，infer脚本存在默认语句
--output_path  生成的视频存储路径，infer脚本默认生成当前output目录中
--schedule  使用的调度器类型，建议2b模型使用DDIM，5b使用DPM，默认为DDIM

附：decord和triton在arm版本安装参考

由于训练使用decord和triton的Python包没有arm版本，请自行进行编译安装，以下给出安装编译教程仅供参考：

• decord包编译

  可参考如下脚本：

  bash install_decord.sh # install_decord.sh内容如下

  install_decord.sh脚本内容如下：

  cd /home/ma-user/
  git config --global http.sslVerify false
  git clone  --recursive https://github.com/dmlc/decord --depth 1
  cd decord
  mkdir build && cd build
  cmake ..  -DCMAKE_BUILD_TYPE=Release -DFFMPEG_DIR:PATH="/usr/local/ffmpeg/"
  make
  cd ../python
  ### option 1: add python path to $PYTHONPATH, you will need to install numpy separately
  echo "PYTHONPATH=$PYTHONPATH:/home/ma-user/decord/python" >> ~/.bashrc
  source ~/.bashrc
  ### option 2: install with setuptools
  python3 setup.py install --user

• triton包编译

  cd /home/ma-user 
  git clone https://github.com/triton-lang/triton.git 
  cd /home/ma-user/triton/python
  pip install ninja cmake wheel pybind11 
  pip install -e .

  若编译过程出现所依赖的tar包下载失败，如下图所示：

  图1 tar包下载失败
  

  可设置ssl忽略证书验证，修改/home/ma-user/triton/python/setup.py文件，open_url()方法：

  # 新增ssl忽略证书验证
       import ssl
       context = ssl._create_unverified_context()
       # Set timeout to 300 seconds to prevent the request from hanging forever.
       return urllib.request.urlopen(request, context=context, timeout=300)

  图2 设置ssl忽略证书验证