Qwen-VL基于DevServer适配Pytorch NPU的Finetune训练指导(6.3.906)

资源规格要求

推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。

获取软件和镜像

约束限制

• 本文档适配昇腾云ModelArts 6.3.906版本，请参考获取软件和镜像获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
• 训练至少需要单机8卡。
• 确保容器可以访问公网。

Step1 检查环境

1. 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
   

   购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。

   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

2. SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。

   npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
   npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数

   如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

3. 检查是否安装docker。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

4. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
   sysctl -p | grep net.ipv4.ip_forward

Step2 启动镜像

1. 获取基础镜像。建议使用官方提供的镜像。镜像地址{image_url}参见获取软件和镜像。

   docker pull {image_url}

2. 启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。训练默认使用单机8卡。

   docker run -itd --net=host \
   --device=/dev/davinci0 \
   --device=/dev/davinci1 \
   --device=/dev/davinci2 \
   --device=/dev/davinci3 \
   --device=/dev/davinci4 \
   --device=/dev/davinci5 \
   --device=/dev/davinci6 \
   --device=/dev/davinci7 \
   --device=/dev/davinci_manager \
   --device=/dev/devmm_svm \
   --device=/dev/hisi_hdc \
   --shm-size=64g \
   -v /usr/local/dcmi:/usr/local/dcmi \
   -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
   -v /var/log/npu/:/usr/slog \
   -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
   -v ${work_dir}:${container_work_dir} \
   --name ${container_name} \
   ${image_id}  \
   /bin/bash

   参数说明：

   • device=/dev/davinci0，...， --device=/dev/davinci7：挂载NPU设备，示例中挂载了8张卡davinci0~davinci7。
   • ${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统，work_dir为宿主机中工作目录，目录下存放着训练所需代码、数据等文件。container_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
   • shm-size：共享内存大小。
   • ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。
   • ${image_id}：镜像ID，通过docker images查看刚拉取的镜像ID。
   

   • 容器不能挂载到/home/ma-user目录，此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。
   • driver及npu-smi需同时挂载至容器。
   • 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。
3. 进入容器。需要将${container_name}替换为实际的容器名称。启动容器默认使用ma-user用户。

   docker exec -it ${container_name} bash

Step3 获取代码并上传

上传代码AscendCloud-AIGC-6.3.906-xxx.zip到容器的工作目录${container_work_dir}中，包获取路径请参见表2。

Step4 准备训练环境

1. 下载权重。从HuggingFace下载Qwen-VL-Chat，或将您已下载的权重文件上传到容器工作目录${container_work_dir}中。

   # 模型结构如下：
   Qwen-VL-Chat/
   ├── config.json
   ├── configuration_qwen.py
   ├── generation_config.jsons
   ├── modeling_qwen.py
   ├── pytorch_model-00001-of-00010.bin
   ├── pytorch_model-00002-of-00010.bin
   ├── pytorch_model-00003-of-00010.bin
   ├── pytorch_model-00004-of-00010.bin
   ├── pytorch_model-00005-of-00010.bin
   ├── pytorch_model-00006-of-00010.bin
   ├── pytorch_model-00007-of-00010.bin
   ├── pytorch_model-00008-of-00010.bin
   ├── pytorch_model-00009-of-00010.bin
   ├── pytorch_model-00010-of-00010.bin
   ├── pytorch_model.bin.index.json
   ├── qwen_generation_utils.py
   ├── qwen.tiktoken
   ├── README.md
   ├── SimSun.ttf
   ├── tokenization_qwen.py
   ├── tokenizer_config.json
   └── visual.py

2. 赋予容器访问权重文件的权限。上传文件到宿主机时使用的是root用户，此处需要执行如下命令统一文件属主为ma-user用户。

   #统一文件属主为ma-user用户
   sudo chown -R ma-user:ma-group  ${container_work_dir}
   # ${container_work_dir}:/home/ma-user/ws 容器内挂载的目录
   #例如：sudo chown -R ma-user:ma-group  /home/ma-user/ws

3. 在容器中解压代码包并执行Qwen-VL安装脚本。

   # 解压代码包
   unzip AscendCloud-AIGC-6.3.906-*.zip
   rm -rf AscendCloud-AIGC-6.3.906-*
   # 执行安装脚本
   # model_path 配置为Qwen-VL的权重路径，例：/home/ma-user/Qwen-VL-Chat
   git config --global http.sslVerify false
   bash multimodal_algorithm/QwenVL/6d0ab0efd0a/qwen_vl_install.sh {model_path}
   # 执行完成后，代码路径为ModelZoo-PyTorch/PyTorch/built-in/mlm/Qwen-VL
   # 安装bc命令
   sudo yum install -y bc

Step5 准备训练数据集

用户需自行制作数据集，并将数据集上传到容器的工作目录中，再赋予容器读写数据集目录的权限。

数据集制作请参考Qwen-VL官方指导资料，将所有数据样本放到一个列表中并存入json文件中。每个样本对应一个字典，包含id和conversation，其中后者为一个列表。数据集的json文件示例如下所示。

[
  {
    "id": "identity_0",
    "conversations": [
      {
        "from": "user",
        "value": "你好"
      },
      {
        "from": "assistant",
        "value": "我是Qwen-VL,一个支持视觉输入的大模型。"
      }
    ]
  },
  {
    "id": "identity_1",
    "conversations": [
      {
        "from": "user",
        "value": "Picture 1: <img>https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg</img>\n图中的狗是什么品种？"
      },
      {
        "from": "assistant",
        "value": "图中是一只拉布拉多犬。"
      },
      {
        "from": "user",
        "value": "框出图中的格子衬衫"
      },
      {
        "from": "assistant",
        "value": "<ref>格子衬衫</ref><box>(588,499),(725,789)</box>"
      }
    ]
  },
  { 
    "id": "identity_2",
    "conversations": [
      {
        "from": "user",
        "value": "Picture 1: <img>assets/mm_tutorial/Chongqing.jpeg</img>\nPicture 2: <img>assets/mm_tutorial/Beijing.jpeg</img>\n图中都是哪"
      },
      {
        "from": "assistant",
        "value": "第一张图片是重庆的城市天际线，第二张图片是北京的天际线。"
      }
    ]
  }
]

• 为针对多样的VL任务，特殊tokens如下：<img> </img> <ref> </ref> <box> </box>。
• 对于带图像输入的内容可表示为Picture id: <img>img_path</img>\n{your prompt}，其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。
• 对话中的检测框可以表示为<box>(x1,y1),(x2,y2)</box>，其中 (x1, y1) 和(x2, y2)分别对应左上角和右下角的坐标，并且被归一化到[0, 1000)的范围内。检测框对应的文本描述也可以通过<ref>text_caption</ref>表示。

Step6 开始训练

进入代码根目录。

cd ModelZoo-PyTorch/PyTorch/built-in/mlm/Qwen-VL

运行精度训练脚本train_full_8p.sh。运行前请先修改参数。

bash test/train_full_8p.sh --model_name=${预训练模型路径} --data_path=${训练数据集路径} --epochs=${训练epoch数量} # 8卡精度训练，混精bf16
例： bash test/train_full_8p.sh --model_name=path/Qwen-VL-Chat  --data_path=path/xx.json --epochs=${训练epoch数量}

运行性能训练脚本train_performance_8p.sh。运行前请先修改参数。

# 运行性能训练脚本
bash test/train_performance_8p.sh --model_name=${预训练模型路径} --data_path=${训练数据集路径}   # 8卡性能，混精bf16

训练后的产物路径说明如下。

#日志路径：
ModelZoo-PyTorch/PyTorch/built-in/mlm/Qwen-VL/test/output/8p
#训练输出权重路径：
ModelZoo-PyTorch/PyTorch/built-in/mlm/Qwen-VL/output-qwen-vl

训练过程中，训练日志会在最后的Rank节点打印。

日志里存在lm loss参数，lm loss参数随着训练迭代周期持续性减小，并逐渐趋于稳定平缓。可以使用可视化工具TrainingLogParser查看loss收敛情况。

FAQ

问题：使用TrainingLogParser工具解析训练日志中loss数据，坐标栏空白，未显示数据走势曲线。

解决方法：在解析工具页面右侧，单击日志文件名右边的设置图标，在弹出的窗口中修改Loss Tag。将字符串loss加上单引号，改为'loss': ，如图1所示。

图1 修改Loss Tag