Open-Clip基于Lite Server适配NPU训练指导

方案概览

本方案介绍了在ModelArts的Lite Server上使用NPU计算资源开展Open-Clip训练的详细过程。完成本方案的部署，需要先联系您所在企业的华为方技术支持购买Lite Server资源。

本方案目前仅适用于企业客户。

资源规格要求

推荐使用ModelArts Lite Server的Ascend Snt9B单机单卡资源。

获取镜像

获取软件

本教程使用的是Open-Clip源码包。

NPU适配过程通过修改训练脚本方式实现，不涉及其他软件获取。

Step1 准备环境

1. 请参考Lite Server资源开通，购买Lite Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
   

   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

2. 检查环境。
   1. SSH登录机器后，检查NPU设备状态。运行如下命令，返回NPU设备信息。

      npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
      npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数

      如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

   2. 检查docker是否安装。

      docker -v   #检查docker是否安装

      如尚未安装，运行以下命令安装docker。

      yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

   3. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

      sysctl -p | grep net.ipv4.ip_forward

      如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。

      sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
      sysctl -p | grep net.ipv4.ip_forward

Step2 获取镜像

docker pull ${image_url}

Step3 启动容器

docker run -itd \
        --device=/dev/davinci_manager \
        --device=/dev/davinci0 \
        --device=/dev/davinci1 \
        --device=/dev/davinci2 \
        --device=/dev/davinci3 \
        --device=/dev/davinci4 \
        --device=/dev/davinci5 \
        --device=/dev/davinci6 \
        --device=/dev/davinci7 \
        --device=/dev/devmm_svm \
        --device=/dev/hisi_hdc \
        -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
        -v /usr/local/dcmi:/usr/local/dcmi \
        -v /etc/ascend_install.info:/etc/ascend_install.info \
        -v /sys/fs/cgroup:/sys/fs/cgroup:ro \
        -v /etc/localtime:/etc/localtime \
        -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
        --shm-size 32g \
        --net=bridge \
        -p 6006:6006 \
        -v ${work_dir}:${container_work_dir} \
        --name ${container_name} \
        ${image_name} bash

参数说明：

• --name ${container_name} 容器名称，进入容器时会用到，此处可以自己定义一个容器名称。
• -v ${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
  

  • 容器不能挂载到/home/ma-user目录，此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。

  • driver及npu-smi需同时挂载至容器。
• ${image_name} 代表镜像地址。

docker exec -it ${container_name} bash

Step4 下载并安装Open-clip源码包

1. 从官网下载Open-clip源码包，在宿主机上操作。

   git clone https://github.com/mlfoundations/open_clip.git
   cd open_clip
   git reset --hard 37b2c6b321ee697df4c709ca95d6dc849fc7d214

   37b2c6b321ee697df4c709ca95d6dc849fc7d214是commit号。

2. 使用默认用户ma-user安装源码。

   make install

3. 安装依赖。

   pip install -r requirements-training.txt
   pip install -r requirements-test.txt
   pip install tensorboard

Step5 获取训练数据集

使用img2dataset工具下载数据集。首先需要在容器安装img2dataset，安装命令如下。

pip install img2dataset
pip install --upgrade "urllib3==1.26.7"

生成一个first_caption_only.py脚本，vim first_caption_only.py：

import pandas as pd
df = pd.read_parquet('mscoco.parquet')
first_caps = df.drop_duplicates(subset='URL', keep='first')
first_caps.to_parquet('mscoco-1st-caption.parquet')

参考官方指导下载开源mscoco数据集。

#下载metadata
wget https://huggingface.co/datasets/ChristophSchuhmann/MS_COCO_2017_URL_TEXT/resolve/main/mscoco.parquet
python first_caption_only.py
img2dataset --url_list mscoco-1st-caption.parquet --input_format "parquet" --url_col "URL" --caption_col "TEXT" --output_format webdataset --output_folder mscoco --processes_count 16 --thread_count 64 --image_size 256

Step6 训练Open Clip模型

1. 适配NPU代码。

   在目录/home/ma-user/open_clip/src/training下，修改main.py文件，在第10行添加如下代码。

   import torch_npu
   from torch_npu.contrib import transfer_to_npu

   同样，修改train.py文件，在第11行添加如上代码，如图1所示。

   图1 修改train.py文件
   
   在目录/home/ma-user/open_clip/src/training下，修改data.py文件，在第194行添加如下代码，如图2。

   if 'fname' not in filesample:
       continue   #防止下载数据集出问题

   图2 修改data.py文件
   
2. 单卡训练。

   训练命令参考如下。

   cd /home/ma-user/open_clip
   python -m training.main \
       --save-frequency 1 \
       --zeroshot-frequency 1 \
       --report-to tensorboard \
       --train-data '/home/ma-user/open_clip/mscoco/{00000..00011}.tar' \
       --train-num-samples 102400 \
       --dataset-type webdataset \
       --warmup 10000 \
       --batch-size=256 \
       --lr=1e-3 \
       --wd=0.1 \
       --epochs=30 \
       --workers=8 \
       --model ViT-B-32

   参数说明：

   • save-frequency：指定运行多少个epoch就保存模型参数，可以调大。
   • report-to tensorboard：指定输出loss指标到tensorboard，一般需要做精度评估才需要带上。
   • train-num-samples：指定每个epoch需要训练的样本个数，不超过总样本个数。
   • batch-size：指定一次处理的数据batch。
   • epochs：指定训练的epoch个数。

   训练结束后，模型输出目录为：

   /home/ma-user/open_clip/logs/xxx-model_ViT-B-32-lr_0.001-b_32-j_8-p_amp/checkpoints

3. 多卡训练

   训练命令参考如下。

   cd /home/ma-user/open_clip/src
   torchrun --nproc_per_node 4 -m training.main \
       --save-frequency 1 \
       --zeroshot-frequency 1 \
       --report-to tensorboard \
       --train-data '/home/ma-user/open_clip/mscoco/{00000..00011}.tar' \
       --train-num-samples 102400 \
       --dataset-type webdataset \
       --warmup 10000 \
       --batch-size=256 \
       --lr=1e-3 \
       --wd=0.1 \
       --epochs=30 \
       --workers=2 \
       --model ViT-B-32

Step7 推理验证

首先将上面训练的最终模型文件epoch_xx.pt（xx取决于训练的epoch个数） 复制到/home/ma-user/open_clip目录下，然后在/home/ma-user/open_clip下，执行如下命令。

vi inference.py

将下面的代码复制进去后保存。代码中的epoch_29.pt请替换成实际值。

import os
import torch
from PIL import Image
import open_clip

if 'DEVICE_ID' in os.environ:
   print("DEVICE_ID:", os.environ['DEVICE_ID'])
else:
   os.environ['DEVICE_ID'] = "0"

model, _, preprocess = open_clip.create_model_and_transforms('ViT-B-32', pretrained='/home/ma-user/open_clip/epoch_29.pt')
model = model.to("npu")
tokenizer = open_clip.get_tokenizer('ViT-B-32')

image = preprocess(Image.open("./docs/CLIP.png")).unsqueeze(0)
text = tokenizer(["a diagram", "a dog", "a cat"])

print("input image shape:", image.shape)
print("input text shape:", text.shape)

with torch.no_grad(), torch.cuda.amp.autocast():
    image = image.to("npu")
    text = text.to("npu")
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)

    print("output image shape:", image_features.shape)
    print("output text shape:", text_features.shape)

    image_features /= image_features.norm(dim=-1, keepdim=True)
    text_features /= text_features.norm(dim=-1, keepdim=True)

    text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1)

print("Label probs:", text_probs)  # prints: [[1., 0., 0.]]

运行推理脚本。

python inference.py

由于./docs/CLIP.png图片是一张图表，因此结果值和第一个文本"a diagram"吻合，结果值会接近[[1., 0., 0.]]。

Step8 精度评估

1. 关闭数据集shuffle，保证训练数据一致。

   修改/home/ma-user/open_clip/src/training/data.py文件，搜索get_wds_dataset函数，将两处shuffle关闭，修改代码如下。

   if is_train:
           if not resampled:
               print("dataset unshuffled.")
               #pipeline.extend([
               #    detshuffle2(
               #        bufsize=_SHARD_SHUFFLE_SIZE,
               #        initial=_SHARD_SHUFFLE_INITIAL,
               #        seed=args.seed,
               #        epoch=shared_epoch,
               #    ),
               #    wds.split_by_node,
               #    wds.split_by_worker,
               #])
           print("wds unshuffled.")
           pipeline.extend([
               # at this point, we have an iterator over the shards assigned to each worker at each node
               tarfile_to_samples_nothrow,  # wds.tarfile_to_samples(handler=log_and_continue),
          #     wds.shuffle(
          #         bufsize=_SAMPLE_SHUFFLE_SIZE,
          #         initial=_SAMPLE_SHUFFLE_INITIAL,
          #     ),
           ])

2. 重新训练1个epoch。脚本参考内容如下。

   cd /home/ma-user/open_clip
   python -m training.main \
       --save-frequency 1 \
       --zeroshot-frequency 1 \
       --report-to tensorboard \
       --train-data '/home/ma-user/open_clip/mscoco/{00000..00011}.tar' \
       --train-num-samples 102400 \
       --dataset-type webdataset \
       --warmup 10000 \
       --batch-size=256 \
       --lr=1e-3 \
       --wd=0.1 \
       --epochs=1 \
       --workers=8 \
       --model ViT-B-32

   训练完成后，tensorboard统计的记录会保存在/home/ma-user/open_clip/logs/xxx-model_ViT-B-32-lr_0.001-b_32-j_8-p_amp/tensorboard目录下。

3. 通过docker cp命令将容器内tensorboard子目录复制到宿主机 /home下。
4. 在宿主机上安装tensorboard并启动。

   pip install tensorboard  #安装
   tensorboard --logdir=/home/tensorboard --bind_all  #启动

   启动成功后如下图所示。

   图3 启动tensorboard
   
5. 在浏览器访问http://{宿主机ip}:6006/。将train/loss导出为json，和GPU训练下导出的文件比较。