# Open-Clip基于轻量算力节点适配NPU训练指导 Open-Clip广泛应用于AIGC和多模态视频编码器的训练。 #### 方案概览 本方案介绍了在ModelArts的轻量算力节点上使用NPU计算资源开展Open-Clip训练的详细过程。完成本方案的部署，需要先联系您所在企业的华为方技术支持购买轻量算力节点资源。 本方案目前仅适用于企业客户。 #### 资源规格要求 推荐使用ModelArts 轻量算力节点的Ascend Snt9B单机单卡资源。 表1环境要求 | 模型 | 版本 | |:---|:---| | driver | 25.2.1 | | PyTorch | pytorch_2.5.1 | #### 获取镜像 表2获取镜像 | 分类 | 名称 | 获取路径 | |:---|:---|:---| | 基础镜像 | 西南-贵阳一： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250729103313-3a25129 中国-香港： swr.ap-southeast-1.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250729103313-3a25129 | 从SWR拉取。 | #### 获取软件 本教程使用的是Open-Clip源码包。 NPU适配过程通过修改训练脚本方式实现，不涉及其他软件获取。 #### Step1 准备环境 1. 请参考[轻量算力节点资源开通](https://support.huaweicloud.com/resmgmt-modelarts/usermanual-server-0005.html)，购买轻量算力节点资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 ![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png) 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见[禁止容器获取宿主机元数据](https://support.huaweicloud.com/bestpractice-cce/cce_bestpractice_0318.html#section4)。 2. 检查环境。 1. SSH登录机器后，检查NPU设备状态。运行如下命令，返回NPU设备信息。 ``` npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 ``` 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常[安装驱动和固件](https://support.huaweicloud.com/resmgmt-modelarts/usermanual-server-0011.html#section4)，或释放被挂载的NPU。 2. 检查docker是否安装。 ``` docker -v #检查docker是否安装 ``` 如尚未安装，运行以下命令安装docker。 ``` yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64 ``` 3. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 ``` sysctl -p | grep net.ipv4.ip_forward ``` 如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。 ``` sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward ``` #### Step2 获取镜像 获取基础镜像。建议使用官方提供的镜像部署推理服务。镜像地址{image_url}参考[获取镜像]。 ``` docker pull ${image_url} ``` #### Step3 启动容器 启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。 ``` docker run -itd \ --device=/dev/davinci_manager \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ --device=/dev/davinci4 \ --device=/dev/davinci5 \ --device=/dev/davinci6 \ --device=/dev/davinci7 \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /etc/ascend_install.info:/etc/ascend_install.info \ -v /sys/fs/cgroup:/sys/fs/cgroup:ro \ -v /etc/localtime:/etc/localtime \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ --shm-size 32g \ --net=bridge \ -p 6006:6006 \ -v ${work_dir}:${container_work_dir} \ --name ${container_name} \ ${image_name} bash ``` **参数说明：** - --name ${container_name} 容器名称，进入容器时会用到，此处可以自己定义一个容器名称。 - -v ${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。 ![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png) - 容器不能挂载到/home/ma-user目录，此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。 - driver及npu-smi需同时挂载至容器。 - ${image_name} 代表镜像地址。 通过容器名称进入容器中。使用默认用户ma-user启动容器。 ``` docker exec -it ${container_name} bash ``` #### Step4 下载并安装Open-clip源码包 1. 从官网下载Open-clip源码包，在宿主机上操作。 ``` git clone https://github.com/mlfoundations/open_clip.git cd open_clip git reset --hard 37b2c6b321ee697df4c709ca95d6dc849fc7d214 ``` 37b2c6b321ee697df4c709ca95d6dc849fc7d214是commit号。 2. 使用默认用户ma-user安装源码。 ``` make install ``` 3. 安装依赖。 ``` pip install -r requirements-training.txt pip install -r requirements-test.txt pip install tensorboard ``` #### Step5 获取训练数据集 使用img2dataset工具下载数据集。首先需要在容器安装img2dataset，安装命令如下。 ``` pip install img2dataset pip install --upgrade "urllib3==1.26.7" ``` 生成一个first_caption_only.py脚本，vim first_caption_only.py： ``` import pandas as pd df = pd.read_parquet('mscoco.parquet') first_caps = df.drop_duplicates(subset='URL', keep='first') first_caps.to_parquet('mscoco-1st-caption.parquet') ``` 参考[官方指导](https://github.com/rom1504/img2dataset/blob/main/dataset_examples/mscoco.md)下载开源mscoco数据集。 ``` #下载metadata wget https://huggingface.co/datasets/ChristophSchuhmann/MS_COCO_2017_URL_TEXT/resolve/main/mscoco.parquet python first_caption_only.py img2dataset --url_list mscoco-1st-caption.parquet --input_format "parquet" --url_col "URL" --caption_col "TEXT" --output_format webdataset --output_folder mscoco --processes_count 16 --thread_count 64 --image_size 256 ``` #### Step6 训练Open Clip模型 1. 适配NPU代码。 在目录/home/ma-user/open_clip/src/training下，修改main.py文件，在第10行添加如下代码。 ``` import torch_npu from torch_npu.contrib import transfer_to_npu ``` 同样，修改train.py文件，在第11行添加如上代码，如[图1]所示。 图1修改train.py文件 ![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000002472166457.png "点击放大") 在目录/home/ma-user/open_clip/src/training下，修改data.py文件，在第194行添加如下代码，如图2。 ``` if 'fname' not in filesample: continue #防止下载数据集出问题 ``` 图2修改data.py文件 ![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000002478395877.png) 2. 单卡训练。 训练命令参考如下。 ``` cd /home/ma-user/open_clip python -m training.main \ --save-frequency 1 \ --zeroshot-frequency 1 \ --report-to tensorboard \ --train-data '/home/ma-user/open_clip/mscoco/{00000..00011}.tar' \ --train-num-samples 102400 \ --dataset-type webdataset \ --warmup 10000 \ --batch-size=256 \ --lr=1e-3 \ --wd=0.1 \ --epochs=30 \ --workers=8 \ --model ViT-B-32 ``` 参数说明： - save-frequency：指定运行多少个epoch就保存模型参数，可以调大。 - report-to tensorboard：指定输出loss指标到tensorboard，一般需要做精度评估才需要带上。 - train-num-samples：指定每个epoch需要训练的样本个数，不超过总样本个数。 - batch-size：指定一次处理的数据batch。 - epochs：指定训练的epoch个数。 训练结束后，模型输出目录为： /home/ma-user/open_clip/logs/xxx-model_ViT-B-32-lr_0.001-b_32-j_8-p_amp/checkpoints 3. 多卡训练 训练命令参考如下。 ``` cd /home/ma-user/open_clip/src torchrun --nproc_per_node 4 -m training.main \ --save-frequency 1 \ --zeroshot-frequency 1 \ --report-to tensorboard \ --train-data '/home/ma-user/open_clip/mscoco/{00000..00011}.tar' \ --train-num-samples 102400 \ --dataset-type webdataset \ --warmup 10000 \ --batch-size=256 \ --lr=1e-3 \ --wd=0.1 \ --epochs=30 \ --workers=2 \ --model ViT-B-32 ``` #### Step7 推理验证 首先将上面训练的最终模型文件epoch_xx.pt（xx取决于训练的epoch个数） 复制到/home/ma-user/open_clip目录下，然后在/home/ma-user/open_clip下，执行如下命令。 ``` vi inference.py ``` 将下面的代码复制进去后保存。代码中的epoch_29.pt请替换成实际值。 ``` import os import torch from PIL import Image import open_clip if 'DEVICE_ID' in os.environ: print("DEVICE_ID:", os.environ['DEVICE_ID']) else: os.environ['DEVICE_ID'] = "0" model, _, preprocess = open_clip.create_model_and_transforms('ViT-B-32', pretrained='/home/ma-user/open_clip/epoch_29.pt') model = model.to("npu") tokenizer = open_clip.get_tokenizer('ViT-B-32') image = preprocess(Image.open("./docs/CLIP.png")).unsqueeze(0) text = tokenizer(["a diagram", "a dog", "a cat"]) print("input image shape:", image.shape) print("input text shape:", text.shape) with torch.no_grad(), torch.cuda.amp.autocast(): image = image.to("npu") text = text.to("npu") image_features = model.encode_image(image) text_features = model.encode_text(text) print("output image shape:", image_features.shape) print("output text shape:", text_features.shape) image_features /= image_features.norm(dim=-1, keepdim=True) text_features /= text_features.norm(dim=-1, keepdim=True) text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1) print("Label probs:", text_probs) # prints: [[1., 0., 0.]] ``` 运行推理脚本。 ``` python inference.py ``` 由于./docs/CLIP.png图片是一张图表，因此结果值和第一个文本"a diagram"吻合，结果值会接近\[\[1., 0., 0.\]\]。 #### Step8 精度评估 1. 关闭数据集shuffle，保证训练数据一致。 修改/home/ma-user/open_clip/src/training/data.py文件，搜索get_wds_dataset函数，将两处shuffle关闭，修改代码如下。 ``` if is_train: if not resampled: print("dataset unshuffled.") #pipeline.extend([ # detshuffle2( # bufsize=_SHARD_SHUFFLE_SIZE, # initial=_SHARD_SHUFFLE_INITIAL, # seed=args.seed, # epoch=shared_epoch, # ), # wds.split_by_node, # wds.split_by_worker, #]) print("wds unshuffled.") pipeline.extend([ # at this point, we have an iterator over the shards assigned to each worker at each node tarfile_to_samples_nothrow, # wds.tarfile_to_samples(handler=log_and_continue), # wds.shuffle( # bufsize=_SAMPLE_SHUFFLE_SIZE, # initial=_SAMPLE_SHUFFLE_INITIAL, # ), ]) ``` 2. 重新训练1个epoch。脚本参考内容如下。 ``` cd /home/ma-user/open_clip python -m training.main \ --save-frequency 1 \ --zeroshot-frequency 1 \ --report-to tensorboard \ --train-data '/home/ma-user/open_clip/mscoco/{00000..00011}.tar' \ --train-num-samples 102400 \ --dataset-type webdataset \ --warmup 10000 \ --batch-size=256 \ --lr=1e-3 \ --wd=0.1 \ --epochs=1 \ --workers=8 \ --model ViT-B-32 ``` 训练完成后，tensorboard统计的记录会保存在/home/ma-user/open_clip/logs/xxx-model_ViT-B-32-lr_0.001-b_32-j_8-p_amp/tensorboard目录下。 3. 通过docker cp命令将容器内tensorboard子目录复制到宿主机 /home下。 4. 在宿主机上安装tensorboard并启动。 ``` pip install tensorboard #安装 tensorboard --logdir=/home/tensorboard --bind_all #启动 ``` 启动成功后如下图所示。 图3启动tensorboard ![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000002472326313.png "点击放大") 5. 在浏览器访问http://{宿主机ip}:6006/。将train/loss导出为json，和GPU训练下导出的文件比较。