LLaVA-NeXT基于DevServer适配Pytorch NPU训练微调指导（6.3.910）

方案概览

本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源Ascend Snt9B开展LLaVA-NeXT模型的训练过程，包括pretrain_clip训练和Finetune_onevision训练。

约束限制

• 本方案目前仅适用于企业客户。
• 本文档适配昇腾云ModelArts 6.3.910版本，请参考获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
• 确保容器可以访问公网。

资源规格要求

推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。

获取软件和镜像

步骤一 检查环境

1. 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
   

   购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。

   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

2. SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。

   npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
   npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数

   如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

3. 检查是否安装docker。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

4. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
   sysctl -p | grep net.ipv4.ip_forward

步骤二 获取基础镜像

建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1 获取软件和镜像。

步骤三 启动容器镜像

启动容器镜像，启动前可以根据实际需要增加修改参数。

步骤四 进入容器

通过容器名称进入容器中。默认使用ma-user用户执行后续命令。

docker exec -it  ${container_name} bash

修改权限。

sudo chown -R ma-user:ma-group ${container_work_dir}

此步骤可能需要密码或root权限。

步骤五 下载代码安装环境

下载华为侧插件代码包AscendCloud-AIGC-6.3.910-xxx.zip文件，获取路径参见表1 获取软件和镜像。

mv AscendCloud-AIGC-6.3.910-xxx.zip ${container_work_dir}
cd ${container_work_dir}
unzip AscendCloud-AIGC-6.3.910-*.zip 
cd multimodal_algorithm/LLAVA-NEXT/train/c7cc95c0ed68ee553cf0870b6684695df609bb38
bash llava_next_install.sh
cp pretrain_clip_ascend.sh finetune_onevision_ascend.sh ./LLaVA-NeXT/scripts/train

步骤六 增加适配代码

# 安装优化加速包
cd ${container_work_dir}/multimodal_algorithm/ascendcloud_multimodal_plugin 
pip install -e .

# 使能优化加速包step1(此步默认在环境安装阶段已完成)
cd ${container_work_dir}/multimodal_algorithm/LLAVA-NEXT/train/c7cc95c0ed68ee553cf0870b6684695df609bb38/LLaVA-NeXT/
在./llava/train/train_mem.py 引入优化代码包 from ascendcloud_multimodal.train.models.llava_next.ascend_modeling_llava_next import *

# 使能优化加速包step2
cp -rf ${container_work_dir}/multimodal_algorithm/ascendcloud_multimodal_plugin/ascendcloud_multimodal/train/models/llava_next/siglip_encoder.py ${container_work_dir}/multimodal_algorithm/LLAVA-NEXT/train/c7cc95c0ed68ee553cf0870b6684695df609bb38/LLaVA-NeXT/llava/model/multimodal_encoder/

步骤七 下载数据集

数据集需从huggingface下载LLaVA-Pretrain，VideoGPT-plus_Training_Dataset(其中的vcg-plus_112K.json和activitynet_videos.tgz)。

方式1：手动下载以上所列权重，并将其放置在${container_work_dir}/data路径下， data目录需手动创建。

方式2：利用git下载，须确保git lfs已成功安装：

步骤八 下载模型权重

模型权重需从huggingface准备Qwen2-7B-Instruct，clip-vit-large-patch14-336，siglip-so400m-patch14-384。

方式1：手动下载以上所列权重，并将其放置在${container_work_dir}/pretrained路径下， pretrained目录需手动创建。

方式2：利用git下载，须确保git lfs已成功安装：

mkdir -p ${container_work_dir}/pretrained
# 下载 Qwen2-7B-Instruct 
cd ${container_work_dir}/pretrained 
git clone https://huggingface.co/Qwen/Qwen2-7B-Instruct 
cd Qwen2-7B-Instruct 
git lfs pull  

# 下载 clip-vit-large-patch14-336(pretrain_clip场景)
cd ${container_work_dir}/pretrained 
git clone https://huggingface.co/openai/clip-vit-large-patch14-336 
cd clip-vit-large-patch14-336 
git lfs pull  

# 下载 siglip-so400m-patch14-384(finetune_onevision场景) 
cd ${container_work_dir}/pretrained 
git clone https://huggingface.co/google/siglip-so400m-patch14-384 
cd siglip-so400m-patch14-384 
git lfs pull

步骤九 开始训练

单机训练

cd ${container_work_dir}/multimodal_algorithm/LLAVA-NEXT/train/c7cc95c0ed68ee553cf0870b6684695df609bb38/LLaVA-NeXT 
# pretrain_clip场景
NUM_GPUS=8 NNODES=1 RANK=0 ADDR=localhost PORT=23245 bash scripts/train/pretrain_clip_ascend.sh # 需修改pretrain_clip_ascend.sh中的数据集和模型路径为步骤七和步骤八的下载完成后的路径

# finetune_onevision场景
NUM_GPUS=8 NNODES=1 RANK=0 ADDR=localhost PORT=23245 bash scripts/train/finetune_onevision_ascend.sh # 需修改finetune_onevision_ascend.sh中的数据集和模型路径为步骤七和步骤八的下载完成后的路径

多机训练

cd ${container_work_dir}/multimodal_algorithm/LLAVA-NEXT/train/c7cc95c0ed68ee553cf0870b6684695df609bb38/LLaVA-NeXT 
# pretrain_clip场景
NUM_GPUS=8 NNODES=${NODE_NUM} RANK=${NODE_RANK} ADDR=${MASTER_NODE_IP} PORT=23245 bash scripts/train/pretrain_clip_ascend.sh # 需修改pretrain_clip_ascend.sh中的数据集和模型路径为步骤七和步骤八的下载完成后的路径

# finetune_onevision场景
NUM_GPUS=8 NNODES=${NODE_NUM} RANK=${NODE_RANK} ADDR=${MASTER_NODE_IP} PORT=23245 bash scripts/train/finetune_onevision_ascend.sh # 需修改finetune_onevision_ascend.sh中的数据集和模型路径为步骤七和步骤八的下载完成后的路径

路径修改说明：

• 执行训练脚本前，需修改pretrain_clip_ascend.sh中的数据集和模型路径为步骤七和步骤八的下载完成后的路径，如图1所示；
• 执行训练脚本前，修改finetune_onevision_ascend.sh中的数据集和模型路径为步骤七和步骤八的下载完成后的路径，如图2所示。

图1 pretrain_clip场景模型路径和数据集路径指引

图2 finetune_onevision场景模型路径和数据集路径指引

参数说明：

• NODE_NUM：机器数量。
• NODE_RANK：机器rank num，主机为0，其余递增。
• MASTER_ADDR：主机IP地址。

训练成功如下图所示。