文档首页/ AI开发平台ModelArts/ 最佳实践/ MLLM多模态模型训练推理/ Bunny-Llama-3-8B-V基于Lite Server适配PyTorch NPU的训练指导（6.5.901）
更新时间：2025-07-29 GMT+08:00
查看PDF
分享

Bunny-Llama-3-8B-V基于Lite Server适配PyTorch NPU的训练指导（6.5.901）

方案概览

本方案介绍了在ModelArts Lite Server上使用昇腾计算资源Ascend Snt9B开展Bunny-Llama-3-8B-V模型的训练过程。

资源规格要求

推荐使用“西南-贵阳一”Region上的Lite Server资源和Ascend Snt9B单机。

表1 环境要求

名称

版本

Driver

23.0.6

PyTorch

pytorch_2.1.0

获取软件和镜像

表2 获取软件和镜像

分类

名称

获取路径

插件代码包

AscendCloud-6.5.901软件包中的AscendCloud-AIGC-6.5.901-xxx.zip

文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。

获取路径：Support-E，在此路径中查找下载ModelArts 6.5.901版本。

说明：

如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

基础镜像包

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241213131522-aafe527

SWR上拉取。

约束限制

  • 本文档适配昇腾云ModelArts 6.5.901版本，请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
  • 确保容器可以访问公网。

步骤一：检查环境

  1. 请参考Lite Server资源开通，购买Lite Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。

    购买Lite Server资源时如果无可选资源规格，需要联系华为云技术支持申请开通。

    当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

  2. SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。 
    npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数

    如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

  3. 检查是否安装docker。 
    docker -v   #检查docker是否安装

    如尚未安装，运行以下命令安装docker。

    yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64
  4. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 
    sysctl -p | grep net.ipv4.ip_forward
    如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。 
    sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
sysctl -p | grep net.ipv4.ip_forward
  5. 获取基础镜像。建议使用官方提供的镜像部署推理服务。镜像地址{image_url}参见表2 获取软件和镜像。 
    docker pull {image_url}
  6. 启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。 
    export work_dir="自定义挂载的工作目录"
export container_work_dir="自定义挂载到容器内的工作目录"
export container_name="自定义容器名称"
export image_name="镜像名称或ID"
docker run -itd \
--name ${container_name} \
-v /sys/fs/cgroup:/sys/fs/cgroup:ro \
-v /etc/localtime:/etc/localtime \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v ${work_dir}:${container_work_dir} \
--shm-size 60g \
--privileged \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc \
--device=/dev/devmm_svm \
--network=bridge \
${image_name} bash

    参数说明：

    • --name ${container_name} 容器名称，进入容器时会用到，此处可以自己定义一个容器名称，例如sdxl-diffusers。
    • --privileged：表示特权容器，会挂载机器所有的卡，本训练需要8卡训练。
    • -v ${work_dir}:${container_work_dir}：代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下可存放项目所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同
  7. 进入容器。需要将${container_name}替换为实际的容器名称。 
    docker exec -it ${container_name} bash

步骤二：上传代码、权重和数据集到容器中

  1. 安装插件代码包。将获取到的插件代码包AscendCloud-AIGC-6.5.901-xxx.zip文件上传到容器的/home/ma-user目录下，并解压。 
    cd /home/ma-user
unzip AscendCloud-AIGC-6.5.901-*.zip #解压
  2. 下载模型权重，该模型要下载三个权重，分别放到对应的siglip-so400m-patch14-384，Meta-Llama-3-8B-Instruct，bunny-pretrain-llama3-8b-siglip-s2这三个文件夹中，并将这个三文件夹上传到容器的/home/ma-user目录下。权重下载地址：

    https://huggingface.co/google/siglip-so400m-patch14-384/tree/main，下载如图所示所有文件。

    图1 下载siglip-so400m-patch14-384权重

    https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct/tree/main，下载如图所示所有文件。

    图2 下载Meta-Llama-3-8B-Instruct权重

    https://huggingface.co/BoyaWu10/bunny-pretrain-llama3-8b-siglip-s2/tree/main，下载如图所示所有文件。

    图3 下载bunny-pretrain-llama3-8b-siglip-s2权重
  3. 下载公开数据集，并上传到容器的/home/ma-user目录下。
    1. 下载如下所有文件，官网下载地址：https://huggingface.co/datasets/BoyaWu10/Bunny-v1_1-data/tree/main/pretrain。
      图4 下载公开数据集
    2. 将下载好的上述文件放在Bunny-v1_1-data/pretrain文件夹下，并将Bunny-v1_1-data文件夹上传到容器的/home/ma-user目录下。
    3. 进入到Bunny-v1_1-data/pretrain文件夹中，合并下载好的压缩文件，并解压 
      cat images.tar.gz.part-* > images.tar.gz
tar -xzvf images.tar.gz

步骤三：开始训练

  1. 进入容器中/home/ma-user/aigc_train/torch_npu/Bunny_Llama路径下。 
    cd /home/ma-user/aigc_train/torch_npu/Bunny_Llama
  2. 升级容器pip。 
    /home/ma-user/anaconda3/envs/PyTorch-2.1.0/bin/python3.9 -m pip install --upgrade pip
  3. 执行prepare.sh脚本，克隆代码，安装依赖。 
    sh prepare.sh
  4. 修改accelerate库中的accelerator.py文件，文件路径为/home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.9/site-packages/accelerate/accelerator.py

    在该文件中Accelerator类的accumulate方法中，下图位置，约为1111行，添加 allow_gradient_sync = True，如下图所示。

  5. 开始训练。 
    cd Bunny
sh script/train/finetune_lora_zero2.sh

    训练完成后会生成新的checkpoint在Bunny文件夹下。

相关文档