文档首页/ AI开发平台ModelArts/ 最佳实践/ AIGC模型训练推理/ SD1.5&SDXL Koyha框架基于DevServer适配PyTorch NPU训练指导（6.3.907）/ 准备镜像环境
更新时间：2024-09-10 GMT+08:00
查看PDF
分享

准备镜像环境

Step1 检查环境

  1. 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。

    购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。

    当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

  2. SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。 
    npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数

    如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

  3. 检查是否安装docker。 
    docker -v   #检查docker是否安装

    如尚未安装，运行以下命令安装docker。

    yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64
  4. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 
    sysctl -p | grep net.ipv4.ip_forward
    如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。 
    sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
sysctl -p | grep net.ipv4.ip_forward

Step2 下载模型包、依赖代码包和数据集并上传到宿主机

  1. 下载stable-diffusion-v1-5模型包并上传到宿主机上，官网下载地址：https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main
  2. 下载stable-diffusion-xl-base-1.0模型包并上传到宿主机上，官网下载地址：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main
  3. 下载sdxl-vae-fp16-fix模型包并上传到宿主机上，官网下载地址：https://huggingface.co/madebyollin/sdxl-vae-fp16-fix/tree/main
  4. 下载开源数据集pokemon-dataset并上传到宿主机上，官网下载地址：https://huggingface.co/datasets/sayannath/pokemon-dataset/tree/main。用户也可以使用自己的数据集。
  5. 下载华为侧插件代码包AscendCloud-AIGC-6.3.907-xxx.zip文件，获取路径参见表1。本案例使用的是解压到子目录aigc_train->torch_npu->koyha_ss的所有文件，将koyha_ss整个目录上传到宿主机上。

    依赖的插件代码包、模型包和数据集存放在宿主机上的本地目录结构如下，供参考。

    [root@devserver docker_build]# ll
total 192
-rw-------  1 root root 108286 May  6 16:56 koyha_ss
drwx------  3 root root   4096 May  7 10:50 datasets
   drwx------  3 root root   4096 May  7 10:50 pokemon-dataset
-rw-------  1 root root   1468 May  8 16:49 Dockerfile    #需要用户参考Step3 构建镜像步骤写Dockerfile文件
drwx------ 10 root root   4096 Apr 30 15:18 stable-diffusion-v1-5
drwx------ 10 root root   4096 Apr 30 15:18 stable-diffusion-xl-base-1.0
drwx------  2 root root   4096 Apr 30 15:17 sdxl-vae-fp16-fix

Step3 构建镜像

基于官方提供的基础镜像构建自定义镜像koyha_ss-train:0.0.1。参考如下命令编写Dockerfile文件。镜像地址{image_url}请参见表2。

FROM {image_url}

COPY --chown=ma-user:ma-group koyha_ss /home/ma-user/koyha_ss
RUN cd /home/ma-user/koyha_ss && sh prepare.sh
COPY --chown=ma-user:ma-group stable-diffusion-v1-5 /home/ma-user/stable-diffusion-v1-5
COPY --chown=ma-user:ma-group stable-diffusion-xl-base-1.0 /home/ma-user/stable-diffusion-xl-base-1.0
COPY --chown=ma-user:ma-group sdxl-vae-fp16-fix /home/ma-user/sdxl-vae-fp16-fix
COPY --chown=ma-user:ma-group datasets /home/ma-user/datasets
WORKDIR /home/ma-user/koyha_ss

构建自定义镜像diffusers-train:0.0.1。

docker build -t koyha_ss-train:0.0.1 .

Step4 启动镜像

启动容器镜像。启动前可以根据实际需要增加修改参数，Lora微调启动单卡，finetune微调启动八卡。 
docker run -itd --name sdxl-train -v /sys/fs/cgroup:/sys/fs/cgroup:ro  -v /etc/localtime:/etc/localtime -v /usr/local/Ascend/driver:/usr/local/Ascend/driver -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi --shm-size 60g --device=/dev/davinci_manager --device=/dev/hisi_hdc --device=/dev/devmm_svm --device=/dev/davinci0 --device=/dev/davinci1 --device=/dev/davinci2 --device=/dev/davinci3 --device=/dev/davinci4 --device=/dev/davinci5 --device=/dev/davinci6 --device=/dev/davinci7 --security-opt seccomp=unconfined --network=bridge koyha_ss-train:0.0.1 bash

参数说明：

  • --device=/dev/davinci0，...， --device=/dev/davinci7：挂载NPU设备，示例中挂载了8张卡davinci0~davinci7。
    • driver及npu-smi需同时挂载至容器。
    • 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。

Step4 进入容器

  1. 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。 
    docker exec -it ${container_name} bash
  2. 上传代码文件到宿主机时使用的是root用户，此处需要执行如下命令统一文件属主为ma-user用户。 
    #统一文件属主为ma-user用户
sudo chown -R ma-user:ma-group  ${container_work_dir}
# ${container_work_dir}:/home/ma-user/ws 容器内挂载的目录
#例如：sudo chown -R ma-user:ma-group  /home/ma-user/ws

相关文档