准备镜像环境
Step1 检查环境
- 请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。
购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。
当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。
- SSH登录机器后,检查NPU卡状态。运行如下命令,返回NPU设备信息。
npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数
如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装固件和驱动,或释放被挂载的NPU。
- 检查是否安装docker。
docker -v #检查docker是否安装
如尚未安装,运行以下命令安装docker。
yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64
- 配置IP转发,用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值,如果为1,可跳过此步骤。
sysctl -p | grep net.ipv4.ip_forward
如果net.ipv4.ip_forward配置项的值不为1,执行以下命令配置IP转发。sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward
Step2 下载模型包、依赖代码包和数据集并上传到宿主机
- 下载stable-diffusion-v1-5模型包并上传到宿主机上,官网下载地址:https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main
- 下载stable-diffusion-xl-base-1.0模型包并上传到宿主机上,官网下载地址:https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main
- 下载vae-fp16-fix模型包并上传到宿主机上,官网下载地址:https://huggingface.co/madebyollin/sdxl-vae-fp16-fix/tree/main
- 下载开源数据集naruto-blip-captions并上传到宿主机上,官网下载地址:https://huggingface.co/datasets/lambdalabs/naruto-blip-captions/tree/main。用户也可以使用自己的数据集。
- 下载开源数据集fill50k并上传到宿主机上,官网下载地址:https://huggingface.co/datasets/fusing/fill50k/tree/main。用户也可以使用自己的数据集。
- 下载华为侧插件代码包AscendCloud-AIGC-6.3.907-xxx.zip文件,获取路径参见表1。本案例使用的是解压到子目录aigc_train->torch_npu->diffusers的所有文件,将diffusers整个目录上传到宿主机上。
依赖的插件代码包、模型包和数据集存放在宿主机上的本地目录结构如下,供参考。
[root@devserver docker_build]# ll total 192 -rw------- 1 root root 108286 May 6 16:56 diffusers drwx------ 3 root root 4096 May 7 10:50 datasets drwx------ 3 root root 4096 May 7 10:50 naruto-blip-captions drwx------ 3 root root 4096 May 7 10:50 fill50k -rw------- 1 root root 1468 May 8 16:49 Dockerfile #需要用户参考Step3 构建镜像步骤写Dockerfile文件 drwx------ 10 root root 4096 Apr 30 15:18 stable-diffusion-v1-5 drwx------ 10 root root 4096 Apr 30 15:18 stable-diffusion-xl-base-1.0 drwx------ 2 root root 4096 Apr 30 15:17 vae-fp16-fix
Step3 构建镜像
基于官方提供的基础镜像构建自定义镜像diffusers-train:0.0.1。参考如下命令编写Dockerfile文件。镜像地址{image_url}请参见表2。
FROM {image_url} COPY --chown=ma-user:ma-group diffusers /home/ma-user/diffusers RUN cd /home/ma-user/diffusers && sh prepare.sh COPY --chown=ma-user:ma-group stable-diffusion-v1-5 /home/ma-user/stable-diffusion-v1-5 COPY --chown=ma-user:ma-group stable-diffusion-xl-base-1.0 /home/ma-user/stable-diffusion-xl-base-1.0 COPY --chown=ma-user:ma-group vae-fp16-fix /home/ma-user/vae-fp16-fix COPY --chown=ma-user:ma-group datasets /home/ma-user/datasets WORKDIR /home/ma-user/diffusers
构建自定义镜像diffusers-train:0.0.1。
docker build -t diffusers-train:0.0.1 .
Step4 启动镜像
docker run -itd --name ${container_name} -v /sys/fs/cgroup:/sys/fs/cgroup:ro -v /etc/localtime:/etc/localtime -v /usr/local/Ascend/driver:/usr/local/Ascend/driver -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi --shm-size 60g --device=/dev/davinci_manager --device=/dev/hisi_hdc --device=/dev/devmm_svm --device=/dev/davinci0 --device=/dev/davinci1 --device=/dev/davinci2 --device=/dev/davinci3 --device=/dev/davinci4 --device=/dev/davinci5 --device=/dev/davinci6 --device=/dev/davinci7 --security-opt seccomp=unconfined --network=bridge diffusers-train:0.0.1 bash
docker run -itd --name ${container_name} -v /sys/fs/cgroup:/sys/fs/cgroup:ro -v /etc/localtime:/etc/localtime -v /usr/local/Ascend/driver:/usr/local/Ascend/driver -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi --shm-size 60g --device=/dev/davinci_manager --device=/dev/hisi_hdc --device=/dev/devmm_svm --device=/dev/davinci0 --security-opt seccomp=unconfined --network=bridge diffusers-train:0.0.1 bash
参数说明:
--name ${container_name}:容器名称,进入容器时会用到,此处可以自己定义一个容器名称。
- --device=/dev/davinci0,..., --device=/dev/davinci7:挂载NPU设备,fintune全量微调示例中挂载了8张卡davinci0~davinci7。
- driver及npu-smi需同时挂载至容器。
- 不要将多个容器绑到同一个NPU上,会导致后续的容器无法正常使用NPU功能。
Step5 进入容器
- 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。
docker exec -it ${container_name} bash