FLUX.1基于DevSever适配PyTorch NPUFintune&Lora训练指导（6.3.911）
Flux是一种基于扩散过程的图像生成模型，应用于文生图场景，能够帮助用户生成图像。
方案概览
本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源Ascend Snt9B开展Flux模型的训练过程，包括基于kohya的Fintune训练和基于ai-toolkit的Lora训练。
约束限制
- 本方案目前仅适用于企业客户。
- 本文档适配昇腾云ModelArts 6.3.911版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
- 确保容器可以访问公网。
资源规格要求
推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。
软件配套版本
|
分类 |
名称 |
获取路径 |
|---|---|---|
|
插件代码包 |
AscendCloud-6.3.911软件包中的AscendCloud-AIGC-6.3.911-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。 |
获取路径：Support-E，在此路径中查找下载ModelArts 6.3.911 版本。
说明：
如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 |
镜像版本
本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。
|
配套软件版本 |
镜像用途 |
镜像地址 |
配套 |
获取方式 |
|---|---|---|---|---|
|
6.3.911版本 |
基础镜像 |
swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_3_ascend:pytorch_2.3.1-cann_8.0.rc3-py_3.10-hce_2.0.2409-aarch64-snt9b-20241114095658-d7e26d8 |
cann_8.0.rc3 pytorch_2.3.1 驱动23.0.6 |
从SWR拉取 |
不同软件版本对应的基础镜像地址不同，请严格按照软件版本和镜像配套关系获取基础镜像。
步骤一：检查环境
- 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。
当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。
- SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。
npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。
- 检查是否安装docker。
docker -v #检查docker是否安装
如尚未安装，运行以下命令安装docker。
yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64
- 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。
sysctl -p | grep net.ipv4.ip_forward
如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward
步骤二：启动镜像
export work_dir="自定义挂载的工作目录"
export container_work_dir="自定义挂载到容器内的工作目录"
export container_name="自定义容器名称"
export image_name="镜像名称或ID"
docker run -itd --name ${container_name} -v ${work_dir}:${container_work_dir} -v /sys/fs/cgroup:/sys/fs/cgroup:ro -v /etc/localtime:/etc/localtime -v /usr/local/Ascend/driver:/usr/local/Ascend/driver -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi --shm-size 60g --device=/dev/davinci_manager --device=/dev/hisi_hdc --device=/dev/devmm_svm --device=/dev/davinci0 --device=/dev/davinci1 --device=/dev/davinci2 --device=/dev/davinci3 --device=/dev/davinci4 --device=/dev/davinci5 --device=/dev/davinci6 --device=/dev/davinci7 --security-opt seccomp=unconfined --network=bridge ${image_name} bash
参数说明：
- ${image_name}：基础镜像地址，即表2提供的地址
- --device=/dev/davinci0，...， --device=/dev/davinci7：挂载NPU设备，示例中挂载了8张卡davinci0~davinci7。
- driver及npu-smi需同时挂载至容器。
- 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。
步骤三：下载依赖代码包并上传到宿主机
下载华为侧插件代码包AscendCloud-AIGC-6.3.911-xxx.zip文件，获取路径参见表1。本案例使用的是解压到子目录/aigc_train/torch_npu/flux目录下的所有文件和文件夹，将flux目录下所有文件和文件夹全部上传到宿主机对应工作目录${work_dir}/flux下
步骤四：下载模型权重
- 下载Fintune训练所需模型权重
在black-forest-labs/FLUX.1-dev at main (huggingface.co)下载flux模型权重和vae模型权重flux1-dev.safetensors, ae.safetensors
在comfyanonymous/flux_text_encoders at main (huggingface.co)下载t5xxl和clip权重clip_l.safetensors, t5xxl_fp16.safetensors
以上4个权重文件全部上传到宿主机工作目录${work_dir}/下。
- 下载lora训练所需模型权重
FLUX.1-dev下载链接：https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
下载后全部上传到宿主机对应工作目录${work_dir}/FLUX.1-dev下。
步骤五：下载数据集
数据集下载地址：PixArt-alpha/pixart-sigma-toy-dataset · Datasets at Hugging Face
数据集下所有文件全部上传到宿主机对应工作目录${work_dir}/datasets/pixart-sigma-toy-dataset
修改数据集格式：
只需在数据集根目录创建个.py文件，读取其数据集格式做成flux数据集即可。
vim ${work_dir}/datasets/data.py
#---------------data.py 代码如下----------------------#
import json
import re
import shutil
import os
import copy
input_file_path = 'pixart-sigma-toy-dataset'
input_json = os.path.join(input_file_path, 'InternData', 'data_info.json')
if not os.path.exists('images_txt_datasets'):
os.makedirs('images_txt_datasets')
with open(input_json, 'r', encoding='utf-8') as file:
datas = json.load(file)
for i, data in enumerate(datas):
print(f'--{i}')
image_name = data['path']
image_path = os.path.join(input_file_path, 'InternImgs', image_name)
new_image_path = os.path.join('images_txt_datasets', image_name)
shutil.copy2(image_path, new_image_path)
txt_name = image_name.replace('png', 'txt')
txt_path = os.path.join('images_txt_datasets', txt_name)
with open(txt_path, 'w') as file:
file.write(data['prompt'])
步骤六：设置宿主机文件权限
chmod -R 777 ${work_dir}
步骤七：进入容器
docker exec -it ${container_name} bash
步骤八：进入容器执行数据集格式调整脚本
cd ${container_work_dir}/datasets/
python data.py
执行成功后，当前目录下会生成满足格式要求的数据集目录images_txt_datasets。
步骤九：进入容器运行Fintune训练
cd ${container_work_dir}/
\cp flux/fintune/* ./
sh prepare.sh
cd sd-scripts
sh run.sh
需要注意的是，如果报错如下，则重新执行sh run.sh 即可。
步骤十：进入容器运行Lora训练
cd ${container_work_dir}/
rm -rf sd-scripts
\cp flux/lora/* ./
sh prepare.sh
cd ai-toolkit
sh run.sh
在运行步骤九：进入容器运行Fintune训练后再做Lora训练时需要执行rm -rf sd-scripts命令，如果仅执行Lora训练则不需执行rm -rf sd-scripts命令。
