Wav2Lip训练基于DevServer适配PyTorch NPU训练指导(6.3.907)
本文档主要介绍如何在ModelArts Lite的DevServer环境中,使用NPU卡训练Wav2Lip模型。本文档中提供的Wav2Lip模型,是在原生Wav2Lip代码基础上适配后的模型,可以用于NPU芯片训练。
Wav2Lip是一种基于对抗生成网络的由语音驱动的人脸说话视频生成模型。主要应用于数字人场景。不仅可以基于静态图像来输出与目标语音匹配的唇形同步视频,还可以直接将动态的视频进行唇形转换,输出与输入语音匹配的视频,俗称“对口型”。该技术的主要作用就是在将音频与图片、音频与视频进行合成时,口型能够自然。
Wav2Lip模型的输入为任意的一段视频和一段语音,输出为一段唇音同步的视频。
Wav2Lip的网络模型总体上分成三块:生成器、判别器和一个预训练好的唇音同步判别模型Pre-trained Lip-sync Expert。
- 生成器是基于encoder-decoder的网络结构,分别利用2个encoder(speech encoder和identity encoder)去对输入的语音和视频人脸进行编码,并将二者的编码结果进行拼接,送入到face decoder中进行解码得到输出的视频帧。
- 判别器Visual Quality Discriminator对生成结果的质量进行规范,提高生成视频的清晰度。
- 引入预训练的唇音同步判别模型Pre-trained Lip-sync Expert,作为衡量生成结果的唇音同步性的额外损失,可以更好的保证生成结果的唇音同步性。
方案概览
本方案介绍了在ModelArts的DevServer上使用昇腾计算资源开展Wav2Lip训练的详细过程。完成本方案的部署,需要先联系您所在企业的华为方技术支持购买DevServer资源。
本方案目前仅适用于企业客户。
资源规格要求
推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B单机单卡。
名称 |
版本 |
---|---|
driver |
23.0.6 |
PyTorch |
pytorch_2.1.0 |
获取软件和镜像
分类 |
名称 |
获取路径 |
---|---|---|
插件代码包 |
AscendCloud-6.3.907-xxx.zip软件包中的AscendCloud-AIGC-6.3.907-xxx.zip
说明:
包名中的xxx表示具体的时间戳,以包名的实际时间为准。 |
获取路径:Support-E
说明:
如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 |
基础镜像 |
西南-贵阳一: swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240727152329-0f2c29a |
从SWR拉取。 |
约束限制
- 本文档适配昇腾云ModelArts 6.3.907版本,请参考表2获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。
- 确保容器可以访问公网。
Step1 准备环境
- 请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。
当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。
- SSH登录机器后,检查NPU设备检查。运行如下命令,返回NPU设备信息。
npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数
如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装固件和驱动,或释放被挂载的NPU。
- 检查docker是否安装。
docker -v #检查docker是否安装
如尚未安装,运行以下命令安装docker。
yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64
- 配置IP转发,用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值,如果为1,可跳过此步骤。
sysctl -p | grep net.ipv4.ip_forward
如果net.ipv4.ip_forward配置项的值不为1,执行以下命令配置IP转发。sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward
Step3 启动容器镜像
- 启动容器镜像。启动前请先按照参数说明修改${}中的参数。
export work_dir="自定义挂载的工作目录" export container_work_dir="自定义挂载到容器内的工作目录" export container_name="自定义容器名称" export image_name="镜像名称或ID" // 启动一个容器去运行镜像 docker run -itd --net=bridge \ -p 8080:8080 \ --device=/dev/davinci0 \ --device=/dev/davinci_manager \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ --shm-size=32g \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ -v /var/log/npu/:/usr/slog \ -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \ -v ${work_dir}:${container_work_dir} \ --name ${container_name} \ ${image_name} \ /bin/bash
参数说明:
- -v ${work_dir}:${container_work_dir}:代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录,目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
- 容器不能挂载到/home/ma-user目录,此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下,拉起容器时会与基础镜像冲突,导致基础镜像不可用。
- driver及npu-smi需同时挂载至容器。
- --name ${container_name}:容器名称,进入容器时会用到,此处可以自己定义一个容器名称。
- -p 8080:8080:开启一个端口,可以web访问(如冲突,可自行更换其他端口)。
- ${image_name}:容器镜像的名称。
- -v ${work_dir}:${container_work_dir}:代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录,目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
- 通过容器名称进入容器中。默认使用ma-user用户,后续所有操作步骤都在ma-user用户下执行。
docker exec -it ${container_name} bash
Step4 安装依赖和软件包
- 从github拉取Wav2Lip代码。
cd /home/ma-user git clone https://github.com/Rudrabha/Wav2Lip.git cd /home/ma-user/Wav2Lip git reset --hard f361e9527b917a435928a10
如果出现报错SSL certificate problem: self signed certificate in certificate chain
图1 报错SSL certificate problem可采取忽略SSL证书验证:使用以下命令来克隆仓库,它将忽略SSL证书验证。
git clone -c http.sslVerify=false https://github.com/Rudrabha/Wav2Lip.git
- 安装Wav2Lip Ascend软件包。
- 将获取到的Wav2Lip Ascend软件包AscendCloud-AIGC-*.zip文件上传到容器的/home/ma-user目录下。获取路径:Support网站。
- 解压AscendCloud-AIGC-*.zip文件,解压后将里面指定文件与对应Wave2Lip文件进行替换。
cd /home/ma-user unzip AscendCloud-AIGC-*.zip -d ./AscendCloud cp AscendCloud/multimodal_algorithm/Wav2Lip/train/f361e9527b917a435928a10/* /home/ma-user/Wav2Lip/ rm -rf AscendCloud*
AscendCloud-AIGC-*.zip后面的*表示时间戳,请按照实际替换。
要替换的文件目录结构如下所示:|---Wav2Lip_code/ --- requirements.txt #建议的依赖包版本 注:需要对以下文件进行修改 --- color_syncnet_train.py #训练expert discriminator唇形同步鉴别器 --- wav2lip_train.py #训练 Wav2Lip 模型 --- preprocess.py #对初始视频数据进行推理 在以上三个文件内import末尾增加import如下: import torch_npu from torch_npu.contrib import transfer_to_npu
- 安装Python依赖包,文件为requirements.txt文件。
pip install -r requirements.txt
Step5 训练Wav2Lip模型
- 准备预训练模型。下载需要使用的预训练模型。
- 处理初始视频数据集。
- 将下载好的人脸检测预训练模型修改名字为s3fd.pth,上传到/home/ma-user/Wav2Lip/face_detection/detection/sfd/s3fd.pth目录。
- 下载LRS2数据集。数据集文件夹结构如下:
├── LRS2_partly | ├── main | │ ├── five-digit numbered video IDs ending with (.mp4) | │ ├── 00001.mp4 | │ ├── 00002.mp4
- 对数据集进行预处理。具体命令如下。
python preprocess.py --data_root ./LRS2_partly --preprocessed_root lrs2_preprocessed/
data_root参数为原始视频根目录,preprocessed_root参数为处理后生成的数据集目录。
处理后数据目录如下所示。preprocessed_root (lrs2_preprocessed) ├── main | ├── Folders with five-digit numbered video IDs(00001) | │ ├── *.jpg | │ ├── audio.wav | ├── 00001 | │ ├── *.jpg | │ ├── audio.wav
- 将LRS2文件列表中的.txt文件(train、val)放入该filelists文件夹中。
图2 filelists文件夹
train.txt和val.txt内容参考如下,为处理后视频数据的目录名字。
图3 train.txt和val.txt内容
- 训练专家唇形同步鉴别器。
如果使用LRS2数据集,可选择跳过此步骤。如果使用自己的数据集,训练命令参考如下。
python color_syncnet_train.py --data_root ./lrs2_preprocessed/main/ --checkpoint_dir ./savedmodel/syncnet_model/ --checkpoint_path ./checkpoints/lipsync_expert.pth
参数说明:
- --data_root :处理后的视频数据目录,与train.txt内容拼接后得到单个数据目录,例如:lrs2_preprocessed/main/00001。
- --checkpoint_dir :此目录用于保存模型。
- -checkpoint_path :(可选)可基于此目录的lipsync_expert模型继续进行训练,如果重新训练则不需要此参数。
默认每10000 step保存一次模型。
- 训练Wav2Lip模型。
训练Wav2Lip模型时需要使用专家唇形同步鉴别器。可以使用上一步3中的训练结果,也可以直接下载官方提供的预训练权重来使用。
具体训练命令如下。python wav2lip_train.py --data_root ./lrs2_preprocessed/main/ --checkpoint_dir ./savedmodel --syncnet_checkpoint_path ./checkpoints/lipsync_expert.pth --checkpoint_path ./checkpoints/wav2lip.pth
首次训练会进行模型评估,默认为700 step,请耐心等待,结束之后会进行正式训练。
参数说明:
- --data_root :处理后的视频数据目录,与train.txt内容拼接后得到单个数据目录,例如:lrs2_preprocessed/main/00001。
- --checkpoint_dir :此目录用于保存模型。
- --syncnet_checkpoint_path :专家鉴别器的目录。
- --checkpoint_path :(可选)可基于此目录的Wav2Lip模型继续进行训练,如果重新训练则不需要此参数。
默认每3000 step保存一次模型。
注:
- 专家鉴别器的评估损失应降至约 0.25,Wav2Lip评估同步损失应降至约 0.2,以获得良好的结果。
- 可以在文件设置其他不太常用的超参数hparams.py,常用超参如下:
nepochs 训练总步数 checkpoint_interval Wav2Lip模型保存间隔步数 eval_interval Wav2Lip模型评估间隔步数 syncnet_eval_interval 专家鉴别器模型评估间隔步数 syncnet_checkpoint_interval 专家鉴别器模型保存间隔步数