文档首页/ AI开发平台ModelArts/ 最佳实践/ 自动驾驶模型训练推理/ OpenVLA模型基于ModelArts Lite Server适配PyTorch NPU训练指导

更新时间：2025-09-08 GMT+08:00

查看PDF

OpenVLA模型基于ModelArts Lite Server适配PyTorch NPU训练指导

方案概览

OpenVLA (Open-Source Vision-Language-Action Model) 是一个简洁且可拓展的视觉语言动作模型训练与微调代码库。其构建于Prismatic VLM框架之上，主要用于通用多面手机器人的操纵。它有以下几个优势：

多数据集混合支持：原生支持RLDS格式中的任意数据集，包括来自Open X-Embodiment数据集的任意组合。
高效扩展能力：基于PyTorch FSDP和Flash-Attention技术，可在10亿至340亿参数范围内快速高效地训练模型，并提供灵活的架构适配方案。
原生微调支持：内置多种微调模式，包括完全、部分以及LoRA微调等。

本方案介绍了在ModelArts Lite Server上使用昇腾计算资源 Ascend Snt9B 或 Ascend Snt9B23 开展OpenVLA模型的训练过程。

资源规格要求

推荐使用“西南-贵阳一”Region上的Lite Server资源。

表1 环境要求
名称	版本
NPU卡数	Ascend Snt9B：8卡 Ascend Snt9B23：8卡或 16卡
Driver	Ascend Snt9B：24.1.0.6 Ascend Snt9B23：24.1.RC3.5
PyTorch	PyTorch-2.5.1

获取软件和镜像

表2 获取软件和镜像
分类	名称	获取路径
插件代码包	AscendCloud-ACD-xxx.zip 文件名中的xxx表示具体的版本号和时间戳，以实际发布的包名为准。	获取路径：Support-E，在此路径中查找下载ModelArts 6.5.906.1版本。说明：如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。
Snt9B 基础镜像包	swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250729103313-3a25129	SWR上拉取。
Snt9B23 基础镜像包	swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b23-20250729103313-3a25129	SWR上拉取。

约束限制

本文档适配昇腾云ModelArts 6.5.906版本，请参考表2 获取软件和镜像获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
确保容器可以访问公网。

步骤一：检查环境

请参考Lite Server资源开通，购买Lite Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。

购买Lite Server资源时如果无可选资源规格，需要联系华为云技术支持申请开通。

当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。
SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。
```
npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
```
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

检查是否安装docker。

docker -v   #检查docker是否安装

如尚未安装，运行以下命令安装docker。

yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。
```
sysctl -p | grep net.ipv4.ip_forward
```
如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。
```
sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
sysctl -p | grep net.ipv4.ip_forward
```

步骤二：下载镜像并启动容器

获取基础镜像。建议使用官方提供的镜像部署推理服务。镜像地址{image_name}参见表2 获取软件和镜像。
```
docker pull {image_name}
```

启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。

export work_dir="自定义挂载的工作目录"  
export container_work_dir="自定义挂载到容器内的工作目录"  
export container_name="自定义容器名称"  
export image_name="镜像名称"  
docker run -itd \
   -u root \
   --device=/dev/davinci0 \
   --device=/dev/davinci1 \
   --device=/dev/davinci2 \
   --device=/dev/davinci3 \
   --device=/dev/davinci4 \
   --device=/dev/davinci5 \
   --device=/dev/davinci6 \
   --device=/dev/davinci7 \
   --device=/dev/davinci8 \
   --device=/dev/davinci9 \
   --device=/dev/davinci10 \
   --device=/dev/davinci11 \
   --device=/dev/davinci12 \
   --device=/dev/davinci13 \
   --device=/dev/davinci14 \
   --device=/dev/davinci15 \
   --device=/dev/davinci_manager \
   --device=/dev/devmm_svm \
   --device=/dev/hisi_hdc \
   -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
   -v /usr/local/dcmi:/usr/local/dcmi \
   -v /etc/ascend_install.info:/etc/ascend_install.info \
   -v /sys/fs/cgroup:/sys/fs/cgroup:ro \
   -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
   -v /usr/bin/hccn_tool:/usr/bin/hccn_tool \
   -v /etc/hccn.conf:/etc/hccn.conf \
   --shm-size 1024g \
   --net=host \
   -v ${work_dir}:${container_work_dir} \
   --name ${container_name} \
   $image_name \
   /bin/bash

参数说明：

--device=/dev/davinci0 ：挂载对应卡到容器，请按照机器实际需要使用到的NPU数量来配置，上面给出的是使用16卡NPU训练的例子。
-v ${work_dir}:${container_work_dir}：代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。为方便两个地址可以相同。例如“/home/openVLA:/home/openVLA ”
${work_dir}为宿主机中工作目录，目录下可存放项目所需代码、数据等文件。请确保容器内用户对此路径有足够的访问权限。

${container_work_dir}为要挂载到的容器中的目录。
--name ${container_name} 容器名称，进入容器时会用到，此处可以自己定义一个容器名称，例如“openvla_test”。
- 请确保容器内用户对${work_dir}有足够的访问权限。
- ${container_work_dir}不能为/home/ma-user目录，此目录为ma-user用户家目录。
- driver及npu-smi需同时挂载至容器。
- 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。

进入容器。

docker exec -u root -it ${container_name} bash

步骤三：容器内训练环境准备

创建新的虚拟环境。

conda create -n openVLA --clone PyTorch-2.5.1
conda activate openVLA

创建项目目录。

mkdir -p /home/openVLA/project
cd /home/openVLA/project
export P_HOME=`pwd`

将获取到的插件代码包AscendCloud-ACD-*.zip文件上传到容器的${P_HOME}目录下，并解压。插件代码包获取请参见表2。

cd $P_HOME
unzip -q AscendCloud-ACD-*.zip    # 解压自动驾驶相关版本包
cd AscendCloudDriving*
mv models/openVLA $P_HOME/openVLA_support

创建patches目录，并将patch文件移入目录。

cd $P_HOME 
mkdir patches && cd patches 
export PATCH_HOME=`pwd` 
mv $P_HOME/openVLA_support/*.patch .    # 将patch相关文件移动到此文件夹

安装 tensorflow-addons。

cd $P_HOME
git clone https://github.com/tensorflow/addons.git
cd addons
git checkout d208d752e98c310280938efa939117bf635a60a8
pip install -e .
pip show tensorflow-addons
# Version: 0.23.0.dev0

安装 OpenVLA。

cd $P_HOME
git clone https://github.com/openvla/openvla.git
cd openvla
export VLA_HOME=`pwd`
git checkout c8f03f48af692657d3060c19588038c7220e9af9
git apply $PATCH_HOME/openVLA.patch
pip install -e .
pip show openvla
# Version: 0.0.3

将插件代码包内的 npu_scripts 文件夹移动到模型代码目录。

cd $VLA_HOME
mv $P_HOME/openVLA_support/npu_scripts .    # 将scripts文件夹移动到此目录

步骤四：准备训练数据集和模型权重

OpenVLA支持丰富的数据集选项，这里以官方优化后的Libero评测数据集为例。

安装下载工具。

cd $P_HOME 
pip install -U huggingface_hub 
export HF_ENDPOINT="https://hf-mirror.com"    # 设置国内镜像站加速下载

下载数据集。数据集详细信息：https://huggingface.co/datasets/openvla/modified_libero_rlds

cd $P_HOME
mkdir datasets && cd datasets
# 将数据集下载到当前目录下
huggingface-cli download --repo-type dataset openvla/modified_libero_rlds --local-dir modified_libero_rlds

下载预训练模型权重。

cd $P_HOME
mkdir ckpts && cd ckpts
# 将预训练权重下载到当前目录下
huggingface-cli download openvla/openvla-7b --local-dir openvla-7b
huggingface-cli download openvla/openvla-7b-prismatic --local-dir openvla-7b-prismatic

# 如需运行完全微调推荐提前手动下载以下模型到默认缓存目录，提高首次训练启动速度和成功率。
huggingface-cli download meta-llama/Llama-2-7b-hf
huggingface-cli download timm/vit_large_patch14_reg4_dinov2.lvd142m
huggingface-cli download timm/ViT-SO400M-14-SigLIP

meta-llama模型需要提前到huggingface申请权限，使用申请通过的hf_token才可以下载，申请时请勿使用中国IP且申请地区请勿填写中国（含港澳台地区）。
权限申请页面：https://huggingface.co/meta-llama/Llama-2-7b-hf
创建token指导：https://huggingface.co/docs/hub/en/security-tokens
将创建好的token保存为文件，在启动完全微调时就可以自动调用此token下载meta-llama（不推荐，首次训练启动速度慢且没有断点续传）
```
# 拷贝的 token 内容类似 hf_xxxxx 格式
cd $VLA_HOME
vim .hf_token    # 粘贴 token 内容然后保存
```

使用hf_token登录huggingface-cli，然后手动下载meta-llama到本地（推荐，如果下载中断可以重新执行命令进行断点续传）

huggingface-cli login
# 输入 hf_token
# 可以不选择其作为git认证，输入 n
# 提示token保存成功，接下来就可以下载meta-llama相关模型了
huggingface-cli download meta-llama/Llama-2-7b-hf

最终目录结构如下。

$P_HOME/ 
├── addons/ 
├── openVLA_support/ 
├── patches/ 
├── openvla/ 
│   ├── ......
├── ckpts/
│   ├── openvla-7b/
│   ├── openvla-7b-prismatic/
├── datasets/
│   ├── modified_libero_rlds/

/root/
├── .cache/
│   ├── huggingface/
│   │   ├── hub/
│   │   │   ├── models--meta-llama--Llama-2-7b-hf/
│   │   │   ├── models--timm--vit_large_patch14_reg4_dinov2.lvd142m/
│   │   │   ├── models--timm--ViT-SO400M-14-SigLIP/

步骤五：LoRA微调与完全微调

LoRA微调（单机 1 卡）

cd $VLA_HOME
NPUS=1 MODE=LoRA bash npu_scripts/start_train.sh

完全微调（单机 8 卡）

cd $VLA_HOME
NPUS=8 MODE=Fully bash npu_scripts/start_train.sh

完全微调（单机 16 卡）

cd $VLA_HOME
NPUS=16 MODE=Fully bash npu_scripts/start_train.sh

更多超参选项可通过手动修改配置文件配置：

# LoRA微调
cd $VLA_HOME
vim npu_scripts/LoRA_fine-tuning_config.sh
 
# 完全微调
cd $VLA_HOME
vim npu_scripts/Fully_fine-tuning_config.sh

父主题： 自动驾驶模型训练推理

上一篇：MapTRv2模型基于ModelArts Lite Server适配PyTorch NPU训练指导

下一篇：PointPillar模型基于ModelArts Lite Server适配PyTorch NPU训练指导

意见反馈

文档内容是否对您有帮助？

有帮助没帮助

提供反馈

提交成功！非常感谢您的反馈，我们会继续努力做到更好！您可在我的云声建议查看反馈及问题处理状态。

系统繁忙，请稍后重试

在使用文档中是否遇到以下问题

内容与产品页面不一致

内容不易理解

缺失示例代码

步骤不可操作

搜不到想要的内容

缺少最佳实践

意见反馈（选填）

0/500

请至少选择一项反馈信息并填写问题反馈

字符长度不能超过500

直接提交取消

如您有其它疑问，您也可以通过华为云社区问答频道来与我们联系探讨

盘古Doer提问云社区提问