更新时间:2025-01-18 GMT+08:00
分享

准备代码

本教程中用到的模型软件包如下表所示,请提前准备好。

获取模型软件包

本方案支持的模型对应的软件和依赖包获取地址如表1所示。

表1 模型对应的软件包和依赖包获取地址

代码包名称

代码说明

下载地址

AscendCloud-6.3.912-xxx.zip

说明:

软件包名称中的xxx表示时间戳。

包含了本教程中使用到的模型训练代码。代码包具体说明请参见模型软件包结构说明

获取路径:Support-E,在此路径中查找下载ModelArts 6.3.912 版本。

说明:

如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。

模型软件包结构说明

AscendCloud-6.3.912代码包中AscendCloud-AIGC代码包结构介绍如下,训练脚本以分类的方式集中在scripts文件夹中:
AscendCloud-AIGC-6.3.912-xxx
├─aigc_inference
├─aigc_train
├─AscendCloud-Pytorch-Plugin
└─multimodal_algorithm
    ├─ascendcloud_multimodal_plugin
        ...
    ├─QwenVL                  
	├── train/<commit_id>     # 本教程中需要的模型代码
		            └── Dockerfile                     # 构建镜像
		            └── qwen-vl_install.sh             # 安装模型运行环境
		            └── qwen-vl.patch                  # 使用git apply修改模型相关代码

代码上传至OBS

代码包解压后,在OBS中创建mllm_train目录,并将train/<commit_id>上传至该目录中。

结合准备数据准备权重准备代码,将数据集、原始权重、代码文件都上传至OBS后,OBS桶的目录结构如下。

obs://standard-qwenvl-7b
├── training_data
│       └── qwenvl_dataset                    #数据集目录
│              ├── chart_qa_train_ocr.json       # json文件
│              └── new_single_bar                # 图片目录
│                       └── single_bar_1_1000.jpg
│	                 └── single_bar_1_1001.jpg
│	                 └── single_bar_1_1002.jpg
│	                 └── single_bar_1_1003.jpg
│                	        ...
├── mllm_train
│      └── train/<commit_id>                      # 本教程中需要的模型代码
│                └── Dockerfile                   # 构建镜像
│    	          └── qwen-vl_install.sh           # 安装模型运行环境
│	          └── qwen-vl.patch                # 使用git apply修改模型相关代码
│ 
└── models
        └── Qwen-VL-Chat

相关文档