版本说明和要求
软件包结构说明
本方案需要使用到的软件配套版本和依赖包获取地址如下表所示。
代码包名称 |
代码说明 |
下载地址 |
---|---|---|
AscendCloud-6.5.902-xxx.zip
说明:
软件包名称中的xxx表示时间戳。 |
本方案使用AscendCloud-6.5.902中的AscendCloud-LLM-xxx.zip软件包用于训练。 代码包具体说明请参见AscendCloud-LLM代码包说明。 |
获取路径:Support-E,在此路径中查找下载ModelArts 6.5.902 版本。
说明:
如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 |
- AscendCloud-LLM代码包关键训练文件介绍如下:
|——AscendCloud-LLM |──llm_train # 模型训练代码包 |──AscendFactory |──examples/ # config配置文件目录 |──data.tgz # 样例数据压缩包 |──third-party/ # patch包 |──src/acs_train_solution/ # 训练运行包 |──intall.sh # 需要的依赖包 |──scripts_llamafactory/ # llamafactory兼容旧版本启动方式目录 |──scripts_modellink/ # mindspeed-llm兼容旧版本启动方式目录 |──Dockerfile |──dependences.yaml # 开源社区代码版本yaml文件
- AscendFactory/examples/config配置文件目录:该目录下主要放置性能、精度任务的yaml配置文件,包含性能基线、精度基线、训练最佳实践参数等,配置文件仅供参考。
|──AscendFactory/examples/config/ # config配置文件 |──modellink_performance_cfgs.yaml # mindspeed-llm性能SFT最优参数yaml文件 |──modellink_accuracy_cfgs.yaml # mindspeed-llm精度SFT配置yaml文件 |──performance_cfgs.yaml # Llama-Factory大语言性能配置yaml文件 |──llama_factory_performance_cfgs_VL.yaml # qwen2vl、llama4微调yaml文件 |──accuracy_cfgs.yaml # Llama-Factory训练精度配置yaml文件 |──llama_factory_performance_baseline.yaml # LlamaFactory_SFT性能基线配置 |──llama_factory_accuracy_baseline.yaml # LlamaFactory_SFT精度基线配置 |──modellink_performance_baseline.yaml # mindspeed-llm_SFT性能基线配置 |──modellink_accuracy_baseline.yaml # mindspeed-llm_SFT精度基线配置
镜像版本说明
本教程中用到的训练基础镜像地址和配套版本关系如下表所示,请提前了解。
镜像用途 |
镜像地址 |
---|---|
基础镜像Snt9B |
swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_3_ascend:pytorch_2.3.1-cann_8.0.rc3-py_3.10-hce_2.0.2409-aarch64-snt9b-20241213131522-aafe527 |
基础镜像Snt9B23 MindSpeed-LLM |
swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.10-hce_2.0.2412-aarch64-snt9b23-20250315172739-f66f096 |
基础镜像Snt9B23 Llama-Factory |
swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.0.rc3-py_3.10-hce_2.0.2503-aarch64-snt9b23-20250411141547-c1b3376 |