文档首页/ AI开发平台ModelArts/ 最佳实践/ LLM大语言模型训练/ LLM大语言模型训练历史版本文档/ 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.5.901）/ 准备工作/ 准备代码
更新时间：2025-07-29 GMT+08:00
查看PDF
分享

准备代码

本教程中用到的训练、推理代码如下表所示，请提前准备好。

获取模型软件包和权重文件

本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表1所示。

表1 模型对应的软件包和依赖包获取地址

代码包名称

代码说明

下载地址

AscendCloud-6.5.901-xxx.zip

说明：

软件包名称中的xxx表示时间戳。

包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。

AscendFactory是用于模型并行计算的框架，其中包含了许多模型的输入处理方法。

获取路径：Support-E，在此路径中查找下载ModelArts 6.5.901 版本。

说明：

如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

模型软件包结构说明

本教程需要使用到的AscendCloud-6.5.901中的AscendCloud-LLM-xxx.zip软件包和算子包AscendCloud-OPP，AscendCloud-LLM关键文件介绍如下。 
|——AscendCloud-LLM
  |──llm_train                    # 模型训练代码包
    |──AscendFactory   
      |──examples/                # config配置文件目录
      |──data.tgz                 # 样例数据压缩包
      |──third-party/             # patch包
      |──src/acs_train_solution/  # 训练运行包
      |──intall.sh                # 需要的依赖包
      |──scripts_llamafactory/    # llamafactory兼容旧版本启动方式目录
      |──scripts_modellink/       # modelLink兼容旧版本启动方式目录
      |──Dockerfile

工作目录介绍

详细的工作目录参考如下，根据实际要求设置。 
${workdir}（例如/home/ma-user/ws）
|──llm_train                            # 模型训练代码包
    |──AscendFactory        
       |──examples/                     # config配置文件目录
          |──config/                    # 配置文件
             |──deepspeed/              # deepspeed配置json文件
             |──performance_cfgs.yaml   # 微调性能配置json文件
             |──llama_factory_performance_cfgs_VL.yaml   # qwen2vl微调json文件
             |──accuracy_cfgs.yaml      # 训练精度配置json文件
             |──.......
       |──data.tgz                  # 样例数据压缩包
       |──intall.sh                 # 需要的依赖包
       |──scripts_llamafactory/     # 兼容旧版本启动方式目录
          |──tools/                 # 针对昇腾云平台适配的功能补丁包
          |──demo.yaml              # 样例yaml配置文件
          |──demo.sh                # 训练启动shell脚本
          |──merge_lora_cli.sh      # lora权重合并脚本
       |──third-party/              # patch包
       |──src/acs_train_solution/   # 训练运行包
          |──ascendcloud_patch/     # patch补丁包
          |──benchmark/             #工具包，存放数据集及基线数据
             |──trainer.py          # 训练启动脚本
             |──performance.py      # 训练性能比较启动脚本
             |──accuracy.py         # 训练精度启动脚本
     |──model/Qwen2-7B/             # 权重词表文件目录，如Qwen2-7B         
     |──saves/qwen2-7b/sft_lora/    # 训练完成生成目录Qwen2-7B，自动生成

上传代码和权重文件到工作环境

  1. 使用root用户以SSH的方式登录Server。
  2. 将AscendCloud代码包AscendCloud-xxx-xxx.zip上传到${workdir}目录下并解压缩，如：/home/ma-user/ws目录下，以下都以/home/ma-user/ws为例，请根据实际修改。 
    unzip AscendCloud-*.zip
unzip AscendCloud-LLM-*.zip
  3. 上传tokenizers文件到工作目录中的/home/ma-user/ws/model/{Model_Name}目录，用户根据自己实际规划路径修改；如Qwen2-72B。

    具体步骤如下：

    进入到${workdir}目录下，如：/home/ma-user/ws，创建tokenizers文件目录将权重和词表文件放置此处，以Qwen2-72B为例。

    cd /home/ma-user/ws
mkdir -p model/Qwen2-72B
  4. 修改权重文件：以下模型需修改，根据所选框架及模型修改相应文件，详情参考各个模型训练前文件替换
    • Llama-Factory：falcon-11B、GLMv4-9B、MiniCPM-2B、MiniCPM3-4B
父主题： 准备工作

相关文档