准备代码

获取模型软件包

本方案支持的模型对应的软件和依赖包获取地址如表1所示。

模型软件包结构说明

• AscendCloud-6.5.901代码包中AscendCloud-LLM代码包结构如下：

  |——AscendCloud-LLM
    |──llm_train                    # 模型训练代码包
      |──AscendFactory   
        |──examples/config          # config配置文件目录
          |──modellink_performance_cfgs.yaml # modellink配置最优参数yaml文件
        |──data.tgz                 # 样例数据压缩包
        |──third-party/             # 三方依赖的代码仓，和补丁patch包
        |──src/acs_train_solution/  # 训练运行包
        |──intall.sh                # 安装脚本
        |——dependences.yaml         # 需要的三方依赖包的版本和下载地址
        |──scripts_llamafactory/    # llamafactory兼容旧版本启动方式目录
        |──scripts_modellink/       # modelLink兼容旧版本启动方式目录
        |──Dockerfile

• AscendFactory/examples/config配置文件目录：

  |──AscendFactory/examples/config/  # config配置文件
     |──modellink_performance_cfgs.yaml # modellink配置最优参数yaml文件
     |──performance_cfgs.yaml        # 微调性能配置yaml文件
     |──llama_factory_performance_cfgs_VL.yaml  # qwen2vl微调yaml配置文件
     |──accuracy_cfgs.yaml           # 训练精度配置yaml文件
     |──llama_factory_cfgs_posttrain.yaml  # RM、PPO、DPO训练阶段样例yaml文件
     |──llama_factory_performance_baseline.yaml # 性能基线配置
     |──llama_factory_accuracy_baseline.yaml    # 精度基线配置

  该目录下主要放置性能、精度任务的yaml配置文件，包含性能基线、精度基线、训练最佳实践参数等，以上配置文件仅供参考。

代码上传至OBS

本地完成代码包AscendCloud-LLM-xxx.zip的解压，将llm_train文件上传至OBS中。

结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。

<bucket_name>
|──llm_train                       # 模型训练代码包
    |──AscendFactory               
|──model/Qwen2-7B/                 # 权重词表文件目录，如Qwen2-7B
|──training_data                   # 原始数据目录         
# 训练输出目录路径：根据{OUTPUT_SAVE_DIR}或yaml文件{output_dir}参数设置
|──{output_dir}                    # 输出目录，以下目录在训练过程中自动生成
    |──converted_hf2mg_weight_TP${TP}PP${PP} # 训练过程Megatron格式权重
    |──converted_mg2hf_weight   # 训练完成转换为HF格式权重目录，
    |──logs                     # 训练过程日志
    |──preprocessed_data        # 训练过程预处理后数据集目录
    |──saved_checkpoints        # 训练生成权重文件

Yi-34B、Qwen1.5系列、GLM4-9B模型执行lora微调策略任务如产生mc2融合算子错误，可参考mc2融合算子报错