MindSpeed-MM
本章节主要描述训练所需的yaml配置文件、配置参数说明，用户可根据实际自行选择其需要的参数。
yaml文件参数配置
根据以下示例步骤修改yaml文件。
- 数据集及模型路径设置：
参数
示例值
参数说明
backend_config.data.dataset_param.preprocess_parameters.model_name_or_path
/home/ma-user/AscendFactory/ckpts/hf_path/Qwen2.5-VL-7B-Instruct
【必修改】转换前的权重路径。请根据实际规划修改。
backend_config.data.dataset_param.basic_parameters.dataset_dir
/home/ma-user/AscendFactory/data
【必修改】数据集路径。请根据实际规划修改。
- 权重转换设置，详解如下。
参数
示例值
参数说明
backend_config.convert_ckpt_hf2mg.cfg.mm_dir
/home/ma-user/AscendFactory/ckpts/mm_path/converted_weight_TP${backend_config.training.tensor-model-parallel-size}_PP${backend_config.training.pipeline-model-parallel-size}
【必修改】转换后保存目录。请根据实际规划修改。
backend_config.convert_ckpt_hf2mg.cfg.hf_config.hf_dir
${backend_config.data.dataset_param.preprocess_parameters.model_name_or_path}
huggingface权重目录。
backend_config.convert_ckpt_hf2mg.cfg.parallel_config.llm_pp_layers
- 1
- 10
- 10
- 7
llm在每个卡上切分的层数，注意要和微调时backend_config.model中配置的pipeline_num_layers一致。
backend_config.convert_ckpt_hf2mg.cfg.parallel_config.vit_pp_layers
- 32
- 0
- 0
- 0
vit在每个卡上切分的层数，注意要和微调时backend_config.model中配置的pipeline_num_layers一致。
backend_config.convert_ckpt_mg2hf.cfg.parallel_config.tp_size
1
tp并行数量，注意要和training中的配置一致。
backend_config.convert_ckpt_mg2hf.cfg.save_hf_dir
${af_output_dir}/ckpt_converted_mg2hf
mm微调后转换回hf模型格式的目录。
backend_config.convert_ckpt_mg2hf.cfg.parallel_config.llm_pp_layers
- 1
- 10
- 10
- 7
llm在每个卡上切分的层数，注意要和微调时backend_config.model中配置的pipeline_num_layers一致。
backend_config.convert_ckpt_mg2hf.cfg.parallel_config.vit_pp_layers
- 32
- 0
- 0
- 0
vit在每个卡上切分的层数，注意要和微调时backend_config.model中配置的pipeline_num_layers一致。
backend_config.convert_ckpt_mg2hf.cfg.parallel_config.tp_size
1
tp并行数量，注意要和training中的配置一致。
- 模型保存加载及日志信息配置，详解如下。
参数
示例值
参数说明
backend_config.training.load
${..convert_ckpt_hf2mg.cfg.mm_dir}
模型加载路径。请根据实际规划修改。
backend_config.training.save
${af_output_dir}/saved_checkpoints
模型保存路径。请根据实际规划修改。
backend_config.training.no-load-optim
true
是否加载优化器状态。若需加载请置为false。
backend_config.training.no-load-rng
true
是否加载随机数状态。若需加载请置为false。
backend_config.training.no-save-optim
true
是否保存优化器状态。若需加载请置为false。
backend_config.training.no-save-rng
true
是否保存随机数状态。若需加载请置为false。
backend_config.training.log-interval
1
日志间隔。
backend_config.training.save-interval
5000
保存间隔。
其余未提及参数参考三方官方特性文档修改配置。
