在ModelArts Studio(MaaS)创建Qwen2-0.5B或Qwen2-1.5B模型的LoRA微调类型的调优任务,显示创建失败
问题现象
创建LoRA调优任务,选择支持Modellink框架类型的模型Qwen2-0.5B,数据集选择MOSS格式的JSONL数据,添加超参设置,创建调优任务失败。
关键日志报错:
AttributeError: 'Parameter' object has no attribute 'main_grad'
原因分析
Qwen2-0.5B或Qwen2-1.5B模型不支持也不建议PP切分。
问题影响
训练无法进行。
处理方法
对于Qwen2-0.5B或Qwen2-1.5B模型,LoRA微调时不支持PP切分。请将切分策略PP设置为1。