方案概述
AscendFactory方案概述
本文档提供利用MindSpeed-LLM(原ModelLink)或LlamaFactory框架,结合华为Ascend Snt9B或Ascend Snt9B23环境平台进行模型训练,包含多种训练阶段、策略,运行环境适用Lite Server、ModelArts Standard(二选一),客户根据实际选择,指导用户高效训练开源模型,实现创新与优化。
AscendFactory适配训练阶段、策略
训练框架 |
预训练(PT) |
微调(SFT) |
||
---|---|---|---|---|
Full |
LoRa |
Full |
LoRa |
|
Llama-Factory |
x |
x |
√ |
√ |
MindSpeed-LLM |
√ |
√ |
√ |
√ |
版本说明
相对于6.5.901版本,该版本有以下版本变更:
- 新支持了Snt9B23训练
- 支持qwen2.5_vl-7b/72b、DeepSeek-V3/R1的微调(full、lora)
- 部分模型不再演进和维护,详情可见下线模型。
- Llama-Factory框架目前新增支持了ModelArts Standard环境运行。