方案概述
AscendFactory方案概述
AscendFactory是对多种训练框架的一个封装,当前支持MindSpeed-LLM(原ModelLink)、Llama-Factory和VeRL三种训练框架作为后端,提供一键式训练,可在华为Ascend Snt9B或Ascend Snt9B23环境平台进行模型训练,包含多种训练阶段、策略,运行环境适用Lite Server、ModelArts Standard(二选一),客户根据实际选择,指导用户高效训练开源模型,实现创新与优化,其内容包括最优性能推荐配置、精度和性能验证的benchmark,训练日志管理等。
AscendFactory适配训练阶段、策略
训练框架 |
预训练(PT) |
强化学习 |
微调(SFT) |
|
---|---|---|---|---|
GRPO |
Full |
LoRA |
||
Llama-Factory |
x |
x |
√ |
√ |
MindSpeed-LLM |
√ |
x |
√ |
√ |
VeRL |
x |
√ |
x |
x |
版本说明
相对于6.5.902版本,该版本有以下版本变更:
- 新支持了大语言模型:qwen3(moe)系列大语言模型训练。
- Llama-Factory支持多模态模型:internvl2.5-8B/38B/78B、gemma-3-27B。
- 新增VeRL强化学习训练框架,支持大语言模型qwen3-32B、多模态模型qwen2.5_vl-32B。
- 部分模型不再演进和维护,详情可见下线模型。