# 各训练框架支持的模型和特性 #### LlamaFactory支持的模型和关键特性 表1LlamaFactory支持的模型和关键特性 | 模型类型 | 模型系列 | 模型名称 | 训练方法（[PT](https://llamafactory.readthedocs.io/zh-cn/latest/advanced/trainers.html#pre-training)、[SFT](https://llamafactory.readthedocs.io/zh-cn/latest/advanced/trainers.html#supervised-fine-tuning)、[DPO](https://llamafactory.readthedocs.io/zh-cn/latest/advanced/trainers.html#dpo)） | 长序列并行 （Ulysses） | [DeepSeed ZeRo并行](https://llamafactory.readthedocs.io/zh-cn/latest/advanced/distributed.html#id22) | [FlashAttention](https://llamafactory.readthedocs.io/zh-cn/latest/advanced/acceleration.html#flashattention) | |:---|:---|:---|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------------:|:------------------------------------------------------------------------------------------------------------:| | LLM | DeepSeek系列 | DeepSeek-R1-671B | x | **x** | x | x | | LLM | DeepSeek系列 | DeepSeek-V3-671B | x | **x** | x | x | | LLM | DeepSeek系列 | DeepSeek-V2-Lite 16B | x | **x** | x | x | | LLM | Qwen2系列 | Qwen2-0.5B | PT、SFT | **x** | **√** | **√** | | LLM | Qwen2系列 | Qwen2-1.5B | x | **x** | x | x | | LLM | Qwen2系列 | Qwen2-7B | PT、SFT | **x** | **√** | **√** | | LLM | Qwen2系列 | Qwen2-72B | PT、SFT | **x** | **√** | **√** | | LLM | Qwen2.5系列 | Qwen2.5-0.5B | PT、SFT | **x** | **√** | **√** | | LLM | Qwen2.5系列 | Qwen2.5-1.5B | PT、SFT | **x** | PT、SFT | PT、SFT | | LLM | Qwen2.5系列 | Qwen2.5-7B | PT、SFT | **x** | **√** | **√** | | LLM | Qwen2.5系列 | Qwen2.5-14B | PT、SFT、DPO | **x** | **√** | **√** | | LLM | Qwen2.5系列 | Qwen2.5-32B | PT、SFT | **x** | **√** | **√** | | LLM | Qwen2.5系列 | Qwen2.5-72B | PT、SFT、DPO | **x** | **√** | **√** | | LLM | Qwen3系列 | Qwen3-0.6B | PT、SFT | **x** | **√** | **√** | | LLM | Qwen3系列 | Qwen3-1.7B | PT、SFT | **x** | **√** | **√** | | LLM | Qwen3系列 | Qwen3-4B | PT、SFT | **x** | **√** | **√** | | LLM | Qwen3系列 | Qwen3-8B | PT、SFT | **x** | **√** | **√** | | LLM | Qwen3系列 | Qwen3-14B | PT、SFT | **x** | **√** | **√** | | LLM | Qwen3系列 | Qwen3-32B | PT、SFT | **x** | **√** | **√** | | LLM | Llama系列 | Llama3.1 -8B/70B | PT、SFT | **x** | **√** | **√** | | LLM | Llama系列 | Llama3.2 -1B/3B | PT、SFT | **x** | **√** | **√** | | LLM | glm系列 | glm-4-9b-chat | PT、SFT | **x** | **√** | **√** | | LLM | Mixtral系列 | Mixtral-8x7B-Instruct-v0.1 | x | **x** | **x** | **x** | | 多模态 | Qwen2 VL系列 | Qwen2-VL-2B | PT、SFT | **x** | **√** | **√** | | 多模态 | Qwen2 VL系列 | Qwen2-VL-7B | PT、SFT | **x** | **√** | **√** | | 多模态 | Qwen2 VL系列 | Qwen2-VL-72B | PT、SFT | **x** | **√** | **√** | | 多模态 | Qwen2.5 VL系列 | Qwen2.5-VL-3B | PT、SFT | **x** | **√** | **√** | | 多模态 | Qwen2.5 VL系列 | Qwen2.5-VL-7B | PT、SFT、DPO | **√** | **√** | **√** | | 多模态 | Qwen2.5 VL系列 | Qwen2.5-VL-32B | PT、SFT | **x** | **√** | **√** | | 多模态 | Qwen2.5 VL系列 | Qwen2.5-VL-72B | PT、SFT | **x** | **√** | **√** | | 多模态 | Qwen 3 VL系列 | Qwen3-VL-8B | PT、SFT | **x** | **√** | **√** | | 多模态 | InternVL2.5系列 | InternVL2.5-1B | PT、SFT | **x** | **√** | **√** | | 多模态 | InternVL2.5系列 | InternVL2.5-2B | PT、SFT | **x** | **√** | **√** | | 多模态 | InternVL2.5系列 | InternVL2.5-8B | PT、SFT | **x** | **√** | **√** | | 多模态 | InternVL3系列 | InternVL3-1B | PT、SFT | x | **√** | **√** | | 多模态 | InternVL3系列 | InternVL3-8B | PT、SFT | x | **√** | **√** | | 多模态 | Intern-lm系列 | Intern-S1 | PT、SFT | x | **√** | **x** | | 多模态 | Intern-lm系列 | Intern-S1-mini | PT、SFT | x | **√** | **x** | | 多模态 | Gemma系列 | Gemma3-27b | PT、SFT | **x** | **√** | **√** | #### MindSpeed-LLM支持的模型和关键特性 表2MindSpeed-LLM支持的模型和关键特性 | 模型类型 | 模型系列 | 模型名称 | PT、full微调 | [LoRA](https://gitee.com/ascend/MindSpeed-LLM/blob/2.1.0/docs/pytorch/solutions/finetune/lora_finetune.md)微调 | 多轮对话微调 | [Flash attention](https://gitee.com/ascend/MindSpeed/blob/master/docs/features/flash-attention.md) | SPTD并行 （[张量并行](https://gitee.com/ascend/MindSpeed/blob/master/docs/features/tensor-parallel.md)、[流水线并行](https://gitee.com/ascend/MindSpeed/blob/master/docs/features/pipeline-parallel.md)、[虚拟流水并行](https://gitee.com/ascend/MindSpeed-LLM/blob/2.1.0/docs/pytorch/features/virtual_pipeline_parallel.md)、[序列并行](https://gitee.com/ascend/MindSpeed/blob/master/docs/features/sequence-parallel.md)） | 长序列并行 （[Ascend Ring Attention 长序列并行](https://gitee.com/ascend/MindSpeed-LLM/blob/2.1.0/docs/pytorch/features/ring-attention-context-parallel.md)、[Ulysses 长序列并行](https://gitee.com/ascend/MindSpeed/blob/master/docs/features/ulysses-context-parallel.md)、[混合长序列并行](https://gitee.com/ascend/MindSpeed/blob/master/docs/features/hybrid-context-parallel.md)） | MOE并行 （[MOE 专家并行](https://gitee.com/link?target=https://github.com/NVIDIA/Megatron-LM/blob/main/megatron/core/transformer/moe/README.md)、[MOE 重排通信优化](https://gitee.com/ascend/MindSpeed/blob/master/docs/features/megatron_moe/megatron-moe-allgather-dispatcher.md)） | |:---|:---|:---|:---------:|:------------------------------------------------------------------------------------------------------------:|:------:|:--------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:| | LLM | DeepSeek系列 | DeepSeek-V3-671B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | DeepSeek系列 | DeepSeek-V2-Lite 16B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Qwen2 系列 | Qwen2-0.5B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Qwen2 系列 | Qwen2-1.5B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Qwen2 系列 | Qwen2-7B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Qwen2 系列 | Qwen2-72B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Qwen2.5 系列 | Qwen2.5-0.5B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Qwen2.5 系列 | Qwen2.5-1.5B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Qwen2.5 系列 | Qwen2.5-7B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Qwen2.5 系列 | Qwen2.5-14B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Qwen2.5 系列 | Qwen2.5-32B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Qwen2.5 系列 | Qwen2.5-72B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Qwen3系列 | Qwen3-0.6B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Qwen3系列 | Qwen3-1.7B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Qwen3系列 | Qwen3-4B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Qwen3系列 | Qwen3-8B | **√** | **√** | **√** | **√** | **√** | **√** | **√** | | LLM | Qwen3系列 | Qwen3-14B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Qwen3系列 | Qwen3-32B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Qwen3系列 | Qwen3-30B-A3B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Qwen3系列 | Qwen3-235b-A22B | **√** | x | **x** | **√** | **√** | **√** | **√** | | LLM | Llama系列 | Llama3.1 -8B/70B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Llama系列 | Llama3.2 -1B/3B | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | glm系列 | glm-4-9b-chat | **√** | **√** | **x** | **√** | **√** | **√** | **√** | | LLM | Mixtral系列 | Mixtral-8x7B-Instruct-v0.1 | **√** | **√** | **x** | **√** | **√** | **√** | **√** | 支持多种显存优化特性，包括参数副本、分布式优化器、swap attention、重计算、Norm重计算； 支持[梯度reduce通算掩盖](https://gitcode.com/Ascend/MindSpeed/blob/master/docs/zh/features/async-ddp-param-gather.md)、Recompute in advance、权重all-gather通算掩盖、MC2等通信优化。 #### VeRL支持的模型和关键特性 表3VeRL支持的模型和关键特性 | 模型类型 | 模型系列 | 模型名称 | 强化学习算法 （[GRPO](https://verl.readthedocs.io/en/latest/algo/grpo.html)、[DAPO](https://verl.readthedocs.io/en/latest/algo/dapo.html)、[PPO](https://verl.readthedocs.io/en/latest/algo/ppo.html)） | vllm推理后端版本 | 训练后端 （FSDP、MindSpeed） | one-step-off特性 | 多轮对话Agent训练特性 | LoRA微调 | |:---|:---|:---|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|:----------:|:------------------------------------------------------------------------------------------------:|:---|:---|:---| | LLM | Qwen2.5系列 | Qwen2.5-7B | GRPO | 0.11.0 | FSDP | x | x | x | | LLM | Qwen2.5系列 | Qwen2.5-32B | GRPO、DAPO、PPO | 0.11.0 | FSDP | x | x | x | | LLM | Qwen2.5系列 | Qwen2.5-72B | GRPO、DAPO | 0.11.0 | FSDP、MindSpeed | x | x | x | | LLM | Qwen3系列 | Qwen3-8B | GRPO、PPO | 0.11.0 | FSDP、MindSpeed | **√** | x | **√** (只支持FSDP) | | LLM | Qwen3系列 | Qwen3-14B | GRPO、DAPO、PPO | 0.11.0 | FSDP | x | x | x | | LLM | Qwen3系列 | Qwen3-32B | GRPO、DAPO、PPO | 0.11.0 | FSDP、MindSpeed | x | x | x | | LLM | Qwen3系列 | Qwen3-30B-A3B | GRPO、DAPO | 0.11.0 | MindSpeed | x | **√** | x | | 多模态 | Qwen2.5 VL系列 | Qwen2.5-VL-3B | GRPO | 0.11.0 | FSDP | x | x | x | | 多模态 | Qwen2.5 VL系列 | Qwen2.5-VL-7B | GRPO、DAPO、PPO | 0.11.0 | FSDP | x | x | x | | 多模态 | Qwen2.5 VL系列 | Qwen2.5-VL-32B | GRPO、DAPO、PPO | 0.11.0 | FSDP | x | x | x | | 多模态 | Qwen2.5 VL系列 | Qwen2.5-VL-72B | GRPO、DAPO | 0.11.0 | FSDP | x | x | x | #### MindSpeed-MM支持的模型和关键特性 表4MindSpeed-MM支持的模型和关键特性 | 模型类型 | 模型系列 | 模型名称 | 并行优化 （[TP](https://gitee.com/ascend/MindSpeed/blob/master/docs/features/tensor-parallel.md)、[TP-SP](https://gitee.com/ascend/MindSpeed/blob/master/docs/features/sequence-parallel.md)、VPP、[PP](https://gitee.com/ascend/MindSpeed/blob/master/docs/features/pipeline-parallel.md)、CP、FSDP2） | [Megatron 分布式优化器](https://gitee.com/ascend/MindSpeed/blob/master/docs/features/distributed-optimizer.md) | [Megatron重计算](https://gitee.com/ascend/MindSpeed/blob/master/docs/features/recomputation.md)（"-"表示当前版本未明确支持） | 训练方法 （PT、SFT） | LoRA微调 | |:---|:---|:---|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:------------------------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------:|:------:| | 多模态 | Qwen2.5 VL系列 | Qwen2.5-VL-3B | TP、TP-SP、PP、CP | **√** | **√** | PT、full微调 | x | | 多模态 | Qwen2.5 VL系列 | Qwen2.5-VL-7B | TP、TP-SP、PP、CP | **√** | **√** | PT、full微调 | x | | 多模态 | Qwen3 VL系列 | Qwen3-VL-8B | FSDP2 | x | - | full微调 | x | | 多模态 | InternVL3 系列 | InternVL3-8B | TP、TP-SP、VPP、PP、CP | **√** | **√** | PT、full微调 | x |