更新时间:2026-02-05 GMT+08:00
分享

准备模型权重与训练数据

获取模型权重与代码

本文档以Qwen系列模型为例介绍训练过程,表1 支持的大语言模型列表和权重获取地址中介绍了Qwen系列模型的权重获取地址。

表1 支持的大语言模型列表和权重获取地址

训练模型

训练场景

训练框架

开源权重文件获取地址

Qwen3-8B

SFT

MindSpeed-LLM

https://huggingface.co/Qwen/Qwen3-8B

Qwen3-30B-A3B

SFT

MindSpeed-LLM

https://huggingface.co/Qwen/Qwen3-30B-A3B

Qwen3-32B

SFT

MindSpeed-LLM

https://huggingface.co/Qwen/Qwen3-32B

访问权重文件下载网站Huggingface时,需要配置代理,请在互联网查询解决方案。

下载好的模型权重文件,请上传至OBS桶中。基于OBS规划,OBS桶中文件存放目录示例如下:

obs://mindspeed-llm/mindspeed-llm-a2/Qwen3-8B
obs://mindspeed-llm/mindspeed-llm-a2/Qwen3-32B
obs://mindspeed-llm/mindspeed-llm-a2/Qwen3-30B-A3B

获取训练数据

以Qwen3系列模型为例,可以使用如下数据集

  • 微调数据集

    以alpaca_gpt4_data为例

    wget https://huggingface.co/datasets/QingyiSi/Alpaca-CoT/blob/main/alpacaGPT4/alpaca_gpt4_data.json

相关文档