权重路径
解释说明
权重路径（Weights Path）是指模型权重文件的存储位置。
结构一输出示例说明
- HF_model：模型最终产物权重文件目录（可用于部署）。
- saved_models：中间权重文件保存路径。
|
模型 |
文件/文件夹名称 |
类型 |
说明 |
|
|---|---|---|---|---|
|
Qwen2.5-72B-1K Qwen2.5-14B Qwen2.5-7B Qwen2.5-32B Qwen2-VL-7B |
HF_model |
config.json |
文件 |
模型配置文件。 |
|
generation_config.json |
文件 |
模型推理配置文件。 |
||
|
merges.txt |
文件 |
tokenizer文件。 |
||
|
model-000XX-of-000XX.safetensors |
文件 |
权重文件。 |
||
|
special_tokens_map.json |
文件 |
tokenizer文件。 |
||
|
model.safetensors.index.json |
文件 |
权重文件。 |
||
|
added_tokens.json |
文件 |
tokenizer文件。 |
||
|
tokenizer_config.json |
文件 |
tokenizer文件。 |
||
|
tokenizer.json |
文件 |
tokenizer文件。 |
||
|
vocab.json |
文件 |
tokenizer文件。 |
||
|
saved_models |
lora |
文件夹 |
不同训练类型的文件夹名称。输出详情请参见表2。 |
|
|
pretrain |
||||
|
sft |
||||
|
文件/文件夹名称 |
类型 |
说明 |
|
|---|---|---|---|
|
checkpoint-X |
文件夹 |
训练中保存的权重，包含优化器等状态。 |
|
config.json |
文件 |
模型配置文件。 |
|
|
generation_config.json |
文件 |
模型推理配置文件。 |
|
|
merges.txt |
文件 |
tokenizer文件。 |
|
|
model-000XX-of-000XX.safetensors |
文件 |
权重文件。 |
|
|
special_tokens_map.json |
文件 |
tokenizer文件。 |
|
|
model.safetensors.index.json |
文件 |
权重文件。 |
|
|
added_tokens.json |
文件 |
tokenizer文件。 |
|
|
tokenizer_config.json |
文件 |
tokenizer文件。 |
|
|
tokenizer.json |
文件 |
tokenizer文件。 |
|
|
vocab.json |
文件 |
tokenizer文件。 |
|
|
all_results.json |
文件 |
训练相关信息。 |
|
|
trainer_log.jsonl |
文件 |
训练日志。 |
|
|
training_args.bin |
文件 |
训练参数。 |
|
结构二输出示例说明
- HF_model：模型最终产物权重文件目录（可用于部署）。
- ckpt_output_addr：权重转换输出路径。
- saved_models：中间权重文件保存路径。
|
模型 |
文件/文件夹名称 |
类型 |
说明 |
|
|---|---|---|---|---|
|
Qwen2-0.5B Qwen1.5-72B Llama2-7B Qwen1.5-7B ChatGLM3-6B Qwen1.5-32B Qwen2.5-72B Qwen2-72B GLM-4-9B Qwen1.5-14B Llama3-70B Qwen2-72B-1K Qwen2-7B Llama2-70B Qwen-7B Qwen2-1.5B Llama3-8B Baichuan2-13B Llama2-13B Qwen-14B Qwen-72B Qwen2.5-72B-8K |
HF_model |
config.json |
文件 |
模型配置文件。 |
|
generation_config.json |
文件 |
模型推理配置文件。 |
||
|
merges.txt |
文件 |
tokenizer文件。 |
||
|
model-000XX-of-000XX.safetensors |
文件 |
权重文件。 |
||
|
special_tokens_map.json |
文件 |
tokenizer文件。 |
||
|
model.safetensors.index.json |
文件 |
权重文件。 |
||
|
added_tokens.json |
文件 |
tokenizer文件。 |
||
|
tokenizer_config.json |
文件 |
tokenizer文件。 |
||
|
tokenizer.json |
文件 |
tokenizer文件。 |
||
|
vocab.json |
文件 |
tokenizer文件。 |
||
|
ckpt_output_addr |
iter_XXXXXXX_XXX |
文件夹 |
名称为iter_XXXXXXX_XXX的checkpoint的权重转换后文件存路径，其中_XXX为uuid（32位的随机数）。输出详情请参见表7。 |
|
|
saved_models |
lora |
文件夹 |
不同训练类型的文件夹名称。输出详情请参见表4。 |
|
|
pretrain |
||||
|
sft |
||||
|
Qwen2.5-72B-8K |
converted_hf2mg_weight_TP8PP2 |
文件夹 |
调优类型为LoRA微调，训练过程Megatron格式权重。 |
|
|
converted_hf2mg_weight_TP8PP8 |
文件夹 |
调优类型为全参微调，训练过程Megatron格式权重。 |
||
|
preprocessed_data |
文件夹 |
训练过程预处理后数据集目录。 |
||
|
文件/文件夹名称 |
类型 |
说明 |
|
|---|---|---|---|
|
iter_0000XXX |
文件夹 |
训练中保存的权重，包含优化器等状态。输出详情请参见表5。 |
|
latest_checkpointed_iteration.txt |
文件 |
保存最新权重的迭代次数，用于加载权重时加载对应iter_0000XXX的权重。 |
|
|
文件/文件夹名称 |
类型 |
说明 |
|
|---|---|---|---|
|
mp_rank_XX_XXX |
distrib_optim.pt |
文件 |
优化器状态。 |
|
model_optim_rng.pt |
文件 |
megatron格式权重文件。 |
|
|
文件/文件夹名称 |
类型 |
说明 |
|
|---|---|---|---|
|
iter_0000010_XXX |
config.json |
文件 |
模型配置文件。 |
|
generation_config.json |
文件 |
模型推理配置文件。 |
|
|
gitattributes |
文件 |
设置文件的合并策略。 |
|
|
merges.txt |
文件 |
tokenizer文件。 |
|
|
model-000XX-of-000XX.safetensors |
文件 |
权重文件。 |
|
|
model.safetensors.index.json |
文件 |
权重文件。 |
|
|
tokenizer.json |
文件 |
tokenizer文件。 |
|
|
tokenizer_config.json |
文件 |
tokenizer文件。 |
|
|
vocab.json |
文件 |
tokenizer文件。 |
|
