更新时间:2024-09-14 GMT+08:00
分享

准备权重

  1. 获取对应模型的权重文件,获取链接参考支持的模型列表和权重文件
  2. 在创建的OBS桶下创建文件夹用以存放权重文件,例如在桶中创建文件夹。将下载的权重文件上传至OBS中,得到OBS下数据集结构。此处以qwen-14b举例。
    obs://${bucket_name}/${folder-name}/  #OBS桶名称和文件目录可以自定义创建,此处仅为举例。
    ├── config.json
    ├── generation_config.json
    ├── gitattributes.txt
    ├── LICENSE.txt
    ├── Notice.txt
    ├── pytorch_model-00001-of-00003.bin
    ├── pytorch_model-00002-of-00003.bin
    ├── pytorch_model-00003-of-00003.bin
    ├── pytorch_model.bin.index.json
    ├── README.md
    ├── special_tokens_map.json
    ├── tokenizer_config.json
    ├── tokenizer.json
    ├── tokenizer.model
    └── USE_POLICY.md
    └── ...

相关文档