更新时间:2024-07-12 GMT+08:00
分享

准备权重

  1. 获取对应模型的权重文件,获取链接参考表1
  2. 创建OBS桶创建的桶下创建文件夹用以存放权重和词表文件,例如在桶standard-llama2-13b中创建文件夹llama2-13B-chat-hf。
  3. 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件上传至步骤2创建的文件夹目录下。得到OBS下数据集结构,此处以llama2-13B为例(权重文件可能变化,以下仅为举例):
    obs://<bucket_name>/model/llama-2-13b-chat-hf/
    ├── config.json
    ├── generation_config.json
    ├── gitattributes.txt
    ├── LICENSE.txt
    ├── Notice.txt
    ├── pytorch_model-00001-of-00003.bin
    ├── pytorch_model-00002-of-00003.bin
    ├── pytorch_model-00003-of-00003.bin
    ├── pytorch_model.bin.index.json
    ├── README.md
    ├── special_tokens_map.json
    ├── tokenizer_config.json
    ├── tokenizer.json
    ├── tokenizer.model
    └── USE_POLICY.md

相关文档