文档首页/ AI开发平台ModelArts/ 最佳实践/ LLM大语言模型训练推理/ 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.908）/ 准备工作/ 准备数据（可选）
更新时间：2024-09-14 GMT+08:00
查看PDF
分享

准备数据（可选）

此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。

本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前支持alpaca格式和sharegpt格式的微调数据集；使用自定义数据集时，请更新代码目录下data/dataset_info.json文件；请务必在dataset_info.json文件中添加数据集描述；具体示例如下。

上传自定义数据到指定目录

将下载的原始数据存放在{work_dir}/llm_train/LLaMAFactory/LLaMA-Factory/data目录下。具体步骤如下：

  1. 进入到/home/ma-user/ws/llm_train/LLaMAFactory/LLaMA-Factory/data目录下。 
    cd  /home/ma-user/ws/llm_train/LLaMAFactory/LLaMA-Factory/data
  2. 将自定义原始数据（样例数据集：alpaca_gpt4_data.json.json）按照下面的数据存放目录要求放置。

    样例数据集alpaca_gpt4_data.json.json的下载链接：https://huggingface.co/datasets/QingyiSi/Alpaca-CoT/blob/main/alpacaGPT4/alpaca_gpt4_data.json

    数据存放参考目录结构如下：

    ${workdir}（例如/home/ma-user/ws/llm_train ）
  |── LLaMAFactory/data
       |── alpaca_en_demo.json                   # 代码原有数据集
       |── identity.json                         # 代码原有数据集
       ...
       |── alpaca_gpt4_data.json                 # 自定义数据集
  3. 更新代码目录下data/dataset_info.json文件。如使用以下示例数据集则命令如下。关于数据集文件格式及配置，更多信息请参考data/README_zh.md 的内容。 
    vim dataset_info.json

    新加配置参数如下：

    "alpaca_gpt4_data": {
    "file_name": "alpaca_gpt4_data.json"
  },

    样例截图：

父主题： 准备工作

相关文档