更新时间:2024-09-03 GMT+08:00
创建一个新的数据集
数据集是指用于训练模型或评估的一组相关数据样本。存储在OBS中的数据可以通过数据集的形式放置在到盘古平台中,便于管理。
在创建数据集之前,请先将数据上传至OBS平台。
上传数据至OBS
- 登录盘古大模型套件平台。
- 在左侧导航栏中选择“数据工程 > 数据管理”,单击界面右上角“创建数据集”。
图1 数据管理
- 在创建数据集弹框中选择“创建一个新的数据集”,单击“创建”。
图2 创建数据集
- 在创建数据集页面,单击“前往OBS”,进入OBS服务页面。
图3 前往OBS
- 在OBS控制台页面,单击界面右上角“创建桶”。
图4 OBS页面
- 创建OBS桶时,桶区域需要与盘古大模型区域保持一致。其余配置参数可以使用默认值,详细OBS桶参数说明请参见OBS用户指南。
图5 创建OBS桶
- 参数填选完成后,单击“立即创建”。创建好的OBS桶将显示在桶列表中。
图6 OBS页面
- 在OBS中创建文件目录,并在目录中上传数据文件。
创建一个新的数据集
创建数据集前,需按要求将数据文件上传至OBS。
- 登录盘古大模型套件平台,左侧导航栏中选择“数据工程 > 数据管理”,单击界面右上角“创建数据集”。
图7 数据管理
- 在创建数据集弹出框中选择“创建一个新的数据集”,单击“创建”。
图8 创建数据集
- 在新建数据集页面,依据需要进行的训练任务,选择导入数据,填写基本信息。
- 参数填选完成后,单击“立即创建”。
父主题: 准备盘古大模型训练数据集