# 数据集发布场景介绍
#### 数据发布介绍
ModelArts Studio大模型开发平台提供的数据发布功能涵盖数据评估和数据发布操作，旨在通过数据质量评估，确保数据满足大模型训练的多样性、平衡性和代表性需求，促进数据的高效流通和应用。
数据发布不仅包括将数据发布为适合使用的格式，还要求根据任务需求评估数据集效果，确保数据集在规模、质量和内容上符合模型训练的标准。
- **数据评估**
  平台预置了多种数据类型的基础评估标准，包括NLP、视频和图片数据，用户可根据需求选择预置标准或自定义评估标准，从而精确优化数据质量，确保数据满足高标准，提升模型性能。
  
- **数据发布**
  数据发布是将数据集发布为特定格式的"发布数据集"，用于后续模型训练等操作。支持的发布格式为标准格式、盘古格式（适用于训练盘古大模型时）。目前，仅文本类和图片类数据集支持发布为"盘古格式"。
  
通过这些功能，平台能够帮助用户科学管理和发布数据集，确保数据集质量符合大模型训练的需求，从而提高后续模型训练的效果。
#### 数据发布意义
数据发布不仅仅是将数据转换为不同格式，还包括根据任务需求评估数据集效果，确保数据在规模、质量和内容上满足训练标准。具体而言，数据发布具备以下几个重要意义：
- **多格式支持**
  对于文本类、图片类数据集，平台支持多种数据发布格式，包括"标准格式"、"盘古格式"，以满足不同训练任务的需求。通过这些格式的转换，用户可以确保数据与特定模型（如盘古大模型）兼容，并优化训练效果。
  
- **提高训练效率**
  发布符合标准的数据集可以大幅提升数据处理效率，减少后续调整工作，帮助用户快速进入模型训练阶段。
  
数据集发布是数据工程中的关键环节，确保数据集符合模型训练要求。通过平台提供的数据发布功能，用户能够根据具体任务需求，灵活选择数据发布格式，保证数据的兼容性与一致性，从而为后续模型训练和应用部署打下坚实基础。
#### 支持数据发布的数据集类型
支持数据发布的数据集类型见[表1]。
 表1支持数据发布的数据集类型 
| 数据类型 | 数据评估  | 数据发布  |
|:---|:---|:---|
| 文本类  | **√** | **√** |
| 图片类  | **√** | **√** |
| 视频类  | **√** | **√** |
| 音频类  | -     | **√** |
| 多模态类 | -     | **√** |
| 气象类  | -     | **√** |
| 预测类  | -     | **√** |
| 其他类  | -     | **√** |
   
ModelArts Studio大模型开发平台支持将**文本类、图片类、视频类数据集** 发布为标准和盘古两种格式，支持将多模态类数据集发布为盘古格式，其余类型的数据集当前仅支持发布为**标准格式**。格式说明如下：
- **标准格式**：适用于广泛的数据使用场景，满足大多数模型训练的标准需求。该格式的数据集将发布到资产中，但下游模型开发不可见。
- **盘古格式**：专为盘古大模型训练设计的格式，确保数据集在盘古模型训练中的兼容性和一致性。该格式的数据集将被用于ModelArts Studio大模型开发平台的模型开发功能使用。