数据集发布场景介绍

数据发布概念

数据发布是指将经过加工、标注、评估的数据集导出并生成符合特定任务或模型训练需求的正式数据集。数据发布是数据处理流程中的关键步骤，也是数据集构建的最终环节。

数据发布过程不仅包括将数据转化为适合使用的格式，还要求根据任务需求对数据集的比例进行科学调整，确保数据集在规模、质量和内容上满足模型训练的标准。

通过灵活调整数据集的比例配比，用户能够保证数据的均衡性，避免因数据分布不均可能引发的问题，从而构建高质量、适应性强的数据集，为后续的模型训练、验证和应用提供坚实的数据支持。

数据发布意义

数据发布不仅包括数据的格式转换，还涉及数据比例的调整，以确保数据在规模、质量和内容上满足训练标准。具体而言，数据集发布具有以下重要意义：

• 数据比例和结构调整：平台提供灵活的数据比例调整功能，用户可以按需调整数据集的各类数据比例，确保数据集在训练时的代表性和均衡性，从而避免数据分布不均导致的训练问题。
• 多种数据格式支持：对于文本类、图片类数据集，平台支持多种数据发布格式，包括“默认格式”、“盘古格式”和“自定义格式”，以满足不同训练任务的需求。通过这些格式的转换，用户可以确保数据与特定模型（如盘古大模型）兼容，并优化训练效果。
• 灵活的定制化服务：对于文本类、图片类数据集，用户自定义数据格式，用户可以使用脚本灵活调整数据格式，以满足特定业务场景的需求。
• 提高训练效率：通过发布符合标准的数据集，用户可以大幅提升数据的处理效率，减少后续的调整工作，快速进入模型训练阶段。

数据集发布是数据工程中的重要环节，它通过科学的数据比例调整和格式转换，确保数据集能够满足模型训练的要求。通过平台提供的数据发布功能，用户能够根据具体任务需求，灵活选择和定制数据发布格式，保证数据的兼容性与一致性，从而为后续的模型训练和应用部署奠定坚实基础。

支持数据发布的数据集类型

ModelArts Studio大模型开发平台支持发布操作的数据集类型如下：

支持发布的数据格式

ModelArts Studio大模型开发平台支持将文本类、图片类数据集发布为三种格式：

• 默认格式：适用于广泛的数据使用场景，满足大多数模型训练的标准需求。
• 盘古格式：专为盘古大模型训练设计的格式，确保数据集在盘古模型训练中的兼容性和一致性。
• 自定义格式：适用于文本类、图片类数据集，用户可以根据需求自定义数据格式，支持自定义脚本进行格式转换，灵活满足特定的业务需求。

除文本类、图片类数据集外，其余类型的数据集当前仅支持发布为默认格式。