图片类数据集格式要求

图片

tar、图片目录

• 图片：支持jpg、jpeg、png、bmp类型，单张图片大小不能超过5M，图片总大小不能超过500MB。
• tar：tar包内图片支持jpg、jpeg、png、bmp图片类型，每个tar包不超过500MB。
• 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。

图片+Caption

图片支持tar，Caption支持jsonl

• 图片+Caption指的是一张图片和与之相关的文字描述，Caption是对图片内容的简短说明或解释，帮助人们理解图片所表达的信息。
• 图片：图片以tar包格式存储，可以多个tar包。tar包存储原始的图片，每张图片命名要求唯一（如abc.jpg）。
• Caption：jsonl格式，图片描述jsonl文件放在最外层目录，一个tar包对应一个jsonl文件，文件内容中每一行代表一段文本，具体格式示例如下：

  {"image_name":"图片名称（abc.jpg）","tar_name":"tar包名称（1.tar）","caption":"图片对应的文本描述"}

• 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB，具体格式示例如下：

  

图片+QA对

图片支持tar，QA对支持jsonl

• 图片+QA对是指将一张图片和与之相关的问题及答案配对在一起，用于训练模型让其能够理解图片内容并回答与图片相关的问题。
• 图片：图片以tar包格式存储，可以多个tar包。tar包存储原始的图片，每张图片命名要求唯一（如abc.jpg）。
• QA对：jsonl格式，图片描述jsonl文件放在最外层目录，一个tar包对应一个jsonl文件，文件内容中每一行代表一段文本，具体格式示例如下：

  {"image_name":"图片名称（abc.jpg）","tar_name":"tar包名称（1.tar）","conversations":[{"question":"问题1","answer":"回答1"},{"question":"问题2","answer","回答2"}]} 

• 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB，具体格式示例如下：