# 图片类数据集格式要求
ModelArts Studio大模型开发平台支持创建图片类数据集，创建时可导入多种形式的数据，具体格式要求详见[表1]。
表1图片类数据集格式要求
| 文件内容 | 文件格式 | 文件要求 |
|:---|:---|:---|
| 图片 | 图片+jsonl tar+jsonl | - 图片：支持jpg、jpeg、png、bmp类型。  - tar：tar包内图片支持jpg、jpeg、png、bmp图片类型。  - 根目录下可存在单个annotation.jsonl文件，image_name字段必选。 ``` {"image_name":"图片名称（abc.jpg）","tar_name":"tar包名称（1.tar）"} ``` - 从OBS导入：单个压缩包大小不超过50GB(只支持tar类型的压缩包)，单个文件大小不超过50GB，文件数量不限制。 本地上传：单个压缩包大小不超过10M(只支持tar类型的压缩包)，单个文件大小不超过10M，文件数量最多100个 |
| 图片+Caption | tar+jsonl | - 图片：图片以tar包格式存储，可以多个tar包。tar包存储原始的图片，每张图片命名要求唯一（如abc.jpg）。图片支持jpg、jpeg、png、bmp格式。 - jsonl：图片描述jsonl文件放在最外层目录，一个tar包对应一个jsonl文件，文件内容中每一行代表一段文本，形式为： ``` {"image_name":"图片名称（abc.jpg）","tar_name":"tar包名称（1.tar）","caption":"图片对应的文本描述"} ``` - 从OBS导入：单个压缩包大小不超过50GB(只支持tar类型的压缩包)，单个文件大小不超过50GB，文件数量不限制。 本地上传：单个压缩包大小不超过10M(只支持tar类型的压缩包)，单个文件大小不超过10M，文件数量最多100个。  |
| 图片+QA对 | tar+jsonl | - 图片：图片以tar包格式存储，可以多个tar包。tar包存储原始的图片，每张图片命名要求唯一（如abc.jpg）。图片支持jpg、jpeg、png、bmp格式。 - jsonl：图片描述jsonl文件放在最外层目录，一个tar包对应一个jsonl文件，文件内容中每一行代表一段文本，形式为： ``` {"image_name":"图片名称（abc.jpg）","tar_name":"tar包名称（1.tar）","conversations":[{"question":"问题1","answer":"回答1"},{"question":"问题2","answer":"回答2"}]} ``` - 从OBS导入：单个压缩包大小不超过50GB(只支持tar类型的压缩包)，单个文件大小不超过50GB，文件数量不限制。 本地上传：单个压缩包大小不超过10M(只支持tar类型的压缩包)，单个文件大小不超过10M，文件数量最多100个  |
| 物体检测 | PASCAL VOC | - 由图片文件和对应的标注文件构成，标注文件需要满足PASCAL VOC文件格式。要求用户将标注对象和标注文件存储在同一目录，并且相互对应，如标注对象文件名为"IMG_2.jpg"，那么标注文件的文件名应为"IMG_2.xml" - 图片支持jpg、jpeg、png、bmp、tif、tiff格式，标注文件为xml格式，标注文件说明请参见[物体检测数据集标注文件说明]。 - 从OBS导入：单个文件大小不超过50GB，文件数量不限制。  |
| 图像分类 | 图片+txt | - 由图片文件和对应的标注文件构成，要求用户将标注对象和标注文件存储在同一目录，并且相互对应。 - 图片支持jpg、jpeg、png、bmp、tif、tiff格式，标注文件为txt格式，标注文件说明请参见[图像分类数据集标注文件说明]。 - 从OBS导入：单个文件大小不超过50GB，文件数量不限制。  |
| 异常检测 | 图片+txt | - 文件存放方式要求满足异常检测格式，即标注文件和图片存于同一文件夹。 - 图片支持jpg、jpeg、png、bmp格式，标注文件为txt格式，标注文件说明请参见[异常检测数据集标注文件说明]。 - 从OBS导入：单个文件大小不超过50GB，文件数量不限制。  |
| 语义分割 | 图片+xml | - 语义分割标注文件为xml格式，图片和标注文件一一对应。 图片格式支持：jpg、jpeg、png、bmp。 标注文件格式：xml。 - 从OBS导入：单个文件大小不超过50GB，文件数量不限制。  |
| 语义分割 | 原始图片+标注图片+json | - 语义分割标注方式为标注图片+json。 图片格式支持：jpg、jpeg、png、bmp。 标注文件格式：标注图片+json。 - 从OBS导入：单个文件大小不超过50GB，文件数量不限制。  |
| 语义分割 | 原始图片+标注图片+txt | - 语义分割标注方式为标注图片+txt。 图片格式支持：jpg、jpeg、png、bmp。 标注文件格式：标注图片+txt。 - 从OBS导入：单个文件大小不超过50GB，文件数量不限制。  |
| 语义分割 | 原始图片+标注图片 | - 语义分割标注方式为标注图片。 图片格式支持：jpg、jpeg、png、bmp。 标注文件格式：标注图片。 - 从OBS导入：单个文件大小不超过50GB，文件数量不限制。  |
| 语义分割 | 图片+png； | - 文件存放方式要求满足语义分割格式，即原图为jpg文件，标注图采用同名同尺寸的png文件。其中，标注图上的每个像素值对应原图中像素的类别，且每个类别的值需连续且从0开始，表示不同的物体或区域类别。例如，假设有一张原图为IMG_20180919_114732.jpg，对应的标注图为IMG_20180919_114732.png，其中标注图的不同像素值代表不同的类别，标注图的每个像素值直接对应原图中相应位置的类别信息，类别需连续并从0开始。 - 从OBS导入：单个文件大小不超过50GB，文件数量不限制。  |
| 姿态估计 | 图片+json（一对一） | - 文件存放方式要求满足姿态估计格式。 图片格式支持：jpg、jpeg、png、bmp。 标注格式支持：json。 图片与标注文件一一对应。 - 从OBS导入：单个文件大小不超过50GB，文件数量不限制。  |
| 姿态估计 | 图片+json（多对一） | - 由图片文件和对应的标注文件构成，图片支持jpg、jpeg、png、bmp格式，标注文件为json格式。 - 基于开源COCO人物关键点标注格式对数据集进行标注，需包含annotations，train，val文件夹，annotations文件夹下用train.json和val.json记录训练集和验证集标注，train和val文件夹下保存具体的图片。 - json标注文件的详细说明请参见[姿态估计标注json文件说明] - 从OBS导入：单个文件大小不超过50GB，文件数量不限制。  |
| 实例分割 | 图片+xml | - 文件存放方式要求满足万物分割/实例分割格式。 - 图片格式支持：jpg、jpeg、png、bmp，标注格式支持：xml - 基于PASCAL VOC矩形框格式进行标识，标注和图片同名并放在同一文件夹下。 - xml标注文件的详细说明请参见[实例分割数据集标注文件说明]。 - 从OBS导入：单个文件大小不超过50GB，文件数量不限制。  |
| 变化检测 | 图片+xml | - 变化检测标注文件为xml格式。 - 图片格式支持：jpg、jpeg、png、bmp。 - 标注文件格式：xml。 - 前后两幅图片需要同名同尺寸。 - 从OBS导入：单个文件大小不超过50GB，文件数量不限制。  其中，**before**文件夹：包含变化前的图片，每幅图片需与变化后的图片同名、同尺寸。 **after**文件夹：包含变化后的图片，每幅图片需与变化前的图片同名、同尺寸。 **label**文件夹：包含与变化前和变化后图片同名、同尺寸的PNG文件。每个像素值代表该位置对应的类别信息，类别应是连续的且从0开始。 |
| 变化检测 | 原始图片+标注图片+json | - 变化检测标注方式为标注图片+json。 - 图片格式支持：jpg、jpeg、png、bmp。 - 标注文件格式：png+json。 - 前后两幅图片需要同名同尺寸。 - 从OBS导入：单个文件大小不超过50GB，文件数量不限制。  其中，**before**文件夹：包含变化前的图片，每幅图片需与变化后的图片同名、同尺寸。 **after**文件夹：包含变化后的图片，每幅图片需与变化前的图片同名、同尺寸。 **label**文件夹：包含与变化前和变化后图片同名、同尺寸的PNG文件。每个像素值代表该位置对应的类别信息，类别应是连续的且从0开始。 |
| 变化检测 | 原始图片+标注图片 | - 文件存放方式要求满足变化检测格式。 - 图片格式支持：jpg、jpeg、png、bmp。 - 标注文件格式：png。 - 前后两幅图片需要同名同尺寸，并采用同名同尺寸的png文件对图片文件不同像素赋予不同类别，png图片上的像素值对应于原图上像素值的类别，类别需连续并从0开始。 - 从OBS导入：单个文件大小不超过50GB，文件数量不限制。  其中，**before**文件夹：包含变化前的图片，每幅图片需与变化后的图片同名、同尺寸。 **after**文件夹：包含变化后的图片，每幅图片需与变化前的图片同名、同尺寸。 **label**文件夹：包含与变化前和变化后图片同名、同尺寸的PNG文件。每个像素值代表该位置对应的类别信息，类别应是连续的且从0开始。 |
| 旋转检测 | 图片+xml | - 文件存放方式要求满足旋转检测格式。 - 图片格式支持：jpg、jpeg、png、bmp。 - 标注文件格式：xml。 - 图片与标注文件一一对应。 - 从OBS导入：单个文件大小不超过50GB，文件数量不限制。  |
#### 物体检测数据集标注文件说明
该说明适用于[表1]中的物体检测标注文件格式。
物体检测数据集支持格式为ModelArts PASCAL VOC 1.0。
要求用户将标注对象和标注文件存储在同一目录，并且一一对应，如标注对象文件名为"IMG_20180919_114745.jpg"，那么标注文件的文件名应为"IMG_20180919_114745.xml"。
物体检测的标注文件需要满足PASCAL VOC格式，PASCAL VOC是一个公开的图像标注数据集，它提供了一个统一的XML格式来存储标注信息。PASCAL VOC文件格式包含图像目录、图像文件、图像尺寸、图像中目标信息等元素，详细格式说明请参见[表2]。
OBS文件上传示例：
```
├─dataset-import-example
│ IMG_20180919_114732.jpg
│ IMG_20180919_114732.xml
│ IMG_20180919_114745.jpg
│ IMG_20180919_114745.xml
│ IMG_20180919_114945.jpg
│ IMG_20180919_114945.xml
```
标注文件（.xml文件）示例：
```
NA
IMG_20180919_114745.jpg
Unknown
554
606
3
0
```
表2PASCAL VOC格式说明
| 字段 | 是否必选 | 说明 |
|:---|:---|:---|
| folder | 是 | 表示图像所在的目录名称。 |
| filename | 是 | 被标注文件的文件名。 |
| size | 是 | 表示图像的像素信息。 - width：必选字段，图像的宽度。 - height：必选字段，图像的高度。 - depth：必选字段，图像的通道数。 |
| segmented | 是 | 表示图像是否附带分割标注信息。 - 0：表示当前样本无分割标注，用于非分割类任务（如目标检测、图像分类）。 - 1：表示当前样本有分割标注，可用于分割任务（如语义分割、实例分割）。 |
| object | 是 | 目标对象信息，包括被标注物体的类别、姿态、是否被截断、是否识别困难以及边界框信息，多个物体标注会有多个object体。 - name：必选字段，标注内容的类别。 - pose：必选字段，标注内容的拍摄角度。 - truncated：必选字段，取值0或1，表示标注内容是否被截断（0表示被截断、1表示没有截断）。 - occluded：必选字段，取值0或1，表示标注内容是否被遮挡（0表示未遮挡、1表示遮挡） - difficult：必选字段，取值0或1，表示标注目标是否难以识别（0表示容易识别、1表示难以识别）。 - confidence：可选字段，标注目标的置信度，取值范围0-1之间，越接近1，表示标注越可信。 - bndbox：必选字段，标注框的类型，可选值请参见[表3]。 |
表3标注框类型描述
| type | 形状 | 标注信息 |
|:---|:---|:---|
| point | 点 | 点的坐标。 \100\ \100\ |
| line | 线 | 各点坐标。 \100\ \100\ \200\ \200\ |
| bndbox | 矩形框 | 左上和右下两个点坐标。 \100\ \100\ \200\ \200\ |
| polygon | 多边形 | 各点坐标。 \100\ \100\ \200\ \100\ \250\ \150\ \200\ \200\ \100\ \200\ \50\ \150\ |
| circle | 圆形 | 圆心坐标和半径。 \100\ \100\ \50\ |
#### 图像分类数据集标注文件说明
该说明适用于[表1]中的图片分类标注文件格式。
图像分类数据集支持格式为ModelArts image classification 1.0。
要求用户将标注对象和标注文件存储在同一目录，并且一一对应，标注文件txt中可以放单标签，也可以放多标签。
- 当目录下存在对应的txt文件时，以txt文件内容作为图像的标签。 示例如下所示，import-dir-1和import-dir-2为导入子目录。
```
dataset-import-example
├─import-dir-1
│ 10.jpg
│ 10.txt
│ 11.jpg
│ 11.txt
│ 12.jpg
│ 12.txt
└─import-dir-2
1.jpg
1.txt
2.jpg
2.txt
```
单标签的标签文件示例，如1.txt文件内容如下所示。
```
猫
```
多标签的标签文件示例，如2.txt文件内容如下所示。
```
猫
狗
```
#### 异常检测数据集标注文件说明
该说明适用于[表1]中的异常检测标注文件格式。
要求用户将标注文件和图片存于同一文件夹。
- 当目录下存在对应的txt文件时，以txt文件内容作为正常或异常的标签。 示例如下所示：
```
dataset-import-example
│ IMG_20180919_114732.jpg
│ IMG_20180919_114732.txt
│ IMG_20180919_114745.jpg
│ IMG_20180919_114745.txt
```
异常标签的标签文件示例，如IMG_20180919_114732.txt文件内容如下所示。
```
abnormal
```
正常标签的标签文件示例，如IMG_20180919_114745.txt文件内容如下所示。
```
normal
```
#### 姿态估计标注json文件说明
该说明适用于[表1]中的姿态估计标注文件格式。
姿态估计标注基于开源coco人物关键点标注格式对数据集进行标注，需包含annotations，train，val文件夹。annotations文件夹下用train.json和val.json记录训练集和验证集标注，train和val文件夹下保存具体的图片，示例如下所示：
```
├─annotations
│ train.json
│ val.json
├─train
│ IMG_20180919_114745.jpg
├─val
│ IMG_20180919_114945.jpg
```
具体的json标注文件具体示例：
```
{
"images": [
{
"license": 2,
"file_name": "IMG_20180919_114745.jpg",
"coco_url": "",
"height": 426,
"width": 640,
"date_captured": "2018-09-19 11:47:45",
"flickr_url": "",
"id": 139
}
],
"annotations": [
{
"num_keypoints": 15,
"area": 2913.1104,
"iscrowd": 0,
"keypoints": [
427,
170,
1,
429,
169,
2,
0,
0,
0,
434,
168,
2,
0,
0,
0,
441,
177,
2,
446,
177,
2,
437,
200,
2,
430,
206,
2,
430,
220,
2,
420,
215,
2,
445,
226,
2,
452,
223,
2,
447,
260,
2,
454,
257,
2,
455,
290,
2,
459,
286,
2
],
"image_id": 139,
"bbox": [
412.8,
157.61,
53.05,
138.01
],
"category_id": 1,
"id": 230831
}
],
"categories": [
{
"supercategory": "person",
"id": 1,
"name": "person",
"keypoints": [
"nose",
"left_eye",
"right_eye",
"left_ear",
"right_ear",
"left_shoulder",
"right_shoulder",
"left_elbow",
"right_elbow",
"left_wrist",
"right_wrist",
"left_hip",
"right_hip",
"left_knee",
"right_knee",
"left_ankle",
"right_ankle"
],
"skeleton": [
[
16,
14
],
[
14,
12
],
[
17,
15
],
[
15,
13
],
[
12,
13
],
[
6,
12
],
[
7,
13
],
[
6,
7
],
[
6,
8
],
[
7,
9
],
[
8,
10
],
[
9,
11
],
[
2,
3
],
[
1,
2
],
[
1,
3
],
[
2,
4
],
[
3,
5
],
[
4,
6
],
[
5,
7
]
]
}
]
}
```
表4COCO格式说明
| 字段 | 是否必选 | 说明 |
|:---|:---|:---|
| images | 是 | 图片信息。 |
| license | 否 | 图像的许可证标识符。 |
| file_name | 是 | 图像的文件名。 |
| coco_url | 否 | 图像在COCO官方数据集中的URL。 |
| height | 是 | 图像的高度，以像素为单位。 |
| width | 是 | 图像的宽度，以像素为单位。 |
| date_captured | 否 | 图像捕获的日期和时间。 |
| flickr_url | 否 | 图像在Flickr网站上的URL。 |
| id | 是 | 图像的唯一标识符。 |
| annotations | 是 | 标注信息。 |
| num_keypoints | 是 | 标注的关键点数量。 |
| area | 是 | 边界框的面积，以像素平方为单位。 |
| iscrowd | 是 | 表示标注是否为复杂的群体场景（如拥挤的人群）。0表示不是拥挤场景，1表示是拥挤场景。 |
| keypoints | 是 | 标注的关键点坐标及其可见性，按顺序列出所有关键点，每个关键点用三个数值表示 \[x, y, v\]。x和y是关键点的像素坐标，v是可见性（0：不可见且不在图像中；1：不可见但在图像中；2：可见且在图像中）。 |
| image_id | 是 | 与该标注相关联的图像的ID，必须与images字段中的id对应。 |
| bbox | 是 | 目标物体的边界框，用\[x, y, width, height\]表示，其中，x，y是边界框左上角的坐标，width和height是边界框的宽度和高度。 |
| category_id | 是 | 标注类别的ID，对于人体姿态估计，通常为1（表示person）。 |
| id | 是 | 标注的唯一标识符。 |
| categories | 是 | 标注类型信息。 |
| supercategory | 是 | 类别的上级分类，通常为person。 |
| id | 是 | 类别的唯一标识符，对于人体姿态估计，通常为1。 |
| name | 是 | 类别的名称，通常为person。 |
| keypoints | 是 | 关键点的名称列表，COCO格式中通常定义了17个关键点，如nose、left_eye、right_eye、left_ear、right_ear、left_shoulder、right_shoulder、left_elbow、right_elbow、left_wrist、right_wrist、left_hip、right_hip、left_knee、right_knee、left_ankle、right_ankle。 |
| skeleton | 是 | 定义骨架连接的列表，用于表示关键点之间的连接关系。每个连接用一对关键点索引表示，如 \[1, 2\]，表示鼻子（nose）到左眼（left_eye）的连线。 |
姿态估计-图片+json（一对一）：文件格式为图片+json。图片格式支持：jpg、jpeg、png、bmp，标注格式支持：json，图片与标注文件一一对应。
示例如下所示：
```
│ IMG_20180919_114732.jpg
│ IMG_20180919_114732.json
│ IMG_20180919_114745.jpg
│ IMG_20180919_114745.json
│ IMG_20180919_114945.jpg
│ IMG_20180919_114945.json
```
具体的json标注文件具体示例：
```
{
images
IMG_20180919_114945.jpg
E:/images/IMG_20180919_114945.jpg
Unknown
700
354
3
0
```
#### 实例分割数据集标注文件说明
该说明适用于[表1]中的实例分割标注文件格式。
要求用户将标注对象和标注文件存储在同一目录，并且一一对应，如标注对象文件名为"IMG_20180919_114745.jpg"，那么标注文件的文件名应为"IMG_20180919_114745.xml"。
实例分割的标注文件需要满足PASCAL VOC格式，PASCAL_VOC是一个公开的图像标注数据集，它提供了一个统一的XML格式来存储标注信息。PASCAL_VOC文件格式包含图像目录、图像文件、图像尺寸、图像中目标信息等元素，详细格式说明请参见[表5]。
OBS文件上传示例：
```
├─dataset-import-example
│ IMG_20180919_114732.jpg
│ IMG_20180919_114732.xml
│ IMG_20180919_114745.jpg
│ IMG_20180919_114745.xml
```
标注文件（.xml文件）示例：
```
NA
IMG_20180919_114745.jpg
Unknown
2560
1440
3
1
```
表5PASCAL VOC格式说明
| 字段 | 是否必选 | 说明 |
|:---|:---|:---|
| folder | 是 | 表示图像所在的目录名称。 |
| filename | 是 | 被标注文件的文件名。 |
| size | 是 | 表示图像的像素信息。 - width：必选字段，图像的宽度。 - height：必选字段，图像的高度。 - depth：必选字段，图像的通道数。 |
| segmented | 是 | 表示图像是否附带分割标注信息。 - 0：表示当前样本无分割标注，用于非分割类任务（如目标检测、图像分类）。 - 1：表示当前样本有分割标注，可用于分割任务（如语义分割、实例分割）。 |
| object | 是 | 目标对象信息，包括被标注物体的类别、姿态、是否被截断、是否识别困难以及边界框信息，多个物体标注会有多个object体。 - name：必选字段，标注内容的类别。 - pose：必选字段，标注内容的拍摄角度。 - truncated：必选字段，取值0或1，表示标注内容是否被截断（0表示被截断、1表示没有截断）。 - occluded：必选字段，取值0或1，表示标注内容是否被遮挡（0表示未遮挡、1表示遮挡） - difficult：必选字段，取值0或1，表示标注目标是否难以识别（0表示容易识别、1表示难易识别）。 - confidence：可选字段，标注目标的置信度，取值范围0-1之间，越接近1，表示标注越可信。 - bndbox：必选字段，标注框的类型，可选值请参见[表6]。 |
表6标注框类型描述
| type | 形状 | 标注信息 |
|:---|:---|:---|
| point | 点 | 点的坐标。 \100\ \100\ |
| line | 线 | 各点坐标。 \100\ \100\ \200\ \200\ |
| bndbox | 矩形框 | 左上和右下两个点坐标。 \100\ \100\ \200\ \200\ |
| polygon | 多边形 | 各点坐标。 \100\ \100\ \200\ \100\ \250\ \150\ \200\ \200\ \100\ \200\ \50\ \150\ |
| circle | 圆形 | 圆心坐标和半径。 \100\ \100\ \50\ |