环境变量使用说明
镜像运行时,会向运行环境注入部分默认文件配置:
任务名称 |
文件名 |
环境变量 |
---|---|---|
预标注任务 |
待标注数据集目录 |
OCTPS_DATASET_DIR="/tmp/…/data" |
模型仓库中的模型算法目录(非内置) |
OCTPS_MODEL_DIR="/tmp/label/source/model" |
|
模型版本关联标注物文件目录(填写预标注结果时,需要根据类别填写对应的标签id) |
OCTPS_META_PATH="/tmp/…/meta/label_meta_infos.json" |
|
预标注结果数据目录 |
TARGET_RESULT_DIR="/tmp/…/result/data" |
|
预标注日志文件目录 |
TARGET_LOG_DIR="/tmp/…/result/log" |
|
预审核任务 |
全量数据集目录 |
OCTPS_DATASET_DIR="/tmp/…/data" |
模型仓库中的模型算法目录(非内置) |
OCTPS_MODEL_DIR="/tmp/label/source/model" |
|
模型版本关联标注物文件目录 |
OCTPS_META_PATH="/tmp/…/meta/label_meta_infos.json" |
|
审核属性字段目录 |
OCTPS_INSPECTION_ATTRI_DIR = /tmp/…/attribute/inspection_attribute.json |
|
待审核的数据帧索引文件目录(用于从全量数据集中筛选出需要审核的数据) |
OCTPS_DATASET_INDEX_PATH= /tmp/…/index/index.json |
|
预审核结果数据目录 |
TARGET_RESULT_DIR="/tmp/…/result/data" |
|
预审核规则数据目录 |
TARGET_RULES_DIR=/tmp/…/rule/rules.json |
|
预审核日志文件目录 |
TARGET_LOG_DIR="/tmp/…/result/log" |
OCTPS_DATASET_DIR
- 预标注任务
OCTPS_DATASET_DIR为待标注的数据路径,示例:/tmp/label/task-2022/source/data。每一帧数据存放在单独的子文件夹,文件组织结构如下所示。
2D数据帧文件组织结构:OCTPS_DATASET_DIR/XX/…/XX/├─子文件夹1 ├─图片1.jpg #标注图片 ├─标注1.json #图片1的标注信息,非必有 ├─子文件夹2 ├─图片2.jpg #标注图片 ├─标注2.json #图片2的标注信息,非必有
3D数据帧文件组织结构:OCTPS_DATASET_DIR/XX/…/XX/├─子文件夹1 ├─点云1.pcd #已标注点云 ├─图片1.jpg #点云1对应的同时刻图片,非必有 ├─标注1.json #点云1的标注信息,非必有 ├─子文件夹2 ├─点云2.pcd #已标注点云 ├─图片2.jpg #点云2对应的同时刻图片,非必有 ├─标注2.json #点云2的所有标注信息,非必有
注:“XX/…/XX/”部分存在嵌套多个文件夹的情况,具体嵌套层数和上传的数据集目录结构有关系。
- 预审核任务
OCTPS_DATASET_DIR为待审核的全量数据路径,示例:/tmp/label/task-2022/source/data。每一帧数据存放在单独的子文件夹,文件组织结构如下所示。
2D数据帧文件组织结构:
OCTPS_DATASET_DIR/├─子文件夹1 ├─图片1.jpg #已标注图片 ├─labels.json #图片1的所有标注信息 ├─子文件夹2 ├─图片2.jpg #已标注图片 ├─labels.json #图片2的所有标注信息
3D数据帧文件组织结构:
OCTPS_DATASET_DIR/├─子文件夹1 ├─点云1.pcd #已标注点云 ├─图片1.jpg #点云1对应的同时刻图片 ├─labels.json #点云1的所有标注信息 ├─子文件夹2 ├─点云2.pcd #已标注点云 ├─图片2.jpg #点云2对应的同时刻图片 ├─labels.json #点云2的所有标注信息
每帧数据的标注结果存放在lables.json中,具体格式及内容说明参考Octopus数据集格式说明中的labels字段。
OCTPS_META_PATH
OCTPS_META_PATH为标注物文件路径,示例:/tmp/label/task-2022/source/meta/label_meta_infos.json。标签文件中包含了当前任务所选择的所有标注物的基本信息。预标注结果中每个标注对象所需的标注物id,可通过此文件中的id字段获取。标注物文件内容示例如下。
[ { "id": 2085, # 平台上所建标注物的ID "name": "Car", # 平台上所建标注物的名称 "color": "#d0021b", "label_shape_type": "bndbox", "attribute": "{}", "description": "car", ... ... } … … ]
OCTPS_MODEL_DIR
OCTPS_MODEL_DIR为模型仓库中的模型文件在镜像中的存放路径,示例:/tmp/label/source/model。
OCTPS_INSPECTION_ATTRI_DIR
OCTPS_INSPECTION_ATTRI_DIR为审核属性字段文件路径,示例:/tmp/…/attribute/inspection_attribute.json。文件内容示例如下:
{ "inspection": { "miss_label_error": false, #漏标 "vehicle_direction_error": false, #车头方向错误 "error_desc": "", "attribute_error": false, #属性错误 "out_range_label_error": false, #未贴合 "anchor_error": false, #锚点错误 "classification_error": false, #类别错误 "extra_label_error": false #多标 } }
OCTPS_DATASET_INDEX_PATH
OCTPS_DATASET_INDEX_PATH为待审核的数据帧索引文件目录,示例:/tmp/…/index/index.json。文件内包含所需数据所在的子文件夹名称,用于从全量数据集(OCTPS_DATASET_DIR)中筛选出需要审核的数据。文件内容示例如下:
["子文件夹1","子文件夹2"]
TARGET_RESULT_DIR
TARGET_RESULT_DIR为存放预标注/预审核结果的路径,示例:/tmp/label/task-2022/result/data。预标注/预审核结果按照特定格式保存在json文件中。3D数据帧中json文件的路径及命名和点云文件保持一致,2D数据帧中json文件的路径及命名和图片文件保持一致。以上述2D数据帧为例,结果文件组织结构如下所示:
TARGET_RESULT_DIR /XX/…/XX/├─子文件夹1 ├─图片1.json #图片1的结果信息 ├─子文件夹2 ├─图片2.json #图片2的结果信息
注:“XX/…/XX/子文件夹i/”路径和待处理数据集(OCTPS_DATASET_DIR)中的此部分路径保持一致。
TARGET_LOG_DIR
TARGET_LOG_DIR为模型推理日志文件的存储路径,示例:/tmp/label/task-2022/result/log。如果将日志文件存放在此路径,创建任务成功后可以在平台看到此日志文件。
TARGET_RULES_DIR
TARGET_RULES_DIR为模型使用的审核规则的存储路径,示例:/tmp/…/rule/rules.json。审核规则信息按照特定格式(详见“预审核规则格式说明”)存在json文件中,创建任务成功后可以在平台报告中看到此规则信息。