更新时间:2024-09-06 GMT+08:00
分享

环境变量使用说明

镜像运行时,会向运行环境注入部分默认文件配置:

表1 环境变量说明

任务名称

文件名

环境变量

数据集任务

数据集待筛选数据目录

OCTPS_DATASET_DIR

数据集筛选结果数据目录

TARGET_RESULT_DIR="/tmp/…/result/data"

数据集日志文件目录

TARGET_LOG_DIR="/tmp/…/log"

数据集待筛选数据文件目录(注:标注任务与通用存储生成数据集需通过所在目录json文件获取所需筛选数据)

SOURCE_DATASET_FILE_DIR

OCTPS_DATASET_DIR

OCTPS_DATASET_DIR 为数据集源数据的数据路径,根据不同的数据来源,所挂路径不同, 示例:

本地:/tmp/dataset-temp/local_import/6f91947c-cd47-434b-b654-8332da961d7a/f7c9a054-3c9e-49c7-8934-a1e1d668eb12/ 
标注:/tmp/label-data/ 
数据仓库:/tmp/warehouse/ 
生成子集,视图:/tmp/dataset-new/6f91947c-cd47-434b-b654-8332da961d7a/dataset/

OBS需通过用户桶的ak,sk依据OBS相关的sdk获取到用户所需筛选的源数据,示例:

图1 示例图1
图2 示例图2

TARGET_RESULT_DIR

TARGET_RESULT_DIR 为存放筛选或者格式转换后数据的路径,本地路径示例:

/tmp/temp-data/dataset/c8a73760-b5df-4f61-81d7-17e144fa6d69/result/data/

对应OBS中raw桶路径为:

temp-data/dataset/c8a73760-b5df-4f61-81d7-17e144fa6d69/result/data/

TARGET_LOG_DIR

TARGET_LOG_DIR 为数据集镜像筛选日志文件的存储路径,示例:
/tmp/dataset/6f91947c-cd47-434b-b654-8332da961d7a/log

如果将日志文件存放在此路径,创建任务成功后可以在平台看到此日志文件。

SOURCE_DATASET_FILE_DIR

SOURCE_DATASET_FILE_DIR 为标注或通用存储生成数据集时的源数据索引json文件,示例:

标注:

/tmp/dataset-temp/{versionId}/f7c9a054-3c9e-49c7-8934-a1e1d668eb12/result_frame.json

Json文件内容示例:

通用存储:

/tmp/data-warehouse/warehouse-dataset/

注:通用存储可能存在多个索引json文件,需遍历。(file_attributes_1.json, file_attributes_2.json……)

Json文件内容示例:

注意事项

创建Octopus格式数据集需在自定义镜像内将数据处理为Octopus格式存入TARGET_LOG_DIR内,标注来源的数据集创建只支持Octopus格式。

相关文档