环境变量使用说明
镜像运行时,会向运行环境注入部分默认文件配置:
任务名称 |
文件名 |
环境变量 |
---|---|---|
数据集任务 |
数据集待筛选数据目录 |
OCTPS_DATASET_DIR |
数据集筛选结果数据目录 |
TARGET_RESULT_DIR="/tmp/…/result/data" |
|
数据集日志文件目录 |
TARGET_LOG_DIR="/tmp/…/log" |
|
数据集待筛选数据文件目录(注:标注任务与通用存储生成数据集需通过所在目录json文件获取所需筛选数据) |
SOURCE_DATASET_FILE_DIR |
OCTPS_DATASET_DIR
OCTPS_DATASET_DIR为数据集源数据的数据路径,根据不同的数据来源,所挂路径不同, 示例:
本地:/tmp/dataset-temp/local_import/6f91947c-cd47-434b-b654-8332da961d7a/f7c9a054-3c9e-49c7-8934-a1e1d668eb12/ 标注:/tmp/label-data/ 数据仓库:/tmp/warehouse/ 生成子集,视图:/tmp/dataset-new/6f91947c-cd47-434b-b654-8332da961d7a/dataset/
OBS需通过用户桶的ak,sk依据OBS相关的sdk获取到用户所需筛选的源数据,示例:
TARGET_RESULT_DIR
TARGET_RESULT_DIR为存放筛选或者格式转换后数据的路径,本地路径示例:
/tmp/temp-data/dataset/c8a73760-b5df-4f61-81d7-17e144fa6d69/result/data/
对应OBS中raw桶路径为:
temp-data/dataset/c8a73760-b5df-4f61-81d7-17e144fa6d69/result/data/
TARGET_LOG_DIR
/tmp/dataset/6f91947c-cd47-434b-b654-8332da961d7a/log
如果将日志文件存放在此路径,创建任务成功后可以在平台看到此日志文件。
SOURCE_DATASET_FILE_DIR
SOURCE_DATASET_FILE_DIR为标注或通用存储生成数据集时的源数据索引json文件,示例:
标注:
/tmp/dataset-temp/{versionId}/f7c9a054-3c9e-49c7-8934-a1e1d668eb12/result_frame.json
Json文件内容示例:
通用存储:
/tmp/data-warehouse/warehouse-dataset/
注:通用存储可能存在多个索引json文件,需遍历。(file_attributes_1.json, file_attributes_2.json……)
Json文件内容示例:
注意事项
创建Octopus格式数据集需在自定义镜像内将数据处理为Octopus格式存入TARGET_LOG_DIR内,标注来源的数据集创建只支持Octopus格式。