环境变量使用说明
镜像运行时,会向运行环境注入部分默认文件配置:
任务名称 |
文件名 |
环境变量 |
---|---|---|
数据集任务 |
数据集待筛选数据目录 |
OCTPS_DATASET_DIR |
数据集筛选结果数据目录 |
TARGET_RESULT_DIR="/tmp/…/result/data" |
|
数据集日志文件目录 |
TARGET_LOG_DIR="/tmp/…/log" |
|
数据集待筛选数据文件目录(注:标注任务与通用存储生成数据集需通过所在目录json文件获取所需筛选数据) |
SOURCE_DATASET_FILE_DIR |
OCTPS_DATASET_DIR
OCTPS_DATASET_DIR 为数据集源数据的数据路径,根据不同的数据来源,所挂路径不同, 示例:
本地:/tmp/dataset-temp/local_import/6f91947c-cd47-434b-b654-8332da961d7a/f7c9a054-3c9e-49c7-8934-a1e1d668eb12/ 标注:/tmp/label-data/ 通用存储:/tmp/warehouse/ 生成子集,视图:/tmp/dataset-new/6f91947c-cd47-434b-b654-8332da961d7a/dataset/
OBS需通过用户桶的ak,sk依据OBS相关的sdk获取到用户所需筛选的源数据,示例:
#认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
#本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。
# 如果进行了加密还需要进行解密操作。
TARGET_RESULT_DIR
TARGET_RESULT_DIR 为存放数据集筛选结果的路径,示例:
temp-data/dataset/c8a73760-b5df-4f61-81d7-17e144fa6d69/result/data/results.json.
筛选结果按照特定格式保存在results.json 文件中。结果文件如下所示:
["dataset/data/1630057162343/1630057162343.json", " dataset/data/1630057162343/1630057162343.pcd", " dataset/data/1630057162343/camera_encoded_1-1630057162338.jpg", " dataset/data/1630057162443/1630057162443.json", " dataset/data/1630057162443/1630057162443.pcd", " dataset/data/1630057162443/camera_encoded_1-1630057162438.jpg"]
TARGET_LOG_DIR
/tmp/dataset/6f91947c-cd47-434b-b654-8332da961d7a/log
如果将日志文件存放在此路径,创建任务成功后可以在平台看到此日志文件。
SOURCE_DATASET_FILE_DIR
SOURCE_DATASET_FILE_DIR 为标注或通用存储生成数据集时的源数据索引json文件,示例:
标注:
/tmp/dataset-temp/{versionId}/f7c9a054-3c9e-49c7-8934-a1e1d668eb12/result_frame.json
Json文件内容示例:
通用存储:
/tmp/data-warehouse/warehouse-dataset/
注:通用存储可能存在多个索引json文件,需遍历。(file_attributes_1.json, file_attributes_2.json……)
Json文件内容示例: