更新时间:2024-05-13 GMT+08:00
分享

环境变量使用说明

镜像运行时,会向运行环境注入部分默认文件配置:

表1 环境变量说明

任务名称

文件名

环境变量

数据集任务

数据集待筛选数据目录

OCTPS_DATASET_DIR

数据集筛选结果数据目录

TARGET_RESULT_DIR="/tmp/…/result/data"

数据集日志文件目录

TARGET_LOG_DIR="/tmp/…/log"

数据集待筛选数据文件目录(注:标注任务与通用存储生成数据集需通过所在目录json文件获取所需筛选数据)

SOURCE_DATASET_FILE_DIR

OCTPS_DATASET_DIR

OCTPS_DATASET_DIR 为数据集源数据的数据路径,根据不同的数据来源,所挂路径不同, 示例:

本地:/tmp/dataset-temp/local_import/6f91947c-cd47-434b-b654-8332da961d7a/f7c9a054-3c9e-49c7-8934-a1e1d668eb12/
标注:/tmp/label-data/
通用存储:/tmp/warehouse/
生成子集,视图:/tmp/dataset-new/6f91947c-cd47-434b-b654-8332da961d7a/dataset/

OBS需通过用户桶的ak,sk依据OBS相关的sdk获取到用户所需筛选的源数据,示例:

图1 示例

#认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。

#本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。

# 如果进行了加密还需要进行解密操作。

TARGET_RESULT_DIR

TARGET_RESULT_DIR 为存放数据集筛选结果的路径,示例:

temp-data/dataset/c8a73760-b5df-4f61-81d7-17e144fa6d69/result/data/results.json.

筛选结果按照特定格式保存在results.json 文件中。结果文件如下所示:

["dataset/data/1630057162343/1630057162343.json", 
" dataset/data/1630057162343/1630057162343.pcd", 
" dataset/data/1630057162343/camera_encoded_1-1630057162338.jpg", 
" dataset/data/1630057162443/1630057162443.json", 
" dataset/data/1630057162443/1630057162443.pcd", 
" dataset/data/1630057162443/camera_encoded_1-1630057162438.jpg"]

TARGET_LOG_DIR

TARGET_LOG_DIR 为数据集镜像筛选日志文件的存储路径,示例:
/tmp/dataset/6f91947c-cd47-434b-b654-8332da961d7a/log

如果将日志文件存放在此路径,创建任务成功后可以在平台看到此日志文件。

SOURCE_DATASET_FILE_DIR

SOURCE_DATASET_FILE_DIR 为标注或通用存储生成数据集时的源数据索引json文件,示例:

标注:

/tmp/dataset-temp/{versionId}/f7c9a054-3c9e-49c7-8934-a1e1d668eb12/result_frame.json

Json文件内容示例:

通用存储:

/tmp/data-warehouse/warehouse-dataset/

注:通用存储可能存在多个索引json文件,需遍历。(file_attributes_1.json, file_attributes_2.json……)

Json文件内容示例:

分享:

    相关文档

    相关产品