更新时间:2026-11-13 GMT+08:00
数据脱敏算子
数据脱敏算子提供数据脱敏能力,用于对视频中的人脸和标志牌进行脱敏打码处理,保护视频中的隐私信息。它可以自动识别视频画面中的人脸和标志牌,并对其打码遮盖,避免敏感信息泄露。
- 核心能力:
- 隐私合规:避免人脸、车牌、标志物等敏感信息进入训练集,降低合规风险。
- 效率提升:批量自动脱敏替代人工逐帧打码,支持多数据集并发处理。
- 结构一致性:脱敏后数据集保持原始目录结构与 meta元数据,可直接进入下游训练流程。
- 输入:LeRobot V3格式数据集目录、LeRobot V2.1格式数据集目录或MP4格式的视频目录。
- 输出:脱敏后的LeRobot V3格式数据集目录、LeRobot V2.1格式数据集目录或MP4格式的视频目录。
输入说明
支持LeRobot V3格式数据集、LeRobot V2.1格式数据集以及MP4格式的视频目录,如果输入为不符合要求的数据集则运行时会报错。
输入数据集目录结构
输入为LeRobot V3格式:
<dataset_dir>/ # 输入路径(V3 数据集根目录)
└──meta └──episodes # Episode 元信息目录 └──chunk-000 └──file-xxx.parquet └──info.json # 数据集基本信息(版本、帧率等) └──stats.json # 数据统计信息 └──tasks.parquet # 任务定义 └──videos # 视频数据 └──observation.images.front └──chunk-000 └──file-xxx.mp4 └──observation.images.wrist └──chunk-000 └──file-xxx.mp4 └──data └──chunk-000 └──file-xxx.parquet # 轨迹数据
输入为LeRobot V2.1格式:
<input_dir>/ # 输入路径(V2.1 数据集根目录) ├── data/ │ └── chunk-000/ │ ├── episode_000000.parquet # 轨迹数据 │ ├── episode_000001.parquet │ └── ... ├── meta/ │ ├── info.json # 数据集基本信息(版本、帧率等) │ ├── tasks.jsonl # 任务定义(jsonl 格式) │ ├── episodes.jsonl # Episode 元信息 │ └── episodes_stats.jsonl # Episode 统计信息 ├── images/ # 图像数据(图片序列,可选) │ ├── observation.images.front/ │ ├── observation.images.wrist_left/ │ └── observation.images.wrist_right/ └── videos/ # 视频数据
输入为MP4格式:
└──dir1-xxxxxx# 视频数据
└──dir2-xxxxx
└──file-xxx.mp4
└──file-xxx.mp4
└──dir3-xxxxx
└──file-xxx.mp4
└──file-xxx.mp4 输出说明
根据输入数据集目录层级生成同目录结构的脱敏后的LeRobot V3格式数据集、LeRobot V2.1格式数据集或MP4格式视频数据集。
输出目录结构
脱敏后的 LeRobot V3格式数据集:
<output_dir>/<key>/ └──meta └──episodes # Episode 元信息目录 └──chunk-000 └──file-xxx.parquet └──info.json # 数据集基本信息(版本、帧率等) └──stats.json # 数据统计信息 └──tasks.parquet # 任务定义 └──videos # 视频数据 └──observation.images.front └──chunk-000 └──file-xxx.mp4 └──observation.images.wrist └──chunk-000 └──file-xxx.mp4 └──data └──chunk-000 └──file-xxx.parquet # 轨迹数据
脱敏后的 LeRobot V2.1格式数据集:
<input_dir>/ # 输入路径(V2.1 数据集根目录) ├── data/ │ └── chunk-000/ │ ├── episode_000000.parquet # 轨迹数据 │ ├── episode_000001.parquet │ └── ... ├── meta/ │ ├── info.json # 数据集基本信息(版本、帧率等) │ ├── tasks.jsonl # 任务定义(jsonl 格式) │ ├── episodes.jsonl # Episode 元信息 │ └── episodes_stats.jsonl # Episode 统计信息 ├── images/ # 图像数据(图片序列,可选) │ ├── observation.images.front/ │ ├── observation.images.wrist_left/ │ └── observation.images.wrist_right/ └── videos/ # 视频数据
脱敏后的MP4视频格式数据集:
└──dir1-xxxxxx# 视频数据
└──dir2-xxxxx
└──file-xxx.mp4
└──file-xxx.mp4
└──dir3-xxxxx
└──file-xxx.mp4
└──file-xxx.mp4 父主题: 数据处理算子说明