# 数据脱敏算子
数据脱敏算子提供数据脱敏能力，用于对视频中的人脸和标志牌进行脱敏打码处理，保护视频中的隐私信息。它可以自动识别视频画面中的人脸和标志牌，并对其打码遮盖，避免敏感信息泄露。
- **核心能力：**
  - 隐私合规：避免人脸、车牌、标志物等敏感信息进入训练集，降低合规风险。
  
  - 效率提升：批量自动脱敏替代人工逐帧打码，支持多数据集并发处理。
  
  - 结构一致性：脱敏后数据集保持原始目录结构与 meta元数据，可直接进入下游训练流程。
   

- **输入：** LeRobot V3格式数据集目录、LeRobot V2.1格式数据集目录或MP4格式的视频目录。
- **输出：**脱敏后的LeRobot V3格式数据集目录、LeRobot V2.1格式数据集目录或MP4格式的视频目录。
#### 输入说明
支持LeRobot V3格式数据集、LeRobot V2.1格式数据集以及MP4格式的视频目录，如果输入为不符合要求的数据集则运行时会报错。
#### 输入数据集目录结构
输入为LeRobot V3格式：
```
<dataset_dir>/                           # 输入路径（V3 数据集根目录）
```
```
└──meta
└──episodes # Episode 元信息目录
└──chunk-000
└──file-xxx.parquet
└──info.json   # 数据集基本信息（版本、帧率等）
└──stats.json  # 数据统计信息
└──tasks.parquet  # 任务定义 
└──videos      # 视频数据
└──observation.images.front
└──chunk-000
└──file-xxx.mp4
└──observation.images.wrist
└──chunk-000
└──file-xxx.mp4
└──data
└──chunk-000
└──file-xxx.parquet   # 轨迹数据
```
输入为LeRobot V2.1格式：
```
<input_dir>/                           # 输入路径（V2.1 数据集根目录）
├── data/
│   └── chunk-000/
│       ├── episode_000000.parquet       # 轨迹数据
│       ├── episode_000001.parquet
│       └── ...
├── meta/
│   ├── info.json                        # 数据集基本信息（版本、帧率等）
│   ├── tasks.jsonl                      # 任务定义（jsonl 格式）
│   ├── episodes.jsonl                   # Episode 元信息
│   └── episodes_stats.jsonl             # Episode 统计信息
├── images/                              # 图像数据（图片序列，可选）
│   ├── observation.images.front/
│   ├── observation.images.wrist_left/
│   └── observation.images.wrist_right/
└── videos/                              # 视频数据
```
输入为MP4格式：
```
└──dir1-xxxxxx# 视频数据
        └──dir2-xxxxx
                └──file-xxx.mp4
                └──file-xxx.mp4
        └──dir3-xxxxx
                └──file-xxx.mp4
                └──file-xxx.mp4
```
#### 输出说明
根据输入数据集目录层级生成同目录结构的脱敏后的LeRobot V3格式数据集、LeRobot V2.1格式数据集或MP4格式视频数据集。
#### 输出目录结构
脱敏后的 LeRobot V3格式数据集：
```
<output_dir>/<key>/  
└──meta
└──episodes # Episode 元信息目录
└──chunk-000
└──file-xxx.parquet
└──info.json   # 数据集基本信息（版本、帧率等）
└──stats.json  # 数据统计信息
└──tasks.parquet  # 任务定义 
└──videos      # 视频数据
└──observation.images.front
└──chunk-000
└──file-xxx.mp4
└──observation.images.wrist
└──chunk-000
└──file-xxx.mp4
└──data
└──chunk-000
└──file-xxx.parquet   # 轨迹数据
```
脱敏后的 LeRobot V2.1格式数据集：
```
<input_dir>/                           # 输入路径（V2.1 数据集根目录）
├── data/
│   └── chunk-000/
│       ├── episode_000000.parquet       # 轨迹数据
│       ├── episode_000001.parquet
│       └── ...
├── meta/
│   ├── info.json                        # 数据集基本信息（版本、帧率等）
│   ├── tasks.jsonl                      # 任务定义（jsonl 格式）
│   ├── episodes.jsonl                   # Episode 元信息
│   └── episodes_stats.jsonl             # Episode 统计信息
├── images/                              # 图像数据（图片序列，可选）
│   ├── observation.images.front/
│   ├── observation.images.wrist_left/
│   └── observation.images.wrist_right/
└── videos/                              # 视频数据
```
脱敏后的MP4视频格式数据集：
```
└──dir1-xxxxxx# 视频数据
        └──dir2-xxxxx
                └──file-xxx.mp4
                └──file-xxx.mp4
        └──dir3-xxxxx
                └──file-xxx.mp4
                └──file-xxx.mp4
```
