更新时间:2026-11-13 GMT+08:00
分享

数据脱敏算子

数据脱敏算子提供数据脱敏能力,用于对视频中的人脸和标志牌进行脱敏打码处理,保护视频中的隐私信息。它可以自动识别视频画面中的人脸和标志牌,并对其打码遮盖,避免敏感信息泄露。

  • 核心能力:
    • 隐私合规:避免人脸、车牌、标志物等敏感信息进入训练集,降低合规风险。
    • 效率提升:批量自动脱敏替代人工逐帧打码,支持多数据集并发处理。
    • 结构一致性:脱敏后数据集保持原始目录结构与 meta元数据,可直接进入下游训练流程。
  • 输入:LeRobot V3格式数据集目录、LeRobot V2.1格式数据集目录或MP4格式的视频目录。
  • 输出:脱敏后的LeRobot V3格式数据集目录、LeRobot V2.1格式数据集目录或MP4格式的视频目录。

输入说明

支持LeRobot V3格式数据集、LeRobot V2.1格式数据集以及MP4格式的视频目录,如果输入为不符合要求的数据集则运行时会报错。

输入数据集目录结构

输入为LeRobot V3格式:
<dataset_dir>/                           # 输入路径(V3 数据集根目录)  
└──meta
	└──episodes # Episode 元信息目录
		└──chunk-000
			└──file-xxx.parquet
	└──info.json   # 数据集基本信息(版本、帧率等)
	└──stats.json  # 数据统计信息
	└──tasks.parquet  # 任务定义 
└──videos      # 视频数据
	└──observation.images.front
		└──chunk-000
			└──file-xxx.mp4
	└──observation.images.wrist
		└──chunk-000
			└──file-xxx.mp4
└──data
	└──chunk-000
		└──file-xxx.parquet   # 轨迹数据

输入为LeRobot V2.1格式:

<input_dir>/                           # 输入路径(V2.1 数据集根目录)
├── data/
│   └── chunk-000/
│       ├── episode_000000.parquet       # 轨迹数据
│       ├── episode_000001.parquet
│       └── ...
├── meta/
│   ├── info.json                        # 数据集基本信息(版本、帧率等)
│   ├── tasks.jsonl                      # 任务定义(jsonl 格式)
│   ├── episodes.jsonl                   # Episode 元信息
│   └── episodes_stats.jsonl             # Episode 统计信息
├── images/                              # 图像数据(图片序列,可选)
│   ├── observation.images.front/
│   ├── observation.images.wrist_left/
│   └── observation.images.wrist_right/
└── videos/                              # 视频数据
输入为MP4格式:
└──dir1-xxxxxx# 视频数据
        └──dir2-xxxxx
                └──file-xxx.mp4
                └──file-xxx.mp4
        └──dir3-xxxxx
                └──file-xxx.mp4
                └──file-xxx.mp4

输出说明

根据输入数据集目录层级生成同目录结构的脱敏后的LeRobot V3格式数据集、LeRobot V2.1格式数据集或MP4格式视频数据集。

输出目录结构

脱敏后的 LeRobot V3格式数据集:

<output_dir>/<key>/  
└──meta
	└──episodes # Episode 元信息目录
		└──chunk-000
			└──file-xxx.parquet
	└──info.json   # 数据集基本信息(版本、帧率等)
	└──stats.json  # 数据统计信息
	└──tasks.parquet  # 任务定义 
└──videos      # 视频数据
	└──observation.images.front
		└──chunk-000
			└──file-xxx.mp4
	└──observation.images.wrist
		└──chunk-000
			└──file-xxx.mp4
└──data
	└──chunk-000
		└──file-xxx.parquet   # 轨迹数据

脱敏后的 LeRobot V2.1格式数据集:

<input_dir>/                           # 输入路径(V2.1 数据集根目录)
├── data/
│   └── chunk-000/
│       ├── episode_000000.parquet       # 轨迹数据
│       ├── episode_000001.parquet
│       └── ...
├── meta/
│   ├── info.json                        # 数据集基本信息(版本、帧率等)
│   ├── tasks.jsonl                      # 任务定义(jsonl 格式)
│   ├── episodes.jsonl                   # Episode 元信息
│   └── episodes_stats.jsonl             # Episode 统计信息
├── images/                              # 图像数据(图片序列,可选)
│   ├── observation.images.front/
│   ├── observation.images.wrist_left/
│   └── observation.images.wrist_right/
└── videos/                              # 视频数据

脱敏后的MP4视频格式数据集:

└──dir1-xxxxxx# 视频数据
        └──dir2-xxxxx
                └──file-xxx.mp4
                └──file-xxx.mp4
        └──dir3-xxxxx
                └──file-xxx.mp4
                └──file-xxx.mp4

相关文档