更新时间:2026-11-02 GMT+08:00
分享

LeRobot数据集合并算子

LeRobot数据集合并算子用于将多个LeRobot数据集合并为一个V3格式数据集。支持V2.1与V3两种格式混合输入:V2.1 数据集会先自动转换为V3,再与原始V3数据集统一合并。

  • 核心能力:
    • 混合格式输入:源数据集可为V2.1 或V3,V2.1会自动转换为V3后再合并。
    • 格式校验:合并前对所有源数据集进行格式识别与兼容性校验(帧率、特征 schema)。
    • 视频快速合并:视频不重新编码,合并速度快。
    • 索引重建:合并后episode从0开始重新编号,统计信息从所有源数据集聚合。
    • 单输出:多源数据集合并为一个目标数据集目录。
  • 输入: 多个LeRobot数据集目录(V2.1或V3,可混合)。
  • 输出: 单个LeRobot V3格式数据集目录。

输入说明

支持LeRobot V2.1或V3格式数据,其他格式数据会自动跳过合并。

输入数据集格式

源数据集可为 LeRobot V2.1或V3格式,算子会自动识别分类。

  • LeRobot V3 格式
    <dataset_dir>/
    ├── data/
    │   └── chunk-000/
    │       └── file_*.parquet
    ├── meta/
    │   ├── info.json
    │   ├── stats.json
    │   ├── tasks.parquet
    │   └── episodes/
    └── videos/
        ├── observation.images.front/
        ├── observation.images.wrist_left/
        └── observation.images.wrist_right/
  • LeRobot V2.1 格式
    <dataset_dir>/
    ├── data/
    │   └── chunk-000/
    │       └── episode_*.parquet
    ├── meta/
    │   ├── info.json
    │   ├── tasks.jsonl
    │   ├── episodes.jsonl
    │   └── episodes_stats.jsonl
    ├── images/
    │   └── observation.images.*/
    └── videos/

    既非V3也非V2.1格式的目录会被跳过并告警。V2.1数据集会自动转换为V3后再参与合并。

兼容性校验(非自定义合并策略)

合并前会对所有源数据集(V2.1转换为V3 后)进行兼容性校验,以第一个通过校验的数据集为基准:

校验项

说明

失败处理

格式识别

识别为V3或V2.1。

非识别格式跳过并告警。

V2.1转换

V2.1自动转换为V3。

转换失败跳过并告警。

V3 加载验证

使用LeRobot V3接口加载验证。

加载失败跳过并告警。

帧率(fps)一致性

所有数据集fps必须与基准一致。

不一致跳过并告警。

特征(features)一致性

所有数据集features schema(key、dtype、shape)必须与基准一致。

不一致跳过并告警。

不兼容的数据集会被跳过,不影响其他数据集合并。若所有数据集均被跳过(无可用源),作业报错退出。

输出说明

多数据源输入合并后输出单个目录,格式为LeRobot V3。

输出目录结构

<output_dir>
├── data/
│   └── chunk-000/
│       ├── file_000000.parquet       
│       ├── file_000001.parquet
│       └── ...
├── meta/
│   ├── info.json                        # 数据集基本信息(codebase_version 为 v3.0)
│   ├── stats.json                       # 从所有源数据集聚合的统计信息
│   ├── tasks.parquet                    # 合并后的任务定义
│   └── episodes/                        # 合并后的 Episode 元信息
└── videos/                              # 合并后的视频数据
    ├── observation.images.front/
    ├── observation.images.wrist_left/
    └── observation.images.wrist_right/

相关文档