更新时间:2026-08-05 GMT+08:00
分享

数据集的归一化统计信息算子

数据集的归一化统计信息算子用于计算数据集中关键特征(action和state)的统计信息(均值、方差等),并将原始数据集复制到目标位置,同时保存这些统计信息供后续训练直接使用。

  • 核心能力:
    • 数据集验证:检查是否为合法的LeRobot v3格式。
    • 自动字段适配:如果缺少action字段,自动添加映射。
    • 统计量计算:计算state和action的均值、方差等统计信息。
    • 数据集复制:完整复制源数据集到目标位置。
    • 统计量持久化:将统计结果保存为标准化参数文件。
  • 输入:LeRobot V3格式数据集目录。
  • 输出:包含norm_stats的LeRobot V3格式数据集目录。

输入说明

支持LeRobot V3格式数据集,若输入为不符合要求的数据集则运行时会报错。

输入数据集目录结构

输入须为LeRobot V3格式:
<dataset_dir>/                           # 输入路径(V3 数据集根目录)  
├── data/   
      └── chunk-000/       
            ├── episode_000000.parquet       # 轨迹数据        
            ├── episode_000001.parquet        
            └── ...  
├── meta/   
      ├── info.json                        # 数据集基本信息(版本、帧率等)  
      ├── stats.jsonl                     # 数据统计信息     
      ├── tasks.parquet                    # 任务定义    
      └── episodes/                        # Episode 元信息目录  
└── videos/                              # 视频数据      
      ├── observation.images.front/      
      ├── observation.images.wrist_left/      
      └── observation.images.wrist_right/

输出说明

根据输入数据集目录层级生成同目录结构的输出包含norm_stats的LeRobot V3格式数据集。

输出目录结构

包含norm_stats的 LeRobot V3格式数据集:

<output_dir>/<key>/  
├── data/    
      └── chunk-000/       
            ├── episode_000000.parquet       # 轨迹数据        
            ├── episode_000001.parquet       
            └── ...  
├── meta/    
      ├── info.json                        # 数据集基本信息(版本、帧率等)   
      ├── stats.jsonl                     # 数据统计信息   
      ├── tasks.parquet                    # 任务定义 
      └── episodes/                        # Episode 元信息目录  
├── cloudrobo/       
      └── dataset-0/       
            └── norm_stats.json             # 统计信息
└── videos/                              # 视频数据      
      ├── observation.images.front/      
      ├── observation.images.wrist_left/      
      └── observation.images.wrist_right/

相关文档