更新时间:2026-08-05 GMT+08:00
数据集的归一化统计信息算子
数据集的归一化统计信息算子用于计算数据集中关键特征(action和state)的统计信息(均值、方差等),并将原始数据集复制到目标位置,同时保存这些统计信息供后续训练直接使用。
- 核心能力:
- 数据集验证:检查是否为合法的LeRobot v3格式。
- 自动字段适配:如果缺少action字段,自动添加映射。
- 统计量计算:计算state和action的均值、方差等统计信息。
- 数据集复制:完整复制源数据集到目标位置。
- 统计量持久化:将统计结果保存为标准化参数文件。
- 输入:LeRobot V3格式数据集目录。
- 输出:包含norm_stats的LeRobot V3格式数据集目录。
输入说明
支持LeRobot V3格式数据集,若输入为不符合要求的数据集则运行时会报错。
输入数据集目录结构
输入须为LeRobot V3格式:
<dataset_dir>/ # 输入路径(V3 数据集根目录)
├── data/
└── chunk-000/
├── episode_000000.parquet # 轨迹数据
├── episode_000001.parquet
└── ...
├── meta/
├── info.json # 数据集基本信息(版本、帧率等)
├── stats.jsonl # 数据统计信息
├── tasks.parquet # 任务定义
└── episodes/ # Episode 元信息目录
└── videos/ # 视频数据
├── observation.images.front/
├── observation.images.wrist_left/
└── observation.images.wrist_right/ 输出说明
根据输入数据集目录层级生成同目录结构的输出包含norm_stats的LeRobot V3格式数据集。
输出目录结构
包含norm_stats的 LeRobot V3格式数据集:
<output_dir>/<key>/
├── data/
└── chunk-000/
├── episode_000000.parquet # 轨迹数据
├── episode_000001.parquet
└── ...
├── meta/
├── info.json # 数据集基本信息(版本、帧率等)
├── stats.jsonl # 数据统计信息
├── tasks.parquet # 任务定义
└── episodes/ # Episode 元信息目录
├── cloudrobo/
└── dataset-0/
└── norm_stats.json # 统计信息
└── videos/ # 视频数据
├── observation.images.front/
├── observation.images.wrist_left/
└── observation.images.wrist_right/ 父主题: 数据处理算子说明