更新时间:2026-11-11 GMT+08:00
分享

数据转换

介绍如何将Pika原始采集数据按照同步关系统一转换为LeRobot v3格式,以适配后续的模型训练流程。

Pika原始采集数据采用自定义格式,分别存储左右末端的鱼眼图像、位姿信息及夹爪状态。训练前,需要按照同步关系组织各路数据,并将其统一转换为LeRobot v3格式,以适配通用的数据加载与模型训练流程。

原始数据集结构如下:

图1 原始数据集结构

数据转换以原始Pika/遥操episode为输入,依次完成同步数据校验、位姿与夹爪状态读取、训练状态与动作构建、鱼眼图像裁剪及视频编码,最终生成包含逐帧数据、视频和元信息的 LeRobot v3 数据集。转换过程中保留连续夹爪宽度,为后续的数据清理、二值化和质量筛选提供统一输入。

  • 指定输入目录,确定转换范围

    模块可以选择使用Pika数据或者遥操数据,按照编号顺序组织数据;也可以限制转换数量,先小规模测试。如果选择混合模式,可以同时转换pika和遥操数据,并将这种数据拼接。

  • 检查六路数据的同步完整性

    检查左右相机、左右位姿、左右夹爪的 sync.txt,确认同步列表非空、长度一致、引用文件存在,且时间戳顺序有效。

    如果发现缺帧、文件缺失或序列异常,脚本会输出异常日志并停止转换。它按已有同步列表读取数据,不会自动补帧或修复同步关系。

  • 读取位姿和连续夹爪宽度

    按各路同步列表逐帧读取位姿 JSON 中的 x、y、z、roll、pitch、yaw,以及夹爪 JSON 中的 distance。旋转数据经过旋转矩阵、旋转向量等内部表示转换,最终统一输出为 xyz 顺序的欧拉角。

    此阶段只读取连续夹爪宽度,不读取或推导二值开合指令。

  • 构建模型需要的state和action

    每一侧包含7维,左右拼接后,observation.state和action都是14维:

    表1 state和action字段说明

    字段

    每侧的7维内容

    observation.state

    当前帧的绝对位置、RPY 姿态、连续夹爪宽度。

    action

    到下一帧的局部位置增量、局部旋转增量、下一帧夹爪宽度。

    位姿动作按照当前末端坐标系计算。因此,动作描述的是从当前姿态如何移动到下一帧。每个episode的最后一帧没有下一帧,位姿增量设为零,夹爪宽度重复最后一个值。

  • 生成逐帧索引和任务信息

    脚本为每帧生成episode_index、frame_index、全局index 和task_index,并按照固定的30 FPS生成episode内相对时间:

    timestamp = frame_index / 30

    随后把state、action和索引写入Parquet,同时记录各episode的长度、边界及任务信息。

  • 裁剪鱼眼图像,并编码为视频

    左右相机分别使用固定裁剪窗口,坐标格式为“左上角 x、左上角 y、宽、高”:

    表2 左右相机裁剪窗口参数

    相机

    裁剪窗口

    左侧

    (561, 158, 800, 800)

    右侧

    (547, 170, 800, 800)

    裁剪后的图像由800×800缩放至224×224,转换为RGB,再按照同步帧顺序编码为两路30 FPS的AV1视频。

    这一步通过裁剪减少边缘畸变的影响,裁剪后仍保留鱼眼畸变。当前窗口针对已有相机设置固定配置,更换相机安装位置或图像分辨率后,需要重新确认裁剪区域。

  • 生成数据集描述、统计量和来源记录

    脚本写入字段名称、维度、帧率、视频编码信息、episode数量和总帧数,并计算最小值、最大值、均值、标准差及分位数等统计量,为后续归一化提供依据。

    同时保存原始目录、原始episode编号和转换方式,使输出数据能够追溯到采集来源。这个步骤计算统计量,不会直接对state和action做归一化。

  • 校验结果并生成正式输出

    检查 Parquet行数、14维字段结构、episode数量、任务信息,以及左右视频的帧数、分辨率和帧率。通过检查后,将临时目录改为正式数据集目录,并输出 conversion_summary.json。

    本次转换得到102条episode、40,938帧,夹爪仍保持连续量形式。夹爪清理、轨迹平滑、异常episode筛选和IK质检由后续处理脚本执行。

创建数据转换任务

  1. 在左侧导航栏选择“数据准备 > 数据处理”,进入数据处理页面。
  2. 单击“创建任务”,进入创建数据处理任务界面。
  3. 选择预置算法:UMI转Lerobot算子,相应填写所需参数。
  4. 等待任务处理,可进入详情页查看任务日志和资源使用情况。

    数据处理模块输入已转换为LeRobot v3格式的示教数据,围绕夹爪动作、末端运动轨迹和示教质量开展清理与优化。各项功能可根据任务特点按需组合,在保留原始数据的基础上生成新的训练数据集,并记录处理过程,便于检查和追溯。最终输出经过管线处理,可用于训练的数据集。

    • 夹爪动作二值化

      原始夹爪数据以连续开口距离表示,而不同模型对夹爪动作的表达要求不同。该模块支持保留连续宽度,也支持将夹爪动作整理为“打开”和“关闭”两种状态,从而适配不同的训练与控制方式。

      当采集数据中包含原生开合指令时,可以直接使用这些指令;没有原生指令时,可以根据夹爪宽度变化推导开合状态。通过统一动作表达,减少不同采集来源和数据格式带来的差异,同时保留连续量与二值动作两种数据版本,便于开展训练对比。

    • 夹爪异常修正

      示教过程中,夹爪宽度会出现短暂突变、静止阶段的小幅波动、起始张开程度不一致,以及抓取后重新张开不足等问题。这些异常会增加训练数据中的噪声,使模型学习到不必要或不一致的夹爪动作。

      模块支持对这些问题进行针对性修正,使夹爪宽度变化更加稳定,并统一特定动作阶段的开口状态。对于具有明确抓取、搬运和放置流程的任务,还可以根据预期动作顺序调整夹爪开合时序,提高动作标签与任务阶段之间的一致性。

    • 末端运动轨迹平滑

      手持采集过程中的抖动或定位波动,会导致末端位置和姿态出现不自然的跳变。这类变化进入训练数据后,可能使模型输出不连续的运动指令,影响动作执行的平稳性。

      模块能够识别轨迹中的异常变化,并对相关局部区域进行平滑处理,在尽量保留原始运动趋势的前提下,减轻突变对训练的影响。处理后会同步更新对应的运动动作,保持状态轨迹与动作标签之间的一致关系。

    • 异常示教筛选

      除了局部数值异常,示教还存在整体动作流程问题,例如任务末段出现多余的夹爪操作,或经人工检查确认不适合训练的异常轨迹。这些数据即使格式完整,也可能向模型传递错误的任务执行模式。

      模块支持结合任务规则和人工检查结果,按完整示教轨迹进行筛选。对无法通过局部修正改善的样本,可以直接剔除,避免异常动作影响模型学习。筛选规则需要结合具体任务设置,例如多次抓放本身就是任务要求时,应采用与之匹配的判断标准。

    • 运动学可达性检查

      UMI示教记录的是人手带动末端完成的运动,这些运动并非都能由目标机器人复现。因此,数据质量检查还需要考虑机器人自身的运动学约束。

      模块结合目标机器人的运动学模型,评估示教中的末端位置和姿态是否能够实现,并检查运动过程中是否存在求解失败或明显的位姿跟踪偏差。检查结果既可以用于生成审计报告,也可以作为数据筛选依据,帮助识别难以由目标机器人复现的轨迹,为后续真机执行提供运动学层面的参考。

    • 数据一致性与可追溯性管理

      轨迹修正和示教删除后,图像、机器人状态及动作标签必须继续保持对应关系。模块会同步整理保留数据的索引、视频和动作信息,确保模型读取到的画面、状态与目标动作属于同一个时间位置。

      处理完成后,输出连续夹爪动作和二值夹爪动作两套数据集,支持不同训练配置及实验对比。同时记录数据来源、修改内容、删除的示教及检查结果,使每份处理后数据都能够追溯到原始采集样本,便于复核数据质量和复现实验。

相关文档