数据转换
介绍如何将Pika原始采集数据按照同步关系统一转换为LeRobot v3格式,以适配后续的模型训练流程。
Pika原始采集数据采用自定义格式,分别存储左右末端的鱼眼图像、位姿信息及夹爪状态。训练前,需要按照同步关系组织各路数据,并将其统一转换为LeRobot v3格式,以适配通用的数据加载与模型训练流程。
原始数据集结构如下:
数据转换以原始Pika/遥操episode为输入,依次完成同步数据校验、位姿与夹爪状态读取、训练状态与动作构建、鱼眼图像裁剪及视频编码,最终生成包含逐帧数据、视频和元信息的 LeRobot v3 数据集。转换过程中保留连续夹爪宽度,为后续的数据清理、二值化和质量筛选提供统一输入。
- 指定输入目录,确定转换范围
模块可以选择使用Pika数据或者遥操数据,按照编号顺序组织数据;也可以限制转换数量,先小规模测试。如果选择混合模式,可以同时转换pika和遥操数据,并将这种数据拼接。
- 检查六路数据的同步完整性
检查左右相机、左右位姿、左右夹爪的 sync.txt,确认同步列表非空、长度一致、引用文件存在,且时间戳顺序有效。
如果发现缺帧、文件缺失或序列异常,脚本会输出异常日志并停止转换。它按已有同步列表读取数据,不会自动补帧或修复同步关系。
- 读取位姿和连续夹爪宽度
按各路同步列表逐帧读取位姿 JSON 中的 x、y、z、roll、pitch、yaw,以及夹爪 JSON 中的 distance。旋转数据经过旋转矩阵、旋转向量等内部表示转换,最终统一输出为 xyz 顺序的欧拉角。
此阶段只读取连续夹爪宽度,不读取或推导二值开合指令。
- 构建模型需要的state和action
每一侧包含7维,左右拼接后,observation.state和action都是14维:
表1 state和action字段说明 字段
每侧的7维内容
observation.state
当前帧的绝对位置、RPY 姿态、连续夹爪宽度。
action
到下一帧的局部位置增量、局部旋转增量、下一帧夹爪宽度。
位姿动作按照当前末端坐标系计算。因此,动作描述的是从当前姿态如何移动到下一帧。每个episode的最后一帧没有下一帧,位姿增量设为零,夹爪宽度重复最后一个值。
- 生成逐帧索引和任务信息
脚本为每帧生成episode_index、frame_index、全局index 和task_index,并按照固定的30 FPS生成episode内相对时间:
timestamp = frame_index / 30
随后把state、action和索引写入Parquet,同时记录各episode的长度、边界及任务信息。
- 裁剪鱼眼图像,并编码为视频
左右相机分别使用固定裁剪窗口,坐标格式为“左上角 x、左上角 y、宽、高”:
表2 左右相机裁剪窗口参数 相机
裁剪窗口
左侧
(561, 158, 800, 800)
右侧
(547, 170, 800, 800)
裁剪后的图像由800×800缩放至224×224,转换为RGB,再按照同步帧顺序编码为两路30 FPS的AV1视频。
这一步通过裁剪减少边缘畸变的影响,裁剪后仍保留鱼眼畸变。当前窗口针对已有相机设置固定配置,更换相机安装位置或图像分辨率后,需要重新确认裁剪区域。
- 生成数据集描述、统计量和来源记录
脚本写入字段名称、维度、帧率、视频编码信息、episode数量和总帧数,并计算最小值、最大值、均值、标准差及分位数等统计量,为后续归一化提供依据。
同时保存原始目录、原始episode编号和转换方式,使输出数据能够追溯到采集来源。这个步骤计算统计量,不会直接对state和action做归一化。
- 校验结果并生成正式输出
检查 Parquet行数、14维字段结构、episode数量、任务信息,以及左右视频的帧数、分辨率和帧率。通过检查后,将临时目录改为正式数据集目录,并输出 conversion_summary.json。
本次转换得到102条episode、40,938帧,夹爪仍保持连续量形式。夹爪清理、轨迹平滑、异常episode筛选和IK质检由后续处理脚本执行。
创建数据转换任务
- 在左侧导航栏选择“数据准备 > 数据处理”,进入数据处理页面。
- 单击“创建任务”,进入创建数据处理任务界面。
- 选择预置算法:UMI转Lerobot算子,相应填写所需参数。
- 等待任务处理,可进入详情页查看任务日志和资源使用情况。
数据处理模块输入已转换为LeRobot v3格式的示教数据,围绕夹爪动作、末端运动轨迹和示教质量开展清理与优化。各项功能可根据任务特点按需组合,在保留原始数据的基础上生成新的训练数据集,并记录处理过程,便于检查和追溯。最终输出经过管线处理,可用于训练的数据集。
- 夹爪动作二值化
原始夹爪数据以连续开口距离表示,而不同模型对夹爪动作的表达要求不同。该模块支持保留连续宽度,也支持将夹爪动作整理为“打开”和“关闭”两种状态,从而适配不同的训练与控制方式。
当采集数据中包含原生开合指令时,可以直接使用这些指令;没有原生指令时,可以根据夹爪宽度变化推导开合状态。通过统一动作表达,减少不同采集来源和数据格式带来的差异,同时保留连续量与二值动作两种数据版本,便于开展训练对比。
- 夹爪异常修正
示教过程中,夹爪宽度会出现短暂突变、静止阶段的小幅波动、起始张开程度不一致,以及抓取后重新张开不足等问题。这些异常会增加训练数据中的噪声,使模型学习到不必要或不一致的夹爪动作。
模块支持对这些问题进行针对性修正,使夹爪宽度变化更加稳定,并统一特定动作阶段的开口状态。对于具有明确抓取、搬运和放置流程的任务,还可以根据预期动作顺序调整夹爪开合时序,提高动作标签与任务阶段之间的一致性。
- 末端运动轨迹平滑
手持采集过程中的抖动或定位波动,会导致末端位置和姿态出现不自然的跳变。这类变化进入训练数据后,可能使模型输出不连续的运动指令,影响动作执行的平稳性。
模块能够识别轨迹中的异常变化,并对相关局部区域进行平滑处理,在尽量保留原始运动趋势的前提下,减轻突变对训练的影响。处理后会同步更新对应的运动动作,保持状态轨迹与动作标签之间的一致关系。
- 异常示教筛选
除了局部数值异常,示教还存在整体动作流程问题,例如任务末段出现多余的夹爪操作,或经人工检查确认不适合训练的异常轨迹。这些数据即使格式完整,也可能向模型传递错误的任务执行模式。
模块支持结合任务规则和人工检查结果,按完整示教轨迹进行筛选。对无法通过局部修正改善的样本,可以直接剔除,避免异常动作影响模型学习。筛选规则需要结合具体任务设置,例如多次抓放本身就是任务要求时,应采用与之匹配的判断标准。
- 运动学可达性检查
UMI示教记录的是人手带动末端完成的运动,这些运动并非都能由目标机器人复现。因此,数据质量检查还需要考虑机器人自身的运动学约束。
模块结合目标机器人的运动学模型,评估示教中的末端位置和姿态是否能够实现,并检查运动过程中是否存在求解失败或明显的位姿跟踪偏差。检查结果既可以用于生成审计报告,也可以作为数据筛选依据,帮助识别难以由目标机器人复现的轨迹,为后续真机执行提供运动学层面的参考。
- 数据一致性与可追溯性管理
轨迹修正和示教删除后,图像、机器人状态及动作标签必须继续保持对应关系。模块会同步整理保留数据的索引、视频和动作信息,确保模型读取到的画面、状态与目标动作属于同一个时间位置。
处理完成后,输出连续夹爪动作和二值夹爪动作两套数据集,支持不同训练配置及实验对比。同时记录数据来源、修改内容、删除的示教及检查结果,使每份处理后数据都能够追溯到原始采集样本,便于复核数据质量和复现实验。
- 夹爪动作二值化