# 数据转换
介绍如何将Pika原始采集数据按照同步关系统一转换为LeRobot v3格式，以适配后续的模型训练流程。
Pika原始采集数据采用自定义格式，分别存储左右末端的鱼眼图像、位姿信息及夹爪状态。训练前，需要按照同步关系组织各路数据，并将其统一转换为LeRobot v3格式，以适配通用的数据加载与模型训练流程。
原始数据集结构如下：
图1原始数据集结构   
![](https://support.huaweicloud.com/bestpractice-cloudrobo/figure/zh-cn_image_0000002779732201.png "点击放大")
数据转换以**原始Pika/遥操episode为输入** ，依次完成同步数据校验、位姿与夹爪状态读取、训练状态与动作构建、鱼眼图像裁剪及视频编码，**最终生成包含逐帧数据、视频和元信息的 LeRobot v3 数据集**。转换过程中保留连续夹爪宽度，为后续的数据清理、二值化和质量筛选提供统一输入。
- **指定输入目录，确定转换范围**
  模块可以选择使用Pika数据或者遥操数据，按照编号顺序组织数据；也可以限制转换数量，先小规模测试。如果选择混合模式，可以同时转换pika和遥操数据，并将这种数据拼接。
  
- **检查六路数据的同步完整性**
  检查左右相机、左右位姿、左右夹爪的 sync.txt，确认同步列表非空、长度一致、引用文件存在，且时间戳顺序有效。
  如果发现缺帧、文件缺失或序列异常，脚本会输出异常日志并停止转换。它按已有同步列表读取数据，不会自动补帧或修复同步关系。
  
- **读取位姿和连续夹爪宽度**
  按各路同步列表逐帧读取位姿 JSON 中的 x、y、z、roll、pitch、yaw，以及夹爪 JSON 中的 distance。旋转数据经过旋转矩阵、旋转向量等内部表示转换，最终统一输出为 xyz 顺序的欧拉角。
  此阶段只读取连续夹爪宽度，不读取或推导二值开合指令。
  
- **构建模型需要的state和action**
  每一侧包含7维，左右拼接后，observation.state和action都是**14维**：
  表1state和action字段说明 
  | 字段                                           | 每侧的7维内容                     |
  |:---|:---|
  | observation.state | 当前帧的绝对位置、RPY 姿态、连续夹爪宽度。     |
  | action                                     | 到下一帧的局部位置增量、局部旋转增量、下一帧夹爪宽度。 |
     
  位姿动作按照当前末端坐标系计算。因此，动作描述的是从当前姿态如何移动到下一帧。每个episode的最后一帧没有下一帧，位姿增量设为零，夹爪宽度重复最后一个值。
  
- **生成逐帧索引和任务信息**
  脚本为每帧生成episode_index、frame_index、全局index 和task_index，并按照固定的**30 FPS**生成episode内相对时间：
  ```
  timestamp = frame_index / 30
  ```
  随后把state、action和索引写入Parquet，同时记录各episode的长度、边界及任务信息。
  
- **裁剪鱼眼图像，并编码为视频**
  左右相机分别使用固定裁剪窗口，坐标格式为"左上角 x、左上角 y、宽、高"：
  表2左右相机裁剪窗口参数 
  | 相机 | 裁剪窗口                |
  |:---|:---|
  | 左侧 | (561, 158, 800, 800) |
  | 右侧 | (547, 170, 800, 800)  |
     
  裁剪后的图像由**800×800缩放至224×224** ，转换为RGB，再按照同步帧顺序编码为两路**30 FPS的AV1视频**。
  这一步通过裁剪减少边缘畸变的影响，裁剪后仍保留鱼眼畸变。当前窗口针对已有相机设置固定配置，更换相机安装位置或图像分辨率后，需要重新确认裁剪区域。
  
- **生成数据集描述、统计量和来源记录**
  脚本写入字段名称、维度、帧率、视频编码信息、episode数量和总帧数，并计算最小值、最大值、均值、标准差及分位数等统计量，为后续归一化提供依据。
  同时保存原始目录、原始episode编号和转换方式，使输出数据能够追溯到采集来源。这个步骤计算统计量，不会直接对state和action做归一化。
  
- **校验结果并生成正式输出**
  检查 Parquet行数、14维字段结构、episode数量、任务信息，以及左右视频的帧数、分辨率和帧率。通过检查后，将临时目录改为正式数据集目录，并输出 conversion_summary.json。
  本次转换得到**102条episode、40,938帧**，夹爪仍保持连续量形式。夹爪清理、轨迹平滑、异常episode筛选和IK质检由后续处理脚本执行。
  
#### 创建数据转换任务
1. 在左侧导航栏选择"数据准备 \> 数据处理"，进入数据处理页面。
2. 单击"创建任务"，进入创建数据处理任务界面。
3. 选择预置算法：UMI转Lerobot算子，相应填写所需参数。
4. 等待任务处理，可进入详情页查看任务日志和资源使用情况。 
   数据处理模块**输入已转换为LeRobot v3格式的示教数据** ，围绕夹爪动作、末端运动轨迹和示教质量开展清理与优化。各项功能可根据任务特点按需组合，在保留原始数据的基础上生成新的训练数据集，并记录处理过程，便于检查和追溯。**最终输出经过管线处理，可用于训练的数据集。**
   - **夹爪动作二值化**
     原始夹爪数据以连续开口距离表示，而不同模型对夹爪动作的表达要求不同。该模块支持保留连续宽度，也支持将夹爪动作整理为"打开"和"关闭"两种状态，从而适配不同的训练与控制方式。
     当采集数据中包含原生开合指令时，可以直接使用这些指令；没有原生指令时，可以根据夹爪宽度变化推导开合状态。通过统一动作表达，减少不同采集来源和数据格式带来的差异，同时保留连续量与二值动作两种数据版本，便于开展训练对比。
     
   
   - **夹爪异常修正**
     示教过程中，夹爪宽度会出现短暂突变、静止阶段的小幅波动、起始张开程度不一致，以及抓取后重新张开不足等问题。这些异常会增加训练数据中的噪声，使模型学习到不必要或不一致的夹爪动作。
     模块支持对这些问题进行针对性修正，使夹爪宽度变化更加稳定，并统一特定动作阶段的开口状态。对于具有明确抓取、搬运和放置流程的任务，还可以根据预期动作顺序调整夹爪开合时序，提高动作标签与任务阶段之间的一致性。
     
   
   - **末端运动轨迹平滑**
     手持采集过程中的抖动或定位波动，会导致末端位置和姿态出现不自然的跳变。这类变化进入训练数据后，可能使模型输出不连续的运动指令，影响动作执行的平稳性。
     模块能够识别轨迹中的异常变化，并对相关局部区域进行平滑处理，在尽量保留原始运动趋势的前提下，减轻突变对训练的影响。处理后会同步更新对应的运动动作，保持状态轨迹与动作标签之间的一致关系。
     
   
   - **异常示教筛选**
     除了局部数值异常，示教还存在整体动作流程问题，例如任务末段出现多余的夹爪操作，或经人工检查确认不适合训练的异常轨迹。这些数据即使格式完整，也可能向模型传递错误的任务执行模式。
     模块支持结合任务规则和人工检查结果，按完整示教轨迹进行筛选。对无法通过局部修正改善的样本，可以直接剔除，避免异常动作影响模型学习。筛选规则需要结合具体任务设置，例如多次抓放本身就是任务要求时，应采用与之匹配的判断标准。
     
   
   - **运动学可达性检查**
     UMI示教记录的是人手带动末端完成的运动，这些运动并非都能由目标机器人复现。因此，数据质量检查还需要考虑机器人自身的运动学约束。
     模块结合目标机器人的运动学模型，评估示教中的末端位置和姿态是否能够实现，并检查运动过程中是否存在求解失败或明显的位姿跟踪偏差。检查结果既可以用于生成审计报告，也可以作为数据筛选依据，帮助识别难以由目标机器人复现的轨迹，为后续真机执行提供运动学层面的参考。
     
   
   - **数据一致性与可追溯性管理**
     轨迹修正和示教删除后，图像、机器人状态及动作标签必须继续保持对应关系。模块会同步整理保留数据的索引、视频和动作信息，确保模型读取到的画面、状态与目标动作属于同一个时间位置。
     处理完成后，输出连续夹爪动作和二值夹爪动作两套数据集，支持不同训练配置及实验对比。同时记录数据来源、修改内容、删除的示教及检查结果，使每份处理后数据都能够追溯到原始采集样本，便于复核数据质量和复现实验。
     
   
   
   
   
 
