文档首页/ 具身智能开发平台 CloudRobo/ 最佳实践/ 基于DAgger算法完成多轮模型训练/ 基于合并数据集在CloudRobo平台执行模型重训
更新时间:2026-08-05 GMT+08:00
分享

基于合并数据集在CloudRobo平台执行模型重训

交互式数据采集完成后,将采集的轨迹数据集与原始数据集合并上传至CloudRobo平台,基于该数据集完成LeRobot_PI05-Base操作模型重训。

合并DAGGER采集数据与原始数据集

新建一个terminal窗口,激活lerobot对应的conda环境,执行命令:

lerobot-edit-dataset --new_repo_id "{$new_merged_dataset}" --operation.type merge --operation.repo_ids "['{$dataset_1}','{$dataset_2}']" --push_to_hub false
  • {$new_merged_dataset}:合并后数据集的路径,比如/home/dagger_data/merged_dataset_20260618_0821。
  • {$dataset_1}: 待合并的数据集1的路径。
  • {$dataset_2}:待合并的数据集2的路径。

一般推荐通过人类干预方式采集的轨迹数量在100条以上,以保证数据质量。

数据集格式说明(LeRobotDataset格式:Parquet+视频/图片)

当前采用lerobot v3.0格式存储数据集。

示例

put_pen_20260612_143453/
  ├── meta/
  │   ├── info.json          # 数据集元信息 (版本、robot_type、fps 等)
  │   ├── stats.json         # 统计信息 (均值、标准差等)
  │   ├── tasks.parquet      # 任务定义
  │   └── episodes/
  │       └── chunk-000/
  │           └── file-000.parquet  # episode 元数据
  ├── data/
  │   └── chunk-000/
  │       └── file-000.parquet      # 实际数据 (action, observation.state 等)
  ├── videos/
  │   ├── observation.images.front/
  │   │   └── chunk-000/
  │   │       └── file-000.mp4      # 前视相机视频
  │   └── observation.images.wrist/
  │       └── chunk-000/
  │           └── file-000.mp4      # 手腕相机视频
  └── images/                      # 压缩后的图片 (备用)

上传数据集至CloudRobo平台

  1. 安装并配置obsutil,请参考下载并安装obsutil
  2. 获取访问密钥(AK和SK),请参考准备环境
  3. 配置obsutil与OBS的对接信息,请参考初始化配置
  4. 获取CloudRobo平台授权的OBS桶地址。

    1. 登录CloudRobo控制台
    2. 在页面左上角的下拉框单击“工作空间管理”,进入“工作空间管理”页面。
      图1 工作空间管理
    3. 在工作空间列表找到当前工作空间,并复制工作空间默认存储地址
      图2 复制工作空间默认地址示例

  5. 通过obsutil上传合并后的DAgger数据集。

    假设obs://cloudrobo/dagger是用户在CloudRobo平台授权的obs桶地址,上传成功后会得到obs://cloudrobo/dagger/data/merged_dataset_20260618_0821。

    cd obsutil_linux_amd64_x.x.x #进入obsutil所在目录。“x.x.x”表示obsutil的版本号
    chmod 755 obsutil            #为obsutil增加可执行权限
    ./obsutil cp home/dagger_data/merged_dataset_20260618_0821 obs://cloudrobo/dagger/data -r -f

在CloudRobo平台重训

  1. 登录CloudRobo控制台
  2. 在左侧导航栏选择“模型开发 > 模型训练”,进入“模型训练”页面。
  3. 在模型训练列表找到创建模型训练作业(首次)中创建的训练作业,且状态为“已完成”,单击对应“操作”列的“重训”。
  4. 在“重新训练作业”页面,修改目标参数,其余参数保持不变。

    • “数据设置”修改为“对象存储服务OBS”并选择5中的DAgger数据集地址。
    • “保存方式”修改为“已有模型版本”,且版本号改为v0.0.2。

  5. 完成后单击“确认提交”,在模型训练页面查看该训练作业处于“运行中”。

相关文档