示例:使用ACT模型训练“把笔插进笔筒”的技能
场景描述
ACT算法(Action Chunking with Transformers)由2023年斯坦福RSS论文《Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware》提出,配套低成本遥操作硬件ALOHA/Mobile ALOHA,是一种专门为机器人精细操作设计的端到端模仿学习算法。
本章节将介绍如何使用CloudRobo内置的ACT算法,并结合LeRobo V3格式的数据集进行模型训练,实现将笔插进笔筒的技能。
环境准备
- 用户能正常使用CloudRobo云服务。
- 使用本地自有的SO101机械臂采集数据,形成LeRobot V3格式数据集。
数据集格式请参考具身广场内置数据集SO101_Place_Pen_Holder-SIM-DATASET(在左侧导航栏选择“具身广场”菜单,搜索该数据集)
- 使用obsutil工具(obsutil工具介绍详见OBS工具指南)将数据集上传至本用户所属CloudRobo用户空间所绑定的OBS桶中。
- 单击CloudRobo左侧导航栏“空间资产 > 数据”,单击右上角“创建数据”。
- 在“创建数据集”弹窗,单击“资产来源”,在弹出来的“存储位置”弹框中选择该数据集目录,单击“确定”。 图1 选中数据集OBS桶目录
- 回到“创建数据集”弹窗,单击“确定”纳管该数据集。
前提条件
已经完成华为云账号注册、实名认证及相关权限授权。具体操作请参见注册华为云账号、配置CloudRobo委托授权、创建IAM用户并授权使用CloudRobo。
约束限制
仅“西南-贵阳一”区域支持。
创建模型训练作业
- 登录CloudRobo控制台。
- 在左侧菜单栏中单击“模型开发 > 模型训练”,进入“模型训练”页面。
- 单击右上角“创建训练任务”。
- 在“创建训练作业”页面,按照表1配置信息。
表1 配置模型训练作业新 参数名
配置示例
基础信息
作业名称
按实际情况填写。
示例:SO101把笔插进笔筒
描述
可选配置参数,按实际情况填写。
示例:使用内置ACT训练算法实现笔插进笔筒
训练配置
训练方式
无基模型训练
算法
预置算法,下拉选择“ACT训练算法”。
数据设置
数据
支持2种方式:
- 预置数据,下拉选择“SO101_Place_Pen_Holder-SIM-DATASET”。
- 空间资产-数据,使用自己的SO101机械采集数据,数据创建和纳管请参考环境准备。
资源配置
资源
非公开资产,默认为“公共资源池”。
实例规格
1 * SNT9B2 | 24 vCPUs | 192 GiB
实例数
1
超参配置
超参配置可以选择默认值,也可以根据实际业务需求调整。
环境变量
环境变量可以选择默认值,也可以根据实际业务需求调整。
训练产物
保存方式
新模型
模型名称
按实际情况填写。
示例:把笔插进笔筒
模型版本号
按实际情况填写。
示例:01
模型类型
操作模型
指定日志保存路径
可选配置参数,按实际情况填写。
- 勾选“指定日志保存路径”,需填写具体OBS桶中位置。
- 不勾选将使用本用户所在的CloudRobo用户工作空间纳管的OBS桶中的默认路径。
图2 完成基础信息、训练配置及数据配置参数配置
图3 配置资源
图4 配置训练产物
- 单击“立即创建”运行训练作业。 系统返回到“模型训练”页面,新建的模型训练作业显示在训练任务列表中。图5 查看新建的模型训练作业
查看模型训练详情
- 登录CloudRobo控制台。
- 在左侧菜单栏中单击“模型开发 > 模型训练”,进入“模型训练”页面。
- 单击模型训练对应的作业名称/ID即可进入该训练作业详情页。
- 单击训练指标、监控、日志、事件等页签查看训练详情。 图6 查看训练作业详情