模型入门：一键模型评测

场景介绍

CloudRobo的模型评测是在评估智能体（比如机器人）在仿真场景（物理或虚拟环境）中通过模型驱动完成特定任务的能力。

前提条件

• 已准备评测模型（已部署且运行中）。
• 已准备评测场景（仿真资产）。

计费影响

模型评测可以调用公共资源池或专属资源池。模型评测功能本身不收费，模型评测使用的资源计费：

• 公共资源池：不收费，但限制个人资源配额。
• 专属资源池：CloudRobo采用纳管客户自有计算资源方式运行，客户需要自行购买CCE资源。

约束限制

1. 评测模型限制
   • 仅支持选择1个模型服务版本。
   • 界面上仅展示状态为“运行中”的模型服务。
2. 资源池说明
   • 专属资源池：不与其他用户共享，资源更可控。
   • 公共资源池：提供公共的大规模计算集群，根据用户作业参数分配使用，资源按作业隔离。
3. 数据增广限制
   • 如果评测任务的仿真资产属于系统预置，不建议增加或删除仿真环境的实体配置，请保持默认配置。
   • 如果评测任务的仿真资产属于自定义创建，请严格按照仿真环境的实体数量配置。

创建评测任务（单任务）

1. 在左侧菜单栏选择“模型开发 > 模型评测”，进入“模型评测”页面。

   如果是首次操作，请务必仔细查看新手引导，有利于后续操作的便利性。

2. 在页面右上角单击“创建评测任务”，进入“创建评测任务”页面。
3. 请按照页面提示配置评测任务参数。

   表1 评测任务参数

   参数	说明
   基本信息
   任务名称	请输入评测任务名称，推荐与实际要评测的模型服务相关。 任务名称是由中文、数字、字母、下划线（_）、连字符（-）、点（.）、斜线（/）组成，输入长度范围为3~64个字符。
   描述（可选）	请输入自定义评测任务描述，通过此描述可以清晰了解任务目的、场景等信息。
   评测对象
   评测模型	按照需要选择要评测的模型服务，仅支持选择1个评测模型，主要有具身广场（系统预置）、空间资产（自定义模型）这两类模型服务。
   资源配置
   资源池	请按照实际需要选择资源池。 专属资源池：专属资源池不与其他用户共享，资源更可控。在使用专属资源池之前，您需要先创建一个专属资源池，然后在开发过程中选择此专属资源池。 公共资源池：公共资源池提供公共的大规模计算集群，根据用户作业参数分配使用，资源按作业隔离。 用户下发训练作业、部署模型、使用开发环境实例等，均可以使用公共资源池完成。
   评测配置
   评测类型	选择“单任务测评”。
   任务场景资产	按照需要选择要评测的场景，仅支持选择1个场景资产，主要有具身广场（系统预置仿真资产）、空间资产（自定义仿真资产）这两类仿真资产。
   评测次数	输入本次任务中模型评测次数。比如输入2，代表本次评测任务，需要执行模型评测2次。 取值范围在1到10之间。
   超时时长（秒）	输入本次任务可以超出的时长。取值范围在0到300秒之间。 评测过程中，可能会出现异常导致执行未正常结束，该时长将重置。
   回放视频设置	评测模型服务时，可以选择性保存评测的回放视频，按照需求选择要保存的视频类型。 执行失败 勾选该选项表示会保存任务执行失败轮次的回放视频。 执行成功-长耗时 勾选该选项表示会保存任务执行成功且耗时过长轮次的回放视频。 长耗时，视频耗时大于平均时间的75%（平均时间是同一评测任务下，执行成功的评测所需的总时间/评测成功次数）。 执行成功-标准耗时 勾选该选项表示会保存任务执行成功且耗时水平正常轮次的回放视频。 请按照需求设定成功采样比例，当前评测任务会按照设定的比例抽样保存执行成功的视频。 图1 成功采样比例

4. 完成后单击“立即创建”，页面弹出提交成功界面，请务必仔细阅读提示语，单击“确定”。

   在模型评测列表可以查看成功创建的评测任务，成功创建的评测任务状态为“等待配置”，请在30分钟内进入仿真环境启动评测，超时会自动终止该任务。

选择评测模型

1. 在评测模型处单击“选择模型服务”，页面右侧显示“选择模型服务”界面。
   图2 选择模型服务
   

   界面上仅展示状态为运行中的模型服务，如需使用其他模型服务，请前往模型部署页面中修改服务状态或部署新模型服务。

2. 按照实际选择“具身广场-模型”或“空间资产-模型”页签。
   • 具身广场-模型，显示所有部署的系统预置模型服务。
   • 空间资产-模型，显示所有部署的自定义模型服务。

   界面默认显示所有模型，主要有感知模型、导航模型、操作模型、规划模型，可以按照属性类型或模型名称筛选目标模型服务。

3. 在左侧区域选择目标模型服务，并在右侧选择已部署的模型服务版本。

   仅支持选择1个模型服务版本。

4. 完成后单击“确定”，页面会显示模型服务卡片。

   如果不满意此次选择的模型服务，请直接单击模型服务卡片，在界面上按照2~3选择其他模型服务。

选择评测场景

1. 在场景资产处单击“选择场景”，页面右侧显示“选择场景”界面。
   图3 选择场景
   

2. 按照实际选择“具身广场-仿真”或“空间资产-仿真”页签。
   • 具身广场-仿真，显示所有系统预置的仿真资产。
   • 空间资产-仿真，显示所有自定义的仿真资产。

   界面默认显示所有场景资产，可以按照名称、类型、标签筛选场景资产。

3. 选择目标场景资产，仅支持选择1个场景资产。
4. 完成后单击“确定”，页面会显示场景资产卡片。

   如果不满意此次选择的场景资产，请直接单击场景资产卡片，在界面上按照2~3选择其他场景资产。

启动模型评测单任务

1. 在左侧菜单栏选择“模型开发 > 模型评测”，进入“模型评测”页面。
2. 在模型评测列表找到目标评测任务，单击对应“操作”列的“仿真环境”。
3. （可选）在“模型评测指南”界面，阅读模型评测指引，勾选“不再提示”，后续将不会弹出此界面，完成后单击“我已了解”。
4. 进入仿真环境页面。

   界面左侧的“Entity Outliner”选项中显示当前仿真环境的所有实体，包括物体、物体面、室内光源、自然光源等。

   

   一切实际显示的参数与创建评测任务时选择的仿真资产一致。

   图4 仿真环境示例
   

5. 在页面左侧选择“技能测评”选项卡，单击“创建观测相机”，可以添加用于保存回放视频的调整相机，建议保持系统默认的相机配置。
   图5 创建观测相机示例
   

   如果要调整观测相机位置，请参见后续的“调整观测相机位置”。

6. （可选）配置仿真环境的数据增广。
   1. 单击仿真软件左侧导航栏的，界面右侧会显示“数据增广”选项。
      图6 打开数据增广示例
      
   2. 在“数据增广”选项，可以按照需要配置物体位姿增广、环境纹理增广、光源增广。

      系统会根据评测任务选择的仿真资产显示数据增广的默认配置，也可以根据需求调整数据增广配置（请参见后续的“调整数据增广配置”）。

      如果要删除或增加数据增广的配置，请继续下一步。

   3. （可选）增加或删除数据增广的配置。
      

      如果评测任务的仿真资产属于系统预置，不建议增加或删除仿真环境的实体配置，请保持默认配置。

      如果评测任务的仿真资产属于自定义创建，请严格按照仿真环境的实体数量配置。

      在目标数据增广选项，单击，即可增加配置；单击，即可删除配置。

   4. 在完成数据增广配置后，单击“全局随机与预览”预览数据增广配置效果。
   5. 整体配置完成后，单击“保存增广配置”，会保存当前所有配置，在后续评测任务中生效。

7. 单击“启动测评”，弹出“确认启动”对话框，确认后单击“Yes”，即启动评测任务。
8. 启动评测任务后，该评测任务状态为“执行中”，单击“仿真环境”进入仿真环境可查看机器人仿真测试实时画面。
   图7 执行中评测任务示例
   

9. 评测任务执行完成后，该评测任务状态为“已完成”，可以查看该任务的评测详情。

调整观测相机位置

• 方法一：调整观测相机坐标轴
  1. 在创建观测相机后，单击界面左侧“Entity Outliner”选项，在列表中显示创建的相机实体。
  2. 双击相机实体（比如skill_test_scene_camera），界面中间会显示观测相机位置（图7的红圈处），以坐标轴形式显示观测相机位置。
  3. 鼠标选中该坐标轴，按照实际拖动该坐标轴即可调整观测相机位置；或者在界面右侧“Inspector”选项的“Transform”处，修改Values的Translate的数值，即修改观测相机的X、Y、Z坐标数值，依次调整观测相机位置。
     图8 观测相机位置示例（坐标轴）
     
     图9 调整观测相机位置数值示例（坐标轴）
     
• 方法二：以观测视角调整观测相机位置

  将鼠标放置在界面目标位置处，单击鼠标右键，然后按照规划左右、上下等拖动画面，直至移至目标观测位置。

  按Esc键可以退出当前调整操作。

  图10 调整视角示例
  

调整数据增广配置

调整数据增广配置

如果本次不调整数据增广参数，默认保持上一次操作的配置。

• 物体位姿增广
  图11 物体、分布区域实体与配置示例
  

  选择要配置的物体、分布区域，从随机化功能开关中打开/关闭一种或多种。

  • 仅打开“随机化位置”开关，物体会随机化调整位置。
  • 仅打开“随机化旋转”开关，物体会随机化旋转。
  • 同时打开“随机化位置”和“随机化旋转”开关，物体会随机化调整位置和旋转。

• 环境纹理增广

  表2 环境纹理增广

  参数	说明
  物体面	选择要纹理随机化的实体。 图12 环境纹理实体与配置示例
  基础纹理	选择要随机化的基础纹理，单击参数右侧的，在“添加基础纹理”弹窗，勾选单个或多个基础纹理，完成后单击“确认添加”。 图13 选择基础纹理示例
  污损纹理	选择要随机化的污损纹理，单击参数右侧的，在“添加污损纹理”弹窗，勾选单个或多个污损纹理，完成后单击“确认添加”。 图14 选择污损纹理示例

• 光源增广

  表3 光源增广

  参数	说明
  自然光源	图15 自然光源实体与配置示例 按照需求配置时间段，选择“未配置”、“上午”、“下午”、“晚上”，当前仿真环境自然光源会按照配置的时间段呈现。 图16 以下午时间段为例 打开“随机化自然光”开关，当前仿真环境自然光源会随机化切换到任一时间段呈现。
  室内光源	图17 室内光源实体与配置示例 选择要进行光源随机化的室内光源实体，从随机化功能开关中打开/关闭一种或多种，主要包括“随机化开灯”、“随机化颜色”、“随机化亮度”，室内光源实体会按照随机化功能显示。

常见问题

1. 支持哪些机器人型号？

   支持jaka，so101，星海图R1，千寻，青龙。

2. 支持哪些开源benchmark任务集？

   支持libero。