创建模型评测任务（单任务）
本章节指导用户如何创建单个任务的模型评测任务，需要选择目标模型、评测场景，并按照任务目标配置任务的评测次数、回放视频等信息，成功创建任务后需要进入仿真环境启动评测任务。
前提条件
- 已准备评测模型（已部署且运行中）、评测场景（仿真）。
- 使用系统提供的公共资源或者使用自行创建的专属资源。
创建评测任务（单任务）
- 在左侧菜单栏选择“模型开发 > 模型评测”，进入“模型评测”页面。
如果是首次操作，请务必仔细查看新手引导，有利于后续操作的便利性。
- 在页面右上角单击“创建任务”，进入“创建模型评测任务”页面。
- 请按照页面提示配置评测任务参数。
表1 评测任务参数 参数
说明
基本信息
任务名称
请输入评测任务名称，推荐与实际要评测的模型服务相关。
任务名称是由中文、数字、字母、下划线（_）、连字符（-）、点（.）、斜线（/）组成，输入长度范围为3~64个字符。
描述（可选）
请输入自定义评测任务描述，通过此描述可以清晰了解任务目的、场景等信息。
描述内容长度不能超过512个字符。
评测对象
评测模型
按照需要选择要评测的模型服务，仅支持选择1个评测模型，主要有具身广场（系统预置）、空间资产（自定义模型）这两类模型服务。
具体操作请参见选择评测模型。
资源配置
资源池类型
请按照实际需要选择资源池。
- 专属资源池：专属资源池不与其他用户共享，资源更可控。在使用专属资源池之前，您需要先创建专属资源池，然后在开发过程中选择此专属资源池。专属资源池的创建可通过订阅CloudRobo具身智能开发平台基础版或专业版或纳管资源完成。不同方式创建的专属资源池应用场景有所不同，请以实际界面展示为准。
- 公共资源池：公共资源池提供公共的大规模计算集群，根据用户作业参数分配使用，资源按作业隔离。用户下发训练作业、部署模型、使用开发环境实例等情况下，均可以使用公共资源池完成。开通账号并申请公测后即可使用CloudRobo的公共资源池。
评测配置
评测类型
选择“单任务测评”。
任务场景资产
按照需要选择要评测的场景，仅支持选择1个场景资产，主要有具身广场（系统预置仿真资产）、空间资产（自定义仿真资产）这两类仿真资产。
具体操作请参见选择评测场景。
评测次数
输入本次任务中模型评测次数。比如输入2，代表本次评测任务，需要执行模型评测2次。
- 当“资源池类型”为“公共资源池”时，取值范围在1到10之间。
- 当“资源池类型”为“专属资源池”时，取值范围在1到50之间。
超时时长（秒）
输入本次任务中，每个评测过程可以超出的时长。取值范围在0到300秒之间。
评测过程中，可能会出现异常导致执行未正常结束，该时长将重置。
回放视频设置
评测模型服务时，可以选择性保存评测的回放视频，按照需求选择要保存的视频类型。
- 执行失败
勾选该选项表示会保存任务执行失败轮次的回放视频。
- 执行成功-长耗时
勾选该选项表示会保存任务执行成功且耗时过长轮次的回放视频。
长耗时，视频耗时大于平均时间的75%（平均时间是同一评测任务下，执行成功的评测所需的总时间/评测成功次数）。
- 执行成功-标准耗时
勾选该选项表示会保存任务执行成功且耗时水平正常轮次的回放视频。
请按照需求设定成功采样比例，当前评测任务会按照设定的比例抽样保存执行成功的视频。
图1 成功采样比例
- 完成后单击“立即创建”，页面弹出提交成功界面，请务必仔细阅读提示语，单击“确定”。
在模型评测列表可以查看成功创建的评测任务，成功创建的评测任务状态为“等待配置”，请在30分钟内进入仿真环境启动评测，超时会自动终止该任务。
选择评测模型
- 在评测模型处单击“选择模型服务”，页面右侧显示“选择模型服务”界面。 图2 选择模型服务
界面上仅展示状态为运行中的模型服务，如需使用其他模型服务，请前往模型部署页面中修改服务状态或部署新模型服务。
- 按照实际选择“具身广场-模型”或“空间资产-模型”页签。
界面默认显示所有模型，主要有感知模型、导航模型、操作模型、规划模型，可以按照属性类型或模型名称筛选目标模型服务。
- 在左侧区域选择目标模型服务，并在右侧选择已部署的模型服务版本。
仅支持选择1个模型服务版本。
图3 选择模型服务示例
- 完成后单击“确定”，页面会显示模型服务卡片。
如果不满意此次选择的模型服务，请直接单击模型服务卡片，在界面上按照2~3选择其他模型服务。
图4 模型服务卡片
