# 创建模型评测任务（单任务） 本章节指导用户如何创建单个任务的模型评测任务，需要选择目标模型、评测场景，并按照任务目标配置任务的评测次数、回放视频等信息，成功创建任务后需要进入仿真环境启动评测任务。 #### 前提条件 - 已准备评测模型（已部署且运行中）、评测场景（仿真）。 - 使用系统提供的公共资源或者使用自行创建的[专属资源](https://support.huaweicloud.com/usermanual-cloudrobo/cloudrobo_02_0123.html)。 - 用户当前工作空间绑定的OBS桶需可用且OBS桶策略正常，否则功能无法正常使用。 - 如果OBS桶不可用，可根据界面提示重新选择存储地址。普通成员如遇配置失败，请联系管理员处理。 - 如果OBS桶策略异常，可根据界面提示重新配置OBS桶策略。普通成员如遇配置失败，请联系管理员处理。 - 如果因其他服务异常导致查询当前工作空间绑定的OBS桶详情失败，请联系华为云技术支持人员处理或[提交工单](https://support.huaweicloud.com/usermanual-ticket/zh-cn_topic_0127038618.html)。 #### 创建评测任务（单任务） 1. 在左侧导航栏选择"模型开发 \> 模型评测"，进入"模型评测"页面。 如果是首次操作，请务必仔细查看新手引导，有利于后续操作的便利性。 2. 在页面右上角单击"创建任务"，进入"创建模型评测任务"页面。 3. 请按照页面提示配置评测任务参数。 表1评测任务参数 | 参数 | 说明 | |:---|:---| | **基本信息** || | 任务名称 | 请输入评测任务名称，推荐与实际要评测的模型服务相关。 任务名称是由中文、数字、字母、下划线（_）、连字符（-）、点（.）、斜线（/）组成，输入长度范围为3\~64个字符。 | | 描述（可选） | 请输入自定义评测任务描述，通过此描述可以清晰了解任务目的、场景等信息。 描述内容长度不能超过512个字符。 | | **评测对象** || | 评测模型 | 按照需要选择要评测的模型服务，仅支持选择**1个**评测模型，主要有具身广场（系统预置）、空间资产（自定义模型）这两类模型服务。 具体操作请参见[选择评测模型]。 | | **资源配置** || | 资源池 | 请按照实际需要选择资源池。 - 专属资源池：专属资源池不与其他用户共享，资源更可控。在使用专属资源池之前，您需要先创建专属资源池，然后在开发过程中选择此专属资源池。不同业务使用的专属资源池有所不同，请参考[资源准备](https://support.huaweicloud.com/usermanual-cloudrobo/cloudrobo_02_0147.html)创建对应的专属资源池。 - 公共资源池：公共资源池提供公共的大规模计算集群，根据用户作业参数分配使用，资源按作业隔离。用户下发训练作业、部署模型、使用开发环境实例等情况下，均可以使用公共资源池完成。开通账号并申请公测后即可使用CloudRobo的公共资源池。 | | **评测配置** || | 评测类型 | 选择"单任务测评"。 | | 任务场景资产 | 按照需要选择要评测的场景，仅支持选择**1** **个**场景资产，主要有具身广场（系统预置仿真资产）、空间资产（自定义仿真资产）这两类仿真资产。 具体操作请参见[选择评测场景]。 | | 评测次数 | 输入本次任务中模型评测次数。比如输入2，代表本次评测任务，需要执行模型评测2次。 - 当"资源池类型"为"公共资源池"时，取值范围在1到50之间。 - 当"资源池类型"为"专属资源池"时，取值范围在1到50之间。 | | 超时时长（秒） | 输入评测任务中每次模型评测可以超出的时长。取值范围在0到300秒之间。 评测过程中，可能会出现异常导致执行未正常结束，该时长将重置。 | | 回放视频设置 | 评测模型服务时，可以选择性保存评测的回放视频，按照需求选择要保存的视频类型。 - **执行失败** 勾选该选项表示会保存任务执行失败轮次的回放视频。 - **执行成功-长耗时** 勾选该选项表示会保存任务执行成功且耗时过长轮次的回放视频。 长耗时，视频耗时大于平均时间的75%（平均时间是同一评测任务下，执行成功的评测所需的总时间/评测成功次数）。 - **执行成功-标准耗时** 勾选该选项表示会保存任务执行成功且耗时水平正常轮次的回放视频。 请按照需求设定成功采样比例，当前评测任务会按照设定的比例抽样保存执行成功的视频。 图1成功采样比例 ![](https://support.huaweicloud.com/usermanual-cloudrobo/zh-cn_image_0000002744091559.png "点击放大") | | 启动方式 | 请根据实际选择本次评测任务的启动方式。 - **自动启动** 创建评测任务成功后，该评测任务会按照仿真默认设置直接执行，无需手动配置，即自动启动评测任务。 - **手动启动** 创建评测任务成功后，单击"仿真环境"进入仿真界面，创建观测相机并调整配置后启动任务，具体请参见[启动模型评测任务（单任务）](https://support.huaweicloud.com/usermanual-cloudrobo/cloudrobo_02_0042.html)。 | | 评测种子值 | 场景随机化的确定性因子，用于可复现的场景随机化。 对于同一个任务场景，使用同一个种子值可得到一致的场景随机化行为。 评测种子值输入范围在0\~10000之间。 | 4. 完成后单击"立即创建"，页面弹出提交成功界面，请务必仔细阅读提示语，单击"确定"。 在模型评测列表可以查看成功创建的评测任务，成功创建的评测任务状态为"等待配置"。 - 如果本次任务启动方式为"手动启动"，请在**30分钟**内进入仿真环境启动评测，超时会自动终止该任务。 - 如果本次任务启动方式为"自动启动"，请等待评测任务自动执行即可。 #### 选择评测模型 1. 在评测模型处单击"选择模型服务"，页面右侧显示"选择模型服务"界面。 图2选择模型服务 ![](https://support.huaweicloud.com/usermanual-cloudrobo/zh-cn_image_0000002714172558.png "点击放大") 界面上仅展示状态为**运行中** 的模型服务，如需使用其他模型服务，请前往[模型部署](https://support.huaweicloud.com/usermanual-cloudrobo/cloudrobo_02_0120.html)页面中修改服务状态或部署新模型服务。 2. 按照实际选择"具身广场-模型"或"空间资产-模型"页签。 - **具身广场-模型** ，显示所有支持部署的系统预置模型列表，系统预置模型更多信息请参见[具身广场](https://support.huaweicloud.com/usermanual-cloudrobo/cloudrobo_02_0006.html)。 - **空间资产-模型** ，显示所有支持部署的自定义模型列表，自定义模型更多信息请参见[创建自定义模型](https://support.huaweicloud.com/usermanual-cloudrobo/cloudrobo_02_0012.html)。 界面默认显示所有模型，主要有感知模型、导航模型、操作模型、规划模型，可以按照属性类型或模型名称筛选目标模型服务。 3. 在左侧区域选择目标模型服务，并在右侧选择已部署的模型服务版本。 仅支持选择**1个**模型服务版本。 图3选择模型服务示例 ![](https://support.huaweicloud.com/usermanual-cloudrobo/zh-cn_image_0000002743931583.png "点击放大") 4. 完成后单击"确定"，页面会显示模型服务卡片。 如果不满意此次选择的模型服务，请直接单击模型服务卡片，在界面上按照[2]\~[3]选择其他模型服务。 图4模型服务卡片 ![](https://support.huaweicloud.com/usermanual-cloudrobo/zh-cn_image_0000002744091561.png "点击放大") #### 选择评测场景 1. 在场景资产处单击"选择场景"，页面右侧显示"选择场景"界面。 图5选择场景 ![](https://support.huaweicloud.com/usermanual-cloudrobo/zh-cn_image_0000002714332654.png "点击放大") 2. 按照实际选择"具身广场-仿真"或"空间资产-仿真"页签。 - **具身广场-仿真** ，显示所有系统预置的仿真资产，系统预置仿真资产更多信息请参见[具身广场](https://support.huaweicloud.com/usermanual-cloudrobo/cloudrobo_02_0006.html)。 - **空间资产-仿真** ，显示所有自定义的仿真资产，自定义仿真资产更多信息请参见[仿真](https://support.huaweicloud.com/usermanual-cloudrobo/cloudrobo_02_0053.html)。 界面默认显示所有场景资产，可以按照名称、标签筛选场景资产。 3. 选择目标场景资产，仅支持选择**1个** 场景资产。 图6选择仿真资产示例 ![](https://support.huaweicloud.com/usermanual-cloudrobo/zh-cn_image_0000002714172688.png "点击放大") 4. 完成后单击"确定"，页面会显示场景资产卡片。 如果不满意此次选择的场景资产，请直接单击场景资产卡片，在界面上按照[2]\~[3]选择其他场景资产。 图7场景资产卡片示例 ![](https://support.huaweicloud.com/usermanual-cloudrobo/zh-cn_image_0000002743931581.png "点击放大") #### 常见问题 创建模型评测任务（单任务）时，如果系统提示配额或资源不足，请参考"[创建执行作业时遇到系统提示配额或资源不足怎么解决](https://support.huaweicloud.com/cloudrobo_faq/cloudrobo_06_0003.html)"章节描述来解决。