创建CV大模型评测任务
创建CV大模型评测任务前,请确保已完成创建CV大模型评测数据集操作。
创建CV大模型自动评测任务(基于规则)
创建CV大模型自动评测任务步骤如下:
- 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
图1 我的空间
- 在左侧导航栏中选择“评测中心 > 评测任务”,单击界面右上角“创建自动评测任务”。
- 在“创建自动评测任务”页面,参考表1完成部署参数设置。
表1 CV大模型自动评测任务参数说明(基于规则) 参数分类
参数名称
参数说明
选择服务
模型类型
选择“CV大模型”。
评测模型
评测不同的CV模型。支持物体检测N,物体检测S,图像分类,语义分割等类型。
服务来源
支持已部署服务、外部服务两种选项。单次最多可评测10个模型。
- 已部署服务:选择部署至ModelArts Studio平台的模型进行评测。
说明:
仅支持云上部署模型做自动评测。
- 外部服务:通过API的方式接入外部模型进行评测。
评测配置
评测规则
选择“基于规则”。
数据集标注模式
选择“有标注模式”。
评测结果存储位置
模型评测结果的存储位置。
基本信息
评测任务名称
填写评测任务名称。
描述
填写评测任务描述。
- 已部署服务:选择部署至ModelArts Studio平台的模型进行评测。
- 参数填写完成后,单击“立即创建”,回退至“评测任务 > 自动评测”页面。
- 当状态为“已完成”时,可以单击操作列“评测报告”查看模型评测结果,包括模型详细的得分以及评测明细。