- 功能总览
- 产品介绍
- 计费说明
- 快速入门
- 用户指南
- 最佳实践
- API参考
- SDK参考
-
常见问题
- 大模型概念类问题
-
大模型微调训练类问题
- 无监督领域知识数据量无法支持增量预训练,如何进行模型学习
- 如何调整训练参数,使盘古大模型效果最优
- 如何判断盘古大模型训练状态是否正常
- 如何评估微调后的盘古大模型是否正常
- 如何调整推理参数,使盘古大模型效果最优
- 为什么微调后的盘古大模型总是重复相同的回答
- 为什么微调后的盘古大模型的回答中会出现乱码
- 为什么微调后的盘古大模型的回答会异常中断
- 为什么微调后的盘古大模型只能回答训练样本中的问题
- 为什么在微调后的盘古大模型中输入训练样本问题,回答完全不同
- 为什么微调后的盘古大模型评估结果很好,但实际场景表现很差
- 为什么多轮问答场景的盘古大模型微调效果不好
- 数据量足够,为什么盘古大模型微调效果仍然不好
- 数据量和质量均满足要求,为什么盘古大模型微调效果不好
- 大模型使用类问题
- 提示词工程类
- 文档下载
- 通用参考
本文导读
链接复制成功!
评估图片类数据集
创建图片类数据集评估标准
ModelArts Studio大模型开发平台针对图片类数据集预设了一套基础评估标准,涵盖了图像清晰度、分辨率、标签准确性、图像一致性等多个质量维度,用户可以直接使用该标准或在该标准的基础上创建评估标准。
若您希望使用平台预置的评估标准,可跳过此章节至创建图片类数据集评估任务。
创建图片类数据集评估标准步骤如下:
- 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
- 在左侧导航栏中选择“数据工程 > 数据发布 > 数据评估”,在“人工评估标准”页签,平台预置了图片类数据集评估标准“图片数据质量标准 V1.0”,单击评估标准名称,可以查看具体的评估项。
图1 预置图片类数据集评估标准
- 在“人工评估标准”页面,单击“创建标准”,选择预置标准作为参考项,并填写“评估标准名称”和“描述”。
- 单击“下一步”,编辑评估项。
用户可以基于实际需求删减评估项,或创建自定义评估项。创建自定义评估项时,需要将评估类别、评估项、评估项说明填写清晰,填写时确保描述无歧义。
- 单击“完成创建”以创建评估标准。
创建图片类数据集评估任务
平台仅支持对“加工数据集”执行评估操作。
创建图片类数据集评估任务前,请参考加工图片类数据集,生成一个“加工数据集”。
创建图片类数据集评估任务步骤如下:
- 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
- 在左侧导航栏中选择“数据工程 > 数据发布 > 数据评估”,单击界面右上角“创建评估任务”。
- 在“数据集选择”页签选择需要评估的加工数据集,并设置抽样样本的数量。
- 单击“下一步”,选择评估标准。单击“下一步”设置评估人员,单击“下一步”填写任务名称。
- 单击“完成创建”,将返回至“数据评估”页面,评估任务创建成功后状态将显示为“已创建”。
- 单击操作列的“评估”,进入评估页面。
- 在评估页面,可参考评估项对当前数据的问题进行标注,且满足则单击“通过”,不满足则单击“不通过”。
- 全部数据评估完成后,在“人工评估”页面可查看评估进展为“100%”。
父主题: 发布图片类数据集