创建模型评估数据集
在收集评估数据集时,应确保数据集的独立性和随机性,并使其能够代表现实世界的样本数据,以避免对评估结果产生偏差。对评估数据集进行分析,可以帮助了解模型在不同情境下的表现,从而得到模型的优化方向。
在“数据工程 > 数据管理”中创建“评测”类型的数据集作为评估数据集,数据集创建完成后需要执行发布操作。
数据量建议3-1000条。当前数据集数据保存与上传的文件类型有以下两种,大小均不可超过1024MB。
- 文件类型为JSONL:每一行表示一段文本,形式为{"context":"context内容","target":"target内容"},每一段需要准确完整的语义,符合主流价值观,并且文本中不能存在异常字符、分行异常等影响模型训练的问题。问题和答案需要匹配,且不能有空值。
- 文件类型为CSV:每一行代表一个问答对,确保每个问题和答案的数据都以逗号分隔,每行的数据完整且格式正确,文件中每个字段或列都应有适当的数据类型,例如文本、数值、日期等。每一段需要准确完整的语义,符合主流价值观,并且文本中不能存在异常字符、分行异常等影响模型训练的问题。问题和答案需要匹配,且不能有空值。
![](https://support.huaweicloud.com/ugobs-obs-pangulm/public_sys-resources/note_3.0-zh-cn.png)
当前仅支持对NLP大模型进行模型评估操作。