创建预测大模型评测数据集

效果优秀的模型需要保证模型拥有良好的泛化能力，即模型不仅要在已给定的数据（训练数据）上表现良好，还要能够在未见过的数据上也达到类似的效果。为了实现这一目标，模型评测是必不可少的环节。在收集评估数据集时，必须保持数据集的独立性和随机性，确保收集到的数据能够代表现实世界的样本数据。这有助于避免对评估结果产生偏见，从而更准确地反映模型在不同情景下的表现。通过使用评估数据集对模型进行评估，开发者可以了解模型的优缺点，从而找到优化方向。

预测大模型支持基于规则的自动评测，即基于相似度/准确率进行打分。

评测数据集的创建步骤与训练数据集一致，本章节仅做简单介绍，详细步骤请参见使用数据工程构建预测大模型数据集。

1. 登录ModelArts Studio平台，在“我的空间”模块，单击进入所需空间。
   图1 我的空间
   
2. 在左侧导航栏中选择“数据工程 > 数据获取 > 导入任务”，单击界面右上角“创建导入任务”。
3. 在“创建导入任务”页面选择所需要的“数据集类型”、“文件格式”、“导入来源”，并上传数据文件。
   预测大模型评测数据集支持的格式见表1。

   表1 评测数据集格式

   模型类型	评测数据集格式
   预测大模型	分类、回归分类格式

4. 上传数据文件后，填写“数据集名称”与“描述”，单击“立即创建”。
5. 在左侧导航栏中选择“数据工程 > 数据发布 > 数据发布”，单击界面右上角“创建发布任务”。
6. 在“创建发布任务”页面选择数据集模态并选择数据集文件。
7. 单击“下一步”，填写名称，选择数据集可见性等信息，单击“确定”。
8. 在左侧导航栏中选择“评测中心 > 评测集管理”，单击界面右上角“创建评测集”。
9. 在“创建评测集”页面选择所需要的“模型类型”、“导入来源”，并选择数据集，数据集来源为数据工程发布的预测数据集，填写评测集名称，最后单击“立即创建”。