创建三方大模型评测数据集

效果优秀的模型需要保证模型拥有良好的泛化能力，即模型不仅要在已给定的数据（训练数据）上表现良好，还要能够在未见过的数据上也达到类似的效果。为了实现这一目标，模型评测是必不可少的环节。在收集评估数据集时，必须保持数据集的独立性和随机性，确保收集到的数据能够代表现实世界的样本数据。这有助于避免对评估结果产生偏见，从而更准确地反映模型在不同情景下的表现。通过使用评估数据集对模型进行评估，开发者可以了解模型的优缺点，从而找到优化方向。

三方大模型支持人工评测、自动评测两种评测模式。

• 人工评测：通过人工创建的评测数据集和评测指标项对模型生成的回答进行评测，评测时需要人工基于创建好的评测项对模型回答进行打分，评测完成后会基于打分结果生成评测报告。
• 自动评测：包含“基于规则”与“基于大模型”两种评测规则。
  • 基于规则（相似度/准确率）自动对模型生成的回答进行评测。用户可使用评测模板中预置的专业数据集进行评测，或者自定义评测数据集进行评测。支持的预置数据集如表1。
  • 基于大模型，使用大模型对被评估模型的生成结果进行自动化打分，适用于开放性或复杂问答场景，包含评分模式与对比模式。

    表1 预置评测集

    数据集类别	数据集	说明
    通用知识与技能	常识知识	评测模型对于日常生活基本知识和信息的掌握程度，包括历史、地理、文化等多个方面的基础认知。
    	数学能力	评测模型解决数学问题的能力，包括算数运算、代数方程求解、几何图形分析能力等。
    	逻辑推理	评测模型根据已知信息进行合理推断和分析的能力，涉及演绎，归纳等多种逻辑思维过程。
    	中文能力	评测大模型在中文语言和文化背景下的高级知识和推理能力。
    领域知识	金融领域	评测大模型在金融领域的能力，包括快速理解和解释复杂的金融概念，风险预测和数据分析，投资建议以及金融决策支持等。