文档首页/ 盘古大模型 PanguLargeModels/ 用户指南/ 评估盘古大模型/ 创建模型评估任务
更新时间：2024-10-16 GMT+08:00
查看PDF
分享

创建模型评估任务

  1. 登录盘古大模型套件平台。
  2. 在左侧导航栏中选择“模型开发 > 模型评估”。
  3. 单击界面右上角“创建评估任务”，进入评估任务创建页面。
    图1 模型评估列表页面
  4. 填写评估任务所需的评估配置、评估数据和基本信息。
    图2 创建评估任务
    • 评估配置：
      • 待评估模型：支持选择多个模型版本同时评估，最多选择5个。待评估模型必须符合前提条件。
      • 评估资源：依据选择的模型数据自动给出所需的评估资源。
      • 打分模式：当前版本打分模式仅支持基于规则，用户不可选，且暂无人工打分。基于规则打分：使用预置的相似度或准确率打分规则对比模型生成结果与真实标注的差异，从而计算模型指标。
    • 评估数据：

      选择已创建并发布的评估数据集。

    • 基本信息：

      输入任务的名称和描述。

  5. 单击“立即创建”，创建一个模型评估任务。
父主题： 评估盘古大模型

相关文档