更新时间:2024-10-16 GMT+08:00
分享

创建提示词评估任务

选择候选提示词进行批量自动化评估。

  1. 登录盘古大模型套件平台。
  2. 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。
  3. 在工程任务列表页面,找到所需要操作的工程任务,单击该工程名称,跳转工程任务下候选提示词页面。
    图1 提示词工程
  4. 选中需要评估的候选提示词,单击左上角“创建评估”按钮,跳转评估任务创建页面。
    图2 创建评估
  5. 选择评估使用的变量数据集和评估方法。
    • 数据集:根据选择的数据集,将待评估的提示词和数据集中的变量自动组装成完整的提示词,输入模型生成结果。
    • 评估方法:根据选择的评估方法,对模型生成结果和预期结果进行比较,并根据算法给出相应的得分。
    图3 创建评估
  6. 输入评估名称和描述。
    图4 输入评估名称
  7. 单击右下角“确定”按钮,评估任务自动进入执行状态。

相关文档