更新时间:2024-08-29 GMT+08:00
创建提示词评估任务
选择候选提示词进行批量自动化评估。
- 登录盘古大模型套件平台。
- 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。
- 在工程任务列表页面,找到所需要操作的工程任务,单击该工程名称,跳转工程任务下候选提示词页面。
图1 提示词工程
- 选中需要评估的候选提示词,单击左上角“创建评估”按钮,跳转评估任务创建页面。
图2 创建评估
- 选择评估使用的变量数据集和评估方法。
- 数据集:根据选择的数据集,将待评估的提示词和数据集中的变量自动组装成完整的提示词,输入模型生成结果。
- 评估方法:根据选择的评估方法,对模型生成结果和预期结果进行比较,并根据算法给出相应的得分。
图3 创建评估 - 输入评估名称和描述。
图4 输入评估名称
- 单击右下角“确定”按钮,评估任务自动进入执行状态。
父主题: 批量评估提示词效果