创建提示词评估任务

选择候选提示词进行批量自动化评估，步骤如下：。

登录ModelArts Studio大模型开发平台，进入所需空间。
在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”。
在工程任务列表页面，找到所需要操作的工程任务，单击该工程任务右侧“撰写”。
在“撰写”页面，选择左侧导航栏中的“候选”。在候选列表中，勾选需要进行横向比对的提示词，并单击“创建评估”。
图1 创建评估
选择评估使用的变量数据集和评估方法。
- 评估用例集：根据选择的数据集，将待评估的提示词和数据集中的变量自动组装成完整的提示词，输入模型生成结果。
- 评估方法：根据选择的评估方法，对模型生成结果和预期结果进行比较，并根据算法给出相应的得分。
图2 创建提示词评估任务
单击“确定”，评估任务自动进入执行状态。