创建提示词评估数据集
批量评估提示词效果前,需要先上传提示词变量数据文件用于创建对应的评估数据集。
提示词变量是一种可以在文本生成中动态替换的占位符,用于根据不同的场景或用户输入生成不同的内容。其中,变量名称可以是任意的文字,用于描述变量的含义或作用。
提示词评估数据集约束限制
- 上传文件限xlsx格式。
- 数据行数不小于10行,不大于50行。
- 数据不允许相同表头,表头数量小于20个。
- 数据单条文本长度不超过1000。
 
 
   创建数据集时会对相关限制条件进行校验。
数据参考格式如下:
| key1 | key2 | key3 | result | 
|---|---|---|---|
| 组1-v1 | 组1-v2 | 组1-v3 | 组1-r | 
| 组2-v1 | 组2-v2 | 组2-v3 | 组2-r | 
| 组3-v1 | 组3-v2 | 组3-v3 | 组3-r | 
| comment | result | 
|---|---|
| 字打错了怎么修改? | 中性 | 
| 这个效果不太好 | 消极 | 
| 我喜欢这个样式 | 积极 | 
| 请问你是有什么心事吗? | 中性 | 
创建提示词评估数据集
- 登录ModelArts Studio大模型开发平台,进入所需空间。
- 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示用例管理”,单击页面右上角“创建提示用例集”。
    图1 提示用例管理  
- 在“创建数据集”页面完成数据集的上传。
    图2 创建提示词评估数据集  
 
  