创建模型评估器
前提条件
创建评估器
- 登录AgentArts智能体开发平台。
- 在左侧导航栏中选择“运营运维 > 评估 ”。
- 在“自定义评估器”页签中,单击右上角的“创建评估器”。
- 在展开的页面中配置评估器信息。具体参数配置请参考表表1完成信息配置。
表1 评估器参数说明 参数
说明
基础信息
评估器名称
评估器的名称。
命名规则:
- 命名要求:支持中文、英文、数字、下划线(_)中划线(-)和空格的组合,不允许以空格开头或结尾和使用其他特殊字符。
- 长度限制:2~50个字符。
描述(可选)
评估器的描述。
长度限制:0~200个字符
配置信息
评估方法
目前仅支持“模型判定”。
选择模型
目前仅支持deepseek-v3.1-terminus模型。
可单击
对模型进行配置,具体参数信息请参考表2。用户提示词
输入评估器的提示词,指示评估器如何进行评估。
单击
,从平台预置的提示词模板列表中选取。选择后,可以根据实际需求直接编辑模板内容。建议:请根据您的评估目标选择匹配的模板(例如:评估回复准确性可选择“准确性”类模板,评估内容安全性可选择“安全性”类模板),选中后可根据实际业务需求直接编辑模板内容。
图1 选择提示词模板
表2 模型配置 参数
说明
最大回复长度
用于限制模型单次生成内容的最大Token数量。设置合理的上限有助于控制输出篇幅,避免生成过长或冗余的内容。
取值范围为1~8192。
生成随机数
该参数控制模型生成文本的随机性和多样性(即“自由度”)。
- 数值较高(接近 1):输出更具创造性和多样性,可能包含新颖的表达,但也可能偏离用户意图或产生不连贯内容。
- 数值较低(接近 0):输出更加确定、保守,贴近训练数据中的常见模式。
取值范围为0~2。
Top P
注意:由于该参数与“生成随机数”的作用机制部分重叠,建议二者择一调整,以获得更可预测的生成效果。
模型在生成过程中,从累积概率达到设定阈值(如Top P=0.9)的最小词汇子集中进行采样。这种方式会根据概率动态调整候选词范围,而非固定选择前N个词。它能在保留语言多样性的同时,提升输出的合理性与连贯性。
取值范围为0~1。
- 配置完成后单击右下方“调试”,在弹出的页面输入测试数据,单击“开始调试”查看评估效果。
图2 调试评估器
- 调试确认无误后,关闭调试页面。单击“确定”,输入版本信息后发布评估器。
发布完成后,在评估器列表页面即可查看已发布的评估器。