# 自定义评估器 #### 前提条件 - 已[开通AgentArts服务](https://support.huaweicloud.com/qs-agentarts0/agentarts_04_0000.html)。 - 登录用户为空间所有者、空间管理员、开发工程师、运维工程师，详细信息请参考[管理团队空间成员](https://support.huaweicloud.com/usermanual-agentarts0/agentarts_05_0216.html)。 #### 创建评估器 1. 登录[AgentArts智能体开发平台](https://console.huaweicloud.com/versatile/#/home/overview)，在左侧导航栏"个人空间"区域，选择目标空间。 2. 在左侧导航栏中选择"运营运维 \> 评估 "。 3. 在"自定义评估器"页签中，单击右上角的"创建评估器"。 4. 在展开的页面中填写评估器的信息，请参照[表1]完成信息配置。 表1评估器参数说明 | 参数 || 说明 | |:---|---|:---| | 基础信息 | 评估器名称 | 评估器的名称。 命名规则： - 命名要求：支持中文、英文、数字、下划线（_）中划线（-）和空格的组合，不允许以空格开头或结尾和使用其他特殊字符。 - 长度限制：2\~50个字符。 | | 基础信息 | 描述（可选） | 评估器的描述。 长度限制：0\~200个字符 | | 配置信息 | 评估方法 | 定义的评估规则。目前仅支持"模型判定"这一种评估方式。 | | 配置信息 | 选择模型 | 目前仅支持deepseek-v3.1-terminus模型。 可单击![](https://support.huaweicloud.com/usermanual-agentarts0/zh-cn_image_0000002538545414.png)对模型进行配置，具体参数信息请参考[表2]。 | | 配置信息 | 用户提示词 | 输入评估器的提示词，指示评估器如何进行评估。 单击![](https://support.huaweicloud.com/usermanual-agentarts0/zh-cn_image_0000002538385466.png)，从平台预置的提示词模板列表中选取。选择后，可以根据实际需求直接编辑模板内容。 图1选择提示词模板 ![](https://support.huaweicloud.com/usermanual-agentarts0/zh-cn_image_0000002538385462.png) | 表2模型配置 | 参数 | 说明 | |:---|:---| | 最大回复长度 | 用于限制模型单次生成内容的最大Token数量。设置合理的上限有助于控制输出篇幅，避免生成过长或冗余的内容。 取值范围为1\~8192。 | | 生成随机数 | 该参数控制模型生成文本的随机性和多样性（即"自由度"）。 - **数值较高（接近 1）**：输出更具创造性和多样性，可能包含新颖的表达，但也可能偏离用户意图或产生不连贯内容。 - **数值较低（接近 0）**：输出更加确定、保守，贴近训练数据中的常见模式。 取值范围为0\~2。 | | Top P | 注意： 由于该参数与"生成随机数"的作用机制部分重叠，建议二者择一调整，以获得更可预测的生成效果。 模型在生成过程中，从累积概率达到设定阈值（如Top P=0.9）的最小词汇子集中进行采样。这种方式会根据概率动态调整候选词范围，而非固定选择前N个词。它能在保留语言多样性的同时，提升输出的合理性与连贯性。 取值范围为0\~1。 | 5. 配置完成后单击右下方"调试"，在弹出的页面输入测试数据，单击"开始调试"查看评估效果。 图2调试评估器 ![](https://support.huaweicloud.com/usermanual-agentarts0/zh-cn_image_0000002538385470.png) 6. 调试确认无误后，关闭调试页面。单击"确定"，输入版本信息后发布评估器。 发布完成后，在评估器列表页面即可查看已发布的评估器。 #### 更多操作 评估器创建完成后，您还可以执行如[表3]的操作。 表3相关操作 | 操作 | 说明 | |:---|:---| | 发布评估器版本 | 1. 单击需要发布版本的评估器"操作"列的"编辑"，然后单击右下角的"确定"。 2. 在"提交新版本"的对话框中输入"版本"和"版本说明（可选）"信息。 3. 单击"确定"，完成评估器版本发布。 说明： - 版本格式为a.b.c，其中每段数字的范围为0-999。 - 同一个评估器发布的版本号应大于之前的历史版本号。 | | 查看历史评估器版本 | 1. 单击评估器名称，进入评估器详情页面。 2. 单击右上角的![](https://support.huaweicloud.com/usermanual-agentarts0/zh-cn_image_0000002569425145.png)，在版本记录列表中，单击目标历史版本，即可切换并查看该版本的详细内容。 在版本记录列表中，支持对历史版本进行还原和删除操作： - **还原版本**：将鼠标悬浮在目标历史版本上，单击"还原版本"，该历史版本将覆盖当前最新版本，使其成为新的当前版本。 - **删除版本**：将鼠标悬浮在目标历史版本上，单击"删除版本"，即可删除该历史版本。 说明： - 不支持修改历史版本的评估器数据。 - 不支持删除在评估任务中引用的评估器版本。 | | 编辑评估器 | 1. 在评估器列表中，找到目标评估器。单击其操作列中的 "编辑" 。 2. 在编辑页面修改相关配置后，建议对评估器进行调试，以确保符合预期。 3. 单击右下角的 "确定"并输入版本信息，即可生成并发布新的评估器版本。 | | 删除评估器 | 注意： 如果评估器被评估任务引用，请先删除相关的评估任务后再删除评估器。 - **单个删除** 1. 在目标评估器的操作列中，单击 "删除"。 2. 在弹出的 "删除评估器" 对话框中，根据界面提示输入执行信息。 3. 单击 "确定" 完成删除。 - **批量删除** 1. 勾选需要删除的评估器前的复选框。 2. 单击右上角的 "删除" ，据界面提示输入执行信息。 3. 单击 "确定" 完成删除。 |