# 示例：快速完成一次智能体评估 本场景以"科学知识问答"为例，演示如何通过AgentArts平台完成智能体的在线评估与调优。 该场景旨在解决智能体上线前可能存在的幻觉、答非所问等问题，通过量化评估确保服务质量。主要流程包括： 1. 构建智能体：创建"科学知识问答"，配置包含人设、任务描述及约束条件的提示词，并发布版本以开启调用链数据采集。 2. 配置在线评估：基于智能体产生的真实调用链数据，创建在线评估任务，并选用"正确性"和"幻觉现象"评估器进行打分。 3. 分析与优化：查看评估报告，定位BadCase，根据分析结果优化提示词，最后进行回归测试验证效果。 #### 步骤一：创建智能体 1. 登录[AgentArts智能体平台](https://console.huaweicloud.com/agentarts/#/home/overview)。 2. 在左侧导航栏中选择"开发中心 \> 智能体管理"，在"单智能体"页签，单击"创建单智能体"。 图1创建单智能体 ![](https://support.huaweicloud.com/ops-agentarts/zh-cn_image_0000002717675751.png) 3. 填写名称和描述为"科学知识问答"后，单击"立即创建"。 4. 在智能体编辑页面，在提示词输入框中按照以下内容设置提示词。 ``` ## 人设 - **角色**：科学问题解答智能体 - **特长**： - 精通自然科学（物理、化学、生物学等）与工程技术领域的基础理论与前沿进展。 - 擅长将复杂科学概念简化为通俗易懂的语言。 - 严格基于实证数据和权威文献提供答案，拒绝主观臆测。 ## 任务描述 - **目标**：针对用户提出的科学问题，提供准确、清晰且逻辑严谨的解答，帮助用户理解核心原理或解决实际问题。 - **影响**： - 消除科学信息差，提升用户认知效率。 - 为学术研究、教育或决策提供可靠参考。 ## 约束条件 1. **内容边界**： - 仅回答科学领域内可验证的问题，不涉及哲学、占卜等非实证领域。 - 若问题超出当前科学认知范围（如未解之谜），需明确说明研究现状。 2. **要求**： - 答案需包含理论依据、数据来源（如论文、教科书）及必要的图表/公式（以Markdown格式呈现）。 - 字数限制：简明问题≤300字，复杂问题可分段扩展，但需标注重点。 - 按<输出格式>结构化呈现。 ## 执行步骤 1. **问题解析**：识别用户问题的学科分类及核心需求（如概念解释、计算推导等）。 2. **资料检索**：调用权威数据库（如PubMed、arXiv）或教科书内容，筛选匹配度高的信息。 3. **逻辑整合**： - 分层次组织答案（背景→原理→应用/案例）。 - 标注关键术语定义（如“熵增定律”）。 4. **验证与简化**： - 交叉验证不同来源的结论一致性。 - 用类比或示意图辅助说明（如“电流类似水流”）。 5. **输出审核**：检查术语准确性、逻辑连贯性及无歧义表述。 ## 输出格式 ```markdown ### 问题重述 [用1句话概括用户提问] ### 核心解答 1. **关键结论**：[直接回答，不超过2句] 2. **原理说明**： - [分点阐述理论/机制，必要时用公式（如`E=mc²`）] - 数据来源：[引用文献或实验，格式：作者(年份)] 3. **应用示例**（可选）：[实际场景或相关研究案例] ``` 5. 在预览与调试区域中测试智能体，确认输出符合预期后，单击右上角"提交版本"进行发布。 在"提交版本"弹框中，输入版本名称和描述并单击"确定"；随后在"部署智能体"弹框中选择"API Key认证"，并开启数据上报开关。 图2调试智能体 ![](https://support.huaweicloud.com/ops-agentarts/zh-cn_image_0000002688075994.png) 图3开启数据上报开关 ![](https://support.huaweicloud.com/ops-agentarts/zh-cn_image_0000002717835609.png) ![](https://support.huaweicloud.com/ops-agentarts/public_sys-resources/caution_3.0-zh-cn.png) 开启调用链开关是后续进行在线评估的前提条件，用于采集智能体运行时的Trace数据进行评估。 #### 步骤二：选择评估器 智能体准备好后，下一步是决定如何对智能体进行打分、用什么标准打分。在AgentArts中，这个角色由评估器担任。 模型判定的评估器本质上是一个带有评分Prompt的大模型裁判，它接收特定的输入参数，输出一个分数和评分理由。平台预置了多种模型判定评估器，覆盖正确性、创意性、幻觉现象等多种维度，详细介绍请参考[预置评估器](https://support.huaweicloud.com/ops-agentarts/agentarts_14_0039.html)。 **选择建议**：评估器并非越多越好，需根据评估目的进行选择。如果是第一次体验评估流程，建议使用预置评估器以快速跑通全流程。 **本示例策略** ：在"科学知识问答"场景下，核心痛点是防止AI胡编乱造，因此推荐使用**"正确性+幻觉现象"**评估器组合。 图4查看预置评估器 ![](https://support.huaweicloud.com/ops-agentarts/zh-cn_image_0000002717675743.png) #### 步骤三：创建在线评估任务 在线评估执行时，将根据配置的采样策略采集科学知识问答智能体产生的调用链数据。 1. 在左侧导航栏中选择"运营运维 \> 评估"，在"评估任务"页签单击"创建评估任务"。 2. 选择"任务类型"为"在线评估"。 3. 填写评估任务名称和描述，可填写为"科学知识问答智能体评估"；会话持续时间设置为10分钟，表示从单次会话最后一条调用链产生时开始计时，如果超过10分钟无新调用链产生，则判定当前会话结束。开启智能分析，开启后，系统将自动对评估结果进行汇总分析，生成优化建议。 图5设置评估任务基础信息 ![](https://support.huaweicloud.com/ops-agentarts/zh-cn_image_0000002717842783.png) 4. 选择评估对象为[步骤一：创建智能体]中创建的智能体，评估粒度选择为"调用链"。 图6选择评估对象和评估粒度 ![](https://support.huaweicloud.com/ops-agentarts/zh-cn_image_0000002717835603.png) 5. 配置采样策略，设置筛选条件为"请求状态"属于"成功"的调用链数据，并设置采样比例、采样数据总上限和时间范围。 如果"采样总数上限"与"采样比例"均设置过低，可能导致系统无法采集到上报的Trace数据。建议根据实际业务流量适当调大相关参数。 图7配置采样策略 ![](https://support.huaweicloud.com/ops-agentarts/zh-cn_image_0000002717675747.png) 6. 选择平台精选的"正确性"和"幻觉现象"评估器。 图8选择评估器 ![](https://support.huaweicloud.com/ops-agentarts/zh-cn_image_0000002717682993.png) 7. 评估任务配置完成后，单击"发起任务"。 任务发起后将处于"运行中"状态。请执行下一步骤，调用API产生数据，当采样数据满足条件后，任务将自动开始评估。等待任务运行"成功"后即可进入[步骤五：分析评估报告]。 ![](https://support.huaweicloud.com/ops-agentarts/public_sys-resources/note_3.0-zh-cn.png) 设置的采样"时间范围"和"采样数据总上限"任一条件满足后将触发评估任务开始执行。 #### 步骤四：使用API调用单智能体 智能体发布后，通过API接口调用会产生Tokens消耗。请确保账户余额充足，以免接口调用失败。如果调用失败，请参考[错误码](https://support.huaweicloud.com/api-agentarts/ErrorCode.html)排查原因。 1. 使用工具按照[如何调用API](https://support.huaweicloud.com/api-agentarts/agentarts_07_0003.html)构造调用单智能体应用接口请求URL、Header。 图9配置url和header ![](https://support.huaweicloud.com/ops-agentarts/zh-cn_image_0000002717675749.png) 2. 配置请求体，配置完成后发送请求，获取响应结果。 图10发送请求 ![](https://support.huaweicloud.com/ops-agentarts/zh-cn_image_0000002687916136.png) #### 步骤五：分析评估报告 等待评估任务状态变更为"成功"后，单击任务名称，可查看详细的评估过程数据，以及得分、得分理由。单击"评估报告"可查看统计图表。针对本示例中的"科学知识问答"，建议参考以下维度进行分析： 1. **查看整体表现：** 通过总体得分和各维度评分数据，了解当前智能体的整体服务水平。 **示例分析：**如果整体"正确性"得分较高，但"幻觉现象"得分较低（表明存在严重的幻觉问题），说明智能体在回答用户时存在严重的编造风险（例如编造不存在的科学知识内容），这是科学知识问答场景中必须优先解决的问题。 图11查看评估报告 ![](https://support.huaweicloud.com/ops-agentarts/zh-cn_image_0000002687916134.png) 2. **定位BadCase：** 在"详情"数据和报告明细中，查看得分异常的数据，重点阅读评分理由。并将智能体的实际回复与标准答案进行比对，从而明确回答偏差，为后续优化提供依据。 图12查看评估详情 ![](https://support.huaweicloud.com/ops-agentarts/zh-cn_image_0000002717835605.png) 3. **人工标注与** **校准：** 虽然自动化评估效率较高，但可能存在误判。AgentArts提供了"标注评估结果"功能，支持您对评估结果进行人工干预和校准： - 人工改分（修正评判）：如果您认为评估器的打分过于严苛或存在误判，可以直接修改该条数据的评估得分。修改后的分数将作为"真值"保存，使统计数据更加准确。 - 加标注：您可以为分析过的正例、BadCase打上自定义标注信息（例如：Prompt指令弱、业务规则缺失、API参数提取错误）。这不仅方便团队协作分发Bug，更能让您在下次迭代时，针对性地提取某一类标注的数据进行专项复测。 图13人工校准评分 ![](https://support.huaweicloud.com/ops-agentarts/zh-cn_image_0000002688075990.png) 图14给评估结果添加标注 ![](https://support.huaweicloud.com/ops-agentarts/zh-cn_image_0000002687916132.png) 4. **优化智能体：** 根据BadCase的失败原因采取针对性优化： - **场景一：** **知识幻觉与事实编造** - **现象**：用户询问"量子纠缠的超光速原理"，智能体给出了看似逻辑自洽但科学上完全错误的解释，或编造了不存在的虚假理论。 - **优化**：在提示词中补充强约束规则：对于不确定的科学问题，必须直接回复"当前暂未收录该信息"，严禁根据模型内部知识编造答案。 - **场景二：** **工具调用参数提取失败** - **现象**：用户提问"请查询苯的分子式"，智能体虽然识别到了查询意图，但未能正确从用户问题中提取"苯"作为参数调用化学查询工具，导致查询结果为空或报错。 - **优化**：检查并完善化学查询工具的描述信息，明确指导大模型："调用此工具需提供准确的'化学物质名称'作为核心参数"。 5. **回归测试：**完成对智能体的修改后，重新创建一个在线评估任务。通过前后两次报告的得分对比，验证改进方案是否有效（例如，"幻觉现象"得分是否提升）。