更新时间:2024-12-02 GMT+08:00
分享

调试Agent应用

平台提供对Agent执行过程的全链路信息观测与调试调优,通过对信息的分层分析和展示,为开发者提供了AI应用在不同层级的运行情况指导和操作,提升观测和调试效率。通过Insight提供了Agent的运行和观测能力。创建并运行Agent后,可通过单击Insight查看该Agent的执行信息。当前仅支持对知识性应用进行观测和调试。

前提条件

已成功创建应用。

操作步骤

  1. 登录ModelArts Studio大模型开发平台,进入所需空间。
  2. 在左侧导航栏中选择“Agent开发”,将跳转至Agent开发平台。
  3. 单击左侧导航栏“工作台”,在“应用”页签,单击待调试的应用。单击应用右上侧的“调试详情”,进入调试详情页面。
  4. 在调试详情页面,单击,选择需要查看的信息。
  5. 单击“日志概览”页签。

    可以查看到该次执行的整体情况,包括执行状态、开始/结束时间、运行时长和输入/输出。

  6. 单击“节点详情”页签。

    可以查看到该次执行的主要组件耗时时长和占比情况,以及该次执行的调用链及其是否成功的状态。

  7. 单击调用链中的某个组件(例如插件天气搜索),展开调用链。

    可以查看到调用链中该组件的输入和输出。

此外,平台支持配置构建应用所需的NLP大模型参数。

单击应用右上角的,打开大模型参数配置页面。配置参数见表1,完成大模型参数配置。
表1 大模型参数配置

参数

说明

模型选择

选择要使用的LLM,不同的模型效果存在差异。

模式选择

用于配置大模型的输出多样性。

包含取值:

  • 精确的:模型的输出内容严格遵循指令要求,可能会反复讨论某个主题,或频繁出现相同词汇。
  • 平衡的:平衡模型输出的随机性和准确性。
  • 创意性的:模型输出内容更具多样性和创新性,某些场景下可能会偏离主旨。
  • 自定义:自定义大模型输出的温度和核采样值,生成符合预期的输出。

温度

用于控制生成结果的随机性,取值范围0-1。

  • 调高温度,会使得模型的输出更多样性和创新性。
  • 降低温度,会使输出内容更加遵循指令要求但减少多样性。

在基于事实的问答场景,可以使用较低的回复随机性数值,以获得更真实和简洁的答案;在创造性的任务例如小说创作,可以适当调高回复随机性数值。建议不要与核采样同时调整。

核采样

模型在输出时会从概率最高的词汇开始选择,直到这些词汇的总概率累积达到核采样值。核采样值可以限制模型选择这些高概率的词汇,从而控制输出内容的多样性,取值范围0-1。

建议不要与温度同时调整。

相关文档