更新时间:2025-09-16 GMT+08:00
分享

创建Agent API(可选)

创建Agent API和创建NLP大模型API基本一致,详细可参考 创建API服务(可选)

以下是创建Agent API的注意事项:

  1. 登录ModelArts Studio平台,进入所需空间。
  2. 在“评测中心 > API管理”页面,单击右上角“创建API”,填写名称和组织机构,评测类型选择Agent后单击提交。
    图1 创建API
  3. 在API管理页面,单击API操作列的“新增版本”进入新增版本页面。
  4. “新增版本”页面,填写版本名称、并发数和QPM。
    • 版本名称:自定义。
    • 并发数:指系统同时处理的 API 请求数量,可以根据模型的性能进行配置,范围1~32。
    • QPM:指每分钟内允许发送的 API 请求总数,可以根据模型的性能进行配置,范围1~5000。
  5. “新增版本”页面,填写URL参考如下:
  6. “新增版本”页面,填写Param参数。
    • header参数Content-Type为必填项,参数值为application/json。
    • header参数X-Auth-Token为必填项,参数值为获取Token中获取的Token值。
    图2 Param参数

  7. “新增版本”页面,body填写说明如下:
    • 评测Agent应用时,body可参考:{"query":"##message##"}。
    • 评测工作流时,body可参考: {"inputs": {"query":"##message##"}}。
    • 如评测多个输入的工作流,body需要写成:{"inputs": ##message##},同时数据集的question字段须填写成json格式,json的key包含workflow的所有输入字段。
  8. “新增版本”页面,response填写说明如下:

    应用的response可参考:{"event_path": "$.event","data_event_value": "summary_response","data_json_path": "$.content","error_event_value": "error","error_json_path": "$.message"}

    工作流的response可参考:{"event_path": "$.event","data_event_value": "workflow_finished","data_json_path": "$.data.outputs.responseContent","error_event_value": "error","error_json_path": "$.data.message"}

    Agent API默认为流式响应,流式响应的响应结果由多个数据单元组成,如:

    • data:{"event":"start","createdTime":1735558575017}
    • data:{"event":"summary_response","content":"A12会议室在9:00到10:00的时间段内是空闲的。","role":"assistant","createdTime":1735558576987}
    • data:{"event":"done","createdTime":1735558577011}

    评测程序需要从所有的数据单元中提取响应内容或报错内容,response里的字段的含义如下:

    • event_path=$.event,表示用数据单元的event字段判断数据单元的类型,如包含有效数据的数据单元,或包含报错数据的数据单元。
    • data_event_value=summary_response,表示当数据单元的event字段为summary_response时,此数据单元包含有效响应数据。
    • data_json_path=$.content,表示单数据单元包含有效响应数据时,从content字段取响应数据。
    • error_event_value=error,表示当数据单元的event字段为error时,此数据单元包含报错信息。
    • error_json_path=$.message,表示当数据单元包含报错信息时,从message字段取报错信息。
    图3 创建API版本

相关文档