创建Agent API(可选)
创建Agent API和创建NLP大模型API基本一致,详细可参考 创建API服务(可选)。
以下是创建Agent API的注意事项:
- 登录ModelArts Studio平台,进入所需空间。
- 在“评测中心 > API管理”页面,单击右上角“创建API”,填写名称和组织机构,评测类型选择Agent后单击提交。
图1 创建API
- 在API管理页面,单击API操作列的“新增版本”进入新增版本页面。
- 在“新增版本”页面,填写版本名称、并发数和QPM。
- 版本名称:自定义。
- 并发数:指系统同时处理的 API 请求数量,可以根据模型的性能进行配置,范围1~32。
- QPM:指每分钟内允许发送的 API 请求总数,可以根据模型的性能进行配置,范围1~5000。
- 在“新增版本”页面,填写URL参考如下:
- 填写单智能体应用的URL请参考:单智能体应用拼接调用路径
- 填写工作流请的URL参考:工作流拼接调用路径
- 在“新增版本”页面,填写Param参数。
- header参数Content-Type为必填项,参数值为application/json。
- header参数X-Auth-Token为必填项,参数值为获取Token中获取的Token值。
图2 Param参数 - 在“新增版本”页面,body填写说明如下:
- 评测Agent应用时,body可参考:{"query":"##message##"}。
- 评测工作流时,body可参考: {"inputs": {"query":"##message##"}}。
- 如评测多个输入的工作流,body需要写成:{"inputs": ##message##},同时数据集的question字段须填写成json格式,json的key包含workflow的所有输入字段。
- 在“新增版本”页面,response填写说明如下:
应用的response可参考:{"event_path": "$.event","data_event_value": "summary_response","data_json_path": "$.content","error_event_value": "error","error_json_path": "$.message"}
工作流的response可参考:{"event_path": "$.event","data_event_value": "workflow_finished","data_json_path": "$.data.outputs.responseContent","error_event_value": "error","error_json_path": "$.data.message"}
Agent API默认为流式响应,流式响应的响应结果由多个数据单元组成,如:
- data:{"event":"start","createdTime":1735558575017}
- data:{"event":"summary_response","content":"A12会议室在9:00到10:00的时间段内是空闲的。","role":"assistant","createdTime":1735558576987}
- data:{"event":"done","createdTime":1735558577011}
评测程序需要从所有的数据单元中提取响应内容或报错内容,response里的字段的含义如下:
- event_path=$.event,表示用数据单元的event字段判断数据单元的类型,如包含有效数据的数据单元,或包含报错数据的数据单元。
- data_event_value=summary_response,表示当数据单元的event字段为summary_response时,此数据单元包含有效响应数据。
- data_json_path=$.content,表示单数据单元包含有效响应数据时,从content字段取响应数据。
- error_event_value=error,表示当数据单元的event字段为error时,此数据单元包含报错信息。
- error_json_path=$.message,表示当数据单元包含报错信息时,从message字段取报错信息。
图3 创建API版本