创建API服务

API管理模块可以对评测服务的API进行管理，在创建评测任务的时候选择评测服务即可。可以对API进行创建、编辑、删除。

登录ModelArts Studio平台，在“我的空间”模块，单击进入所需空间。
图1 我的空间
在左侧导航栏中选择“评测中心 > API管理”，单击界面右上角“创建API”。
定义API名称、组织机构，并选择模型类型，单击“提交”。
图2 创建API
API创建好以后，通过右侧新增版本来定义API的信息，可以新建多个版本。
单击“新增版本”，并配置模型版本、并发数、QPM、URL、Param、Body、Response。
1. 模型版本：自定义。
2. 并发数：可以根据模型的性能进行配置，范围1~32。
3. QPM：可以根据模型的性能进行配置，范围1~5000。
4. URL：模型推理地址。
5. Param：用户可以根据接口需要配置，可选，可以定义header和请求参数信息。
6. Body(自定义请求体)：推理请求体，可以自定义也可以选择预置的openai或者tgi结构。
7. Response(响应体)：通过jsonpath的形式定义怎么获取响应体里面的内容。jsonpath语法的作用是从响应体的json字段中提取出所需的数据。
图3 新增版本
创建API版本后，需要验证API是否可用，只有验证通过的API才可以进行评测。在“API管理”页面单击创建好的API任务名称，单击“接口验证”输入问题后查看接口是否有响应内容输出。
图4 接口验证

本示例中使用已经部署，且正常运行的三方大模型创建API服务。

API创建好以后，通过右侧新增版本来定义API的信息，可以新建多个版本。单击“新增版本”，参考表1完成配置。

表1 配置API服务
参数	填写说明
模型版本	可自定义。
并发数	设置为1。
QPM	设置为1。
URL	填写获取到的API URL。
Param	共填写两个参数，均设置为header类型。参数1：参数名X-AUTH-TOKEN，参数值为Token值，参考《API参考》文档“如何调用REST API > 认证鉴权”章节获取Token。参数2：参数名Content-Type，参数值application/json。
Body	选择自定义，填写内容： {"model": "model","messages": [{"role": "user","content": "{{message}}"}],"max_tokens": 1024, "temperature": 0.7,"top_p": 0.95,"presence_penalty": 0.5,"frequency_penalty": 0.5,"stream": false}
Response	填写： $.choices[0].message.content