调用向量&重排大模型
向量&重排属于预置模型,模型部署成功后,可以使用API实现模型调用。
API分类 |
API访问后缀路径(URI) |
---|---|
embeddings |
/app/search/v1/vector/query |
rerank |
/app/search/v1/rerank |
使用Postman调用API
- 在Postman中新建POST请求,并填入模型调用路径,详见获取调用路径。
- 调用API有两种认证方式,包括Token认证和API Key认证。其中,API Key认证的使用场景为当用户部署的API服务期望开放给其他用户调用时,原有Token认证无法支持,可通过API Key认证调用请求。
参考表3填写请求Header参数。
表3 请求Header参数填写说明 认证方式
参数名
参数值
Token认证
Content-Type
application/json
X-Auth-Token
Token值,参考《API参考》文档“如何调用REST API > 认证鉴权 > Token认证”章节获取Token。
API Key认证
Content-Type
application/json
X-Apig-AppCode
API Key值,获取API Key步骤如下:
- 登录ModelArts Studio平台,进入所需空间。
- 在左侧导航栏中选择“系统管理与统计 > 应用接入”,单击界面右上角“创建应用接入”。
- 在“应用配置”中,选择已部署好的大模型,单击“确定”。
- 在“应用接入”列表的“API Key”操作列中可获取API Key值。
如图3,为Token认证方式的请求Header参数填写示例。
- 在Postman中选择“Body > raw”选项,参考以下代码填写请求Body。
- embedding接口body样例:
{ "query": "南京" }
- rerank接口body样例:
{ "query": "南京", "ranking_order": ["title", "content"], "docs": [ { "id": "a01", "title": "南京", "content": "简介:南京一般指南京市。 南京市,简称" }, { "id": "a02", "title": "南京", "content": "南京市人民政府关于市政府领导同志工作分工的通知 · 南京市人民政府2021年政府信息公开工作年度报告 " }, { "id": "a03", "title": "南京", "content": "唐代以成都为南京不到三年时间。 [1] 宋大中祥符七年(1014年),建应天府(今商丘)为南京。 [2-5] 辽代,以北京为南京。金代,以开封为南京。明永乐十九年(1421年),明成祖迁都,京师应天府(今南京)改称为南京,作为留都。" } ], "top_n": 10 }
- embedding接口body样例:
- 单击Postman界面“Send”,发送请求。当接口返回状态为200时,表示向量&重排大模型API调用成功。
API Key鉴权说明
当用户部署的API服务期望开放给其他用户调用时,原有Token认证无法支持,
可用API Key认证的鉴权方式进行调用请求。
API Key认证指调用API时,在HTTP请求头部消息增加一个参数X-Apig-AppCode(参数值为API Key值),API服务仅校验API Key,从而实现快速响应。
使用该鉴权方式前,请确保有已部署的大模型。
获取APPI Key步骤如下:
- 登录ModelArts Studio平台,进入所需空间。
- 在左侧导航栏中选择“系统管理与统计 > 应用接入”,单击界面右上角“创建应用接入”。
- 在“应用配置”中,选择已部署好的大模型,并设置应用接入名称、描述,单击“确定”。
- 在“应用接入”列表的“API Key”列中可获取API Key值。