使用API调用盘古行业NLP大模型
预置模型或训练后的模型部署成功后,可以使用API实现模型调用。
API分类 |
API访问路径(URI) |
---|---|
文本对话 |
/v1/{project_id}/deployments/{deployment_id}/chat/completions |
使用Postman调用API
- 在Postman中新建POST请求,并填入模型调用路径,详见获取调用路径。
- 调用API有两种认证方式,包括Token认证和API Key认证。其中,API Key认证的使用场景为当用户部署的API服务期望开放给其他用户调用时,原有Token认证无法支持,可通过API Key认证调用请求。
参考表2填写请求Header参数。
表2 请求Header参数填写说明 认证方式
参数名
参数值
Token认证
Content-Type
application/json
X-Auth-Token
Token值,参考《API参考》文档“如何调用REST API > 认证鉴权 > Token认证”章节获取Token。
API Key认证
Content-Type
application/json
X-Apig-AppCode
API Key值,获取API Key步骤如下:
- 登录ModelArts Studio平台,进入所需空间。
- 在左侧导航栏中选择“系统管理与统计 > 应用接入”,单击界面右上角“创建应用接入”。
- 在“应用配置”中,选择已部署好的大模型,单击“确定”。
- 在“应用接入”列表的“API Key”操作列中可获取API Key值。
如图3,为Token认证方式的请求Header参数填写示例。
- 在Postman中选择“Body > raw”选项,参考以下代码填写请求Body。
{ "messages": [ { "content": "介绍下长江,以及长江中典型的鱼类" } ], "temperature": 0.9, "max_tokens": 600 }
- 单击Postman界面“Send”,发送请求。当接口返回状态为200时,表示NLP大模型API调用成功。
API Key鉴权说明
当用户部署的API服务期望开放给其他用户调用时,原有Token认证无法支持,
可用API Key认证的鉴权方式进行调用请求。
API Key认证指调用API时,在HTTP请求头部消息增加一个参数X-Apig-AppCode(参数值为API Key值),API服务仅校验API Key,从而实现快速响应。
使用该鉴权方式前,请确保有已部署的大模型。
获取APPI Key步骤如下:
- 登录ModelArts Studio平台,进入所需空间。
- 在左侧导航栏中选择“系统管理与统计 > 应用接入”,单击界面右上角“创建应用接入”。
- 在“应用配置”中,选择已部署好的大模型,并设置应用接入名称、描述,单击“确定”。
- 在“应用接入”列表的“API Key”列中可获取API Key值。