使用API调用NLP大模型
预置模型或训练后的模型部署成功后,可以使用“文本对话”API实现模型调用。
API分类 |
API访问路径(URI) |
---|---|
文本对话 |
/v1/{project_id}/deployments/{deployment_id}/chat/completions |
使用Postman调用API
- 在Postman中新建POST请求,并填入模型调用路径,详见获取调用路径。
- 调用API有两种认证方式,包括Token认证和AppCode认证。其中,AppCode认证的使用场景为当用户部署的API服务期望开放给其他用户调用时,原有Token认证无法支持,可通过AppCode认证调用请求。
参考表2填写请求Header参数。
表2 请求Header参数填写说明 认证方式
参数名
参数值
Token认证
Content-Type
application/json
X-Auth-Token
Token值,参考《API参考》文档“如何调用REST API > 认证鉴权 > Token认证”章节获取Token。
AppCode认证
Content-Type
application/json
X-Apig-AppCode
AppCode值,获取AppCode步骤如下:
- 登录ModelArts Studio平台,进入所需空间。
- 在左侧导航栏中选择“模型开发 > 应用接入”,单击界面右上角“创建应用接入”。
- 在“应用配置”中,选择已部署好的大模型,单击“确定”。
- 在“应用接入”列表的“APP Code”操作列中可获取APPCode值。
如图3,为Token认证方式的请求Header参数填写示例。
- 在Postman中选择“Body > raw”选项,参考以下代码填写请求Body。
{ "messages": [ { "content": "介绍下长江,以及长江中典型的鱼类" } ], "temperature": 0.9, "max_tokens": 600 }
- 单击Postman界面“Send”,发送请求。当接口返回状态为200时,表示NLP大模型API调用成功。