更新时间:2024-02-18 GMT+08:00
分享

构造请求

本节介绍REST API请求的组成,并以调用AppStage服务的调用预置大语言模型流式模型服务接口说明如何调用API,通过该API调用大语言模型推理服务,根据用户问题,获取大语言模型的回答。

您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987

请求URI

请求URI由如下部分组成。

{URI-scheme} :// {Endpoint} / {resource-path} ? {query-string}

尽管请求URI包含在请求消息头中,但大多数语言或框架都要求您从请求消息中单独传递它,所以在此单独强调。

表1 URI中的参数说明

参数

描述

URI-scheme

表示用于传输请求的协议,当前所有API均采用HTTPS协议。

Endpoint

指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同,当前AppStage服务只在“华北-北京四”部署,Endpoint为“appstage.huaweicloud.com/wiseagent”。

resource-path

资源路径,也即API访问路径。从具体API的URI模块获取,例如“调用预置大语言模型流式模型服务”API的resource-path为“/v1/model-market/public-service/{modelName}/chat-stream”,其中{modelName}为模型名称。

query-string

查询参数,是可选部分,并不是每个API都有查询参数。查询参数前面需要带一个“?”,形式为“参数名=参数取值”,例如“?limit=10”,表示查询不超过10条数据。

例如,您需要调用AppStage在“华北-北京四”区域的调用预置大语言模型流式模型服务接口,则需使用“华北-北京四”区域的Endpoint(appstage.huaweicloud.com/wiseagent),并在调用预置大语言模型流式模型服务的URI部分找到resource-path(/v1/model-market/public-service/{modelName}/chat-stream),拼接起来如下所示。

https://appstage.huaweicloud.com/wiseagent/v1/model-market/public-service/{modelName}/chat-stream
图1 URI示意图

为查看方便,在每个具体API的URI部分,只给出resource-path部分,并将请求方法写在一起。这是因为URI-scheme都是HTTPS,而Endpoint在同一个区域也相同,所以简洁起见将这两部分省略。

请求方法

HTTP请求方法(也称为操作或动词),它告诉服务你正在请求什么类型的操作。

表2 HTTP方法

方法

说明

GET

请求服务器返回指定资源。

PUT

请求服务器更新指定资源。

POST

请求服务器新增资源或执行特殊操作。

DELETE

请求服务器删除指定资源,如删除对象等。

HEAD

请求服务器资源头部。

PATCH

请求服务器更新资源的部分内容。

当资源不存在的时候,PATCH可能会去创建一个新的资源。

在调用调用预置大语言模型流式模型服务接口的URI部分,您可以看到其请求方法为“POST”,则其请求为:

POST https://appstage.huaweicloud.com/wiseagent/v1/model-market/public-service/{modelName}/chat-stream

请求消息头

附加请求头字段,如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”,请求鉴权信息等。

详细的公共请求消息头字段请参见表3

表3 公共请求消息头

名称

描述

是否必选

示例

Content-Type

消息体的类型(格式),当前只支持application/json。

application/json

ts

毫秒时间戳。

1707101222000

nonce

请求唯一标识(UUID)。从AK/SK认证中获取。

-

ak

为AK/SK凭证文件中的AK明文。从AK/SK认证中获取。

-

sign

签名字符串。从AK/SK认证中获取。

-

resource-code

WiseAgent对外开放接口对应的唯一编码,每个接口唯一。请参考表4

modelmarket.chat

表4 Resource-code

Resource-code

接口

modelmarket.chat

调用预置大语言模型非流式模型服务

modelmarket.chat.stream

调用预置大语言模型流式模型服务

modelmarket.embedding.batch

调用预置向量化模型批量服务

onlinetest.chat.test

我部署的对话推理服务API在线测试

onlinetest.embedding.test.batch

我部署的向量化推理服务API在线测试

dataset.query.embeddata

知识库数据查询

请求消息体

请求消息体通常以结构化格式发出,与请求消息头中Content-type对应,传递除请求消息头之外的内容。如果请求消息体中参数支持中文,则中文字符必须为UTF-8编码。

每个接口的请求消息体内容不同,也并不是每个接口都需要有请求消息体(或者说消息体为空),GET、DELETE操作类型的接口就不需要消息体,消息体具体内容需要根据具体接口而定。

对于调用预置大语言模型流式模型服务接口,您可以从接口的请求部分看到所需的请求参数及参数说明。将消息体加入后的请求如下所示。

POST https://appstage.huaweicloud.com/wiseagent/v1/model-market/public-service/{modelName}/chat-stream

{
  "query" : "请介绍一下你自己",
  "history" : [ ],
  "system" : "你是一名程序员",
  "do_sample" : true,
  "max_length" : 2048,
  "max_new_tokens" : 1024,
  "temperature" : 0.8,
  "top_p" : 0.1,
  "repetition_penalty" : 1.1
}

到这里为止这个请求需要的内容就具备齐全了,您可以使用curlPostman或直接编写代码等方式发送请求调用API。

分享:

    相关文档

    相关产品