ModelRouter
导入ModelRouter
from wiseagent_dev_sdk_python.modules.models import ModelRouter
ModelRouter提供了AI原生应用引擎模型网关的接口，可以访问AI原生应用引擎上的模型，接口调用类似OpenAI。
实例化
|
参数名 |
参数类型 |
是否必选 |
参数描述 |
|---|---|---|---|
|
base_url |
str |
False |
模型网关开放的ip和端口，有默认值可以不填。功能类似OpenAI的base_url。 |
|
custom_hearders |
dict |
False |
其他自定义请求头信息。 |
|
http_client |
httpx.client |
False |
自定义的httpx client。 |
|
kwargs |
- |
False |
其他可选参数，如api_key、timeout等。 |
类属性
|
属性名称 |
属性类型 |
|---|---|
|
ModelRouter.chat |
Chat object |
|
ModelRouter.embeddings |
Embeddings object |
|
ModelRouter.images |
Image object |
接口调用
- chat
- 接口调用：ModelRouter.chat.completion.create
- 参数说明
表3 参数说明 参数名
参数类型
是否必选
参数描述
messages
List[str]
True
包含到目前为止的对话的消息列表
model
str
True
模型id
stream
bool
False
是否流式返回
kwargs
-
False
其他openai chat completion参数
- 返回值
表4 返回值 键
值类型
描述
id
str
唯一标识
choices
list
文本生成选项列表。如果n大于1，则可以是多个
created
int
Unix时间戳（以秒为单位）
model
str
使用的模型
usage
str
请求token用量
object
str
当前为chat.completion
- Embedding
- 接口调用：ModelRouter.chat.completion.create
- 参数说明
表5 参数说明 参数名
参数类型
是否必选
参数描述
input
str or List[str]
True
输入内容
model
str
True
模型id
kwargs
-
-
其他openai embedding参数
- 返回值
表6 返回值 键
值类型
描述
data
List[Embedding]
Embedding object的列表
model
str
模型id
usage
dict
Token消耗
object
str
当前为list
表7 Embdding object 键
值类型
描述
index
int
Embedding索引
embeddings
List[float]
向量，一个浮点数列表
object
str
当前为embedding
- Images
- 接口调用：ModelRouter.images.generate
参数说明：
表8 参数说明 参数名称
参数类型
是否必选
参数描述
prompt
str
True
输入
model
str
True
模型id
kwargs
-
-
其他openai image参数，如：size
- 接口调用：ModelRouter.images.image2text
参数说明：
表9 参数说明 参数名称
参数类型
是否必选
参数描述
messages
List[str]
True
包含到目前为止的对话的消息列表
model
str
True
模型id
kwargs
-
-
其他大模型参数，如：temperature、top_p
- 接口调用：ModelRouter.images.generate
