接入用户自定义的模型服务
Versatile支持接入由用户或第三方部署在外部环境的模型服务API,支持接入的模型类型包括文本对话(Chat)、文本向量化(Embeddings)、文本排序(Rerank)、图像理解。模型服务接入后,用户可以进行调测和使用。
前提条件
已接入模型供应商。
新建模型服务
- 登录Versatile智能体平台,在左侧导航栏“个人空间”区域,选择进入所需空间。
如果已选择团队空间,界面显示为实际的团队空间名称,而非“个人空间”。
图1 选择团队空间 - 在左侧导航,选择“模型中心 > 模型服务”,进入“模型服务”页面。
- 选择“自定义”页签,单击对应的模型供应商卡片,在“供应商详情”页面,单击“新建模型服务”。
- 在“新建模型服务”页面,配置参数信息,具体参数说明请参考表1。
接入示例请参考DeepSeeK模型配置示例。
表1 新建模型服务参数说明 参数
说明
示例
模型服务图标
系统默认模型服务图标,用户也可以自定义图标。
系统默认图标
模型服务
自定义模型服务名称。由2~64个字符组成,包含中英文、数字及 :._\-,以中英文、数字开头结尾。
文本对话
模型名称
填写的模型名称必须为该模型的模型ID/模型编码,否则会导致模型不可用。
需要登录第三方模型厂商官网查看,例如,Baichuan4、deepseek-chat、glm-4-air。
由2~64个字符组成,包含中英文、数字及 ._\-,以中英文,数字开头结尾。
deepseek-chat
模型类型
选择模型类型。
- 文本对话:文本对话模型,通常被称为对话式AI或聊天机器人,是一种经过训练能够理解和生成人类语言,并以多轮、上下文连贯的方式进行交流的人工智能系统。
- 文本向量化:文本向量化模型的核心任务是将文本(词、句、段落或文档)转换为计算机能够理解和处理的数值形式——即高维向量(也称为“嵌入”,Embedding)。这个向量就像是文本在数学空间中的一个“坐标点”。
- 文本排序:文本排序模型用于对一组文本对象进行相关度排序。给定一个查询(Query)和一个文本列表(如搜索引擎的结果),排序模型会根据每个文本与查询的相关程度,从高到低进行排序。
- 图像理解:图像理解模型是一种能够对图像内容进行分析、解读和理解的人工智能模型,其核心目标是让计算机像人类一样“看懂”图像。
文本对话
模型服务API地址
填入需要接入模型的API地址信息。字符长度不大于255个字符。
格式为:https://xxx.com/v1/xxx。
https://api.deepseek.com/chat/completions
API接口协议
- 当“模型类型”值为“文本对话”“文本向量化”“图像理解”时,选择“标准OpenAI协议”。
- 当“模型类型”值为“文本排序”时,选择“AI引擎标准协议”。
模型服务API接入接口规范请参考模型服务API接入接口规范。
标准OpenAI协议
流控配置
超出流控值,则触发限流,用户的请求会因为流控而失败。
- 无限制
- 10次/秒
- 50次/秒
- 100次/秒
- 200次/秒
无限制
选择标签
可选项。
当“模型类型”值为“文本对话”“图像理解”时,才有此参数。
选择标签后,在应用中选择大模型时,显示在大模型右侧。
工具:该大模型支持应用调用外部工具时,例如,MCP服务、插件、知识库,可以选择该标签。
思考:该大模型具备思维推理时,可以选择该标签。
联网:该大模型具备联网搜索能力时,可以选择该标签。
工具
自定义标签
选填项。
最多支持添加10个标签。单击
,输入标签内容,按Enter键。
添加后,在应用中选择大模型时,显示在大模型右侧。
-
模型服务描述
选填项。
模型服务的描述信息。由0~1000个字符组成。
-
- 单击“确定”。
新建的模型服务,显示在模型供应商下的模型服务卡片列表中。
- 在需要调测的模型服务卡片上,单击“
> 调测”,具体调测操作请参考调测用户自主接入的模型服务。
- 在需要发布的模型服务卡片上,单击“
> 发布模型”。
发布后的模型服务,才支持调测、使用。
DeepSeeK模型配置示例
- 请在DeepSeek官网购买并获取到模型的API Key。
具体操作请参考DeepSeek文档。
- 从DeepSeek官网获取调用API文档,如图2所示。
具体请参考DeepSeek文档。
- 在Versatile服务,模型接入页面添加模型服务,配置示例如图3所示。
相关操作
在接入模型服务卡片列表,支持的其他操作请参考表2。
相关文档
- 模型服务接入后,可以调测模型服务,具体操作请参考调测用户自主接入的模型服务。
- 模型服务接入后,可以在智能体、工作流中使用模型服务,请参考开发单智能体应用、开发工作流应用、开发多智能体应用。