更新时间:2026-01-27 GMT+08:00
分享

接入自定义的模型服务

为了满足用户对模型的个性化及专业化需求,Versatile支持接入由用户或第三方部署在外部环境的模型服务API。支持接入的模型类型包括文本对话(Chat)、文本向量化(Embeddings)、文本排序(Rerank)、图像理解。模型服务接入后,用户可以进行调测和使用。

为了保证接入模型服务的质量,模型API接入之前,请确保符合相对应的接口规范,其中文本对话、文本向量化、图像理解类型需要符合OpenAI接口规范,文本排序类型需要符合AI引擎标准协议。标准OpenAI协议和AI引擎标准协议规范请参考接入模型服务API接口规范

自定义模型服务的优势:

  • 优化个性化体验:个性化可以减少用户的搜索和选择时间,提供更加流畅和高效的用户体验。例如,搜索引擎可以根据用户的搜索历史和偏好,提供更加精准的搜索结果。
  • 增强特性领域的准确性:接入专业的模型服务,可以显著提高特定领域的准确性。例如,在医疗领域,接入专业的医学模型可以提供更准确的诊断建议。
  • 提升开发效率:通过快速接入用户或第三方部署在外部环境的模型服务API,可以显著提升开发效率。开发人员无需从零开始构建复杂的模型,而是可以直接利用已有的高质量模型。

前提条件

新建模型服务

  1. 登录Versatile智能体平台,在左侧导航栏“个人空间”区域,选择目标空间。
  2. 在左侧导航,选择“模型中心 > 模型服务”,进入“模型服务”页面。
  3. 选择“自定义”页签,单击对应的模型供应商卡片,在“供应商详情”页面,单击“新建模型服务”。

    图1 新建模型服务

  4. 在“新建模型服务”页面,配置参数信息,具体参数说明请参考表1

    接入示例请参考DeepSeek模型配置示例

    表1 新建模型服务参数说明

    参数

    说明

    示例

    模型服务图标

    系统默认模型服务图标,用户也可以自定义图标。

    1. 鼠标移动至系统默认图标上,单击鼠标左键。
    2. 在虚线框中,单击鼠标左键,上传已备注的模型服务图标。

      支持jpg、png格式图片,且不大于100KB。

    系统默认图标

    模型服务名称

    自定义模型服务名称。由2~64个字符组成,包含中英文、数字及:._/|\-,以中英文、数字开头结尾。

    文本对话

    模型名称

    填写的模型名称必须为该模型的模型ID/模型编码,否则会导致模型不可用。

    需要登录第三方模型厂商官网查看,例如,Baichuan4、deepseek-chat、glm-4-air。

    如果要接入自建的模型服务,该模型名称将用于接口调用请求体的model字段。

    由2~64个字符组成,包含中英文、数字及:._/|\-,以中英文、数字开头结尾。

    deepseek-chat

    模型类型

    选择模型类型。

    • 文本对话:文本对话模型,通常被称为对话式AI或聊天机器人,是一种经过训练能够理解和生成人类语言,并以多轮、上下文连贯的方式进行交流的人工智能系统。
    • 文本向量化:文本向量化模型的核心任务是将文本(词、句、段落或文档)转换为计算机能够理解和处理的数值形式——即高维向量(也称为“嵌入”,Embedding)。这个向量就像是文本在数学空间中的一个“坐标点”。
    • 文本排序:文本排序模型用于对一组文本对象进行相关度排序。给定一个查询(Query)和一个文本列表(如搜索引擎的结果),排序模型会根据每个文本与查询的相关程度,从高到低进行排序。
    • 图像理解:图像理解模型是一种能够对图像内容进行分析、解读和理解的人工智能模型,其核心目标是让计算机像人类一样“看懂”图像。

    文本对话

    模型服务API地址

    填入需要接入模型的API地址信息。字符长度不大于255个字符。

    格式为:https://xxx.com/v1/xxx

    https://api.deepseek.com/chat/completions

    API接口协议

    • 当“模型类型”值为“文本对话”、“文本向量化”、“图像理解”时,选择“标准OpenAI协议”、“阿里千问接口协议”、“MaaS标准API V1”、“MaaS标准API V2”。
    • 当“模型类型”值为“文本排序”时,选择“AI引擎标准协议”。

    标准OpenAI协议AI引擎标准协议规范请参考接入模型服务API接口规范

    阿里千问接口协议规范请参考通义千问的接口协议。

    MaaS标准API V1接口规范请参考MaaS标准API V1

    MaaS标准API V2接口规范请参考MaaS标准API V2

    标准OpenAI协议

    流控配置

    超出流控值,则触发限流,用户的请求会因为流控而失败。

    • 无限制
    • 10次/秒
    • 50次/秒
    • 100次/秒
    • 200次/秒

    无限制

    选择标签

    可选项。

    当“模型类型”值为“文本对话”、“图像理解”时,才有此参数。

    选择标签后,在应用中选择大模型时,显示在大模型右侧。

    • 工具:该大模型支持应用调用外部工具时,例如,MCP服务、插件、知识库,可以选择该标签。
    • 思考:该大模型具备思维推理时,可以选择该标签。
    • 联网:该大模型具备联网搜索能力时,可以选择该标签。

    工具

    是否支持关闭思维链输出

    当“选择标签”选择了思考时,才有此参数。

    • 开启:模型在调测、使用时,显示“深度思考”参数。

      在模型的调测和使用过程中,“深度思考”开关的生效情况如下:

      • 如果模型支持思维链输出能力,并且也支持关闭该能力,则开启、关闭均生效。
      • 如果模型支持思维链输出能力,但不支持关闭该能力,则开启生效、关闭不生效。
      • 如果模型不支持思维链输出能力,则开启、关闭均不生效。
    • 关闭:模型在调测、使用时,不显示“深度思考”参数。默认关闭

      模型在调测、使用时,是否输出思维链,取决于模型本身是否支持思维链输出。

    关闭

    自定义标签

    选填项。

    最多支持添加5个标签。单击,输入标签内容,按Enter键。

    添加后,在应用中选择大模型时,显示在大模型右侧。

    -

    模型服务描述

    选填项。

    模型服务的描述信息。由0~1000个字符组成。

    -

  5. 单击“确定”。

    新建的模型服务,显示在模型供应商下的模型服务卡片列表中。模型服务为“未发布”。

  6. 在需要调测的模型服务卡片上,单击“ > 调测”,具体调测操作请参考调测已接入的模型服务
  7. 在需要发布的模型服务卡片上,单击“ > 发布模型”。

    模型服务为“已发布”。已发布的模型服务,才支持使用。

DeepSeek模型配置示例

  1. 请在DeepSeek官网购买并获取模型的API Key。

    具体操作请参考DeepSeek文档

  2. 从DeepSeek官网获取调用API文档,如图2所示。

    具体请参考DeepSeek文档

    图2 模型示例
    curl https://api.deepseek.com/chat/completions \
      -H "Content-Type: application/json" \
      -H "Authorization: Bearer ${DEEPSEEK_API_KEY}" \
      -d '{
            "model": "deepseek-chat",
            "messages": [
              {"role": "system", "content": "You are a helpful assistant."},
              {"role": "user", "content": "Hello!"}
            ],
            "stream": false
          }'

  3. 参考1~3,新建模型服务,配置示例如图3所示。

    图3 新增模型服务

  4. 请参考5~7

相关操作

在接入模型服务卡片列表,支持的其他操作请参考表2

表2 接入模型服务相关操作

操作

说明

查看接入模型服务信息

单击接入模型服务卡片,进入模型服务详情页,可以查看模型服务信息。

修改接入模型服务信息

在需要修改的接入模型服务卡片上,单击“ > 编辑”。

未发布的接入模型服务,才可以修改。

取消发布

在需要取消发布的接入模型服务卡片上,单击“ > 取消发布”。

未发布的模型服务,不支持使用。

已发布的接入模型服务,才可以取消发布。

删除接入模型服务

在需要删除的接入模型服务卡片上,单击“ > 删除”。

已发布的接入模型服务,需要先取消发布,才能删除。

相关文档

相关文档