接入模型服务

前提条件

• 需要具备AI原生应用引擎管理员或开发者权限，权限申请操作请参考AppStage组织成员申请权限。
• 请确保接入的模型服务API符合相应的接口规范，具体规范要求请参见模型服务API接入接口规范。

创建接入模型服务

1. 进入AI原生应用引擎。
2. 在AI原生应用引擎的左侧导航，选择“模型中心 > 我的模型服务”，进入“模型服务”页面。
3. 在“我的模型服务 > 我接入的 > 我创建的”页签，单击“新增模型供应商”。
4. 在“新增模型供应商”页面，配置参数信息，具体参数说明请参考表1。

   表1 新增模型供应商参数说明

   参数	说明
   供应商图标	供应商的图标。大小小于100KB，格式为jpg、png。
   供应商名称	供应商的名称。由2~64个字符组成，包含中英文、数字、下划线、中划线、空格。
   供应商英文名称	供应商的英文名称。由2~64个字符组成，包含英文、数字、下划线、中划线、空格。
   简介	选填项。 供应商的简介。由0~1000个字符组成。
   鉴权方式	无鉴权 Api-key：Api-key认证方式，通过请求header的Authentication字段携带Bearer <Api-key> 进行认证，需要提供Api-key。 AK/SK：适用于盘古大模型的AK/SK认证方式，通过AK（ Access Key ID） /SK（Secret Access Key）加密调用请求，需要提供AK和SK。 App-code：APP认证方式，通过请求header的X-Apig-Appcode字段携带App-code进行认证，需要提供App-code。

5. 单击“确定”。

   新增的模型供应商，显示在模型供应商列表中。“模型服务状态”为“已接入”。

6. 在模型供应商列表，在供应商名称左侧单击，单击“新增模型服务”。
7. 在“新增模型服务”页面，配置参数信息，具体参数说明请参考表7。

   表2 新增模型服务参数说明

   参数	说明
   服务名称	自定义服务名称。由2~32个字符组成，包含中英文、数字及 ._\-，以中英文、数字开头结尾。
   模型名称	填写的模型名称必须为该模型的模型ID/模型编码（登录第三方模型厂商官网查看），例如，Baichuan4、deepseek-chat、glm-4-air，否则会导致模型不可用。 由2~64个字符组成，包含中英文、数字及 ._\-，以中英文,数字开头结尾。 通过API调用模型服务时，该模型名称将用于OpenAPI调用请求体的model字段，详细介绍请参见模型调用。
   模型类型	支持选模型类型：文本对话、文本向量化、文本排序、图像理解。
   模型服务API地址	填入需要接入模型的API地址信息。
   API接口协议	当“模型类型”值为“文本对话”“文本向量化”“图像理解”时，选择“标准OpenAI协议”。 当“模型类型”值为“文本排序”时，选择“AI引擎标准协议”。 模型服务API接入接口规范请参考模型服务API接入接口规范。
   流控配置	超出流控值，则触发限流，用户的请求会因为流控而失败。 无限制 10次/秒 50次/秒 100次/秒 200次/秒
   是否支持工具调用	支持 不支持
   是否支持思维链	支持 不支持
   模型服务描述	选填项。 模型服务的描述信息。由0~1000个字符组成。

8. 单击“确定”。

   新增的模型服务，显示在模型供应商下的模型列表中，“发布状态”为“未发布”。

9. 在模型服务对应的“操作”列下，单击“调测”。
   • 文本对话
     1. 配置如表3所示的参数。

        表3 文本对话类型模型参数说明

        参数	说明
        输出方式	可选非流式、流式。 非流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，大语言模型完整生成回答后一次性返回。 流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，逐个字词的快速返回模式，不需等待大语言模型生成完成。
        输出最大token数	模型在单次推理或生成内容时，能够输出的token（模型处理文本的基本单位）数量的最大值。取值范围为100~32768。
        温度	较高的数值会使输出更加随机，而较低的数值会使其更加集中和确定。建议该参数和“多样性”只设置1个。
        多样性	影响输出文本的多样性，取值越大，生成文本的多样性越强。建议该参数和“温度”只设置1个。
        存在惩罚	介于-2.0和2.0之间的数字。正值会尽量避免使用已出现过的词语，更倾向于生成新词语。
        频率惩罚	介于-2.0和2.0之间的数字。正值会尽量避免使用常见的单词和短语，更倾向于生成较少见的单词。
        内容安全监测配置	开关默认开启，可对输入及返回内容中的文本和图片进行安全监测，关闭后无法对涉政、涉黄、涉暴等相关敏感问题进行过滤。

     2. 在右侧“效果预览”区域，可通过以下两种方式进行模型调测。
        • 在对话输入框输入测试语句后按Enter键或单击，查看模型响应结果。
        • 单击“引用已有提示语模板”或单击输入框上方的“提示语模板”，在弹出的面板中选择“我创建的”、“我收藏的”或“平台预置的”提示语模板，然后按Enter键或单击，查看模型响应结果。
   • 文本向量化
     1. 配置如表4所示的参数。

        表4 文本向量化类型模型参数说明

        参数	说明
        请输入文本	输入待向量化的文本，可参照以下示例： 示例1：那是个快乐的人 示例2： ["那是个快乐的人", "那是个高兴的人", "那是个忧郁的人"]
        内容安全监测配置	开关默认开启，可对输入及返回内容中的文本和图片进行安全监测，关闭后无法对涉政、涉黄、涉暴等相关敏感问题进行过滤。

     2. 单击“生成向量化”，在“效果预览”区域查看模型响应结果。
   • 调测文本排序类型模型
     1. 配置如表5所示的参数。

        表5 文本排序类型模型参数说明

        参数名称	参数说明
        待排序文本	输入待排序文本。单击添加文本，最多可以添加10条。
        被展示文本条数	文本排序完成后，展示的条数。取值范围为1~10。
        我的问题	描述想要解决的问题。
        内容安全监测配置	开关默认开启，可对输入内容中的文本和图片进行安全监测，关闭后无法对涉政、涉黄、涉暴等相关敏感问题进行过滤。

     2. 单击“开始排序”，在“效果预览”区域查看模型响应结果。

10. 在模型服务对应的“操作”列下，单击“发布”。

    发布成功后，“发布状态”变为“已发布”。

更多操作

在模型供应商列表，支持的其他操作请参考表6。

在接入模型服务列表，支持的其他操作请参考表7。

相关文档

• 模型服务接入后，可调测模型服务，请参考调测模型服务。
• 模型服务接入后，可在Agent、工作流中调用模型服务或通过API调用模型服务，请参考在AI原生应用引擎中创建单Agent（自主规划模式）、创建工作流以及模型调用。