大模型

大模型是工作流的基础节点之一，包含“大语言模型LLM”和“多模态模型LMM”两个执行动作。

在工作流中添加大模型节点，可以使用大语言模型推理服务实现智能问答或者使用多模态模型实现视觉理解。

大语言模型LLM

将用户输入的对话内容传递给大模型，大模型对当前对话做出响应。

输入

配置执行动作，相关参数说明如表1所示。

表1 大语言模型LLM输入参数说明
参数	是否必填项	说明
模型	是	在下拉框中选择需要调用的大模型。
消息	是	选择数组类型的节点输出。单击可切换为数组样式，配置“角色”和“对话内容（输入）”。角色：对话内容对应的角色，支持user或system。 user表示用户向大模型提问。 system表示给大模型输入对话背景及设定。对话内容：支持自定义输入文本，也可将前置节点的输出作为输入。当角色为user时，输入发送给大模型的问题。例如，请帮我分析一下这个股票的潜在价值。当角色为system时，输入大模型的对话背景，即对大模型的设定。例如，输入给大模型：你是一个理财专家，请在后续的回答中，结合理财技巧给出答复。
高级配置 > 频率惩罚	否	介于-2.0和2.0之间的数字。正值会尽量避免使用常见的单词和短语，更倾向于生成较少见的单词。
高级配置 > 输入加输出最大token数	否	模型在单次推理或生成内容时，输入加输出的token（模型处理文本的基本单位）数量的最大值。
高级配置 > 存在惩罚	否	介于-2.0和2.0之间的数字。正值会尽量避免使用已出现过的词语，更倾向于生成新词语。
高级配置 > 温度	否	较高的数值会使输出更加随机，而较低的数值会使其更加集中和确定。建议该参数和“多样性”只设置1个。
高级配置 > 多样性3	否	影响输出文本的多样性，取值越大，生成文本的多样性越强。建议该参数和“温度”只设置1个。

输出
 该执行动作是根据用户定义的内容输出指定参数。

节点实例

在工作流中首次调用大模型节点需要新增实例，实例是节点的鉴权方式，如果未新增实例，节点就无法调通。

单击“新增实例”，在“创建实例”面板，配置表2参数信息。

表2 创建实例参数说明
参数		说明
基本信息	实例名称	必填项，自定义实例名称。
基本信息	描述	选填项，输入实例相关描述信息。
验证信息	API Key	必填项，单击“获取API key”跳转至AI原生应用引擎的“我的凭证”页面，在“平台API Key”页签获取，具体介绍请参考创建API Key。

单击“保存”，完成实例创建。

节点备注
 输入节点备注信息，方便后续查阅节点功能。节点备注最大长度限制为1000个字符。

多模态模型LMM

将用户输入的图片、视频和对话内容传递给多模态大模型，大模型对当前对话做出响应。

输入

配置执行动作，相关参数说明如表3所示。

表3 多模态模型LMM输入参数说明
参数	是否必填项	说明
模型	是	在下拉框中选择需要调用的大模型。
系统提示词	否	为对话提供系统级指导，如设定人设和回复逻辑。
图片/视频类型	是	选择需要视觉理解的文件类型。
用户提示词	否	向模型提供用户指令，如查询或任何基于文本输入的提问。
对话历史	否	传入对话历史，可以从起始节点引入历史对话。
图片/视频地址列表(单个地址请展开填写)	否	选择数组类型的节点输出。单击可切换为数组样式，配置单个图片/视频地址。

输出
 该执行动作是根据用户定义的内容输出指定参数。

节点实例

在工作流中首次调用大模型节点需要新增实例，实例是节点的鉴权方式，如果未新增实例，节点就无法调通。

单击“新增实例”，在“创建实例”面板，配置表4参数信息。

表4 创建实例参数说明
参数		说明
基本信息	实例名称	必填项，自定义实例名称。
基本信息	描述	选填项，输入实例相关描述信息。
验证信息	API Key	必填项，单击“获取API key”跳转至AI原生应用引擎的“我的凭证”页面，在“平台API Key”页签获取，具体介绍请参考创建API Key。