大模型
大模型节点提供了使用大模型的能力,可在节点中配置已部署的模型,用户可以通过编写Prompt、设置参数让模型处理相应任务。
前提条件
已完成工作流搭建,如果未搭建工作流,请参考搭建工作流。
大模型节点说明
通过该节点,用户能够灵活地编写提示词(Prompt)并精细设置相关参数,从而实现对大模型的高效调用。该功能支持多种类型的大模型服务,能够处理包括文本生成、对话交互、内容理解等多种任务场景,为用户提供强大而灵活的AI能力支撑。
配置大模型节点
- 登录Versatile智能体平台,在左侧导航栏“个人空间”区域,选择进入所需空间。
如果已选择团队空间,界面显示为实际的团队空间名称,而非“个人空间”。
图1 选择团队空间 - 在左侧导航栏选择“开发中心 > 应用管理 > 工作流应用”,单击您创建的工作流。
- 单击“添加节点”并选择“大模型”节点。
- 通过单击该节点打开节点配置页面。
- 参照表1,完成大模型节点的配置。
- 单击
图标,可修改大模型名称,修改完成后单击名称旁边的
进行保存。
- 单击
图标,可重命名大模型名称,复制一个大模型或删除大模型。
- 单击
图标,可对大模型节点进行测试。
表1 大模型节点配置说明 配置类型
参数名称
参数说明
配置示例
模型配置
模型选择
选择模型接入模块已配置的大语言模型。
DeepSeek-V3
温度
当单击
图标时,可进行该参数设置。
用于控制生成结果的随机性。调高温度,会使得模型的输出更具多样性和创新性;降低温度,会使输出内容更加遵循指令要求,但同时也会减少模型输出的多样性。
0.5
核采样
当单击
图标时,可进行该参数设置。
模型在输出时会从概率最高的词汇开始选择,直到这些词汇的总概率累积达到核采样值,核采样值可以限制模型选择这些高概率的词汇,从而控制输出内容的多样性。建议不要与温度同时调整。
0.5
历史对话轮数
当单击
图标时,可进行该参数设置。
设置带入模型上下文的对话历史轮数。轮数越多,多轮对话的相关性越高,但消耗的Token也越多。
3
最大回复长度
当单击
图标时,可进行该参数设置。
控制模型输出的Tokens长度上限。通常100Tokens约等于150个中文汉字。
131072
重复语句惩罚
当单击
图标时,可进行该参数设置。
当该值为正时,会阻止模型频繁使用相同的词汇和短语,从而增加输出内容的多样性。
2
参数配置
输入参数
配置大模型处理需要的输入参数值, 这些值会动态添加到提示词中,默认设置的输入参数名为query。
当单击
图标时,可新增输入参数。
当单击
图标时,可删除输入参数。
- 参数名称:只允许输入字母、数字、下划线,且不能以数字开头。
- 类型、值:支持“引用”和“输入”两种类型。
- 引用:支持用户选择工作流中已包含的前置节点的输出参数,如果配置了全局变量中的记忆变量,也支持引用记忆变量。
- 输入:将用户自定义的内容传递给大模型,设置为输入模式后, 无论前置节点产生什么输出内容,都不会传递给大模型。
query
输出参数
该参数用于解析大模型节点的输出,并提供给后续节点的输出参数引用。
- 参数名称:参数的名称长度必须大于等于1个字符,并且字符只允许为下面三种类型:
- 字母(A-Z或a-z)
- 数字(0-9)
- 特殊字符:_
说明:用户自定义输出参数名称不允许与内置输出参数rawOutput同名。大模型节点有一个内置输出参数rawOutput,代表该节点未经解析的原始输出,与大模型节点相连的后续节点可以直接引用该输出。
- 参数类型:输出参数的类型,可选String、Integer、Number、Boolean、Object、Array<String>、Array<Number>、Array<Integer>、Array<Boolean>、Array<Object>。
- 描述:对于该输出参数的描述。
- 流式输出:模型调用方式开关,支持开启或关闭模型流式输出效果。
- 输出格式:支持输出的格式包括文本、Markdown、JSON。
- 文本:大模型原始内容输出,仅支持一个参数,默认为raw_output, 支持修改名称。
- Markdown:期望模型输出markdown格式内容时选择。仅支持一个参数,默认为raw_output, 支持修改名称。
- JSON:要求模型按Json格式响应;支持添加多个参数。
raw_output
提示词配置
系统提示词
配置输入给大模型的提示词,系统级提示词,用于指导模型按要求进行回复。支持使用{{variable}}格式引用当前节点输入参数中已定义好的参数。最终替换后的内容会传递给模型。
当单击
图标时,可对系统提示词进行智能优化。
当单击
图标时,系统会弹出“提示词广场”窗口,可在“预制提示词”页签中进行选择。
-
用户提示词
配置输入给大模型的提示词,用户级提示器,作为当前用户问题的输入。配置提示词时,支持使用{{variable}}格式引用当前节点输入参数中已定义好的参数。最终替换后的内容会传递给模型。
当单击
图标时,系统会弹出“提示词广场”窗口,可在“我的提示词”页签中进行选择。
{{query}}
记忆
是否打开记忆功能;打开后可记录多轮对话的内容,默认关闭。
关闭
图2 大模型节点配置示例 - 单击
- 完成节点配置后,单击“确定”。
- 连接工作流节点和其他节点。