大模型

约束与限制

• 如果在大模型节点后并行使用多个大模型，应将首个大模型节点配置为非流式输出。
• 大模型不支持失败时重试。

图1 示例

配置大模型节点

模型配置：

选择要使用的模型。此节点的输出内容质量很大程度上受模型能力的影响，建议根据实际业务场景选择模型。

你还可以单击图标，调整模型配置。模型配置的详细说明可参考选择并配置模型。

输入参数：

输入参数定义了从前置节点传入的变量，在提示词中通过{{参数名}}引用。默认参数名为query。

当单击图标时，可新增输入参数，当单击图标时，可删除输入参数。

• 参数名称：只允许输入字母、数字、下划线，且不能以数字开头。
• 类型、值：支持“引用”和“输入”两种类型。
  • 引用：支持用户选择工作流中已包含的前置节点的输出参数，如果配置了全局变量中的记忆变量，也支持引用记忆变量。
    系统参数列举如下：

    • “conversation_history”：存储当前对话的历史消息记录。
    • “current_time”：获取当前的系统时间戳或时间字符串。
    • “user_id”：识别当前用户的唯一标识符。
    • “conversation_id”：当前工作流的唯一对话标识。
    • “dialogue_count”：当前对话的轮次数计数。
  • 输入：将用户自定义的内容传递给大模型，设置为输入模式后，无论前置节点产生什么输出内容，都不会传递给大模型。
  

  当参数类型为引用时，设置参数值时，您可以在下拉框顶部的搜索栏中输入关键词，快速定位所需参数。

输出参数：

该参数用于解析大模型节点的输出，并提供给后续节点的输出参数引用。

• 输出格式：指定此节点输出的内容格式。输出格式支持设置为：
  • 文本：纯文本格式。仅包含一个文本类型的输出变量，默认名称为raw_output（可自定义）。该变量直接承载模型生成的全部内容。适用于通用对话、简单文本生成场景。
  • Markdown：Markdown格式。仅包含一个文本类型的输出变量，默认名称为raw_output（可自定义）。该变量承载模型生成的Markdown格式文本。适用于需要富文本格式展示的场景。
  • JSON：标准JSON格式。支持定义多个结构化的输出变量（如price,location）。你需要预先定义好期望的输出参数，节点会自动尝试解析模型的回复，并将提取到的信息填充到对应的输出参数中。适用于下游需要结构化数据的场景（如字段提取、API入参构造）。

• 自定义参数：
  • 参数名称：名称请命名清晰易理解，有助于大模型正确返回匹配的内容。例如，使用new_query表示改写后的问题，而不是简单的output1。
    

    大模型节点内置rawOutput，表示原始输出，后续节点可直接引用，用户自定义输出参数不可与其同名。

  • 参数类型：参数类型请确保大模型实际输出的内容严格匹配。例如，如果类型定义为Integer（整数），模型却输出了“high”或3.14，下游程序可能会报错或执行异常。
  • 参数描述：清晰的描述就是给模型的明确指令，模型会参考此描述来理解每个字段应提取什么内容。请尽量写清楚含义。例如“用户的购买地点”而不是“地点”。
• 是否流式输出：流式输出控制模型是逐字返回还是一次性返回结果。仅文本、Markdown格式支持流式输出。

提示词配置：

• 短期记忆：用于控制大模型是否读取多轮对话的历史交互内容，开启时可确保多轮对话连贯性。支持通过单击右侧的开关按钮“启动”或“关闭”短期记忆功能，该功能默认关闭。
• 系统提示词：

  配置输入给大模型的提示词，系统级提示词，用于指导模型按要求进行回复。撰写提示词方式可参考撰写提示词规范。

  支持单击快速插入当前节点的输入参数，或在输入框中键入'{'快速引用当前节点输入参数中已定义好的参数，最终替换后的内容会传递给模型。例如：需要让大模型能够根据用户输入的城市，预算以及旅行天数提供旅行建议的场景，输入参数分别定义为city，budget以及days，分别引用“开始”节点已定义好的city，budget、days参数，提示词中引用这些输入参数，如图2所示。

  图2 配置系统提示词
  

  用户可单击图标直接引用提示词模板；也可以自行撰写提示词，撰写后可单击图标对系统提示词进行智能优化；也可单击图标保存到模板，在“组件库>提示词”中可查看该模板；也可以单击快速插入输入参数，或在输入框中键入'{'快速引用参数。

• 用户提示词：

  用户直接输入给大模型的具体问题、指令或需求，例如，“你觉得未来的科技会怎样发展？”。用户提示词支持使用{{variable}}格式引用当前节点输入参数中的变量。

  用户提示词的质量直接决定了大模型输出结果的好坏，提示词越清晰，AI的回答越准确。

  当单击图标时，系统会弹出“选择提示词”窗口，可在“提示词广场”或“组件库提示词”页签中进行选择。

异常处理：

支持对节点的异常（如超时、调用失败等情况）进行处理，包括超时时间、重试次数、异常处理方式。

• “超时时间”：支持用户配置超时时间，取值范围0.1~900，默认900s。
• “重试次数”：支持配置重试次数（不重试、重试1次、重试2次、重试3次），系统默认不重试。
• “异常处理方式”：配置异常处理方式。
  • 中断流程：节点发生异常后，直接中断流程，不再运行后续节点。
  • 返回设定内容：节点发生异常后，工作运行不会中断，用户可自定义设置需要返回的输出字段内容，必须是输出参数中已定义的字段，且格式为合法的JSON格式。
  • 执行异常流程：节点发生异常后，工作流不会中断，而是会执行异常处理流程。用户可以在该运行异常的节点前新增节点，并为新增的异常分支配置相应的处理流程。

• 当流式输出和异常处理功能开启时，异常处理参数默认为“不重试”和“中断流程”。
• 当流式输出功能关闭，输出格式为文本或Markdown时，异常处理方式仅支持“中断流程”。
• 当流式输出功能关闭，输出格式为JSON时，三种异常处理方式均支持。

安全：

主要用于检测和拦截潜在的有害、敏感或攻击性的内容。具体来说，它能够识别并阻止那些旨在操纵或滥用系统的Prompt攻击，同时也能过滤掉包含有毒、不适当或违法信息的输入和输出，从而保护用户和系统免受不良影响。这一机制对于维护平台的健康环境和保障用户安全至关重要。

开启安全护栏后，应用性能可能会出现一定程度的下降，请根据实际需要打开，默认关闭。

相关操作

• 单击图标，可修改大模型名称，修改完成后单击名称旁边的进行保存。
• 单击图标，可重命名大模型名称，复制一个大模型或删除大模型；也可以将大模型节点连接到结束节点。
• 单击图标，可对大模型节点进行测试。
• 双击名称下面的节点说明，可修改节点的描述信息。
• 单击图标，可查看文档信息。

配置示例

例如通过大模型节点自动从用户输入的一段文本中提取关键信息，开始节点接收用户的文本输入，大模型节点将用户的输入提取出关键字段，例如购买地点、购买产品和价格，最后结束节点输出这些字段。工作流编排方式如图2 工作流所示。

图3 工作流

工作流核心节点如表1所示。

效果示例如下图所示。

图4 效果示例

常见问题

• 将工作流中的第一个大模型节点设置为流式输出时，为什么会报错101039？
  图5 报错示例截图
  

  原因：如果在大模型节点后并行使用多个大模型，应将首个大模型节点配置为非流式输出，流式输出模式可能会导致数据流在并行处理时出现不一致或冲突，从而引发错误101039。详见约束与限制。

  解决办法：

  • 将第一个大模型节点的输出模式设置为非流式输出。确保配置文件中的“output_mode”参数设置为“batch”或其他非流式模式。
  • 确认后续并行使用的大模型节点是否正确配置。确保每个节点的输入和输出格式一致，避免数据流冲突。
  • 在测试环境中重新运行工作流，确保修改后的配置能够正常工作。逐步验证每个节点的输出，确保数据流的正确性和一致性。
  • 查看模型和框架的官方文档，确认是否有关于流式输出和并行处理的特定要求或限制。
  • 查看详细的错误日志，寻找更多关于错误101039的上下文信息，以便进一步诊断问题。
  图6 正确配置示例
  
• 为什么模型输出了JSON但后续节点无法识别？
  • 检查A：确认节点“输出格式”是否已选为JSON。如果是“文本”模式，下游只能拿到字符串，无法取Key值。
  • 检查B：检查提示词是否严格约束了“不要使用Markdown代码块”。某些模型习惯输出```json {...}```，这会导致JSON解析失败。建议在提示词中加入“仅返回原始JSON”。
• JSON输出解析失败，下游拿到的是字符串而非结构化对象

  检查项	操作
  输出格式是否为JSON	确认已在输出区域选择“JSON”而非“文本”。
  流式输出是否关闭	JSON格式要求关闭流式输出。
  Prompt是否约束了格式	在系统提示词中明确写入不要包含```json标记，直接返回JSON。
  字段定义是否完整	确认输出参数中的字段名与Prompt中要求的字段名一致。