大模型

大模型节点说明

通过该节点，用户能够灵活地编写提示词（Prompt）并精细设置相关参数，从而实现对大模型的高效调用。该功能支持多种类型的大模型服务，能够处理包括文本生成、对话交互、内容理解等多种任务场景，为用户提供强大而灵活的AI能力支撑。

前提条件

已完成工作流搭建，如果未搭建工作流，请参考搭建工作流。

约束与限制

如果在大模型节点后并行使用多个大模型，应将首个大模型节点配置为非流式输出。

配置大模型节点

1. 登录AgentArts智能体平台，在左侧导航栏“个人空间”区域，选择目标空间。
2. 单击左侧导航栏“开发中心 > 智能体管理 ”，单击左上角“工作流”页签，进入工作流应用管理界面，单击您创建的工作流。
3. 单击“添加节点”并选择“大模型”节点。
4. 通过单击该节点打开节点配置页面。
5. 参照表1，完成大模型节点的配置。
   

   • 单击图标，可修改大模型名称，修改完成后单击名称旁边的进行保存。
   • 单击图标，可重命名大模型名称，复制一个大模型或删除大模型；也可以将大模型节点连接到结束节点。
   • 单击图标，可对大模型节点进行测试。
   • 双击名称下面的节点说明，可修改节点的描述信息。

   表1 大模型节点配置说明

   配置类型	参数名称	参数说明	配置示例
   模型配置	模型配置	选择模型接入模块已配置的大语言模型。	DeepSeek-V3
   	温度	当单击图标时，可进行该参数设置。 用于控制生成结果的随机性。调高温度，会使得模型的输出更具多样性和创新性；降低温度，会使输出内容更加遵循指令要求，但同时也会减少模型输出的多样性。	0.5
   	核采样	当单击图标时，可进行该参数设置。 模型在输出时会从概率最高的词汇开始选择，直到这些词汇的总概率累积达到核采样值，核采样值可以限制模型选择这些高概率的词汇，从而控制输出内容的多样性。建议不要与温度同时调整。	0.5
   	历史对话轮数	当单击图标时，可进行该参数设置。 设置带入模型上下文的对话历史轮数。轮数越多，多轮对话的相关性越高，但消耗的Token也越多。	3
   	最大回复长度	当单击图标时，可进行该参数设置。 控制模型输出的Tokens长度上限。通常100Tokens约等于150个中文汉字。	131072
   	重复语句惩罚	当单击图标时，可进行该参数设置。 当该值为正时，会阻止模型频繁使用相同的词汇和短语，从而增加输出内容的多样性。 当该值为0时，表示不施加任何惩罚，模型完全按照原始概率分布生成文本，可能导致重复问题，例如在重复惩罚中取0相当于无惩罚，输出可能缺乏多样性。 当该值为负时，表示鼓励已出现的token再次被选择，增加重复性。	2
   参数配置	输入参数	配置大模型处理需要的输入参数值， 这些值会动态添加到提示词中，默认设置的输入参数名为query。 当单击图标时，可新增输入参数。 当单击图标时，可删除输入参数。 参数名称：只允许输入字母、数字、下划线，且不能以数字开头。 类型、值：支持“引用”和“输入”两种类型。 引用：支持用户选择工作流中已包含的前置节点的输出参数，如果配置了全局变量中的记忆变量，也支持引用记忆变量。 输入：将用户自定义的内容传递给大模型，设置为输入模式后， 无论前置节点产生什么输出内容，都不会传递给大模型。 说明： 当参数类型为引用时，设置参数值时，您可以在下拉框顶部的搜索栏中输入关键词，快速定位所需参数。	query
   	输出参数	该参数用于解析大模型节点的输出，并提供给后续节点的输出参数引用。 参数名称：参数的名称长度必须大于等于1个字符，并且字符只允许为下面三种类型： 字母（A-Z或a-z） 数字（0-9） 特殊字符：_ 说明： 用户自定义输出参数名称不允许与内置输出参数rawOutput同名。大模型节点有一个内置输出参数rawOutput，代表该节点未经解析的原始输出，与大模型节点相连的后续节点可以直接引用该输出。 参数类型：输出参数的类型，可选String、Integer、Number、Boolean、Object、Array<String>、Array<Number>、Array<Integer>、Array<Boolean>、Array<Object>。 描述：对于该输出参数的描述。 流式输出：模型调用方式开关，支持开启或关闭模型流式输出效果。 输出格式：支持输出的格式包括文本、Markdown、JSON。 文本：大模型原始内容输出，仅支持一个参数，默认为raw_output， 支持修改名称。 Markdown：期望模型输出markdown格式内容时选择。仅支持一个参数，默认为raw_output， 支持修改名称。 JSON：要求模型按JSON格式响应；支持添加多个参数。 说明： 流式输出开启时，支持输出格式选择文本或Markdown。 流式输出关闭时，支持输出格式文本、Markdown或JSON。	raw_output
   	异常处理	支持对节点的异常（如超时、调用失败等情况）进行处理，包括超时时间、重试次数、异常处理方式。 “超时时间”：支持用户配置超时时间，取值范围0.1~900，默认900s。 “重试次数”：支持配置重试次数（不重试、重试1次、重试2次、重试3次），系统默认不重试。 “异常处理方式”：配置异常处理方式。 中断流程：节点发生异常后，直接中断流程，不再运行后续节点。 返回设定内容：节点发生异常后，工作运行不会中断，用户可自定义设置需要返回的输出字段内容，必须是输出参数中已定义的字段，且格式为合法的JSON格式。 执行异常流程：节点发生异常后，工作流不会中断，而是会执行异常处理流程。用户可以在该运行异常的节点前新增节点，并为新增的异常分支配置相应的处理流程。 说明： 当流式输出和异常处理功能开启时，异常处理参数默认为“不重试”和“中断流程”。 当流式输出功能关闭，输出格式为文本或Markdown时，异常处理方式仅支持“中断流程”。 当流式输出功能关闭，输出格式为JSON时，三种异常处理方式均支持。	“超时时间”：900。 “重试次数”：不重试。 “异常处理方式”：中断流程。
   提示词配置	系统提示词	配置输入给大模型的提示词，系统级提示词，用于指导模型按要求进行回复。支持使用{{variable}}格式引用当前节点输入参数中已定义好的参数。最终替换后的内容会传递给模型。 当单击图标时，填写“模板名称”、选择“行业”和“标签”后，可将提示词创建成模板并保存到提示词。 当单击图标时，可对系统提示词进行智能优化。 当单击图标时，系统会弹出“选择提示词”窗口，可在“提示词”或“组件库提示词”页签中进行选择。	作为一位畅销小说作家，你擅长运用华丽且流畅的语言描绘场景和人物，精于编织情节，使故事层次丰富、悬念迭起。现在，请根据以下输入的小说标题 "{{title}}"，构思并概述一段该小说的开场章节（500字左右），展现上述两种创作特点，并在开篇即设置引人入胜的悬念。
   	用户提示词	用户直接输入给大模型的具体问题、指令或需求，例如，“你觉得未来的科技会怎样发展？”。用户提示词支持使用{{variable}}格式引用当前节点输入参数中的变量。 用户提示词的质量直接决定了大模型输出结果的好坏，提示词越清晰，AI的回答越准确。 当单击图标时，系统会弹出“选择提示词”窗口，可在“组件库提示词”页签中进行选择。	{{query}}
   	短期记忆	支持通过单击右侧的开关按钮“启动”或“关闭”短期记忆功能，该功能默认关闭。 用于控制大模型是否读取多轮对话的历史交互内容，开启时可确保多轮对话连贯性。	关闭
   安全	安全护栏	主要用于检测和拦截潜在的有害、敏感或攻击性的内容。具体来说，它能够识别并阻止那些旨在操纵或滥用系统的Prompt攻击，同时也能过滤掉包含有毒、不适当或违法信息的输入和输出，从而保护用户和系统免受不良影响。这一机制对于维护平台的健康环境和保障用户安全至关重要。	关闭

   图1 大模型节点配置示例

   

6. 完成节点配置后，单击“确定”。
7. 连接工作流节点和其他节点。

示例

例如通过大模型节点自动从用户输入的一段文本中提取关键信息，开始节点接收用户的文本输入，大模型节点将用户的输入提取出关键字段，例如购买地点、购买产品和价格，最后结束节点输出这些字段。工作流编排方式如图2 工作流所示。

图2 工作流

工作流核心节点如表2所示。

效果示例如图3所示。

图3 效果示例

常见问题

问题：将工作流中的第一个大模型节点设置为流式输出时，为什么会报错101039？

原因：如果在大模型节点后并行使用多个大模型，应将首个大模型节点配置为非流式输出，流式输出模式可能会导致数据流在并行处理时出现不一致或冲突，从而引发错误101039。详见约束与限制。

解决办法：

• 将第一个大模型节点的输出模式设置为非流式输出。确保配置文件中的“output_mode”参数设置为“batch”或其他非流式模式。
• 确认后续并行使用的大模型节点是否正确配置。确保每个节点的输入和输出格式一致，避免数据流冲突。
• 在测试环境中重新运行工作流，确保修改后的配置能够正常工作。逐步验证每个节点的输出，确保数据流的正确性和一致性。
• 查看模型和框架的官方文档，确认是否有关于流式输出和并行处理的特定要求或限制。
• 查看详细的错误日志，寻找更多关于错误101039的上下文信息，以便进一步诊断问题。