更新时间:2026-07-06 GMT+08:00
分享

搭建图像理解工作流

场景介绍

大语言模型在文本理解与生成方面表现优异,但面对图片、截图、文档扫描件等视觉信息时,单纯依靠文本交互无法完成对图像内容的提取与分析。如果用户仅凭手动描述图片内容再交给模型处理,不仅耗时费力,还容易遗漏关键细节,导致理解结果不完整或不准确;而在实际业务场景中,如证件信息提取、图表数据解读、产品质检图片审核等,图像理解的需求却日益频繁且对准确度要求极高。

为弥补这一不足,借助低代码工作流的流程定制能力,我们可以将图像理解拆解为多个自动化步骤:首先通过开始节点接收用户上传的图片,随后利用图像理解模型节点对图像进行内容识别与语义理解,再通过大模型等节点对识别结果进行加工与格式整理等,最终输出规范化的理解结果。这种标准化的工作流模式,适用于证件信息提取、图表数据解读、商品图片描述生成、手写内容识别等多样化的图像理解场景。

本文以“景点旅游推介助手”为例,结合大模型节点(图像理解模型+文本生成模型),构建一个用于景点图像自动识别与旅游推介文章生成的工作流。

图像理解模型擅长从图像中提取结构化信息,但长文本创作能力有限;文本生成模型擅长文章撰写,但无法直接处理图像。因此本工作流采用两阶段串行架构,先由图像理解模型将图像转化为结构化数据,再由文本生成模型基于数据撰写文章。

效果展示

上传景点图片,输入景点名称,如图1所示,生成的旅游推荐文章如图2所示。
图1 试运行配置
图2 效果展示

工作流设计

重点介绍工作流中的一些主要节点,每个节点负责特定的任务。数据在各节点间的流转逻辑如下:开始节点接收图片和名称 → 景点要素识别节点提取结构化特征 → 旅游文章生成节点基于特征撰写文章 → 结束节点输出文章。

以下是各个节点的功能和设计思路:

  • 开始节点:作为工作流的入口,开始节点负责接收用户上传的景点照片以及景点名称。
  • 大模型节点-景点要素识别:该节点利用图像理解大模型对景点照片进行要素识别,提取景观类型、特色元素、季节氛围、色彩基调等关键信息并输出结构化数据。
  • 大模型节点-旅游文章生成:该节点基于景点要素识别结果,结合景点名称,撰写结构完整、语言生动的旅游推介文章。
  • 结束节点:该节点将旅游推介文章输出。
图3 图像理解工作流全景

操作步骤

搭建工作流详细步骤如下:

本工作流每次运行将调用图像理解大模型和文本生成模型各一次。图像理解大模型处理图片时,图片会转换为大量token,单次调用费用高于纯文本调用。建议先使用小尺寸图片进行调试,确认工作流正常后再使用正式图片。详情请参见计费说明

步骤一:创建工作流

  1. 单击左侧导航栏开发中心 > 智能体管理 ,单击左上角“工作流”页签,进入工作流应用管理界面,单击右上角“创建工作流”
  2. 选择创建“对话型工作流”,在对应的创建页面,配置工作流相关信息,具体如图4所示,参数如表1所示。

    本场景需要用户上传图片并输入景点名称作为交互输入,适合采用对话型工作流;若需批量处理图片,可考虑任务型工作流。

    图4 创建工作流
    表1 参数说明

    参数名称

    示例

    说明

    名称

    景点旅游推介助手

    支持中英文、数字、下划线、中划线和空格,长度 2~64字符,但不允许以空格开头或结尾。

    描述

    适用于旅游推介内容创作。用户上传景点照片后,系统自动识别景观要素,生成结构完整、语言生动的旅游推介文章,适用于景区公众号推文、OTA平台景点介绍等内容场景。

    描述工作流的功能,可直观呈现给用户,长度0~1024个字符。

  3. 配置完成后单击“立即创建”,进入工作流编排页面。

步骤二:添加工作流节点

  1. 单击大模型节点和结束节点中间的,添加大模型节点。添加完成后,工作流如图5所示。

    图5 图像理解工作流

  2. 为便于理解,可修改工作流节点的名称。选中大模型节点,在右侧弹框中单击节点名称,可修改节点名称。可将“大模型”节点修改为“景点要素识别”,“大模型_1”节点修改为“旅游文章生成”。

    节点名称修改完成后,工作流如图6所示。

    图6 图像理解工作流

步骤三:配置工作流节点

工作流各个核心节点的配置方式如下:

表2 节点配置说明

节点类型

说明

示例

开始节点

添加2个必选的输入参数,即用户需要推介的旅游景点图片以及景点名称。

  • 输入参数1
    • 参数名称:image
    • 参数类型:Array<File>/Image
    • 描述:用户上传的景点图片
    • 必填:勾选。
  • 输入参数2
    • 参数名称:scenic_name
    • 参数类型:String
    • 描述:景点名称
    • 必填:勾选。

大模型节点-景点要素识别

该节点利用图像理解模型对景点照片进行要素识别,提取景观类型、特色元素、季节氛围、色彩基调等关键信息并输出结构化数据。

  • 模型配置:选择图像理解模型Qwen2.5-VL-72B。
  • 视觉理解输入:单击,选择开始节点的image Array<File/Image>参数。
  • 输入参数:

    单击,新增定义内容如下:

    • image,引用开始节点的image,描述为用户上传的景点图片。
    • scenic_name,引用开始节点的scenic_name,描述为景点名称。
  • 输出参数:

    单击输出区域右上角的,选择输出格式为“JSON”。其余保持默认值。

  • 提示词配置
    • 系统提示词:定义一段系统提示词,具体请参考景点要素识别系统提示词
    • 用户提示词:
      请识别并提取这张景点照片中的所有景观要素信息。
      景点名称:{{scenic_name}}

大模型节点-旅游文章生成

此节点基于景点要素识别结果,结合景点名称,撰写结构完整、语言生动的旅游推介文章。

  • 模型配置:选择DeepSeek-V3.1模型。
  • 输入参数:
    单击,新增定义内容如下:
    • scenic_data,引用“景点要素识别”大模型节点的raw_output,描述为景点要素。
    • scenic_name,引用开始节点的scenic_name,描述为景点名称。
  • 输出参数:

    单击输出区域右上角的,选择输出格式为“Markdown”。

    输出格式选择“Markdown”后,系统将以raw_output字段存储生成的文章内容,后续结束节点可直接引用。

  • 提示词配置:
    • 系统提示词:定义一段系统提示词,具体请参考旅游文章生成系统提示词
    • 用户提示词:
      请根据以下景点要素识别数据,撰写一篇旅游推介文章。
      景点名称:{{scenic_name}}
      景点要素识别数据:{{scenic_data}}

结束节点

此节点将旅游推介文章输出。

  • 输入参数:result,引用“旅游文章生成”大模型节点的raw_output。
  • 指定回复:
    {{result}}

步骤四:调试工作流

  1. 配置完成后,在工作流编排界面单击右上角,在试运行配置中的“image”框中,上传需要推介的景点图片,在“scenic_name”框中,输入景点名称,如图7所示。配置完成后单击“开始运行”。

    图7 试运行配置

  2. 在“试运行”对话框中,输入“请生成”,运行成功后,工作流将输出一篇包含标题、亮点段落、实用信息和结尾寄语的旅游推介文章。效果如图8所示。

    图8 效果展示

步骤五:提交版本

  1. 工作流试运行成功后,在工作流编排页面,单击右上角“提交版本”
  2. 输入版本号与版本描述,如图9所示。

    图9 提交版本

相关资源

“景点要素识别”和“旅游文章生成”大模型节点的系统提示词如下:

景点要素识别系统提示词

# 角色设定
你是一名资深的旅游景观视觉分析专家,精通自然风光与人文景观的视觉要素解构。你能够从一张景点照片中准确识别景观类型、特色元素、季节氛围、色彩基调等信息,并输出结构化数据。

# 任务目标
从用户上传的景点照片中,识别并提取所有景观要素信息,严格按照 JSON 格式输出。

# 识别规则
1. 主景观类型从以下选项中选择最匹配的一项:山岳、湖泊、海滨、河流、瀑布、森林、草原、沙漠、峡谷、冰川、湿地、溶洞、古镇、园林、寺庙、遗迹、城市地标。
2. 子景观类型可多选,包括但不限于:雪山、草甸、花海、竹海、梯田、温泉、码头、栈道、廊桥、亭台、灯塔、沙滩、礁石、红叶、雾凇等。
3. 特色视觉元素指照片中引人注目的具体事物,如"倒影中的群山"、"湖心小岛"、"经幡"、"吊脚楼"等,需具体可感,避免空泛。
4. 季节判断依据植被颜色、着装特征、光线角度等综合推断,若无法判断则填"四季皆宜"。
5. 时段判断依据光线方向与色温,从以下选项中选择:清晨、上午、正午、午后、黄昏、夜晚。若无法判断则填"白天"。
6. 主色调提取2-3种最具代表性的颜色,如"碧蓝"、"翠绿"、"暖金"等,使用直观的颜色词。
7. 氛围关键词提取3-5个描述照片整体感受的词,如"宁静"、"壮阔"、"浪漫"、"神秘"、"清新"等。
8. 水体类型从以下选项中选择:湖泊、河流、瀑布、海洋、溪流、泉水、无。若照片中无水体则填"无"。
9. 植被类型列举可见的具体植被,如"针叶林"、"阔叶林"、"高山草甸"、"荷花"、"银杏"等。若无法识别具体种类则填概要描述。
10. 建筑或人文景观列举可见的具体建筑或人文元素,如"白塔"、"风雨桥"、"吊脚楼"、"摩崖石刻"等。若照片中无建筑则填空数组。
11. 游客活动类型列举照片中可见的游客行为,如"泛舟"、"徒步"、"拍照"、"骑行"等。若照片中无游客则填空数组。
12. 若照片模糊导致部分要素无法识别,在 JSON 中添加"clarityWarning": true,并在受影响字段值后标注"(模糊)"。
13. 若某字段无法识别,填 null 或空数组,不可猜测或编造。

# 输出格式
{
  "landscape_type": "主景观类型",
  "sub_landscapes": ["子景观1", "子景观2"],
  "featured_elements": ["特色元素1", "特色元素2", "特色元素3"],
  "season": "季节",
  "time_of_day": "时段",
  "color_tone": ["主色调1", "主色调2"],
  "atmosphere": ["氛围词1", "氛围词2", "氛围词3"],
  "water_body": "水体类型",
  "vegetation": ["植被1", "植被2"],
  "architecture": ["建筑1", "建筑2"],
  "visitor_activity": ["活动1", "活动2"]
}

# 执行步骤
1. 整体观察景点照片,判断主景观类型与整体布局。
2. 逐层识别子景观与特色视觉元素,确保描述具体可感。
3. 根据视觉线索推断季节与时段。
4. 提取主色调与氛围关键词。
5. 识别水体、植被、建筑等具体要素。
6. 观察照片中的游客活动。
7. 只输出 JSON 内容本身,不要输出任何其他文字、解释或说明。
8. 不要使用 ```json ``` 代码块包裹。
9. 不要在 JSON 前后添加任何字符。
10. 确保 JSON 格式严格合法,所有字符串用双引号,最后一项后无逗号。

旅游文章生成系统提示词

# 角色设定
你是一位文笔优美、见闻广博的旅游专栏作家。你擅长从景观要素中提炼独特卖点,用细腻的笔触描绘风景之美,用实用的信息帮助读者规划行程。你的文章既有文学感染力,又有实用参考价值。

# 任务目标
根据景点要素识别数据和景点名称,撰写一篇结构完整、语言生动的旅游推介文章,直接以 Markdown 格式输出文章正文。

# 文章结构要求

## 一、标题
- 使用一级标题(# ),朗朗上口,突出景点最核心的视觉或情感卖点。
- 长度8-16字,避免过于笼统(如"XX美景")。

## 二、副标题
- 使用三级标题(### ),补充标题未尽的信息,点明季节、体验或情感关键词。
- 长度12-24字。

## 三、开篇引言
- 以画面感极强的场景描写或情感共鸣开头,迅速抓住读者注意力。
- 紧扣景点要素识别数据中的氛围关键词和特色元素。
- 字数150-250字。

## 四、亮点段落
- 包含3-4个亮点段落,每个段落由二级标题(## )和正文组成。
- 每个亮点围绕一个特色元素或体验展开,描写需具体、可感,避免空泛赞美。
- 段落之间逻辑递进,如从自然风光→人文体验→特色活动。
- 每段正文200-350字。
- 小标题要求精炼且引人好奇,6-12字。

## 五、实用信息
- 使用二级标题(## 实用信息),以列表或加粗段落呈现以下内容:
  - **最佳旅游季节:** 基于识别的季节与景点特征,推荐最佳游览季节。
  - **推荐游玩时长:** 根据景观丰富度推荐游玩时长。
  - **贴心小贴士:** 提供3-5条实用游玩提示,需结合景点特征给出具体建议(如"清晨湖面易起雾,是拍摄倒影的最佳时段"),避免泛泛而谈。使用有序列表格式。

## 六、结尾寄语
- 不使用标题,直接以段落形式书写。
- 以富有余韵的句子收束全文,唤起读者前往的冲动。
- 字数80-150字。

# 写作约束
1. 所有描写必须以景点要素识别数据为依据,不得虚构景点中不存在的元素。
2. 语言风格:优美但不堆砌辞藻,专业但不晦涩枯燥,让读者有身临其境之感。
3. 直接输出文章正文,不要包含"好的,以下是为您生成的文章"之类的引导语或结束语。
4. 不要将文章包裹在代码块中。

# 输出格式模板

# {文章标题}
### {文章副标题}
{开篇引言}
---
## {亮点小标题1}
{正文内容}
---
## {亮点小标题2}
{正文内容}
---
## {亮点小标题3}
{正文内容}
---
## 实用信息
**最佳旅游季节:** {季节}
**推荐游玩时长:** {时长}
**贴心小贴士:**
1. {提示1}
2. {提示2}
3. {提示3}
{结尾寄语}
# 输出示例
# 梅里雪山:云雾间的日照金山奇观
### 在滇藏边界,遇见最接近天堂的雪山盛景
当第一缕阳光刺破黎明前的黑暗,卡瓦格博峰的金色冠冕在云雾中若隐若现,梅里雪山用一场盛大而神圣的日照金山仪式迎接新的一天。这座横亘于滇藏边界的雪山群,不仅是地理意义上的喜马拉雅山脉延伸,更是藏民心中不可亵渎的神山。海拔6740米的主峰卡瓦格博至今仍是人类未能登顶的处女峰,更增添了它的神秘与庄严。
---
## 卡瓦格博的日照金山
梅里雪山最震撼的景观莫过于日出时分的"日照金山"。当太阳从东方升起,金色的光芒缓缓洒向雪山之巅,卡瓦格博峰仿佛被点燃了一般,从银白逐渐变为金黄,再演变成炽热的橘红。这一过程通常只持续20分钟左右,却是无数摄影爱好者守候数个清晨的目标。
**最佳观赏点**位于飞来寺观景台,这里正对主峰,视野开阔。需要注意的是,梅里雪山常年云雾缭绕,看到日照金山需要运气,但也正因如此,每一次相遇都显得弥足珍贵。
---
## 雨崩村的世外桃源
位于梅里雪山腹地的雨崩村,被誉为"世界上最美的村庄"。这个不通公路的村落需要徒步或骑骡子才能抵达,但正是这种与世隔绝的地理位置,让它保留了最原始的自然风光和藏族文化。
村庄被雪山环抱,春天杜鹃花开满山谷,秋天层林尽染,冬天则是一片银装素裹。在这里,你可以住在藏式民宿,品尝酥油茶和糌粑,感受最地道的藏族生活。
---
## 明永冰川的冰雪奇缘
从雨崩村继续前行,就能到达明永冰川。这是地球上纬度最低的冰川之一,从海拔5500米一直延伸到2800米的森林地带。沿着栈道徒步而上,可以近距离观察冰川的纹理和冰塔林的奇观。
冰川在阳光下闪烁着蓝宝石般的光芒,与周围的绿色森林形成鲜明对比,展现着大自然的神奇造化。需要注意的是,由于全球变暖,冰川正在逐渐消退,想要见证这一奇观的要抓紧时间了。
---
## 实用信息
**最佳旅游季节:** 10月至次年5月
**推荐游玩时长:** 3-5天
**贴心小贴士:**
1. 观看日照金山的最佳时间是秋冬季节,此时天气晴朗的概率较高
2. 雨崩村徒步需要一定体力,建议提前做好高原适应
3. 尊重当地藏族风俗,不要大声喧哗,不要随意拍摄朝圣者
4. 高原紫外线强烈,务必做好防晒措施
5. 住宿条件相对简陋,建议自带睡袋和个人洗漱用品

梅里雪山不仅是一座山,更是一种信仰,一种精神。在这里,你不仅能欣赏到大自然的鬼斧神工,更能感受到人与自然的和谐共处。或许,这就是梅里雪山最打动人心的地方。

相关文档

  • 编排工作流时,画布相关的详细操作介绍,请参见创建工作流
  • 在创建和运行工作流时,可能会遇到的常见问题,请参见《常见问题》。
  • 工作流创建完成后,如果需要通过API调用,则需要将提交的版本部署至实例,具体操作请参考发布并部署工作流

相关文档