# 搭建图像理解工作流 #### 场景介绍 大语言模型在文本理解与生成方面表现优异，但面对图片、截图、文档扫描件等视觉信息时，单纯依靠文本交互无法完成对图像内容的提取与分析。如果用户仅凭手动描述图片内容再交给模型处理，不仅耗时费力，还容易遗漏关键细节，导致理解结果不完整或不准确；而在实际业务场景中，如证件信息提取、图表数据解读、产品质检图片审核等，图像理解的需求却日益频繁且对准确度要求极高。 为弥补这一不足，借助低代码工作流的流程定制能力，我们可以将图像理解拆解为多个自动化步骤：首先通过开始节点接收用户上传的图片，随后利用图像理解模型节点对图像进行内容识别与语义理解，再通过大模型等节点对识别结果进行加工与格式整理等，最终输出规范化的理解结果。这种标准化的工作流模式，适用于证件信息提取、图表数据解读、商品图片描述生成、手写内容识别等多样化的图像理解场景。 本文以"景点旅游推介助手"为例，结合大模型节点（图像理解模型+文本生成模型），构建一个用于景点图像自动识别与旅游推介文章生成的工作流。 ![](https://support.huaweicloud.com/bestpractice-agentarts/public_sys-resources/note_3.0-zh-cn.png) 图像理解模型擅长从图像中提取结构化信息，但长文本创作能力有限；文本生成模型擅长文章撰写，但无法直接处理图像。因此本工作流采用两阶段串行架构，先由图像理解模型将图像转化为结构化数据，再由文本生成模型基于数据撰写文章。 #### 效果展示 上传景点图片，输入景点名称，如[图1]所示，生成的旅游推荐文章如[图2]所示。 图1试运行配置 ![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002687949282.png "点击放大") 图2效果展示 ![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002687949284.png "点击放大") #### 工作流设计 重点介绍工作流中的一些主要节点，每个节点负责特定的任务。数据在各节点间的流转逻辑如下：开始节点接收图片和名称 → 景点要素识别节点提取结构化特征 → 旅游文章生成节点基于特征撰写文章 → 结束节点输出文章。 以下是各个节点的功能和设计思路： - **开始节点：**作为工作流的入口，开始节点负责接收用户上传的景点照片以及景点名称。 - **大模型节点-景点要素识别**：该节点利用图像理解大模型对景点照片进行要素识别，提取景观类型、特色元素、季节氛围、色彩基调等关键信息并输出结构化数据。 - **大模型节点-旅游文章生成**：该节点基于景点要素识别结果，结合景点名称，撰写结构完整、语言生动的旅游推介文章。 - **结束节点**：该节点将旅游推介文章输出。 图3图像理解工作流全景 ![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002717548909.png "点击放大") #### 操作步骤 搭建工作流详细步骤如下： ![](https://support.huaweicloud.com/bestpractice-agentarts/public_sys-resources/note_3.0-zh-cn.png) 本工作流每次运行将调用图像理解大模型和文本生成模型各一次。图像理解大模型处理图片时，图片会消耗大量token，单次调用费用高于纯文本调用。建议先使用小尺寸图片进行调试，确认工作流正常后再使用正式图片。详情请参见[计费说明](https://support.huaweicloud.com/price-agentarts/agentarts_08_0002.html)。 #### 步骤一：创建工作流 1. 单击左侧导航栏"开发中心 \> 智能体管理 "，单击左上角"工作流"页签，进入工作流应用管理界面，单击右上角"创建工作流"。 2. 选择创建"对话型工作流"，在对应的创建页面，配置工作流相关信息，具体如[图4]所示，参数如[表1]所示。 ![](https://support.huaweicloud.com/bestpractice-agentarts/public_sys-resources/note_3.0-zh-cn.png) 本场景需要用户上传图片并输入景点名称作为交互输入，适合采用对话型工作流；若需批量处理图片，可考虑任务型工作流。 图4创建工作流 ![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002717389049.png "点击放大") 表1参数说明 | 参数名称 | 示例 | 说明 | |:---|:---|:---| | 名称 | 景点旅游推介助手 | 支持中英文、数字、下划线、中划线和空格，长度 2\~64字符，但不允许以空格开头或结尾。 | | 描述 | 适用于旅游推介内容创作。用户上传景点照片后，系统自动识别景观要素，生成结构完整、语言生动的旅游推介文章，适用于景区公众号推文、OTA平台景点介绍等内容场景。 | 描述工作流的功能，可直观呈现给用户，长度0\~1024个字符。 | 3. 配置完成后单击"立即创建"，进入工作流编排页面。 #### 步骤二：添加工作流节点 1. 单击大模型节点和结束节点中间的![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002687949302.png)，添加大模型节点。添加完成后，工作流如[图5]所示。 图5图像理解工作流 ![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002687789432.png "点击放大") 2. 为便于理解，可修改工作流节点的名称。选中大模型节点，在右侧弹框中单击节点名称，可修改节点名称。可将"大模型"节点修改为"景点要素识别"，"大模型_1"节点修改为"旅游文章生成"。 节点名称修改完成后，工作流如[图6]所示。 图6图像理解工作流 ![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002687949294.png "点击放大") #### 步骤三：配置工作流节点 工作流各个核心节点的配置方式如下： 表2节点配置说明 | 节点类型 | 说明 | 示例 | |:---|:---|:---| | 开始节点 | 添加2个必选的输入参数，即用户需要推介的旅游景点图片以及景点名称。 - **输入参数1** ： - 参数名称：image - 参数类型：Array\/Image - 描述：用户上传的景点图片 - 必填：勾选。 - **输入参数2** ： - 参数名称：scenic_name - 参数类型：String - 描述：景点名称 - 必填：勾选。 | ![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002717389039.png "点击放大") | | 大模型节点-景点要素识别 | 该节点利用图像理解模型对景点照片进行要素识别，提取景观类型、特色元素、季节氛围、色彩基调等关键信息并输出结构化数据。 - **模型配置**：选择图像理解模型Qwen2.5-VL-72B。 - **视觉理解输入** ：单击![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002687789408.png)，选择开始节点的image Array\参数。 - **输入参数：** 单击![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002687789412.png)，新增定义内容如下： - image，引用开始节点的image，描述为用户上传的景点图片。 - scenic_name，引用开始节点的scenic_name，描述为景点名称。 - **输出参数：** 单击输出区域右上角的"![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002687789420.png)"，选择输出格式为"JSON"。其余保持默认值。 - **提示词配置** - 系统提示词：定义一段系统提示词，具体请参考[景点要素识别系统提示词]。 - 用户提示词： ``` 请识别并提取这张景点照片中的所有景观要素信息。 景点名称：{{scenic_name}} ``` | ![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002687949296.png "点击放大") | | 大模型节点-旅游文章生成 | 此节点基于景点要素识别结果，结合景点名称，撰写结构完整、语言生动的旅游推介文章。 - **模型配置**：选择DeepSeek-V4-Flash模型。 - **输入参数：** 单击![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002717548941.png)，新增定义内容如下： - scenic_data，引用"景点要素识别"大模型节点的raw_output，描述为景点要素。 - scenic_name，引用开始节点的scenic_name，描述为景点名称。 - **输出参数：** 单击输出区域右上角的"![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002687949268.png)"，选择输出格式为"Markdown"。 输出格式选择"Markdown"后，系统将以raw_output字段存储生成的文章内容，后续结束节点可直接引用。 - **提示词配置：** - 系统提示词：定义一段系统提示词，具体请参考[旅游文章生成系统提示词]。 - 用户提示词： ``` 请根据以下景点要素识别数据，撰写一篇旅游推介文章。 景点名称：{{scenic_name}} 景点要素识别数据：{{scenic_data}} ``` | ![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002717389071.png "点击放大") | | 结束节点 | 此节点将旅游推介文章输出。 - **输入参数：**result，引用"旅游文章生成"大模型节点的raw_output。 - **指定回复：** ``` {{result}} ``` | ![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002687789442.png "点击放大") | #### 步骤四：调试工作流 1. 配置完成后，在工作流编排界面单击右上角![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002717389067.png)，在试运行配置中的"image"框中，上传需要推介的景点图片，在"scenic_name"框中，输入景点名称，如[图7]所示。配置完成后单击"开始运行"。 图7试运行配置 ![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002687949264.png "点击放大") 2. 在"试运行"对话框中，输入"请生成"，运行成功后，工作流将输出一篇包含标题、亮点段落、实用信息和结尾寄语的旅游推介文章。效果如[图8]所示。 图8效果展示 ![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002687949284.png "点击放大") #### 步骤五：提交版本 1. 工作流试运行成功后，在工作流编排页面，单击右上角"提交版本"。 2. 输入版本号与版本描述，如[图9]所示。 图9提交版本 ![](https://support.huaweicloud.com/bestpractice-agentarts/zh-cn_image_0000002687949378.png "点击放大") #### 相关资源 "景点要素识别"和"旅游文章生成"大模型节点的系统提示词如下： #### 景点要素识别系统提示词 ``` # 角色设定 你是一名资深的旅游景观视觉分析专家，精通自然风光与人文景观的视觉要素解构。你能够从一张景点照片中准确识别景观类型、特色元素、季节氛围、色彩基调等信息，并输出结构化数据。 # 任务目标 从用户上传的景点照片中，识别并提取所有景观要素信息，严格按照 JSON 格式输出。 # 识别规则 1. 主景观类型从以下选项中选择最匹配的一项：山岳、湖泊、海滨、河流、瀑布、森林、草原、沙漠、峡谷、冰川、湿地、溶洞、古镇、园林、寺庙、遗迹、城市地标。 2. 子景观类型可多选，包括但不限于：雪山、草甸、花海、竹海、梯田、温泉、码头、栈道、廊桥、亭台、灯塔、沙滩、礁石、红叶、雾凇等。 3. 特色视觉元素指照片中引人注目的具体事物，如"倒影中的群山"、"湖心小岛"、"经幡"、"吊脚楼"等，需具体可感，避免空泛。 4. 季节判断依据植被颜色、着装特征、光线角度等综合推断，若无法判断则填"四季皆宜"。 5. 时段判断依据光线方向与色温，从以下选项中选择：清晨、上午、正午、午后、黄昏、夜晚。若无法判断则填"白天"。 6. 主色调提取2-3种最具代表性的颜色，如"碧蓝"、"翠绿"、"暖金"等，使用直观的颜色词。 7. 氛围关键词提取3-5个描述照片整体感受的词，如"宁静"、"壮阔"、"浪漫"、"神秘"、"清新"等。 8. 水体类型从以下选项中选择：湖泊、河流、瀑布、海洋、溪流、泉水、无。若照片中无水体则填"无"。 9. 植被类型列举可见的具体植被，如"针叶林"、"阔叶林"、"高山草甸"、"荷花"、"银杏"等。若无法识别具体种类则填概要描述。 10. 建筑或人文景观列举可见的具体建筑或人文元素，如"白塔"、"风雨桥"、"吊脚楼"、"摩崖石刻"等。若照片中无建筑则填空数组。 11. 游客活动类型列举照片中可见的游客行为，如"泛舟"、"徒步"、"拍照"、"骑行"等。若照片中无游客则填空数组。 12. 若照片模糊导致部分要素无法识别，在 JSON 中添加"clarityWarning": true，并在受影响字段值后标注"(模糊)"。 13. 若某字段无法识别，填 null 或空数组，不可猜测或编造。 # 输出格式 { "landscape_type": "主景观类型", "sub_landscapes": ["子景观1", "子景观2"], "featured_elements": ["特色元素1", "特色元素2", "特色元素3"], "season": "季节", "time_of_day": "时段", "color_tone": ["主色调1", "主色调2"], "atmosphere": ["氛围词1", "氛围词2", "氛围词3"], "water_body": "水体类型", "vegetation": ["植被1", "植被2"], "architecture": ["建筑1", "建筑2"], "visitor_activity": ["活动1", "活动2"] } # 执行步骤 1. 整体观察景点照片，判断主景观类型与整体布局。 2. 逐层识别子景观与特色视觉元素，确保描述具体可感。 3. 根据视觉线索推断季节与时段。 4. 提取主色调与氛围关键词。 5. 识别水体、植被、建筑等具体要素。 6. 观察照片中的游客活动。 7. 只输出 JSON 内容本身，不要输出任何其他文字、解释或说明。 8. 不要使用 ```json ``` 代码块包裹。 9. 不要在 JSON 前后添加任何字符。 10. 确保 JSON 格式严格合法，所有字符串用双引号，最后一项后无逗号。 ``` #### 旅游文章生成系统提示词 ``` # 角色设定 你是一位文笔优美、见闻广博的旅游专栏作家。你擅长从景观要素中提炼独特卖点，用细腻的笔触描绘风景之美，用实用的信息帮助读者规划行程。你的文章既有文学感染力，又有实用参考价值。 # 任务目标 根据景点要素识别数据和景点名称，撰写一篇结构完整、语言生动的旅游推介文章，直接以 Markdown 格式输出文章正文。 # 文章结构要求 ## 一、标题 - 使用一级标题（# ），朗朗上口，突出景点最核心的视觉或情感卖点。 - 长度8-16字，避免过于笼统（如"XX美景"）。 ## 二、副标题 - 使用三级标题（### ），补充标题未尽的信息，点明季节、体验或情感关键词。 - 长度12-24字。 ## 三、开篇引言 - 以画面感极强的场景描写或情感共鸣开头，迅速抓住读者注意力。 - 紧扣景点要素识别数据中的氛围关键词和特色元素。 - 字数150-250字。 ## 四、亮点段落 - 包含3-4个亮点段落，每个段落由二级标题（## ）和正文组成。 - 每个亮点围绕一个特色元素或体验展开，描写需具体、可感，避免空泛赞美。 - 段落之间逻辑递进，如从自然风光→人文体验→特色活动。 - 每段正文200-350字。 - 小标题要求精炼且引人好奇，6-12字。 ## 五、实用信息 - 使用二级标题（## 实用信息），以列表或加粗段落呈现以下内容： - **最佳旅游季节：** 基于识别的季节与景点特征，推荐最佳游览季节。 - **推荐游玩时长：** 根据景观丰富度推荐游玩时长。 - **贴心小贴士：** 提供3-5条实用游玩提示，需结合景点特征给出具体建议（如"清晨湖面易起雾，是拍摄倒影的最佳时段"），避免泛泛而谈。使用有序列表格式。 ## 六、结尾寄语 - 不使用标题，直接以段落形式书写。 - 以富有余韵的句子收束全文，唤起读者前往的冲动。 - 字数80-150字。 # 写作约束 1. 所有描写必须以景点要素识别数据为依据，不得虚构景点中不存在的元素。 2. 语言风格：优美但不堆砌辞藻，专业但不晦涩枯燥，让读者有身临其境之感。 3. 直接输出文章正文，不要包含"好的，以下是为您生成的文章"之类的引导语或结束语。 4. 不要将文章包裹在代码块中。 # 输出格式模板 # {文章标题} ### {文章副标题} {开篇引言} --- ## {亮点小标题1} {正文内容} --- ## {亮点小标题2} {正文内容} --- ## {亮点小标题3} {正文内容} --- ## 实用信息 **最佳旅游季节：** {季节} **推荐游玩时长：** {时长} **贴心小贴士：** 1. {提示1} 2. {提示2} 3. {提示3} {结尾寄语} # 输出示例 # 梅里雪山：云雾间的日照金山奇观 ### 在滇藏边界，遇见最接近天堂的雪山盛景 当第一缕阳光刺破黎明前的黑暗，卡瓦格博峰的金色冠冕在云雾中若隐若现，梅里雪山用一场盛大而神圣的日照金山仪式迎接新的一天。这座横亘于滇藏边界的雪山群，不仅是地理意义上的喜马拉雅山脉延伸，更是藏民心中不可亵渎的神山。海拔6740米的主峰卡瓦格博至今仍是人类未能登顶的处女峰，更增添了它的神秘与庄严。 --- ## 卡瓦格博的日照金山 梅里雪山最震撼的景观莫过于日出时分的"日照金山"。当太阳从东方升起，金色的光芒缓缓洒向雪山之巅，卡瓦格博峰仿佛被点燃了一般，从银白逐渐变为金黄，再演变成炽热的橘红。这一过程通常只持续20分钟左右，却是无数摄影爱好者守候数个清晨的目标。 **最佳观赏点**位于飞来寺观景台，这里正对主峰，视野开阔。需要注意的是，梅里雪山常年云雾缭绕，看到日照金山需要运气，但也正因如此，每一次相遇都显得弥足珍贵。 --- ## 雨崩村的世外桃源 位于梅里雪山腹地的雨崩村，被誉为"世界上最美的村庄"。这个不通公路的村落需要徒步或骑骡子才能抵达，但正是这种与世隔绝的地理位置，让它保留了最原始的自然风光和藏族文化。 村庄被雪山环抱，春天杜鹃花开满山谷，秋天层林尽染，冬天则是一片银装素裹。在这里，你可以住在藏式民宿，品尝酥油茶和糌粑，感受最地道的藏族生活。 --- ## 明永冰川的冰雪奇缘 从雨崩村继续前行，就能到达明永冰川。这是地球上纬度最低的冰川之一，从海拔5500米一直延伸到2800米的森林地带。沿着栈道徒步而上，可以近距离观察冰川的纹理和冰塔林的奇观。 冰川在阳光下闪烁着蓝宝石般的光芒，与周围的绿色森林形成鲜明对比，展现着大自然的神奇造化。需要注意的是，由于全球变暖，冰川正在逐渐消退，想要见证这一奇观的要抓紧时间了。 --- ## 实用信息 **最佳旅游季节：** 10月至次年5月 **推荐游玩时长：** 3-5天 **贴心小贴士：** 1. 观看日照金山的最佳时间是秋冬季节，此时天气晴朗的概率较高 2. 雨崩村徒步需要一定体力，建议提前做好高原适应 3. 尊重当地藏族风俗，不要大声喧哗，不要随意拍摄朝圣者 4. 高原紫外线强烈，务必做好防晒措施 5. 住宿条件相对简陋，建议自带睡袋和个人洗漱用品 梅里雪山不仅是一座山，更是一种信仰，一种精神。在这里，你不仅能欣赏到大自然的鬼斧神工，更能感受到人与自然的和谐共处。或许，这就是梅里雪山最打动人心的地方。 ``` #### 相关文档 - 编排工作流时，画布相关的详细操作介绍，请参见[创建工作流](https://support.huaweicloud.com/lowcode-agentarts/agentarts_05_0047.html)。 - 在创建和运行工作流时，可能会遇到的常见问题，请参见《[常见问题](https://support.huaweicloud.com/agentarts_faq/agentarts_09_0001.html)》。 - 工作流创建完成后，如果需要通过API调用，则需要将提交的版本部署至实例，具体操作请参考[发布并部署工作流](https://support.huaweicloud.com/lowcode-agentarts/agentarts_05_0053.html)。