方案概述

应用场景

该解决方案在华为云GPU加速型云服务器上基于Xinference平台快速部署HunyuanOCR模型。Xinference是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。HunyuanOCR是一款领先的端到端OCR专家级虚拟语言模型（VLM），采用Hunyuan自主研发的多模态架构。凭借极其轻量级的10亿参数设计，在业界多项基准测试中均取得了领先地位。该模型不仅能够出色地解析复杂的多语言文档，而且在文本定位、开放场信息提取、视频字幕提取和照片翻译等实际应用中也表现卓越。

方案架构

该解决方案在弹性云服务器 ECS（GPU加速型）上基于Xinference平台快速部署HunyuanOCR模型。

图1 方案架构图

该解决方案将会部署如下资源：

• 创建一个弹性公网IP EIP，用于提供访问公网和被公网访问的能力。

• 创建一台弹性云服务器 ECS（GPU加速型），用于安装Xinference平台和部署HunyuanOCR模型。
• 创建一个安全组，通过配置安全组规则，为云服务器提供安全防护。

方案优势

• 多模态高精度识别

  HunyuanOCR采用多模态架构，支持多语言文档处理，具备文本定位、信息提取与翻译等综合能力。

• 开箱即用

  提供直观的 WebUI 界面，部署完成后无需执行命令、编写代码等其他操作、即可体验模型能力。

• 一键部署

  一键轻松部署，即可快速完成云服务器实例等资源下发，Xinference应用平台搭建及HunyuanOCR模型部署。

约束与限制

• 该解决方案部署前，需注册华为账号并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态。如果计费模式选择“包年包月”，请确保账户余额充足以便一键部署资源的时候可以自动支付；或者在一键部署的过程进入费用中心，找到“待支付订单”并手动完成支付。

• 如果选用IAM委托权限部署资源，请确保使用的华为云账号有IAM的足够权限，具体请参考创建rf_admin_trust委托；如果使用华为主账号或admin用户组下的IAM子账户可不选委托，将采用当前登录用户的权限进行部署。