方案概述

应用场景

本方案通过华为云 Flexus X 实例上一键部署 LiteLLM LLM API 网关：LiteLLM 将 100+ 个 LLM 提供商（OpenAI、Anthropic、Azure、Cohere 等）统一为单个兼容 OpenAI 的 API，内置虚拟密钥管理、花费追踪、负载均衡和管理后台。

该方案通常应用到以下场景：

• 多业务线统一 LLM 管理：通过 LiteLLM 虚拟密钥机制，为每个团队/项目创建独立 Key，设置预算上限，自动追踪用量。
• 高可用 LLM 基础设施：将 AI 集成到核心业务流程、需要 SLA 保障的企业。
• 个人AI管理系统：个人开发过程中使用 OpenAI 兼容 API 在多个提供商间切换，并在AI领域中进行开发与测试。

方案架构

该解决方案帮助您快速部署LiteLLM。

单机版部署

图1 单机版方案架构图

该解决方案将会部署如下资源：

• 创建一个虚拟私有云 VPC和子网，用于搭建云服务所需的网络基础
• 创建1台华Flexus云服务器X实例，用于部署LiteLLM
• 创建1个弹性公网IP EIP并关联FlexusX实例，提供访问公网和被公网访问能力

高可用版部署

在CCE容器中实现高可用部署：

• 创建一个虚拟私有云 VPC和子网，用于搭建云服务所需的网络基础
• 创建3个EIP分别绑定ELB、NAT、CCE实现网络双向访问
• 创建1个ELB并绑定EIP，自动将访问流量分发到各后端服务。这增强了应用系统的外部服务能力，实现应用级高可用容错
• 创建1个NAT网关并绑定EIP，配置SNAT规则使私有子网内所有实例在保持完全私密的同时可访问外网
• 创建3台FlexusX实例用于部署LiteLLM Proxy核心组件与服务
• 创建1个CCE Turbo集群，创建节点池并将三台ECS纳管为集群节点
• 创建1个兼容Redis的分布式缓存服务（DCS）实例，为用户提供高性价比、高性能的NoSQL数据库，同时保障数据流转过程中的一致性（用于全局限流和缓存同步）
• 创建1个支持跨AZ主备部署的RDS for PostgreSQL实例，确保容灾能力（用于存储API密钥和消费日志元数据）
• 创建4个配置指定规则的安全组保护云服务

方案优势

• 统一 API 网关

  通过与 OpenAI 兼容的端点，标准化对 100 多个 LLM 提供商的访问，简化集成并降低开发开销。

• 增强安全性和成本控制

  虚拟密钥管理可实现每把密钥的预算上限和实时使用情况的跟踪，从而改善财务监督和访问控制。

• 高可用性和可扩展性

  多提供商故障转移和负载均衡通过将请求分配到可用服务中，确保可靠的性能并最大限度地减少停机时间。

约束与限制

• 该解决方案部署前，需注册华为账号并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态。如果计费模式选择“包年包月”，请确保账户余额充足以便一键部署资源的时候可以自动支付；或者在一键部署的过程进入费用中心，找到“待支付订单”并手动完成支付。

• 如果选用IAM委托权限部署资源，请确保使用的华为云账号有IAM的足够权限，具体请参考创建rf_admin_trust委托；如果使用华为主账号或admin用户组下的IAM子账户可不选委托，将采用当前登录用户的权限进行部署。
• 本内容可能包含第三方开源软件、组件或框架的技术说明与配置示例，请您独立评估并自主决定是否使用，华为云不就第三方软件的功能、性能、安全性、兼容性或合规性作出任何保证。第三方软件知识产权归各自权利人所有，您应严格遵守适用的开源许可证条款（如 MIT、Apache 2.0、GPL 等），确保不侵犯任何第三方合法权益，并自行负责安全评估与漏洞管理。因您使用本方案提及的任何第三方软件产生的直接或间接损失（包括但不限于数据丢失、业务中断、安全事件、知识产权纠纷、合规处罚等），华为云及其关联方不承担任何责任。本方案对第三方软件的提及不构成认可或背书，亦不代表华为云与第三方权利人存在任何授权或合作关系。