# 方案概述
#### 应用场景
本方案通过华为云 Flexus X 实例上一键部署 LiteLLM LLM API 网关：LiteLLM 将 100+ 个 LLM 提供商（OpenAI、Anthropic、Azure、Cohere 等）统一为单个兼容 OpenAI 的 API，内置虚拟密钥管理、花费追踪、负载均衡和管理后台。
该方案通常应用到以下场景：
- **多业务线统一 LLM 管理** **：通过 LiteLLM 虚拟密钥机制，为每个团队/项目创建独立 Key，设置预算上限，自动追踪用量。**
- **高可用 LLM 基础设施** **：将 AI 集成到核心业务流程、需要 SLA 保障的企业。**
- **个人AI管理系统：个人开发过程中使用 OpenAI 兼容 API 在多个提供商间切换，并在AI领域中进行开发与测试。**
 
#### 方案架构
该解决方案帮助您快速部署LiteLLM。
**单机版部署**
图1单机版方案架构图   
![](https://support.huaweicloud.com/litellm-aislt/zh-cn_image_0000002669207814.png "点击放大")
该解决方案将会部署如下资源：
- 创建1个虚拟私有云 VPC和子网，用于搭建云服务所需的网络基础
- 创建1台[华为云Flexus云服务器X实例](https://www.huaweicloud.com/product/flexus-x.html)，用于部署LiteLLM
- 创建1个[弹性公网IP EIP](https://www.huaweicloud.com/product/eip.html)并关联FlexusX实例，提供访问公网和被公网访问能力
**高可用版部署**
图2CCE高可用版方案架构图
![](https://support.huaweicloud.com/litellm-aislt/zh-cn_image_0000002698967589.png "点击放大")
在CCE容器中实现高可用部署：
- 创建1个[虚拟私有云 VPC](https://huaweicloud.com//product/vpc.html)和子网，用于搭建云服务所需的网络基础
- 创建3个[弹性公网IP EIP](https://www.huaweicloud.com/product/eip.html)分别绑定ELB、NAT、CCE实现网络双向访问
- 创建1个[弹性负载均衡 ELB](https://www.huaweicloud.com/product/elb.html)并绑定EIP，自动将访问流量分发到各后端服务。这增强了应用系统的外部服务能力，实现应用级高可用容错
- 创建1个[NAT网关 NAT](https://www.huaweicloud.com/product/nat.html)并绑定EIP，配置SNAT规则使私有子网内所有实例在保持完全私密的同时可访问外网
- 创建3台[Flexus云服务器X实例](https://www.huaweicloud.com/product/flexus-x.html)用于部署LiteLLM Proxy核心组件与服务
- 创建1个[云容器引擎 CCE](https://www.huaweicloud.com/product/cce.html) Turbo集群，创建节点池并将三台ECS纳管为集群节点
- 创建1个[分布式缓存服务Redis®\*版](https://www.huaweicloud.com/product/dcs.html)为用户提供高性价比、高性能的NoSQL数据库，同时保障数据流转过程中的一致性（用于全局限流和缓存同步）
- 创建1个[RDS for PostgreSQL](https://www.huaweicloud.com/product/pg.html)实例，主备跨AZ部署，确保容灾能力（用于存储API密钥和消费日志元数据）
- 创建4个配置指定规则的安全组保护云服务
 
#### 方案优势
- **统一 API 网关**
  通过与 OpenAI 兼容的端点，标准化对 100 多个 LLM 提供商的访问，简化集成并降低开发开销。
  
- **增强安全性和成本控制**
  虚拟密钥管理可实现每把密钥的预算上限和实时使用情况的跟踪，从而改善财务监督和访问控制。
  
- **高可用性和可扩展性**
  多提供商故障转移和负载均衡通过将请求分配到可用服务中，确保可靠的性能并最大限度地减少停机时间。
  
 
#### 约束与限制
- 该解决方案部署前，需注册华为账号并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态。如果计费模式选择"包年包月"，请确保账户余额充足以便一键部署资源的时候可以自动支付；或者在一键部署的过程进入[费用中心-待支付订单](https://account.huaweicloud.com/usercenter/?locale=zh-cn&agencyId=e10b7b19b4eb4bcc8fd33a060a0dd5f5&region=cn-north-4#/ordercenter/userindex/unpaidOrder)-待支付订单，手动完成支付。

- 如果选用IAM委托权限部署资源，请确保使用的华为云账号有IAM的足够权限，具体请参考[创建rf_admin_trust委托](https://support.huaweicloud.com/litellm-aislt/litellm_04.html#litellm_04__section0497274438)；如果使用华为主账号或admin用户组下的IAM子账户可不选委托，将采用当前登录用户的权限进行部署。
- 本内容可能包含第三方开源软件、组件或框架的技术说明与配置示例，请您独立评估并自主决定是否使用，华为云不就第三方软件的功能、性能、安全性、兼容性或合规性作出任何保证。第三方软件知识产权归各自权利人所有，您应严格遵守适用的开源许可证条款（如 MIT、Apache 2.0、GPL 等），确保不侵犯任何第三方合法权益，并自行负责安全评估与漏洞管理。因您使用本方案提及的任何第三方软件产生的直接或间接损失（包括但不限于数据丢失、业务中断、安全事件、知识产权纠纷、合规处罚等），华为云及其关联方不承担任何责任。本方案对第三方软件的提及不构成认可或背书，亦不代表华为云与第三方权利人存在任何授权或合作关系。