方案概述

应用场景

该解决方案帮助您快速部署社区单机版、CCE容器高可用版New API大模型网关，New API 是一个基于 One API 二次开发的开源项目，专注于 AI 模型接口管理与分发系统，支持将多种大模型转为 OpenAI 格式调用，并兼容 Midjourney Proxy、Suno、Rerank 等接口。

方案架构

该解决方案帮助您快速搭建New API大模型网关。

图1 方案架构图（社区单机版）

该解决方案将会部署如下资源：

社区单机版部署：

• 创建1台华为云Flexus云服务器X实例（FlexusX）：用于部署 New API大模型网关服务容器集群。
• 创建1个弹性公网IP EIP：提供访问公网和被公网访问能力。

CCE容器高可用版：

• 创建1个云容器引擎 CCE Turbo集群：用于部署 New API大模型网关服务容器集群。
• 创建3台华为云Flexus云服务器X实例（FlexusX）：作为 CCE 容器集群的工作节点，承载容器实例。
• 创建3个弹性公网IP EIP：提供访问公网和被公网访问能力。
• 创建1个弹性负载均衡 ELB：将访问流量自动分发到不同后端服务，扩展应用系统对外的服务能力，实现强大的应用容错性能。
• 创建1个NAT网关 NAT：允许私有子网和容器子网内的实例安全发起出站互联网连接，以请求上游 API。
• 创建1个分布式缓存服务Redis®*版：用于全局限流及多副本间的路由缓存状态同步。
• 创建1个云数据库 RDS for MySQL：用于持久化存储 New API 用户 API 密钥、组织权限及路由元数据。

方案优势

• 一键部署

  一键轻松部署，即可完成云服务资源的创建及New API大模型网关的搭建。

• 开箱即用

  New API采用现代化的微服务架构，强调高可用性和易部署性，适用于内容创作、教育与科研等领域，部署后开箱即用。

• 成本优化

  提供高性价比的云服务器，按需选择资源规格，支持自动扩展，减少资源闲置，优化成本投入，进一步降低客户的运营成本。

约束与限制

• 该解决方案部署前，需注册华为账号并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态。如果计费模式选择“包年包月”，请确保账户余额充足以便一键部署资源的时候可以自动支付；或者在一键部署的过程进入费用中心，找到“待支付订单”并手动完成支付。

• 如果选用IAM委托权限部署资源，请确保使用的华为云账号有IAM的足够权限，具体请参考创建rf_admin_trust委托；如果使用华为主账号或admin用户组下的IAM子账户可不选委托，将采用当前登录用户的权限进行部署。
• 本内容可能包含第三方开源软件、组件或框架的技术说明与配置示例，请您独立评估并自主决定是否使用，华为云不就第三方软件的功能、性能、安全性、兼容性或合规性作出任何保证。第三方软件知识产权归各自权利人所有，您应严格遵守适用的开源许可证条款（如 MIT、Apache 2.0 等），确保不侵犯任何第三方合法权益，并自行负责安全评估与漏洞管理。因您使用本方案提及的任何第三方软件产生的直接或间接损失（包括但不限于数据丢失、业务中断、安全事件、知识产权纠纷、合规处罚等），华为云及其关联方不承担任何责任。本方案对第三方软件的提及不构成认可或背书，亦不代表华为云与第三方权利人存在任何授权或合作关系。