方案概述

应用场景

New API 是一套开源的大模型接口聚合与分发平台，能够将 Ollama 本地模型与各类云端模型统一接入同一后台。借助 New API，开发者无需分别对接多个模型来源，即可用统一标准化的 OpenAI 方式调用和调度不同大模型，并集中管理渠道配置、额度与权限管控、调用日志追踪等能力。针对本地私有化部署维护复杂、多渠道管理分散等痛点，华为云提供 New API 社区单机版与 CCE 容器高可用版两种一键部署形态，适用于从个人开发测试到团队生产环境的多种场景，显著降低多模型接入与运维成本，助力企业高效构建统一的大模型接入与分发能力。

方案架构

该解决方案帮助您快速搭建New API大模型网关。

该解决方案将会部署如下资源：

社区单机版部署：

• 创建1台华为云Flexus云服务器X实例：用于部署 New API大模型网关服务容器集群。
• 创建1个弹性公网IP EIP：提供访问公网和被公网访问能力。

CCE容器高可用版：

• 创建1个云容器引擎 CCE Turbo集群：用于部署 New API大模型网关服务容器集群。
• 创建3台华为云Flexus云服务器X实例：作为 CCE 容器集群的工作节点，承载容器实例。
• 创建3个弹性公网IP EIP：提供访问公网和被公网访问能力。
• 创建1个弹性负载均衡 ELB：将访问流量自动分发到不同后端服务，扩展应用系统对外的服务能力，实现强大的应用容错性能。
• 创建1个NAT网关 NAT：允许私有子网和容器子网内的实例安全发起出站互联网连接，以请求上游 API。
• 创建1个分布式缓存服务Redis®*版：用于全局限流及多副本间的路由缓存状态同步。
• 创建1个云数据库 RDS for MySQL：用于持久化存储 New API 用户 API 密钥、组织权限及路由元数据。

方案优势

• AI模型自动选择

  面对众多模型，用户可设定规则（如成本优先、速度优先），网关会自动选择适合的模型处理请求，并在一个模型不稳定时无缝切换备用方案，让应用始终保持稳定状态。

• 模型切换零成本

  兼容 Midjourney Proxy、Suno、Rerank 等接口，使得能够在一个网关内同时集成文本、图像及检索增强等能力，构建功能更丰富的多模态 AI 应用。它将所有不同厂商的AI接口“翻译”成一种通用语言（OpenAI格式），可做到用户随时切换或增加新的AI模型厂商，而用户核心代码无需任何修改。

• 自带商业化“收银台”

  将各种异构的大模型接口统一转换为标准的 OpenAI 格式，企业可无缝切换或调用不同厂商的模型，极大降低了集成复杂度。内置了完整的用户、额度和计费系统，可以为不同用户设置权限和用量，甚至对接支付系统，使得企业AI能力快速形成“从使用到付费”的商业闭环。

约束与限制

• 该解决方案部署前，需注册华为账号并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态。如果计费模式选择“包年包月”，请确保账户余额充足以便一键部署资源的时候可以自动支付；或者在一键部署的过程进入费用中心的“待支付订单”并手动完成支付。

• 如果选用IAM委托权限部署资源，请确保使用的华为云账号有IAM的足够权限，具体请参考创建rf_admin_trust委托；如果使用华为主账号或admin用户组下的IAM子账户可不选委托，将采用当前登录用户的权限进行部署。
• 本内容可能包含第三方开源软件、组件或框架的技术说明与配置示例，请您独立评估并自主决定是否使用，华为云不就第三方软件的功能、性能、安全性、兼容性或合规性作出任何保证。第三方软件知识产权归各自权利人所有，您应严格遵守适用的开源许可证条款（如 MIT、Apache 2.0 等），确保不侵犯任何第三方合法权益，并自行负责安全评估与漏洞管理。因您使用本方案提及的任何第三方软件产生的直接或间接损失（包括但不限于数据丢失、业务中断、安全事件、知识产权纠纷、合规处罚等），华为云及其关联方不承担任何责任。本方案对第三方软件的提及不构成认可或背书，亦不代表华为云与第三方权利人存在任何授权或合作关系。