什么是 AI 网关
AI 网关是位于应用与各家大模型(LLM)之间的统一入口,负责统一路由、治理、安全、缓存与观测 LLM 及 AI Agent 流量。当团队从调用单一模型,发展到同时接入多家大模型、给多个应用与 AI Agent 供能时,分散的密钥、各不相同的接口、失控的 token 成本、缺失的安全与审计, 都会成为难题。AI 网关把这些统一收敛到一个入口来解决。
为什么需要 AI 网关
没有 AI 网关时,每个应用各自持有大模型密钥、各自实现重试与限流、各自记账, 既难治理也难审计;一旦某家供应商限流或宕机,业务缺少统一的故障转移能力。AI 网关提供统一接口与密钥管理、跨模型的负载均衡与故障转移、以 token 为单位的成本预算, 以及提示词 / 响应护栏和统一可观测,让 AI 流量像普通线上流量一样可被治理。
AI 网关 vs API 网关
AI 网关并不是要取代 API 网关,而是面向大模型流量的专门化演进。可以把 AI 网关理解为「懂大模型」的 API 网关:两者都做认证、限流、缓存与可观测,但 AI 网关的计费单位、路由方式与治理能力都是围绕 LLM 和 AI Agent 重新设计的。
| 维度 | API 网关 | AI 网关 |
|---|---|---|
| 面向的流量 | 通用后端服务(REST / gRPC 微服务) | LLM 与 AI Agent 流量(对话、补全、嵌入、工具调用) |
| 计费与限流单位 | 按请求 / QPS | 按 token(输入 + 输出),并可按模型核算成本与预算 |
| 路由方式 | 按路径 / Host / Header 匹配到固定后端 | 在多家模型间路由,支持负载均衡、故障转移与语义路由 |
| 上游对象 | 你自己的服务实例 | 第三方大模型 API、私有部署模型与 MCP 工具服务 |
| AI 原生能力 | 认证、限流、缓存、可观测等通用治理 | 在通用治理之上新增:多模型统一接口、语义路由、模型合议(ensemble)、提示词 / 响应护栏、成本预算、MCP 网关等 |
| 典型协议 | HTTP / gRPC | OpenAI / Anthropic 等兼容协议 + MCP |
AI 网关的核心能力
不同产品覆盖程度不一,但一个完整的 AI 网关通常提供以下能力。
多模型统一接口
把 OpenAI、Anthropic、Google 及自托管等多家模型收敛到一套兼容接口,应用一次接入即可自由切换底层模型。
路由与负载均衡
在多个模型或多把密钥之间做负载均衡、失败重试与故障转移,避免单一供应商限流或宕机拖垮业务。
语义路由
根据请求的语义或意图,把不同类型的流量分发到最合适(或最具性价比)的模型,而非只按固定规则转发。
模型合议(ensemble)
把同一请求同时发往多个模型,再对结果做择优或综合,以提升答案质量与稳健性。
令牌限流与成本预算
以 token 为单位做限流、配额与预算控制,并按模型、密钥或团队核算成本,防止费用失控。
提示词 / 响应护栏
在入口对提示词与模型响应做校验与过滤(如敏感信息、注入攻击、不合规内容),为 AI 流量提供安全基线。
缓存
对重复或相似请求做精确缓存乃至语义缓存,降低延迟并节省重复调用大模型的开销。
可观测
统一采集每次调用的模型、token 用量、延迟、成本与错误,提供日志、指标与追踪,便于排障与成本分析。
MCP 网关
把 MCP(Model Context Protocol)工具服务纳入同一入口,用同一套密钥、限流与护栏治理 AI Agent 的工具调用。
开源 AI 网关有哪些
如果你希望自托管、把数据留在自有网络,可以从以下常见的开源 AI 网关入手。
AISIX
Rust 编写、数据面 Apache-2.0 的开源 AI 网关,由 Apache APISIX 原班团队打造,可在自有 VPC 内自托管(数据不出网),在同一网关上提供语义路由、模型合议(ensemble)、提示词 / 响应护栏与 MCP 网关。
LiteLLM
Python 编写、MIT 协议,既是 SDK 也是代理,统一 100+ 家供应商为 OpenAI 兼容接口;开源版即含语义缓存、虚拟密钥与预算、MCP 网关,以覆盖广度见长。
Portkey
TypeScript 开源网关(MIT)+ 托管治理平台,覆盖 1,600+ 模型,提供原生护栏与 MCP 网关,以及较成熟的可观测与治理能力。
需要说明的是,One API(Go / MIT)与 New API(Go / AGPL-3.0, 在 One API 基础上二次开发)常被一并提及,但它们属于「Token 中转站」,以中转与计费为核心,把多家模型统一到 OpenAI 兼容接口并做令牌额度与负载均衡,通常不提供语义路由、模型合议、护栏、MCP 网关等 AI 原生治理,因此不算完整意义上的 AI 网关。
如何选型
选择 AI 网关时,可以从三个角度出发。
自托管与数据驻留
若对数据驻留与合规有要求,优先看能否在自有 VPC 内自托管、提示词与响应是否不出网。 例如 AISIX 的数据面为 Apache-2.0,可部署在自有网络内、仅保留出站连接。
治理需求
若只需中转 + 计费,轻量的 Token 中转站即可;若需要语义路由、模型合议(ensemble)、提示词 / 响应护栏、成本预算、MCP 网关乃至 SSO / SCIM 等企业级治理,则应选择能力更完整的 AI 网关。
协议与生态
关注上游模型的兼容协议(OpenAI / Anthropic 等)与开源协议约束(如 AGPL-3.0 对「对外提供修改版需开源」的要求),以及是否支持 MCP、能否融入现有可观测体系。 更详细的横向对比可参阅 AI 网关对比。
