速览:五大 AI 网关横向对比
竞品数据来自各项目官方仓库与文档;AISIX 尚未发布的能力标注为 Roadmap。「—」表示官方文档未提供该能力。
| 能力 | AISIX | One API | New API | LiteLLM | Portkey |
|---|---|---|---|---|---|
| 基础 | |||||
| 开源协议 | Apache-2.0 | MIT | AGPL-3.0 | MIT | MIT(网关) |
| 实现语言 | Rust | Go | Go | Python | TypeScript |
| 部署形态 | 自托管(数据面在你的 VPC) | 自托管 | 自托管 | 自托管 | 自托管 + 托管平台 |
| 数据留在自有网络 | ✓ | ✓ | ✓ | ✓ | 自托管数据面时 |
| 路由与流量 | |||||
| 统一接口 | OpenAI + Anthropic 双向 | OpenAI 兼容 | OpenAI / Claude / Gemini 互转 | OpenAI 兼容 | OpenAI 兼容 |
| 模型 / 渠道覆盖 | 主流厂商 | 约 28 渠道 | 更广(+MJ/Suno/Rerank) | 100+ 家 | 1,600+ 模型 |
| 多模型负载均衡 / 重试 | ✓ | ✓ | ✓ | ✓ | ✓ |
| 语义路由 | ✓ | — | — | — | —(规则) |
| 成本 / 延迟感知路由 | ✓ | — | — | ✓ | — |
| 模型合议(ensemble) | ✓ | — | — | — | — |
| 缓存 | 精确(语义 roadmap) | — | 缓存计费 | 语义 + 精确 | 语义(企业) |
| 治理与成本 | |||||
| 令牌限流 / 额度 / 预算 | ✓ | ✓ | ✓ | ✓ | ✓ |
| 计费 / 在线充值 | AISIX Cloud 预算 | 兑换码 | 按量 / 按次 + 在线支付 | 预算(开源) | 预算 |
| 提示词 / 响应护栏 | ✓ | — | — | 部分(PII) | ✓(20+) |
| MCP 网关 | ✓ | — | — | ✓ | ✓ |
| SSO / SCIM | Roadmap | — | —(OIDC 登录) | 企业版 | 企业版 |
| 管理界面 | AISIX Cloud 控制台 | Web 控制台 | 现代 UI + 数据看板 | Admin UI | 托管控制台 |
各网关简介
AISIX
由 Apache APISIX 原班团队打造的开源 AI 网关,Rust 单二进制、数据面完全 Apache-2.0,可部署在你自有的 VPC 内(仅出站连接,提示词与响应不出网)。在统一网关上提供多模型路由与负载均衡(含加权 / 粘性灰度、成本 / 延迟 / 负载感知策略)、语义路由、模型合议(ensemble)、令牌预算与成本控制、提示词/响应护栏,以及用同一套密钥/团队/护栏治理的 MCP 网关。官方已发布性能基准:4 vCPU 下饱和吞吐约 28,300 req/s,低中负载下网关自身转发开销保持亚毫秒级。SSO/SCIM、语义缓存在路线图上。
适合:需要把大模型流量与数据留在自有基础设施内,并要企业级治理(语义路由、模型合议、护栏、MCP)的团队。
One API
Go 编写、MIT 协议的「LLM API 管理 & 分发系统」(即自建 Token 中转站),把多家大模型统一到 OpenAI 兼容接口之后,提供令牌/额度/兑换码、多渠道负载均衡与失败重试、模型映射、用户与渠道分组倍率,自带 Web 控制台。轻量、协议宽松,适合做 Token 中转站。
适合:想要轻量、MIT 宽松协议、只需 OpenAI 兼容中转 + 基本计费与负载均衡的团队。
New API
在 One API 基础上二次开发、AGPL-3.0 协议的新一代分发网关。相比 One API 支持更多格式(Claude/Gemini 互转)与接口(Rerank、Midjourney、Suno、Embeddings),支持按量/按次/缓存计费与易支付/Stripe 在线充值、令牌分组,UI 更现代并带数据看板,社区维护活跃。
适合:想要更全的格式/接口、在线支付充值与更现代 UI 的分发层,并能接受 AGPL-3.0 的团队。
LiteLLM
Python 编写、MIT 协议,既是 SDK 也是代理,统一 100+ 家供应商为 OpenAI 兼容接口。开源版即含语义缓存、虚拟密钥与预算、MCP 网关;SSO 5 人以内免费、更大规模与 SCIM 为企业版。以覆盖广度见长。
适合:想要最广供应商覆盖 + 轻量自托管、且要开源预算/虚拟密钥的团队。
Portkey
TypeScript 开源网关(MIT)+ 托管控制面(商业、分层)。覆盖 1,600+ 模型,提供 20+ 原生护栏、MCP 网关与成熟的可观测/治理平台;语义缓存、SSO/SCIM、VPC 部署在企业版。
适合:想要托管的可观测与治理平台、并接受高级能力按档收费的团队。
小结
选型可以先看你需要「Token 中转」还是「治理」:One API、New API 是优秀的开源 Token 中转站(轻量、宽松协议选 One API;功能更全、在线支付与活跃维护选 New API);LiteLLM 覆盖最广、 Portkey 提供托管治理平台。
如果你更看重把 LLM 流量与数据留在自有网络,并需要语义路由、模型合议(ensemble)、 提示词 / 响应护栏、MCP 网关等企业级治理,可以了解 AISIX AI 网关——由 Apache APISIX 原班团队打造,数据面完全 Apache-2.0,可在自有 VPC 内自托管。
深入对比
想看中文市场里最常被比较的两个 Token 中转站的详细差异,请阅读 One API vs New API 深入对比。
