为什么治理能力是 AI 网关的分水岭
把多家大模型统一到一个 OpenAI 兼容接口,只是入门;许多轻量的「Token 中转站」都能做到这一步。真正拉开差距的, 是能否在同一个入口对 AI 流量做治理:按语义把请求分派到最合适的模型、在入口拦住危险的提示词与敏感响应、 以 token 为单位约束成本并分摊到团队。
下面按语义路由、护栏、成本治理三大能力逐一展开,每节都遵循「是什么 → 为什么重要 → 哪些网关支持」的结构。一个值得关注的判断标准是:这三者能否落在 同一个开源数据面上——若能,则一把密钥、一条治理链路即可同时覆盖路由、安全与成本。AISIX 即是这样一个把三者收敛到同一数据面的开源示例。
一、语义路由(Semantic Routing)
是什么
语义路由是指网关按「提示词的含义」把请求路由到不同的上游模型。关键在于: 调用方始终使用同一个 model 别名,由网关根据请求语义在背后分派——例如把简单的闲聊、分类、格式化交给更便宜的小模型, 把复杂的推理、代码生成交给更强的大模型。应用侧无需感知底层用了哪个模型,也无需为切换模型改代码。
为什么重要
大模型的能力与价格差异极大,若所有请求都打到最强(也最贵)的模型,成本会迅速失控; 若都打到便宜模型,复杂任务的质量又难以保证。语义路由让网关在质量与成本之间自动取舍: 按需把请求匹配到「刚好够用」的模型,从而在不牺牲体验的前提下显著降低整体开销。
哪些网关支持
语义路由目前仍是能力分化较明显的一环。AISIX 已交付该能力并提供官方文档,可用于生产。
| 网关 | 支持情况 |
|---|---|
| AISIX | 已交付语义路由,并提供官方文档,可用于生产;调用方用同一别名,网关按语义分派到不同上游模型。 |
| LiteLLM | 提供基于语义相似度的路由能力,可把请求按语义匹配到预设的模型分组。 |
| Portkey | 提供条件路由(按元数据、参数等条件分派),语义层面的路由多结合其网关配置实现。 |
二、护栏(Guardrails)
是什么
护栏是对提示词与响应两个方向做安全检查的机制,常见手段包括:关键词与正则过滤、 PII(个人身份信息)脱敏,以及内容审核。内容审核既可以是网关内置规则,也可以接入外部专业服务—— 例如 AWS Bedrock、Azure AI Content Safety、阿里云等。它在请求进入模型之前、以及响应返回应用之前介入。
为什么重要
大模型直接对接终端用户会引入新的安全面:恶意用户可能通过精心构造的输入实施提示注入(prompt injection),模型也可能在响应里带出敏感或不合规内容。护栏的价值在于防提示注入、防敏感信息泄漏, 并满足内容合规要求,为所有接入的应用提供一条统一的安全基线,而不必让每个应用各自造轮子。
哪些网关支持
护栏是当前各家网关覆盖较普遍的能力,但内置数量与可接入的外部服务各不相同。
| 网关 | 支持情况 |
|---|---|
| AISIX | 开源核心内置多种护栏,可对提示词与响应做关键词/正则过滤与内容审核,并可接入外部内容安全服务。 |
| Portkey | 提供 20+ 内置护栏,覆盖 PII 检测、内容审核与结构校验等。 |
| Cloudflare | AI Gateway 提供内置 Guardrails,对流经网关的提示词与响应做安全评估。 |
| LiteLLM | 提供 Presidio PII 脱敏等护栏,并可接入多家内容审核服务。 |
三、成本治理
是什么
成本治理围绕大模型的计费单位——token——展开,通常包含三层:一是按 token 的限流与预算控制(而非按请求数),二是按模型、团队或密钥核算成本并分摊, 三是通过缓存复用重复或相似请求以节省重复调用大模型的开销。
为什么重要
大模型的开销与调用量、上下文长度强相关,极易在无人约束时失控;而若无法把成本拆到团队与业务, 也就谈不上分摊与问责。成本治理的价值在于防止失控开销,并把成本清晰地分摊到各团队, 让 AI 支出像其他云资源一样可预算、可核算。
哪些网关支持
令牌限流与用量统计已是主流网关的普遍能力,组织级预算与成本分摊的完整程度则各有差异。
| 网关 | 支持情况 |
|---|---|
| AISIX | 开源提供按 token 的限流;预算与组织级成本治理在 AISIX Cloud 提供。 |
| LiteLLM | 开源版即提供虚拟密钥、按 key/团队的预算与用量统计。 |
| Portkey | 提供成本与用量的可观测、预算与配额等治理能力。 |
三者合一:同一个开源数据面
语义路由、护栏与成本治理各自成立,但真正的价值在于把它们叠在同一条治理链路上: 同一把密钥既受语义路由分派、又被护栏检查、还被 token 预算约束,一次配置即覆盖路由、安全与成本三个维度。
以 AISIX 为例,它把三者收敛到同一个开源数据面:语义路由已随官方文档交付、开源核心内置多种护栏、 并提供按 token 的限流(预算与组织级治理在 AISIX Cloud),同一条数据面还可延伸到 MCP 网关,用同一套治理约束 AI Agent 的工具调用。想先建立整体认知,可先读 什么是 AI 网关;想看各家网关的横向对比,可参阅 AI 网关对比。
