核心要点
API 可靠性的重要性：2024 年 12 月 OpenAI 的服务中断事件凸显了 AI 应用对大语言模型（LLMs）日益增长的依赖，强调了构建更具韧性的 API 的必要性。
AI 应用的冗余策略：为确保 AI 服务不间断，开发者必须实施多供应商 LLM 策略，以便在服务中断时实现无缝故障转移。
API 网关的作用：API 网关通过提供可观测性、健康检查与自动故障转移机制等功能，在维持服务质量（QoS）方面扮演着关键角色，即使 LLM 服务发生故障也能确保持续运行。
引言：日益增长的 LLM 依赖与 2024 年 12 月的服务中断
2024 年 12 月下旬，OpenAI 经历了一次持续数小时的重大服务中断，导致包括聊天机器人、虚拟助手和企业软件在内的许多 AI 驱动应用失去了核心服务。这次中断影响了众多依赖 AI 服务的行业，突显了支持大规模 AI 应用的稳健基础设施的重要性。
随着各组织将 LLM 集成到其产品中，它们对这类服务执行关键任务的依赖日益加深。从客户支持聊天机器人到内容生成工具，企业正在将 AI 嵌入其运营流程，这使得任何服务中断都可能带来灾难性后果。
这次中断是一个鲜明的提醒：尽管像 OpenAI 的 GPT 系列这样的 LLM 提供了强大的能力，但它们也创造了单点故障。开发者和组织必须采取主动措施，确保 AI 服务的持续可用性，尤其是在关键任务应用中。其中一项措施就是提升驱动这些 AI 解决方案的 API 的 QoS。
AI 驱动应用对冗余的需求
对于创建 AI 驱动的智能体或应用的开发者而言，仅仅依赖单一的 LLM 服务已远远不够。无论是由于中断、维护还是技术故障，主要 LLM 供应商的失败都可能导致服务中断和糟糕的用户体验。这可能引发：
- 用户不满：依赖实时 AI 响应的应用可能无法提供内容或交互，从而使用户感到沮丧。
- 收入损失：依赖 AI 服务进行客户互动的企业，如果其服务离线，可能会立即面临收入下降。
- 品牌声誉损害：长时间的服务中断会侵蚀信任，并可能严重损害公司声誉。
为降低这些风险，AI 应用开发者需要采用多供应商策略。通过集成多个 LLM 服务，AI 智能体和应用可以在主要服务发生故障时智能地切换到备用服务。这种冗余确保了 AI 驱动系统能够持续平稳可靠地运行。
冗余的关键策略：
- 多供应商 LLM 集成：开发者不应仅依赖 OpenAI 等单一服务，而应构建应用的灵活性，以便在必要时切换至 Cohere、Anthropic 或 Google 的 PaLM 等多个供应商。
- 智能负载均衡：利用动态负载均衡技术，AI 智能体可以智能地将请求路由到当前最不拥堵或最可靠的 LLM 服务。
- 备份系统：当主要服务不可用时，建立备份模型或回退机制，以最小化停机时间。
通过确保你的 AI 应用不锁定于单一服务提供商，你可以增强系统的可靠性和可用性，减少任何单一 LLM 故障的影响。
利用 API 网关提升 QoS
在构建具有韧性的 AI 应用时，API 网关成为确保最佳 QoS 的关键组件。API 网关充当客户端（AI 智能体或应用）与后端服务（如 LLM 供应商）之间的中介。通过增加管理、监控和路由层，API 网关可以显著提升 AI 服务的可靠性和效率。下面，我们探讨 API 网关能够提升 AI 服务 API QoS 的能力。
1. 可观测性与监控
API 网关提供对集成服务健康状况和性能的实时监控与可观测性。这种可见性使开发者能够主动识别并解决潜在问题，防止其升级。
- 服务仪表盘：API 网关提供可视化仪表盘，显示上游服务（如各种 LLM）的状态。开发者可以快速查看某个 LLM 供应商是否正在经历延迟或中断。
- 指标与日志：通过详细的响应时间、错误率和吞吐量指标，开发者可以跟踪和分析模式，从而实现快速故障排除和根因分析。
2. 自动化健康检查
为确保 AI 应用仅与健康的 LLM 服务交互，API 网关可以执行自动化健康检查。这些检查会定期验证上游服务是否在线且响应正常。如果某个供应商的服务未能满足健康标准（例如，超时或错误率过高），网关可以自动将请求重新路由到备用供应商，而无需应用或其用户进行任何干预。
- 自动化服务故障转移：例如，如果 OpenAI 出现问题，API 网关可以将流量重新路由到 Cohere 或 Anthropic。此故障转移过程可以实时发生，不会中断用户体验。
- 可定制的健康检查逻辑：开发者可以设置自己的标准来定义何为“不健康”的服务，并为故障转移定义阈值，使系统能够适应不同程度的服务降级。
3. 速率限制与流量控制
API 网关功能的另一个关键方面是速率限制和流量控制，这有助于通过控制流向服务的流量来维持整体 QoS。过载的服务可能变得缓慢或不可靠，因此 API 网关通过以下方式防止任何服务被压垮：
- 请求限制：确保每个 LLM 服务仅接收其能够处理的流量。这防止任何单一服务成为瓶颈或故障点。
- 负载卸载：在极端负载情况下，API 网关可以卸载多余流量或延迟请求，在保持系统性能的同时确保核心服务保持响应。
4. 智能路由与故障转移
基于服务可用性动态路由流量的能力是 API 网关最强大的功能之一。在 AI 服务 API 的背景下，这意味着网关可以：
- 智能流量路由：根据性能、成本或负载等因素路由请求，确保用户始终获得最佳可用响应。
- 自动故障转移与冗余：如果主要 LLM 供应商宕机，网关可以自动将请求重定向到备用供应商，而 AI 智能体或应用不会经历停机。
例如，如果 OpenAI 的服务缓慢或无响应，API 网关可以检测到问题并将流量重新路由到 Cohere、Anthropic 或其他供应商。这种无缝切换确保用户不会经历服务中断或延迟。
5. 安全性与 API 速率管理
API 网关还配备了安全功能，可以保护 AI 服务 API 免受恶意请求、DDoS 攻击或可能降低服务质量的流量峰值的影响。通过强制执行速率限制和流量过滤，它们有助于维护服务的完整性和可用性。
- 流量整形：API 网关可以优先处理某些类型的流量（例如，高优先级请求）并限制其他流量，以保持一致的 QoS。
- 认证与授权：通过管理访问控制，API 网关确保只有合法的请求能够到达后端服务，防止可能影响服务性能的未授权访问。
结论：构建具有韧性的 AI 服务 API
2024 年 12 月的 OpenAI 中断事件对所有依赖 LLM 服务的 AI 应用开发者和组织来说都是一次警醒。随着世界对 AI 驱动应用的依赖日益加深，确保 AI 服务 API 的高可用性和韧性的重要性不言而喻。
像 Apache APISIX 和 API7 企业版 这样的 API 网关是提升 AI 服务 API QoS 的关键工具。通过提供实时可观测性、自动化健康检查、智能路由和故障转移机制，API 网关确保 AI 应用即使在 LLM 服务中断期间也能继续运行。实施由 API 网关支持的多供应商策略，是维持 AI 服务可靠性和可用性的关键一步。
随着 AI 服务格局的不断演变，专注于构建能够最小化服务中断风险、确保 AI 驱动应用平稳运行的基础设施至关重要。AI 服务可靠性的未来取决于使这些系统尽可能具有韧性和适应性——从 API 网关开始。