AISIX 是面向 LLM 与 AI 智能体的开源 AI 网关。用一个兼容 OpenAI 的 API 连接所有模型,让团队在几天内交付 AI 功能,并把真正产生价值的能力稳定扩展到生产环境。
Apache-2.0 开源核心 · 100+ 模型服务商 · Rust 构建 · 文档 · 查看定价
from openai import OpenAI client = OpenAI( base_url="https://your-aisix-gateway/v1", # 指向 AISIX api_key="AISIX_API_KEY", ) # 原有 OpenAI 代码无需改写 resp = client.chat.completions.create( model="gpt-4o", # 也可以是 Claude、Gemini、DeepSeek 等 100+ 模型 messages=[{"role": "user", "content": "Hello"}], )
第一次调用模型很简单。第 50 个服务、第 10 个模型,以及第一次面向客户的线上故障,才是真正的复杂度。AI 网关把这些复杂度收束到统一入口,让团队继续专注交付。
把现有 OpenAI SDK 指向 AISIX,就可以访问主流模型服务商。无需为每个服务商维护独立 SDK,也不用被单一模型平台绑定。
/v1/messages。跨环境查看请求量、延迟、错误、费用和模型健康状态,无需从零搭建监控面板。
从第一个原型到生产级流量,AISIX 内置模型路由、限流、安全、可观测性和成本治理能力。
发布和切换模型,无需改写应用代码。 将任意模型别名映射到 OpenAI、Anthropic、Bedrock、Vertex、Groq 等服务商,并结合加权负载均衡、自动故障转移、健康检查、语义路由和成本优先路由。
让 AI 流量稳定扩展到生产规模。 支持滑动窗口请求限流(RPM / RPD)、令牌限流(TPM / TPD)和并发上限,可按密钥、团队或服务商账号设置,并通过 Redis 在多副本间同步。
更有信心地把 AI 能力开放给客户。 在输入前和输出后执行检查,包括关键词与正则拦截、PII 脱敏(Presidio)、Prompt 注入检测与内容审核(Lakera、OpenAI Moderation、Llama-Guard),以及按密钥控制模型访问权限。
把预算投入到真正有效的 AI 能力上。 跨环境、密钥和成员查看当月费用,支持按密钥和组织设置预算,在 75%、90%、100% 阈值触发告警,并按模型跟踪成本和设置硬性上限。
很多 AI 网关只是应用热路径上的一层脚本代理。AISIX 是为 AI 流量重新构建的网关基础设施。
亚毫秒级代理开销,没有垃圾回收停顿;无状态数据面可以随流量水平扩展。
可以用单个二进制文件自托管完整网关,免费使用,避免锁定;也可以选择托管版 AISIX Cloud。
API7.ai 是 Apache APISIX 的创造者,积累多年生产级网关工程经验,并将这些经验带到 LLM 与 AI 智能体场景。
几分钟即可使用托管云服务,也可以把控制面和数据面全部部署在企业自己的基础设施中。
微信咨询
获取方案