AISIX 1.5.0：让非聊天 AI 工作负载接入 Model Group

更新时间 9/29/2026

聊天通常是团队最先通过网关处理的 AI 工作负载，但往往不是最后一个。生产系统还会提交嵌入、重排序、图像、音频和视频任务；否则每类工作负载都可能各自维护一套提供商选择和故障恢复逻辑。

AISIX 1.5.0 于 2026 年 9 月 29 日发布，使 Model Group 可用于受支持的单请求端点。实际变化并不是所有 AI 端点从此行为一致，而是团队可以将 Model Group 的目标选择、重试和故障切换路径扩展到更多非聊天流量，同时保留端点能力检查以及按尝试记录的运维证据。

AISIX 在你的环境中处理网关流量。AISIX Cloud 在其支持的部署选项中提供控制面、控制台、组织管理和集中式使用量视图。本文所述路由行为属于 AISIX 网关；它不会让每个提供商或端点都变成可互换的服务。

核心要点

  • 在 1.5.0 中，Model Group 可服务于受支持的单请求端点，包括 completions、embeddings、rerank、图像生成与编辑、音频和视频提交；此前这些端点使用 Model Group 会返回 400。
  • 该组会应用既有的策略顺序、健康过滤器、重试预算和故障切换路径。least_latency 与 least_busy 也可以在这些端点上平衡目标。
  • 每个目标都必须支持调用的端点。/v1/realtime 与 jobs surface 仍会按设计拒绝 Model Group。
  • 服务目标会反映在使用量记录和路由遥测中。一次失败的尝试会产生零 token、未由 AISIX 计费的使用量行；这不能证明上游提供商没有独立计费。

为同一产品周边的工作负载使用一套路由策略

设想一个 AI 产品：它为提交的文档创建索引、重排搜索候选项，并为完成的简报创建图像变体。在此版本之前，其聊天路径可以使用 Model Group，而单请求路径必须指定单个模型；若指定组则会收到 400。

在 AISIX 1.5.0 中，应用可以在受支持的单请求端点上调用 Model Group。AISIX 会过滤合格目标，应用该组的策略和健康信息，然后记录实际服务请求的目标。合格目标的一次失败尝试可以按配置的预算进入该组的重试或故障切换路径。

1flowchart LR
2  A[Embedding 或 rerank 请求] --> G[Model Group]
3  G --> H[健康状态和端点支持]
4  H -->|合格目标| P[提供商目标]
5  P -->|成功| U[服务目标和使用量行]
6  P -->|可重试失败| R[重试或故障切换]
7  R --> H

当路由是运维策略而非应用胶水代码时，这一点尤其有用。同一组可以将策略顺序和健康过滤器用于聊天流量，以及属于同一服务的受支持单请求流量。对于 least_latency 和 least_busy，该组也可以在这些端点上平衡合格目标。

Model Group 不会创造端点能力。每个目标必须支持调用方访问的端点。应把这视为部署检查：适合 embeddings 的组未必适合图像编辑，能够处理聊天的目标也不会自动适合另一类工作负载。

将失败证据与费用分开看待

当运维人员能区分请求的最终结果和之前的尝试时，路由扩展才更有价值。AISIX 1.5.0 会为单请求端点上的每次失败上游尝试写入使用量行，包括 completions、embeddings、rerank、图像生成与编辑、音频端点、视频提交和 /v1/messages/count_tokens。

这些失败尝试行携带尝试类型和错误，报告零 token，且不由 AISIX 计费。当所有尝试均失败时，最后一次尝试是该请求的最终行。重试预算会重放 5xx 的直接模型也遵循相同的尝试记录行为。

这是网关的计费和可观测性记录，不是对提供商账单的说明。不要根据一条零 token 的 AISIX 行推断上游提供商的收费。应使用按尝试记录的行来诊断该组是否重试或故障切换，再通过提供商自身的记录核对账单。

本次发布还会在正常运行时暴露目的地：使用量行归属实际服务请求的目标，部署/回退指标和访问日志路由摘要也会填充。这样可在不猜测成功请求由哪个目标处理的情况下，为验证发布提供证据。

不要泛化端点边界

新范围很广，但并非无所不包。AISIX 列出的受支持路径为 /v1/completions、/v1/embeddings、/v1/rerank、/v1/images/generations、/v1/images/edits、/v1/audio/transcriptions、/v1/audio/translations、/v1/audio/speech 和视频提交。/v1/realtime 与 jobs surface 仍按设计拒绝 Model Group。

这一区分对看似异步的工作负载尤为重要。视频提交属于受支持集合，但轮询视频任务及下载其内容仍是不写入使用量行的调用。后续调用不能证明 Model Group 路由或使用量记录适用于完整的视频生命周期。

同样应明确回退边界。一个组可以按配置的重试和故障切换策略遍历其目标；这并不承诺不支持所请求能力的目标能够服务请求，也不承诺每种失败都可安全重试。在迁移生产流量前，应验证实际目标清单和所配置的重试预算。

同时升级路由与可观测性契约

通过受控发布来验证路由及其周边的 1.5.0 变化：

  1. 将每个 Model Group 目标与应用调用的每个单请求端点逐一对应。移除或分离不支持该端点的目标；不要用聊天支持作为替代判断。
  2. 通过该组向每个受支持端点发送代表性请求。在使用量记录、部署/回退指标和访问日志路由摘要中验证服务目标。
  3. 分别测试可重试和不可重试的上游失败。确认按尝试记录的零 token 行、尝试类型、最终行以及告警行为；提供商收费需单独核对。
  4. 对 /v1/realtime 和 jobs 路径继续使用它们受支持的路由配置。不要把这次发布视为这些路径已启用 Model Group。
  5. 升级前还应审阅 1.5.0 的其他行为变化：新增 side 标签的指标可能改变未筛选查询的总数；使用量事件 occurred_at 现在具有毫秒精度；响应头之后失败的流在 AISIX 记录中使用失败状态，而费用、预算和限流保持不变。

对于安全敏感部署，在采用本次发布新增的 shared-secret OIDC 选项前，应单独审阅发布说明。配置 hmac_secret 时它会选择 HMAC 验证，对已注册网关有自己的版本兼容性门槛，并非 Model Group 路由的一部分。

扩展路由策略，同时保留其边界

AISIX 1.5.0 为团队提供了更清晰的方式，将已用于聊天的路由策略用于受支持的非聊天 AI 工作负载。这可以减少 embeddings、重排序、媒体及其他单请求路径的一次性选择逻辑，同时让服务目标和失败尝试可见。

价值取决于这些边界：目标必须支持端点，/v1/realtime 和 jobs 仍被排除，零 token 网关尝试行也不是提供商账单结论。可先阅读 AISIX 1.5.0 发布说明，再根据实际运行的端点和目标组合测试后逐步扩展流量。

获取方案