Welches LLM-Gateway eignet sich für den Produktivbetrieb?
Wenn die Kosten pro Aufgabe am meisten zählen, Standard Compute: Das Routing schickt jeden Schritt an das günstigste Modell, das ihn schafft, bei Anbietern, die wir auf Preis, Verfügbarkeit und Geschwindigkeit prüfen, mit automatischem Fallback, und das Budget eines Schlüssels stoppt, statt überzulaufen. Optionale Compliance-Regeln für Europa oder die USA gelten pro Firma, Team oder Schlüssel, und wir trainieren nicht mit Ihren Prompts und speichern sie nicht. Bei SSO und geprüfter Compliance liegen Portkey und LiteLLM vorn, Requesty dabei, das Gateway selbst in der EU zu halten.
Sieben Gateways im Vergleich
| Gateway | Preis | Am Ausgabenlimit | Wiederholungen, Fallback, Rate Limits | Prompt-Logging | EU-Regeln | SSO und SLA |
|---|---|---|---|---|---|---|
| Standard Compute | 19 $ bis 249 $ im Monat pro Schlüssel, Rechenbudget inklusive; Business ab 499 $ | HTTP 402; laufende Anfragen werden fertig | 2 Wiederholungen, dann der nächste Anbieter desselben Modells; 300 bis 4.000 Anfragen pro Minute und Schlüssel | Nie | Europa- oder USA-Regel pro Firma, Team oder Schlüssel, für die Inferenz | Kein SSO; SLA nur in individuellen Business-Verträgen |
| OpenRouter | Anbieterpreis plus 5,5 % (8 % bei Business) | HTTP 402 am Guthabenlimit eines Schlüssels | Standardmäßig der nächste Anbieter, Fallback-Liste für Modelle; Rate Limits der Anbieter | Aus, außer Sie schalten es ein | In-Region-Routing bei Business | SSO und vertragliche SLAs bei Enterprise |
| Requesty | Anbieterpreis plus 5 % | HTTP 412 am Limit eines Schlüssels; 402 bei leerem Guthaben | Fallback-Ketten, die Sie schreiben; kein Limit pro Minute | Nur bei Schlüsseln mit eingeschaltetem Logging | Gateway in Frankfurt in jedem Tarif | SSO und SLAs bei Enterprise |
| Portkey | 0 $ bis 49 $ im Monat für Logs, plus die Rechnungen der Anbieter | Budgets bei Enterprise und ausgewählten Pro-Tarifen | Bis zu 5 Wiederholungen und Fallbacks, die Sie konfigurieren | Standardmäßig an; nur Metriken bei Enterprise | Ihre eigene VPC bei Enterprise | SSO, SCIM und SLAs bei Enterprise; SOC 2, ISO 27001, HIPAA |
| LiteLLM | Selbst gehostet kostenlos; Enterprise-Lizenz | Budget-Fehler; braucht seine Datenbank | Wiederholungen, Fallbacks und RPM/TPM-Limits, die Sie konfigurieren | In Ihrer Infrastruktur | Wo immer Sie es hosten | SSO kostenlos für 5 Nutzer; SLAs bei Enterprise; SOC 2 Type II |
| Vercel AI Gateway | Listenpreis, kein Aufschlag | HTTP 402, ein weiches Limit | Anbieter nach Verfügbarkeit und Latenz, Fallback-Liste für Modelle; kein Gateway-Limit auf bezahltem Guthaben | Nicht veröffentlicht | EU- oder US-Inferenz pro Anfrage | SSO bei Vercel Enterprise; Gateway-SLA nicht veröffentlicht |
| Cloudflare AI Gateway | Kostenlos; 5 % Gebühr auf abgerechnetes Guthaben | HTTP 429 oder ein günstigeres Fallback-Modell, geprüft nach jeder Anfrage | Bis zu 5 Wiederholungen; 200 Anfragen pro Minute pro Gateway auf abgerechnetem Guthaben | Standardmäßig an; abschaltbar | Nicht von Regional Services abgedeckt | Dashboard-SSO kostenlos; Gateway-SLA nicht veröffentlicht |
Quellen: OpenRouter 1 2 3, Requesty 1 2 3 4 5 6 7, Portkey 1 2 3 4 5, LiteLLM 1 2 3 4 5, Vercel 1 2 3 4 5 6, Cloudflare 1 2 3 4 5 6. Standard Compute ist unser Produkt.
Was Sie testen sollten, bevor Agents davon abhängen
- Schicken Sie eine Anfrage über das Limit eines Testschlüssels. Die OpenAI-SDKs wiederholen eine 429, aber keine 402; ein Gateway, das am Budget mit 429 antwortet, kann Ihren Agent in eine Wiederholungsschleife schicken.
- Fragen Sie, wann das Gateway einen Stream wiederholt. Eine Wiederholung nach dem ersten gestreamten Token verdoppelt die Ausgabe; Standard Compute wiederholt nur davor.
- Klären Sie, wer die Fallback-Kette schreibt. Bei Requesty, Portkey, LiteLLM und Cloudflare tun Sie es; OpenRouter, Vercel und Standard Compute wenden eine Anbieter-Reihenfolge für Sie an.
- Prüfen Sie, was das Gateway am ersten Tag speichert, bevor jemand eine Einstellung ändert.
Wann ein anderes Gateway die bessere Wahl ist
- Der Einkauf braucht heute SSO, SCIM oder einen SOC-2-Bericht: Portkey oder LiteLLM Enterprise. Wir haben nichts davon und keinen veröffentlichten Standard-AVV.
- Prompts und Schlüssel müssen in Ihrer eigenen Infrastruktur bleiben: selbst gehostetes LiteLLM.
- Das Gateway selbst muss in der EU laufen: Requesty oder das In-Region-Routing von OpenRouter. Unsere Europa-Regel legt fest, wo die Inferenz läuft; unser Gateway und OpenRouter können die Anfrage außerhalb der EU verarbeiten.
- Sie bringen eigene Anbieter-Schlüssel oder eigenes Guthaben mit: BYOK unterstützen wir nicht.
- Sie brauchen ein vertragliches SLA in einem Self-Service-Tarif. Unseres gibt es mit einem individuellen Business-Vertrag; die Statusseite veröffentlicht ein Ziel von 99,9 % Verfügbarkeit pro Monat.
- Die Nutzung ist gering: Tokens zum Listenpreis oder ein kostenloses Gateway können weniger kosten als ein Monatstarif.
- Sie wollen einen zweiten Netzwerkpfad: Wir erreichen die Anbieter über OpenRouter, sodass ein großer OpenRouter-Ausfall auch uns trifft.
Wofür Standard Compute gemacht ist
Ein Schlüssel pro Dienst mit eigenem Tarif, ein Routing, das ihn für effiziente Modelle ausgibt, und Europa- oder USA-Regeln, die Ihre Admins einmal festlegen. Wir trainieren nicht mit Ihren Prompts und speichern sie nicht.
Häufige Fragen
Welches LLM-Gateway hat die besten Governance-Funktionen?
Portkey und LiteLLM Enterprise, wenn Sie SSO, SCIM, Guardrails und geprüfte Compliance brauchen. Standard Compute bietet Rollen, ein Audit-Log, ein Budget pro Schlüssel und Europa- oder USA-Regeln, die von der Firma über das Team an den Schlüssel vererbt werden.
LLM-Gateway mit SSO und AVV für ein Entwicklerteam von 30 Leuten: Lohnt sich Portkey oder LiteLLM, oder gibt es etwas Einfacheres?
Für SSO bei 30 Personen: Portkey Enterprise oder LiteLLM mit Enterprise-Lizenz, denn das SSO von LiteLLM ist nur für bis zu 5 Nutzer kostenlos. Einfacher ist Standard Compute mit einem Schlüssel und Budget pro Entwickler, Rollen und Audit-Log, aber ohne SSO und ohne veröffentlichten Standard-AVV.
Wie wechseln Firmen Modelle und Anbieter mit Fallback, ohne den Code ihrer Agents umzuschreiben?
Sie setzen ein OpenAI-kompatibles Gateway zwischen Agent und Anbieter, sodass sich nur Base-URL und Schlüssel ändern. Dann schreiben sie die Fallback-Kette selbst oder lassen das Gateway eine Anbieter-Reihenfolge pro Modell anwenden.
Was passiert, wenn das Budget eines LLM-Gateways mitten in einer Agent-Aufgabe aufgebraucht ist?
Die nächste Anfrage schlägt fehl, und der Agent stoppt, wenn er den Fehler nicht behandelt. Fangen Sie ihn ab, pausieren Sie die Warteschlange und alarmieren Sie jemanden. Bei Standard Compute werden laufende Anfragen fertig.
Welche KI-Gateways protokollieren keine Prompts?
Standard Compute protokolliert nie Prompt- oder Antworttext, und OpenRouter speichert keinen, außer Sie schalten es ein. Requesty speichert ihn nur bei Schlüsseln mit eingeschaltetem Logging. Portkey und Cloudflare protokollieren ihn standardmäßig; den Modus nur mit Metriken gibt es bei Portkey mit Enterprise.
Ist selbst gehostetes LiteLLM im Produktivbetrieb günstiger als ein gehostetes Gateway?
Es schlägt nichts auf die Tokens auf, aber Sie bezahlen die Server, seine Datenbank und die Zeit für Betrieb und Updates, und SSO für mehr als 5 Nutzer braucht eine Enterprise-Lizenz. Standard Compute kann auch als OpenAI-kompatibler Anbieter hinter LiteLLM stehen.
Welches LLM-Gateway hält Agent-Traffic in der EU?
Der Endpunkt von Requesty in Frankfurt mit in der EU gehosteten Modellen und das In-Region-Routing von OpenRouter bei Business halten Gateway und Inferenz in der EU, ebenso LiteLLM, wenn Sie es dort hosten. Vercel und Standard Compute legen nur fest, wo die Inferenz läuft.