Welke LLM-gateway is geschikt voor productie?
Als de kosten per taak het zwaarst wegen, Standard Compute: de router stuurt elke stap naar het goedkoopste model dat hem aankan, bij aanbieders die we beoordelen op prijs, beschikbaarheid en snelheid, met automatische fallback, en het budget van een sleutel stopt in plaats van door te lopen. Optionele Compliance-regels voor Europa of de VS gelden per bedrijf, team of sleutel, en we trainen niet op uw prompts en slaan ze niet op. Portkey en LiteLLM lopen voorop met SSO en geauditeerde compliance, en Requesty met een gateway die zelf in de EU blijft.
Zeven gateways vergeleken
| Gateway | Prijs | Bij de uitgavenlimiet | Herhaalpogingen, fallback, rate limits | Promptlogging | EU-regels | SSO en SLA |
|---|---|---|---|---|---|---|
| Standard Compute | US$ 19 tot US$ 249 per maand per sleutel, rekenbudget inbegrepen; Business vanaf US$ 499 | HTTP 402; lopende verzoeken worden afgemaakt | 2 herhaalpogingen, dan de volgende aanbieder van hetzelfde model; 300 tot 4.000 verzoeken per minuut per sleutel | Nooit | Europa- of VS-regel per bedrijf, team of sleutel, voor de inferentie | Geen SSO; SLA alleen in Business-maatcontracten |
| OpenRouter | Prijs van de aanbieder plus 5,5% (8% op Business) | HTTP 402 bij de kredietlimiet van een sleutel | Standaard de volgende aanbieder, fallbacklijst van modellen; rate limits van de aanbieders | Uit, tenzij u ervoor kiest | In-regionroutering op Business | SSO en contractuele SLA's op Enterprise |
| Requesty | Prijs van de aanbieder plus 5% | HTTP 412 bij de limiet van een sleutel; 402 bij een leeg saldo | Fallbackketens die u zelf schrijft; geen limiet per minuut | Alleen op sleutels waarop logging aanstaat | Gateway in Frankfurt op elk abonnement | SSO en SLA's op Enterprise |
| Portkey | US$ 0 tot US$ 49 per maand voor logs, plus de rekeningen van de aanbieders | Budgetten op Enterprise en bepaalde Pro-abonnementen | Tot 5 herhaalpogingen en fallbacks die u configureert | Standaard aan; alleen metrics op Enterprise | Uw eigen VPC op Enterprise | SSO, SCIM en SLA's op Enterprise; SOC 2, ISO 27001, HIPAA |
| LiteLLM | Gratis om zelf te hosten; Enterprise-licentie | Budgetfout; heeft zijn database nodig | Herhaalpogingen, fallbacks en RPM/TPM-limieten die u configureert | In uw eigen infrastructuur | Waar u het ook host | SSO gratis voor 5 gebruikers; SLA's op Enterprise; SOC 2 Type II |
| Vercel AI Gateway | Catalogusprijs, geen opslag | HTTP 402, een zachte limiet | Aanbieder op beschikbaarheid en latency, fallbacklijst van modellen; geen gatewaylimiet op betaald tegoed | Niet gepubliceerd | EU- of VS-inferentie per verzoek | SSO op Vercel Enterprise; gateway-SLA niet gepubliceerd |
| Cloudflare AI Gateway | Gratis; 5% vergoeding op gefactureerd tegoed | HTTP 429 of een goedkoper fallbackmodel, gecontroleerd na elk verzoek | Tot 5 herhaalpogingen; 200 verzoeken per minuut per gateway op gefactureerd tegoed | Standaard aan; kan uit | Niet gedekt door Regional Services | Dashboard-SSO gratis; gateway-SLA niet gepubliceerd |
Bronnen: OpenRouter 1 2 3, Requesty 1 2 3 4 5 6 7, Portkey 1 2 3 4 5, LiteLLM 1 2 3 4 5, Vercel 1 2 3 4 5 6, Cloudflare 1 2 3 4 5 6. Standard Compute is ons product.
Wat u test voordat agents ervan afhangen
- Stuur één verzoek voorbij de limiet van een testsleutel. De OpenAI-SDK's herhalen een 429 maar geen 402, dus een gateway die bij een budget 429 antwoordt, kan uw agent in een herhaallus brengen.
- Vraag wanneer de gateway een stream herhaalt. Een herhaling na het eerste gestreamde token dupliceert de uitvoer; Standard Compute herhaalt alleen daarvoor.
- Zoek uit wie de fallbackketen schrijft. Bij Requesty, Portkey, LiteLLM en Cloudflare doet u dat; OpenRouter, Vercel en Standard Compute passen een volgorde van aanbieders voor u toe.
- Controleer wat de gateway op dag één opslaat, voordat iemand een instelling wijzigt.
Wanneer een andere gateway de betere keuze is
- Inkoop vraagt vandaag om SSO, SCIM of een SOC 2-rapport: Portkey of LiteLLM Enterprise. Dat hebben we geen van alle, en we publiceren geen standaard-verwerkersovereenkomst.
- Prompts en sleutels moeten in uw eigen infrastructuur blijven: zelf gehoste LiteLLM.
- De gateway zelf moet in de EU draaien: Requesty of de in-regionroutering van OpenRouter. Onze Europa-regel bepaalt waar de inferentie draait, terwijl onze gateway en OpenRouter het verzoek buiten de EU kunnen verwerken.
- U brengt uw eigen sleutels of tegoed van aanbieders mee: BYOK ondersteunen we niet.
- U hebt een contractuele SLA nodig op een self-service-abonnement. De onze komt met een Business-maatcontract; de statuspagina publiceert een doel van 99,9% beschikbaarheid per maand.
- Uw gebruik is licht: tokens tegen catalogusprijs of een gratis gateway kunnen minder kosten dan een maandabonnement.
- U wilt een tweede netwerkpad: we bereiken aanbieders via OpenRouter, dus een brede storing bij OpenRouter raakt ons ook.
Waar Standard Compute bij past
Een sleutel per dienst met een eigen abonnement, een router die het aan efficiënte modellen besteedt, en Europa- of VS-regels die uw beheerders één keer instellen. We trainen niet op uw prompts en slaan ze niet op.
Veelgestelde vragen
Welke LLM-gateway heeft de beste governancefuncties?
Portkey en LiteLLM Enterprise, als u SSO, SCIM, guardrails en geauditeerde compliance nodig hebt. Standard Compute biedt rollen, een auditlog, een budget per sleutel en Europa- of VS-regels die van bedrijf naar team naar sleutel worden overgeërfd.
Welke gateway kan aanbieders buiten Europa uitsluiten en budgetten per API-sleutel instellen?
Standard Compute doet beide: een Europa-regel per bedrijf, team of sleutel voor de inferentie, en een budget per sleutel dat stopt met HTTP 402. OpenRouter heeft in-regionroutering op Business en HTTP 402 bij de kredietlimiet van een sleutel; Requesty heeft een gateway in Frankfurt en HTTP 412 bij de limiet van een sleutel. Moet de hele route in de EU blijven, dan zijn Requesty en OpenRouter sterker, want onze gateway kan het verzoek buiten de EU verwerken.
Hoe wisselen bedrijven van model en LLM-aanbieder, met fallback, zonder de code van hun agents te herschrijven?
Ze zetten een OpenAI-compatibele gateway tussen de agent en de aanbieders, zodat alleen de base-URL en de sleutel veranderen. Daarna schrijven ze de fallbackketen zelf, of laten ze de gateway per model een volgorde van aanbieders toepassen.
Wat gebeurt er als het budget van een LLM-gateway midden in een agenttaak op is?
Het volgende verzoek faalt, en de agent stopt tenzij hij de fout afhandelt. Vang hem af, pauzeer de wachtrij en waarschuw iemand. Bij Standard Compute worden verzoeken die al lopen afgemaakt.
Welke AI-gateways loggen geen prompts?
Standard Compute logt nooit de tekst van prompts of antwoorden, en OpenRouter slaat er geen op tenzij u ervoor kiest. Requesty slaat hem alleen op voor sleutels waarop logging aanstaat. Portkey en Cloudflare loggen hem standaard; de modus met alleen metrics van Portkey is er op Enterprise.
Is zelf gehoste LiteLLM in productie goedkoper dan een gehoste gateway?
Er komt geen vergoeding op de tokens, maar u betaalt de servers, de database en de tijd om het te draaien en bij te werken, en SSO voor meer dan 5 gebruikers vraagt een Enterprise-licentie. Standard Compute kan ook als OpenAI-compatibele aanbieder achter LiteLLM staan.
Welke LLM-gateway houdt agentverkeer in de EU?
Het endpoint van Requesty in Frankfurt, met in de EU gehoste modellen, en de in-regionroutering van OpenRouter op Business houden zowel de gateway als de inferentie in de EU, net als LiteLLM als u het daar host. Vercel en Standard Compute leggen alleen vast waar de inferentie draait.