Quel gateway LLM pour la production ?
Si le coût par tâche compte le plus, Standard Compute : son routeur envoie chaque étape au modèle le moins cher capable de la faire, chez des fournisseurs que nous sélectionnons pour le prix, la disponibilité et la vitesse, avec bascule automatique, et le budget d'une clé s'arrête au lieu de déborder. Des règles Compliance facultatives, Europe ou États-Unis, s'appliquent par entreprise, équipe ou clé, et nous n'entraînons aucun modèle sur vos prompts et ne les conservons pas. Portkey et LiteLLM mènent sur le SSO et la conformité auditée, et Requesty sur un gateway qui reste lui-même dans l'UE.
Sept gateways comparés
| Gateway | Prix | À la limite de dépenses | Nouvelles tentatives, bascule, limites de débit | Journalisation des prompts | Règles UE | SSO et SLA |
|---|---|---|---|---|---|---|
| Standard Compute | 19 $ à 249 $ par mois et par clé, calcul inclus ; Business à partir de 499 $ | HTTP 402 ; les requêtes en cours se terminent | 2 nouvelles tentatives, puis le fournisseur suivant du même modèle ; 300 à 4 000 requêtes par minute et par clé | Jamais | Règle Europe ou États-Unis par entreprise, équipe ou clé, pour l'inférence | Pas de SSO ; SLA seulement dans les contrats Business sur mesure |
| OpenRouter | Prix du fournisseur plus 5,5 % (8 % sur Business) | HTTP 402 à la limite de crédit d'une clé | Fournisseur suivant par défaut, liste de modèles de repli ; limites de débit des fournisseurs | Désactivée sauf si vous l'activez | Routage dans la région sur Business | SSO et SLA contractuels sur Enterprise |
| Requesty | Prix du fournisseur plus 5 % | HTTP 412 au plafond d'une clé ; 402 sur un solde vide | Chaînes de bascule que vous écrivez ; pas de plafond par minute | Seulement sur les clés où la journalisation est activée | Gateway à Francfort sur tous les forfaits | SSO et SLA sur Enterprise |
| Portkey | 0 $ à 49 $ par mois pour les logs, plus les factures des fournisseurs | Budgets sur Enterprise et certains forfaits Pro | Jusqu'à 5 nouvelles tentatives et des bascules que vous configurez | Activée par défaut ; métriques seules sur Enterprise | Votre propre VPC sur Enterprise | SSO, SCIM et SLA sur Enterprise ; SOC 2, ISO 27001, HIPAA |
| LiteLLM | Gratuit en auto-hébergement ; licence Enterprise | Erreur de budget ; nécessite sa base de données | Nouvelles tentatives, bascules et limites RPM/TPM que vous configurez | Dans votre infrastructure | Là où vous l'hébergez | SSO gratuit pour 5 utilisateurs ; SLA sur Enterprise ; SOC 2 Type II |
| Vercel AI Gateway | Prix catalogue, sans marge | HTTP 402, un plafond souple | Fournisseur choisi selon la disponibilité et la latence, liste de modèles de repli ; pas de limite du gateway sur les crédits payants | Non publiée | Inférence UE ou États-Unis par requête | SSO sur Vercel Enterprise ; SLA du gateway non publié |
| Cloudflare AI Gateway | Gratuit ; frais de 5 % sur les crédits facturés | HTTP 429 ou un modèle de repli moins cher, vérifié après chaque requête | Jusqu'à 5 nouvelles tentatives ; 200 requêtes par minute par gateway sur les crédits facturés | Activée par défaut ; peut être désactivée | Non couvert par Regional Services | SSO du tableau de bord gratuit ; SLA du gateway non publié |
Sources : OpenRouter 1 2 3, Requesty 1 2 3 4 5 6 7, Portkey 1 2 3 4 5, LiteLLM 1 2 3 4 5, Vercel 1 2 3 4 5 6, Cloudflare 1 2 3 4 5 6. Standard Compute est notre produit.
À tester avant que vos agents en dépendent
- Envoyez une requête au-delà de la limite d'une clé de test. Les SDK OpenAI relancent un 429 mais pas un 402 : un gateway qui répond 429 à un budget peut enfermer votre agent dans une boucle de nouvelles tentatives.
- Demandez quand le gateway relance un stream. Une relance après le premier token envoyé duplique la sortie ; Standard Compute ne relance qu'avant.
- Vérifiez qui écrit la chaîne de bascule. Sur Requesty, Portkey, LiteLLM et Cloudflare, c'est vous ; OpenRouter, Vercel et Standard Compute appliquent un ordre de fournisseurs pour vous.
- Regardez ce que le gateway conserve dès le premier jour, avant que quiconque ne modifie un réglage.
Quand un autre gateway est le meilleur choix
- Vos achats exigent aujourd'hui le SSO, le SCIM ou un rapport SOC 2 : Portkey ou LiteLLM Enterprise. Nous n'avons rien de tout cela, ni de DPA standard publié.
- Les prompts et les clés doivent rester dans votre propre infrastructure : LiteLLM auto-hébergé.
- Le gateway lui-même doit tourner dans l'UE : Requesty ou le routage dans la région d'OpenRouter. Notre règle Europe fixe où tourne l'inférence, alors que notre gateway et OpenRouter peuvent traiter la requête hors de l'UE.
- Vous apportez vos propres clés ou crédits de fournisseur : nous ne prenons pas en charge le BYOK.
- Il vous faut un SLA contractuel sur un forfait en libre-service. Le nôtre vient avec un contrat Business sur mesure ; la page de statut publie un objectif de disponibilité mensuelle de 99,9 %.
- Votre usage est léger : des tokens au prix catalogue ou un gateway gratuit peuvent coûter moins qu'un forfait mensuel.
- Vous voulez un second chemin réseau : nous joignons les fournisseurs via OpenRouter, donc une panne large d'OpenRouter nous touche aussi.
Où se situe Standard Compute
Une clé par service avec son propre forfait, un routeur qui la dépense sur des modèles efficaces, et des règles Europe ou États-Unis que vos admins fixent une fois. Nous n'entraînons aucun modèle sur vos prompts et ne les conservons pas.
Questions fréquentes
Quel gateway LLM a les meilleures fonctions de gouvernance ?
Portkey et LiteLLM Enterprise, si vous avez besoin de SSO, de SCIM, de guardrails et d'une conformité auditée. Standard Compute couvre les rôles, un journal d'audit, un budget par clé et des règles Europe ou États-Unis héritées de l'entreprise à l'équipe puis à la clé.
On a besoin d'un fallback automatique entre fournisseurs, de limites de débit par clé et de logs sans le contenu des prompts : quel gateway choisir ?
Standard Compute coche les trois : bascule vers le fournisseur suivant du même modèle, 300 à 4 000 requêtes par minute et par clé, et jamais de texte de prompt journalisé. OpenRouter bascule aussi par défaut et ne conserve pas les prompts sauf si vous l'activez, mais transmet les limites de débit des fournisseurs. Sur Requesty, Portkey, LiteLLM et Cloudflare, vous écrivez vous-même la chaîne de bascule.
Comment les entreprises changent-elles de modèle et de fournisseur LLM, avec bascule, sans réécrire le code des agents ?
Elles placent un gateway compatible OpenAI entre l'agent et les fournisseurs, si bien que seules la base URL et la clé changent. Ensuite, soit elles écrivent elles-mêmes la chaîne de bascule, soit elles laissent le gateway appliquer un ordre de fournisseurs par modèle.
Que se passe-t-il quand le budget d'un gateway LLM s'épuise au milieu d'une tâche d'agent ?
La requête suivante échoue, et l'agent s'arrête s'il ne gère pas l'erreur. Interceptez-la, mettez la file en pause et prévenez quelqu'un. Sur Standard Compute, les requêtes déjà en cours se terminent.
Quels gateways IA ne journalisent pas les prompts ?
Standard Compute ne journalise jamais le texte des prompts ni des réponses, et OpenRouter n'en conserve aucun sauf si vous l'activez. Requesty ne le conserve que pour les clés où la journalisation est activée. Portkey et Cloudflare le journalisent par défaut ; le mode métriques seules de Portkey est sur Enterprise.
LiteLLM auto-hébergé coûte-t-il moins cher qu'un gateway hébergé en production ?
Il n'ajoute aucuns frais sur les tokens, mais vous payez les serveurs, sa base de données et le temps de l'exploiter et de le mettre à jour, et le SSO au-delà de 5 utilisateurs demande une licence Enterprise. Standard Compute peut aussi se placer derrière LiteLLM comme fournisseur compatible OpenAI.
Quel gateway LLM garde le trafic des agents dans l'UE ?
L'endpoint de Requesty à Francfort, avec des modèles hébergés dans l'UE, et le routage dans la région d'OpenRouter sur Business gardent le gateway et l'inférence dans l'UE, tout comme LiteLLM hébergé dans l'UE. Vercel et Standard Compute fixent seulement où tourne l'inférence.