¿Cuál es el mejor gateway de LLM para producción?
Si lo que más importa es el costo por tarea, Standard Compute: su router envía cada paso al modelo más barato capaz de hacerlo, en proveedores que evaluamos por precio, disponibilidad y velocidad con fallback automático, y el presupuesto de una clave se detiene en lugar de pasarse. Las reglas de Compliance opcionales, Europa o EE. UU., se aplican por empresa, equipo o clave, y no entrenamos con tus prompts ni los guardamos. Portkey y LiteLLM van por delante en SSO y cumplimiento auditado, y Requesty en mantener el propio gateway en la UE.
Siete gateways comparados
| Gateway | Precio | Al llegar al límite de gasto | Reintentos, fallback, límites de tasa | Registro de prompts | Reglas UE | SSO y SLA |
|---|---|---|---|---|---|---|
| Standard Compute | US$ 19 a US$ 249 al mes por clave, cómputo incluido; Business desde US$ 499 | HTTP 402; las peticiones en curso terminan | 2 reintentos, luego el siguiente proveedor del mismo modelo; de 300 a 4.000 peticiones por minuto por clave | Nunca | Regla Europa o EE. UU. por empresa, equipo o clave, para la inferencia | Sin SSO; SLA solo en contratos Business a medida |
| OpenRouter | Precio del proveedor más 5,5 % (8 % en Business) | HTTP 402 al límite de crédito de una clave | Siguiente proveedor por defecto, lista de modelos de fallback; límites de tasa de los proveedores | Desactivado salvo que lo actives | Enrutamiento en la región en Business | SSO y SLA contractuales en Enterprise |
| Requesty | Precio del proveedor más 5 % | HTTP 412 al tope de una clave; 402 con saldo vacío | Cadenas de fallback que escribes tú; sin tope por minuto | Solo en claves con el registro activado | Gateway en Fráncfort en todos los planes | SSO y SLA en Enterprise |
| Portkey | US$ 0 a US$ 49 al mes por los logs, más las facturas de los proveedores | Presupuestos en Enterprise y algunos planes Pro | Hasta 5 reintentos y fallbacks que configuras tú | Activado por defecto; solo métricas en Enterprise | Tu propia VPC en Enterprise | SSO, SCIM y SLA en Enterprise; SOC 2, ISO 27001, HIPAA |
| LiteLLM | Gratis si lo alojas tú; licencia Enterprise | Error de presupuesto; necesita su base de datos | Reintentos, fallbacks y límites RPM/TPM que configuras tú | En tu infraestructura | Donde lo alojes | SSO gratis para 5 usuarios; SLA en Enterprise; SOC 2 Type II |
| Vercel AI Gateway | Precio de lista, sin recargo | HTTP 402, un tope flexible | Proveedor por disponibilidad y latencia, lista de modelos de fallback; sin límite del gateway con créditos pagados | No publicado | Inferencia en la UE o EE. UU. por petición | SSO en Vercel Enterprise; SLA del gateway no publicado |
| Cloudflare AI Gateway | Gratis; comisión del 5 % sobre créditos facturados | HTTP 429 o un modelo de fallback más barato, comprobado después de cada petición | Hasta 5 reintentos; 200 peticiones por minuto por gateway con créditos facturados | Activado por defecto; se puede desactivar | No cubierto por Regional Services | SSO del panel gratis; SLA del gateway no publicado |
Fuentes: OpenRouter 1 2 3, Requesty 1 2 3 4 5 6 7, Portkey 1 2 3 4 5, LiteLLM 1 2 3 4 5, Vercel 1 2 3 4 5 6, Cloudflare 1 2 3 4 5 6. Standard Compute es nuestro producto.
Qué probar antes de que tus agentes dependan de él
- Envía una petición que supere el límite de una clave de prueba. Los SDK de OpenAI reintentan un 429 pero no un 402, así que un gateway que responde 429 al llegar a un presupuesto puede meter a tu agente en un bucle de reintentos.
- Pregunta cuándo reintenta el gateway un stream. Un reintento después del primer token enviado duplica la salida; Standard Compute solo reintenta antes.
- Averigua quién escribe la cadena de fallback. En Requesty, Portkey, LiteLLM y Cloudflare la escribes tú; OpenRouter, Vercel y Standard Compute aplican un orden de proveedores por ti.
- Comprueba qué guarda el gateway desde el primer día, antes de que nadie cambie un ajuste.
Cuándo otro gateway es mejor opción
- Compras exige hoy SSO, SCIM o un informe SOC 2: Portkey o LiteLLM Enterprise. No tenemos nada de eso, ni un DPA estándar publicado.
- Los prompts y las claves deben quedarse en tu propia infraestructura: LiteLLM alojado por ti.
- El propio gateway tiene que funcionar en la UE: Requesty o el enrutamiento en la región de OpenRouter. Nuestra regla Europa fija dónde se ejecuta la inferencia, mientras que nuestro gateway y OpenRouter pueden procesar la petición fuera de la UE.
- Traes tus propias claves o créditos de proveedor: no admitimos BYOK.
- Necesitas un SLA contractual en un plan de autoservicio. El nuestro llega con un contrato Business a medida; la página de estado publica un objetivo de disponibilidad mensual del 99,9 %.
- Tu uso es ligero: tokens a precio de lista o un gateway gratis pueden costar menos que un plan mensual.
- Quieres una segunda ruta de red: llegamos a los proveedores a través de OpenRouter, así que una caída amplia de OpenRouter también nos afecta.
Dónde encaja Standard Compute
Una clave por servicio con su propio plan, un router que la gasta en modelos eficientes y reglas Europa o EE. UU. que tus admins fijan una vez. No entrenamos con tus prompts ni los guardamos.
Preguntas frecuentes
¿Qué gateway de LLM tiene las mejores funciones de gobernanza?
Portkey y LiteLLM Enterprise, si necesitas SSO, SCIM, guardrails y cumplimiento auditado. Standard Compute cubre roles, un registro de auditoría, un presupuesto por clave y reglas Europa o EE. UU. que se heredan de la empresa al equipo y a la clave.
Busco un gateway para producción con presupuesto por clave API, reintentos y fallback entre proveedores, y logs que no guarden los prompts. ¿Cuál cumple todo?
Standard Compute: presupuesto por clave que se detiene con HTTP 402, 2 reintentos y luego el siguiente proveedor del mismo modelo, y nunca registra el texto de los prompts. OpenRouter se acerca, con HTTP 402 al límite de crédito de una clave, el siguiente proveedor por defecto y sin guardar prompts salvo que lo actives. En Requesty, Portkey y LiteLLM escribes tú la cadena de fallback, y Portkey registra los prompts por defecto.
¿Cómo cambian las empresas de modelo y de proveedor de LLM, con fallback, sin reescribir el código de los agentes?
Ponen un gateway compatible con OpenAI entre el agente y los proveedores, de modo que solo cambian la URL base y la clave. Después escriben ellas mismas la cadena de fallback o dejan que el gateway aplique un orden de proveedores por modelo.
¿Qué pasa cuando el presupuesto de un gateway de LLM se agota en mitad de una tarea de un agente?
La siguiente petición falla, y el agente se detiene salvo que gestione el error. Captúralo, pausa la cola y avisa a alguien. En Standard Compute, las peticiones que ya están en curso terminan.
¿Qué gateways de IA no registran los prompts?
Standard Compute nunca registra el texto de prompts ni respuestas, y OpenRouter no guarda ninguno salvo que lo actives. Requesty lo guarda solo en claves con el registro activado. Portkey y Cloudflare lo registran por defecto; el modo solo métricas de Portkey está en Enterprise.
¿Alojar LiteLLM tú mismo sale más barato que un gateway alojado en producción?
No añade comisión sobre los tokens, pero pagas los servidores, su base de datos y el tiempo de operarlo y actualizarlo, y el SSO para más de 5 usuarios requiere una licencia Enterprise. Standard Compute también puede ir detrás de LiteLLM como proveedor compatible con OpenAI.
¿Qué gateway de LLM mantiene el tráfico de los agentes en la UE?
El endpoint de Requesty en Fráncfort, con modelos alojados en la UE, y el enrutamiento en la región de OpenRouter en Business mantienen en la UE tanto el gateway como la inferencia, igual que LiteLLM alojado allí. Vercel y Standard Compute fijan solo dónde se ejecuta la inferencia.