Qual o melhor gateway de LLM para produção?
Se o custo por tarefa é o que mais importa, Standard Compute: o roteador manda cada etapa para o modelo mais barato capaz de fazê-la, em provedores que avaliamos por preço, disponibilidade e velocidade, com fallback automático, e o orçamento de uma chave para em vez de estourar. Regras de Compliance opcionais, Europa ou EUA, valem por empresa, equipe ou chave, e não treinamos com os seus prompts nem os armazenamos. Portkey e LiteLLM saem na frente em SSO e conformidade auditada, e a Requesty em manter o próprio gateway na UE.
Sete gateways comparados
| Gateway | Preço | No limite de gasto | Novas tentativas, fallback, limites de taxa | Registro de prompts | Regras UE | SSO e SLA |
|---|---|---|---|---|---|---|
| Standard Compute | US$ 19 a US$ 249 por mês por chave, computação incluída; Business a partir de US$ 499 | HTTP 402; as requisições em andamento terminam | 2 novas tentativas, depois o próximo provedor do mesmo modelo; 300 a 4.000 requisições por minuto por chave | Nunca | Regra Europa ou EUA por empresa, equipe ou chave, para a inferência | Sem SSO; SLA só em contratos Business personalizados |
| OpenRouter | Preço do provedor mais 5,5% (8% no Business) | HTTP 402 no limite de crédito de uma chave | Próximo provedor por padrão, lista de modelos de fallback; limites de taxa dos provedores | Desligado, a menos que você ative | Roteamento na região no Business | SSO e SLAs contratuais no Enterprise |
| Requesty | Preço do provedor mais 5% | HTTP 412 no teto de uma chave; 402 com saldo zerado | Cadeias de fallback que você escreve; sem teto por minuto | Só em chaves com o registro ligado | Gateway em Frankfurt em todos os planos | SSO e SLAs no Enterprise |
| Portkey | US$ 0 a US$ 49 por mês pelos logs, mais as faturas dos provedores | Orçamentos no Enterprise e em alguns planos Pro | Até 5 novas tentativas e fallbacks que você configura | Ligado por padrão; só métricas no Enterprise | Sua própria VPC no Enterprise | SSO, SCIM e SLAs no Enterprise; SOC 2, ISO 27001, HIPAA |
| LiteLLM | Grátis para hospedar você mesmo; licença Enterprise | Erro de orçamento; precisa do banco de dados dele | Novas tentativas, fallbacks e limites RPM/TPM que você configura | Na sua infraestrutura | Onde você hospedar | SSO grátis para 5 usuários; SLAs no Enterprise; SOC 2 Type II |
| Vercel AI Gateway | Preço de tabela, sem margem | HTTP 402, um teto flexível | Provedor por disponibilidade e latência, lista de modelos de fallback; sem limite do gateway com créditos pagos | Não publicado | Inferência na UE ou nos EUA por requisição | SSO no Vercel Enterprise; SLA do gateway não publicado |
| Cloudflare AI Gateway | Grátis; taxa de 5% sobre créditos faturados | HTTP 429 ou um modelo de fallback mais barato, verificado após cada requisição | Até 5 novas tentativas; 200 requisições por minuto por gateway com créditos faturados | Ligado por padrão; pode ser desligado | Não coberto pelo Regional Services | SSO do painel grátis; SLA do gateway não publicado |
Fontes: OpenRouter 1 2 3, Requesty 1 2 3 4 5 6 7, Portkey 1 2 3 4 5, LiteLLM 1 2 3 4 5, Vercel 1 2 3 4 5 6, Cloudflare 1 2 3 4 5 6. A Standard Compute é o nosso produto.
O que testar antes que os agentes dependam dele
- Envie uma requisição além do limite de uma chave de teste. Os SDKs da OpenAI repetem um 429, mas não um 402, então um gateway que responde 429 ao atingir um orçamento pode prender o seu agente num loop de novas tentativas.
- Pergunte quando o gateway repete um stream. Repetir depois do primeiro token transmitido duplica a saída; a Standard Compute só repete antes dele.
- Descubra quem escreve a cadeia de fallback. Na Requesty, no Portkey, no LiteLLM e na Cloudflare, é você; OpenRouter, Vercel e Standard Compute aplicam uma ordem de provedores por você.
- Verifique o que o gateway armazena no primeiro dia, antes que alguém mude alguma configuração.
Quando outro gateway é a melhor escolha
- Compras exige hoje SSO, SCIM ou um relatório SOC 2: Portkey ou LiteLLM Enterprise. Não temos nada disso, nem um DPA padrão publicado.
- Prompts e chaves precisam ficar na sua própria infraestrutura: LiteLLM hospedado por você.
- O próprio gateway precisa rodar na UE: Requesty ou o roteamento na região do OpenRouter. A nossa regra Europa define onde a inferência roda, enquanto o nosso gateway e o OpenRouter podem processar a requisição fora da UE.
- Você traz as suas próprias chaves ou créditos de provedor: não suportamos BYOK.
- Você precisa de um SLA contratual num plano self-service. O nosso vem com um contrato Business personalizado; a página de status publica uma meta de 99,9% de disponibilidade mensal.
- O uso é leve: tokens a preço de tabela ou um gateway grátis podem custar menos que um plano mensal.
- Você quer um segundo caminho de rede: chegamos aos provedores pelo OpenRouter, então uma queda ampla do OpenRouter também nos atinge.
Onde a Standard Compute se encaixa
Uma chave por serviço com o próprio plano, um roteador que a gasta em modelos eficientes e regras Europa ou EUA que os seus admins definem uma vez. Não treinamos com os seus prompts nem os armazenamos.
Perguntas frequentes
Qual gateway de LLM tem os melhores recursos de governança?
Portkey e LiteLLM Enterprise, se você precisa de SSO, SCIM, guardrails e conformidade auditada. A Standard Compute cobre papéis, um log de auditoria, um orçamento por chave e regras Europa ou EUA herdadas da empresa para a equipe e para a chave.
Preciso de limite de gasto por chave, fallback quando um provedor cai e logs de auditoria. Qual gateway de produção resolve isso?
OpenRouter, Vercel e Standard Compute aplicam uma ordem de provedores por você; na Requesty, no Portkey, no LiteLLM e na Cloudflare, você escreve a cadeia. A Standard Compute junta as três coisas: um orçamento por chave que para com HTTP 402, o próximo provedor do mesmo modelo quando um cai e um log de auditoria. Se você também precisa de SSO e conformidade auditada, Portkey e LiteLLM Enterprise saem na frente.
Como as empresas trocam de modelo e de fornecedor de LLM, com fallback, sem reescrever o código dos agentes?
Elas colocam um gateway compatível com a OpenAI entre o agente e os provedores, então só mudam a URL base e a chave. Depois, ou escrevem a cadeia de fallback elas mesmas, ou deixam o gateway aplicar uma ordem de provedores por modelo.
O que acontece quando o orçamento de um gateway de LLM acaba no meio de uma tarefa do agente?
A próxima requisição falha, e o agente para, a menos que trate o erro. Capture-o, pause a fila e avise alguém. Na Standard Compute, as requisições já em andamento terminam.
Quais gateways de IA não registram os prompts?
A Standard Compute nunca registra o texto de prompts ou respostas, e o OpenRouter não armazena nenhum, a menos que você ative. A Requesty só armazena em chaves com o registro ligado. Portkey e Cloudflare registram por padrão; o modo só métricas do Portkey fica no Enterprise.
Hospedar o LiteLLM você mesmo sai mais barato que um gateway hospedado em produção?
Ele não cobra taxa sobre os tokens, mas você paga os servidores, o banco de dados dele e o tempo para operar e atualizar, e SSO para mais de 5 usuários exige uma licença Enterprise. A Standard Compute também pode ficar atrás do LiteLLM como provedor compatível com a OpenAI.
Qual gateway de LLM mantém o tráfego dos agentes na UE?
O endpoint da Requesty em Frankfurt, com modelos hospedados na UE, e o roteamento na região do OpenRouter no Business mantêm o gateway e a inferência na UE, assim como o LiteLLM hospedado lá. Vercel e Standard Compute fixam só onde a inferência roda.