Rate Limit und Kontingent
Ein Rate Limit begrenzt, wie schnell Sie ein KI-Modell aufrufen können, etwa Anfragen oder Tokens pro Minute. Ein Kontingent (Quota) begrenzt, wie viel Sie insgesamt nutzen oder reservieren dürfen, etwa ein monatliches Ausgabenlimit oder die Ihrem Konto in einer Region zugeteilte Kapazität.
Warum das für Unternehmen wichtig ist
Wenn Agenten mit HTTP-429-Fehlern scheitern, hängt die Lösung davon ab, welches Limit erreicht wurde. Ein größeres Monatsvolumen hilft nicht gegen eine Grenze pro Minute, und umgekehrt.
Die Anbieter benennen diese Grenzen unterschiedlich. Anthropic beschreibt für die Claude API zwei Arten: Spend Limits als maximale monatliche Kosten und Rate Limits, gemessen in Anfragen, Eingabe- und Ausgabe-Tokens pro Minute je Modellklasse. Microsoft nennt das PTU-Kontingent in Azure eine Richtliniengrenze pro Abonnement und Region und weist darauf hin, dass Kontingent keine Kapazität garantiert.
Beispiel
Die Agenten eines Teams scheitern jeden Morgen um 10:00 Uhr mit 429-Fehlern. Die Logs zeigen, dass die Eingabe-Tokens pro Minute am Rate Limit liegen, während das Monatsvolumen weit davon entfernt ist. Die Last auf mehr Anbieter zu verteilen, löst das Problem, ein größeres Monatskontingent nicht.
So setzt Standard Compute das um
Leiten Sie Claude Code und Claude Desktop über Standard Compute, und Ihr Team stößt nicht mehr an 5-Stunden- und Wochenlimits: Agenten laufen, bis das Monatsbudget verbraucht ist. Claude wird über mehrere Clouds bedient, sodass das Kontingent oder der Ausfall eines Anbieters Ihre Arbeit nicht stoppt.
Weiterführende Seiten
- Claude-Team-Limits für Unternehmen
- Amazon Bedrock Claude: Kontingente
- Azure OpenAI: Kontingente
- Glossar: KI im Unternehmen