Rate limit vs. quotum
Een rate limit begrenst hoe snel u een AI-model mag aanroepen, bijvoorbeeld in verzoeken of tokens per minuut. Een quotum begrenst hoeveel u in totaal mag gebruiken of reserveren, zoals een maandelijkse uitgavenlimiet of de capaciteit die uw account in een regio toegewezen heeft gekregen.
Waarom dit belangrijk is voor bedrijven
Als agents beginnen te falen met HTTP 429-fouten, hangt de oplossing af van welke limiet is bereikt. Een groter maandtegoed helpt niets tegen een plafond per minuut, en omgekeerd ook niet.
Leveranciers noemen deze limieten verschillend. Anthropic beschrijft voor de Claude API twee soorten: spend limits, een maximum aan maandelijkse kosten, en rate limits, gemeten in verzoeken, inputtokens en outputtokens per minuut per modelklasse. Microsoft noemt het PTU-quotum van Azure een beleidslimiet per abonnement en regio, en merkt op dat een quotum geen capaciteit garandeert.
Voorbeeld
De agents van een team falen elke ochtend om 10.00 uur met 429-fouten. De logs tonen dat de inputtokens per minuut op de rate limit zitten, terwijl het maandtegoed nog lang niet op is. De belasting over meer providers spreiden lost het op, een groter maandquotum zou dat niet doen.
Wat dit betekent voor een bedrijf dat AI-API's gebruikt
Voordat u een agent aan een heel team uitrolt, telt u de piek aan tokens per minuut op die hij verstuurt, en vergelijkt u die met de rate limit van elk model dat hij gebruikt, niet alleen met het maandbudget. Limieten kunnen ook over kortere intervallen gelden: Anthropic merkt op dat 60 verzoeken per minuut kunnen worden afgedwongen als 1 verzoek per seconde, dus korte pieken kunnen falen terwijl u onder het cijfer per minuut blijft. Starten 20 ontwikkelaars om 9.00 uur bijvoorbeeld tegelijk hun agents, dan kunnen ze binnen enkele seconden een limiet op inputtokens per minuut raken terwijl de uitgaven van de maand nog laag zijn.
Waar het begrip is gedefinieerd: Elke leverancier definieert zijn eigen limieten. De pagina Claude API rate limits van Anthropic (Engelstalig) definieert spend limits en rate limits, en de documentatie van Microsoft over geprovisioneerde doorvoer definieert het PTU-quotum per abonnement en regio.
Zo regelt Standard Compute dit
Laat Claude Code en Claude Desktop via Standard Compute lopen, en uw team loopt niet meer tegen de limieten van 5 uur en per week aan: agents draaien tot het maandbudget op is. Claude wordt via meerdere clouds bediend, dus het quotum of de storing van één provider stopt uw werk niet.
Vragen die bedrijven stellen
- Hoe onderscheid ik een 429 door een rate limit van een 429 door een uitgavenlimiet?
- Bij de Claude API geven beide HTTP 429 met het fouttype rate_limit_error. Een antwoord op een rate limit kan een retry-after-header bevatten; het antwoord op een uitgavenlimiet heeft die nooit en draagt de foutcode enforced_spend_limit_reached. Opnieuw proberen na een uitgavenlimiet mislukt tot de toegang weer opengaat.
- Helpt prompt caching tegen rate limits?
- Bij de Claude API wel. De standaardlimieten voor inputtokens per minuut tellen alleen inputtokens die niet uit de cache komen, dus content die uit de cache wordt gelezen, telt niet mee voor de limiet.
- Kan ik één team een lagere limiet geven?
- Bij Anthropic stelt u per workspace eigen uitgaven- en rate limits in, onder de limieten van de organisatie, zodat één workspace geen capaciteit kan opmaken die de andere nodig hebben. De limieten voor de hele organisatie blijven gelden.
Verwante begrippen
Gerelateerde pagina's
- Claude-limieten voor teams
- Quota voor Claude op Amazon Bedrock
- Quota voor Azure OpenAI
- Woordenlijst AI voor bedrijven