Rate limit og kvote
En rate limit begrenser hvor raskt dere kan kalle en KI-modell, for eksempel forespørsler eller tokens per minutt. En kvote (quota) begrenser hvor mye dere kan bruke eller reservere totalt, for eksempel et månedlig utgiftstak eller kapasiteten kontoen deres er tildelt i en region.
Hvorfor det er viktig for bedrifter
Når agenter begynner å feile med HTTP 429-feil, avhenger løsningen av hvilken grense som er nådd. En større månedlig ramme hjelper ikke mot en grense per minutt, og det motsatte gjelder også.
Leverandørene navngir disse grensene ulikt. Anthropic beskriver to typer for Claude API: spend limits, en maksimal månedlig kostnad, og rate limits, målt i forespørsler, input-tokens og output-tokens per minutt for hver modellklasse. Microsoft kaller PTU-kvoten i Azure en policygrense per abonnement og region, og påpeker at kvote ikke garanterer kapasitet.
Eksempel
Agentene til et team feiler hver morgen klokken 10.00 med 429-feil. Loggene viser at input-tokens per minutt ligger på rate limit-grensen, mens den månedlige rammen er langt fra brukt opp. Å fordele lasten på flere leverandører løser problemet, en større månedskvote ville ikke gjort det.
Hva dette betyr for en bedrift som bruker KI-API-er
Før dere ruller ut en agent til et helt team, legg sammen tokens per minutt den sender på det meste, og sammenlign med rate limiten for hver modell den bruker, ikke bare med månedsbudsjettet. Grensene kan også gjelde over kortere intervaller: Anthropic skriver at 60 forespørsler per minutt kan bli håndhevet som 1 forespørsel per sekund, så korte topper kan feile under minutttallet. Starter 20 utviklere agenter klokken 9.00, kan de for eksempel nå en grense for inndatatokens per minutt i løpet av sekunder, mens månedens forbruk fortsatt er lavt.
Hvor begrepet er definert: Hver leverandør definerer sine egne grenser. Anthropics side om Claude API rate limits (på engelsk) definerer forbruksgrenser og rate limits, og Microsofts dokumentasjon om provisioned throughput (på engelsk) definerer PTU-kvote per abonnement og region.
Slik løser Standard Compute det
Kjør Claude Code og Claude Desktop gjennom Standard Compute, så slutter teamet å treffe 5-timers- og ukegrensene: agentene kjører til månedsbudsjettet er brukt. Claude betjenes på tvers av flere skyer, så én leverandørs kvote eller nedetid stopper ikke arbeidet.
Spørsmål bedrifter stiller
- Hvordan skiller vi en 429 fra en rate limit og en 429 fra et utgiftstak?
- På Claude API gir begge HTTP 429 med feiltypen rate_limit_error. Et svar fra en rate limit kan ha en retry-after-header; svaret fra et utgiftstak har det aldri og har feilkoden enforced_spend_limit_reached. Nye forsøk etter et utgiftstak feiler til tilgangen kommer tilbake.
- Hjelper prompt caching mot rate limits?
- På Claude API kan det gjøre det. Standardgrensene for inndatatokens per minutt teller bare inndatatokens som ikke kommer fra cachen, så innhold som leses fra cachen, teller ikke mot grensen.
- Kan vi gi ett team en lavere grense?
- Anthropic lar dere sette egne forbruks- og rate limits for hvert workspace, under grensene for organisasjonen, så ett workspace ikke kan bruke opp kapasitet de andre trenger. Grensene for hele organisasjonen gjelder fortsatt.
Relaterte begreper
Relaterte sider
- Claude-grenser for team i bedrifter
- Amazon Bedrock Claude: kvoter
- Azure OpenAI: kvoter
- Ordliste: KI i bedriften