Rate limit og kvote
En rate limit begrænser, hvor hurtigt I kan kalde en AI-model, for eksempel forespørgsler eller tokens pr. minut. En kvote (quota) begrænser, hvor meget I kan bruge eller reservere i alt, for eksempel et månedligt udgiftsloft eller den kapacitet, jeres konto er tildelt i en region.
Hvorfor det betyder noget for virksomheder
Når agenter begynder at fejle med HTTP 429, afhænger løsningen af, hvilken grænse der er ramt. En større månedlig ramme hjælper ikke mod en grænse pr. minut, og omvendt.
Udbyderne navngiver grænserne forskelligt. Anthropic beskriver to typer for Claude API: spend limits, en maksimal månedlig omkostning, og rate limits, målt i forespørgsler, input-tokens og output-tokens pr. minut for hver modelklasse. Microsoft kalder PTU-kvoten i Azure en politikgrænse pr. abonnement og region og påpeger, at kvote ikke garanterer kapacitet.
Eksempel
Et teams agenter fejler hver morgen kl. 10.00 med 429-fejl. Logs viser, at input-tokens pr. minut ligger på rate limit-grænsen, mens den månedlige ramme langtfra er brugt. At fordele belastningen på flere udbydere løser problemet; en større månedlig kvote ville ikke have gjort det.
Hvad det betyder for en virksomhed, der bruger AI-API'er
Før I ruller en agent ud til et helt team, så læg det højeste antal tokens pr. minut sammen, som den vil sende, og sammenlign med rate limit for hver model, den bruger, ikke kun med månedsbudgettet. Grænser kan også gælde over kortere intervaller: Anthropic oplyser, at 60 forespørgsler pr. minut kan håndhæves som 1 forespørgsel pr. sekund, så korte spidser kan fejle under minuttallet. 20 udviklere, der starter agenter kl. 9.00, kan for eksempel ramme en grænse for input-tokens pr. minut på få sekunder, mens månedens forbrug stadig er lavt.
Hvor begrebet er defineret: Hver leverandør definerer sine egne grænser. Anthropics side om rate limits i Claude API (på engelsk) definerer udgiftsgrænser og rate limits, og Microsofts dokumentation om provisioned throughput (på engelsk) definerer PTU-kvote pr. abonnement og region.
Sådan løser Standard Compute det
Kør Claude Code og Claude Desktop gennem Standard Compute, så holder teamet op med at ramme grænserne pr. 5 timer og pr. uge: agenterne kører, indtil månedsbudgettet er brugt. Claude betjenes på tværs af flere clouds, så én udbyders kvote eller nedbrud stopper ikke jeres arbejde.
Spørgsmål, virksomheder stiller
- Hvordan skelner vi en 429 fra en rate limit fra en 429 fra et udgiftsloft?
- I Claude API returnerer begge HTTP 429 med fejltypen rate_limit_error. Et svar fra en rate limit kan have en retry-after-header; svaret fra et udgiftsloft har det aldrig og har fejlkoden enforced_spend_limit_reached. Nye forsøg efter en fejl fra udgiftsloftet mislykkes, indtil adgangen genoptages.
- Hjælper prompt caching på rate limits?
- I Claude API kan det. Standardgrænserne for input-tokens pr. minut tæller kun input-tokens, der ikke er cachet, så indhold, der læses fra cachen, tæller ikke med i grænsen.
- Kan vi give ét team en lavere grænse?
- Anthropic lader jer sætte egne udgifts- og rate limits for hvert workspace, under organisationens grænser, så ét workspace ikke kan opbruge kapacitet, som de andre har brug for. Organisationens grænser gælder stadig.
Relaterede begreber
Relaterede sider
- Claude-grænser for teams i virksomheder
- Amazon Bedrock Claude: kvoter
- Azure OpenAI: kvoter
- Ordbog: AI i virksomheden