Rate limit och kvot
En rate limit (hastighetsgräns) begränsar hur snabbt ni kan anropa en AI-modell, till exempel förfrågningar eller tokens per minut. En kvot begränsar hur mycket ni totalt får använda eller reservera, till exempel ett månatligt utgiftstak eller den kapacitet som tilldelats ert konto i en region.
Varför det spelar roll för företag
När agenter börjar misslyckas med HTTP 429-fel beror lösningen på vilken gräns som nåddes. En större månadsvolym hjälper inte mot ett tak per minut, och det omvända gäller också.
Leverantörerna benämner gränserna olika. Anthropic beskriver två typer för Claude API: spend limits, en högsta månadskostnad, och rate limits, mätta i förfrågningar, indatatokens och utdatatokens per minut för varje modellklass. Microsoft kallar PTU-kvoten i Azure en policygräns per prenumeration och region och påpekar att kvot inte garanterar kapacitet.
Exempel
Ett teams agenter misslyckas varje morgon klockan 10.00 med 429-fel. Loggarna visar att indatatokens per minut ligger vid rate limit, medan månadsvolymen är långt ifrån förbrukad. Att sprida lasten över fler leverantörer löser problemet, en större månadskvot skulle inte göra det.
Vad det betyder för ett företag som använder AI-API:er
Innan ni rullar ut en agent till ett helt team, räkna ut hur många tokens per minut den skickar som mest och jämför med rate limit för varje modell den använder, inte bara med månadsbudgeten. Gränser kan också gälla över kortare intervall: Anthropic påpekar att 60 förfrågningar per minut kan tillämpas som 1 förfrågan per sekund, så korta toppar kan misslyckas under minutsiffran. Om 20 utvecklare startar agenter klockan 9.00 kan de till exempel nå en gräns för inmatningstokens per minut inom några sekunder, trots att månadens kostnad fortfarande är låg.
Var begreppet definieras: Varje leverantör definierar sina egna gränser. Anthropics sida Claude API rate limits (på engelska) definierar utgiftstak och rate limits, och Microsofts dokumentation om etablerat dataflöde (provisioned throughput) definierar PTU-kvot per prenumeration och region.
Så hanterar Standard Compute det
Kör Claude Code och Claude Desktop via Standard Compute, så slutar teamet slå i 5-timmars- och veckogränserna: agenterna kör tills månadsbudgeten är förbrukad. Claude betjänas via flera moln, så en leverantörs kvot eller driftstopp stoppar inte ert arbete.
Vanliga frågor från företag
- Hur skiljer jag en 429 för rate limit från en 429 för utgiftstak?
- I Claude API returnerar båda HTTP 429 med feltypen rate_limit_error. Ett svar på grund av rate limit kan ha en retry-after-header; svaret vid utgiftstaket har det aldrig och har felkoden enforced_spend_limit_reached. Nya försök efter ett fel om utgiftstak misslyckas tills åtkomsten återupptas.
- Hjälper prompt caching mot rate limits?
- I Claude API kan det göra det. Standardgränserna för inmatningstokens per minut räknar bara inmatningstokens som inte är cachade, så innehåll som läses från cachen räknas inte mot gränsen.
- Kan en avdelning få en lägre gräns?
- Anthropic låter er sätta egna utgifts- och rate limits för varje arbetsyta, under organisationens gränser, så att en arbetsyta inte kan förbruka kapacitet som de andra behöver. Organisationens gränser gäller fortfarande.
Relaterade begrepp
Relaterade sidor
- Claude-gränser för team i företag
- Amazon Bedrock Claude: kvoter
- Azure OpenAI: kvoter
- Ordlista: AI i företaget