Rate limit e quota
Un rate limit (limite di frequenza) limita la velocità con cui potete chiamare un modello di IA, per esempio in richieste o token al minuto. Una quota limita quanto potete usare o riservare in totale, come un limite di spesa mensile o la capacità assegnata al vostro account in una regione.
Perché conta per le aziende
Quando gli agenti falliscono con errori HTTP 429, la soluzione dipende dal limite raggiunto. Un budget mensile più alto non cambia un tetto al minuto, e vale anche il contrario.
I provider chiamano questi limiti in modi diversi. Anthropic descrive due tipi di limiti per l'API di Claude: i limiti di spesa (spend limits), un costo mensile massimo, e i rate limit, misurati in richieste, token di input e token di output al minuto per ogni classe di modello. Microsoft definisce la quota PTU di Azure un limite di policy per sottoscrizione e per regione, e precisa che la quota non garantisce la capacità.
Esempio
Gli agenti di un team falliscono ogni mattina alle 10 con errori 429. I log mostrano che i token di input al minuto raggiungono il rate limit, mentre il budget mensile è lontano dall'esaurirsi. Distribuire il carico su più provider risolve il problema, una quota mensile più alta no.
Cosa significa per un'azienda che usa API di IA
Prima di estendere un agente a tutto il team, sommate i token al minuto che invierà nei momenti di picco e confrontateli con il rate limit di ogni modello che usa, non solo con il budget mensile. I limiti possono valere anche su intervalli più brevi: Anthropic precisa che 60 richieste al minuto possono essere applicate come 1 richiesta al secondo, quindi brevi raffiche possono fallire sotto la soglia al minuto. Per esempio, 20 sviluppatori che avviano i loro agenti alle 9 possono raggiungere in pochi secondi il limite di token di input al minuto, mentre la spesa del mese è ancora bassa.
Dove è definito: Ogni fornitore definisce i propri limiti. La pagina Rate limits dell'API di Claude di Anthropic (in inglese) definisce limiti di spesa e rate limit, e la documentazione Microsoft sulla capacità con provisioning definisce la quota PTU per sottoscrizione e per regione.
Cosa fa Standard Compute
Collegate Claude Code e Claude Desktop a Standard Compute e il vostro team non si scontra più con i limiti di 5 ore e settimanali: gli agenti lavorano fino a esaurire il budget mensile. Claude è servito da più cloud, quindi la quota o il guasto di un provider non ferma il vostro lavoro.
Domande frequenti delle aziende
- Come distinguo un 429 da rate limit da un 429 da limite di spesa?
- Sull'API di Claude entrambi restituiscono HTTP 429 con il tipo di errore rate_limit_error. Una risposta da rate limit può contenere l'header retry-after; quella da tetto di spesa non lo contiene mai e ha il codice di errore enforced_spend_limit_reached. Ripetere una richiesta bloccata dal tetto di spesa fallisce finché l'accesso non riprende.
- Il prompt caching aiuta con i rate limit?
- Sull'API di Claude sì. I limiti predefiniti di token di input al minuto contano solo i token di input non presenti in cache, quindi il contenuto letto dalla cache non pesa sul limite.
- Posso dare a un singolo team un limite più basso?
- Anthropic consente di impostare limiti di spesa e rate limit personalizzati per ogni workspace, al di sotto dei limiti dell'organizzazione, così un workspace non può consumare la capacità che serve agli altri. I limiti a livello di organizzazione restano comunque validi.
Termini correlati
Pagine correlate
- Limiti di Claude per i team
- Quote di Claude su Amazon Bedrock
- Quote di Azure OpenAI
- Glossario dell'IA per le aziende