Throughput con provisioning (PTU)
Il throughput con provisioning (provisioned throughput) è capacità di modello riservata: pagate una quantità fissa di elaborazione all'ora, che la usiate o no, in cambio di throughput e latenza prevedibili. Su Microsoft Azure si misura in unità di throughput con provisioning (PTU).
Perché conta per le aziende
La capacità a consumo per token è condivisa con altri clienti e può essere limitata nelle ore di punta. La capacità con provisioning è riservata al solo vostro deployment.
La documentazione di Microsoft espone i compromessi: i deployment con provisioning sono fatturati per PTU e per ora, indipendentemente dai token consumati, la quota PTU è assegnata per sottoscrizione, regione e tipo di deployment, e disporre di quota non garantisce che la capacità sia disponibile.
Esempio
Il chatbot clienti di una banca deve mantenere tempi di risposta stabili il lunedì alle 9. La banca riserva PTU per un modello in una regione Azure e li paga giorno e notte, fine settimana compresi.
Cosa significa per un'azienda che usa API di IA
Il throughput con provisioning è adatto a un traffico costante in cui la latenza conta più del costo per token, perché la capacità riservata si paga giorno e notte. Prima di acquistarlo, confrontate un mese di ore riservate con il costo dello stesso traffico a consumo per token, e verificate che la capacità sia disponibile nella vostra regione. Per esempio, un chatbot occupato otto ore al giorno paga anche le altre sedici.
Dove è definito: Ogni cloud definisce la propria versione. La pagina Microsoft sulla capacità con provisioning per i modelli Foundry definisce le PTU come l'unità di capacità di elaborazione del modello riservata a un deployment, fatturata per PTU e per ora.
Cosa fa Standard Compute
Collegate Claude Code e Claude Desktop a Standard Compute e il vostro team non si scontra più con i limiti di 5 ore e settimanali: gli agenti lavorano fino a esaurire il budget mensile. Claude è servito da più cloud, quindi la quota o il guasto di un provider non ferma il vostro lavoro.
Domande frequenti delle aziende
- Il throughput con provisioning costa meno del consumo a token?
- Solo con un uso elevato e costante. Si paga per PTU e per ora che si inviino token o no, quindi le ore inattive alzano il prezzo effettivo per token.
- Avere quota PTU significa avere la capacità?
- No. Microsoft precisa che la quota PTU è un limite per sottoscrizione, regione e tipo di deployment, e che disporre di quota non garantisce che la capacità sia disponibile al momento del deployment.
- Amazon Bedrock offre throughput con provisioning?
- Sì. Bedrock vende Provisioned Throughput per aumentare il throughput di un modello. AWS precisa che i suoi profili di inferenza interregionale al momento non supportano il Provisioned Throughput.
Termini correlati
Pagine correlate
- Quote di Azure OpenAI, PTU ed errori 429
- Quote di Claude su Amazon Bedrock
- Glossario dell'IA per le aziende