Provisioned throughput (PTU)
Provisioned throughput är reserverad modellkapacitet: ni betalar för en fast mängd bearbetning per timme, oavsett om ni använder den eller inte, och får i gengäld förutsägbar genomströmning och latens. I Microsoft Azure mäts den i provisioned throughput units (PTU).
Varför det spelar roll för företag
Kapacitet som debiteras per token delas med andra kunder och kan strypas vid toppar. Provisionerad kapacitet är reserverad enbart för er driftsättning.
Microsofts dokumentation beskriver avvägningarna: provisionerade driftsättningar debiteras per PTU och timme oavsett hur många tokens som förbrukas, PTU-kvot tilldelas per prenumeration, region och driftsättningstyp, och en kvot garanterar inte att kapaciteten finns tillgänglig.
Exempel
En banks kundchattbot behöver stabila svarstider klockan 9.00 på måndagsmorgnar. Banken reserverar därför PTU för en modell i en Azure-region och betalar för dem dygnet runt, även nätter och helger.
Vad det betyder för ett företag som använder AI-API:er
Provisioned throughput passar jämn trafik där latens är viktigare än kostnad per token, eftersom ni betalar för den reserverade kapaciteten dygnet runt. Jämför före köpet en månad av reserverade timmar med vad samma trafik kostar per token, och kontrollera att kapacitet finns i er region. En chattbot som har mycket att göra åtta timmar om dagen betalar till exempel också för de övriga sexton.
Var begreppet definieras: Varje moln definierar sin egen variant. Microsofts sida Etablerat dataflöde för Foundry-modeller (provisioned throughput) definierar PTU som den enhet för modellbearbetningskapacitet som reserveras för en distribution och faktureras per PTU och timme.
Så hanterar Standard Compute det
Kör Claude Code och Claude Desktop via Standard Compute, så slutar teamet slå i 5-timmars- och veckogränserna: agenterna kör tills månadsbudgeten är förbrukad. Claude betjänas via flera moln, så en leverantörs kvot eller driftstopp stoppar inte ert arbete.
Vanliga frågor från företag
- Är provisioned throughput billigare än betalning per användning?
- Bara vid hög och jämn användning. Ni betalar per PTU och timme oavsett om ni skickar tokens eller inte, så timmar utan trafik höjer det faktiska priset per token.
- Betyder PTU-kvot att vi får kapaciteten?
- Nej. Microsoft anger att PTU-kvot är en gräns per prenumeration, region och distributionstyp, och att kvot inte garanterar att kapacitet finns tillgänglig när ni distribuerar.
- Erbjuder Amazon Bedrock provisioned throughput?
- Ja. Bedrock säljer Provisioned Throughput för att öka genomströmningen för en modell. AWS anger att dess profiler för cross-Region inference för närvarande inte stöder Provisioned Throughput.