Provisioned throughput (PTU)
Provisioned throughput is gereserveerde modelcapaciteit: u betaalt per uur voor een vaste hoeveelheid verwerking, of u die nu gebruikt of niet, en krijgt daarvoor voorspelbare doorvoer en latency. Op Microsoft Azure wordt die gemeten in provisioned throughput units (PTU's).
Waarom dit belangrijk is voor bedrijven
Capaciteit met betaling per token wordt met andere klanten gedeeld en kan op piekmomenten worden afgeknepen. Provisioned capaciteit is alleen voor uw deployment gereserveerd.
De documentatie van Microsoft zet de afwegingen op een rij: provisioned deployments worden gefactureerd per PTU per uur, ongeacht het aantal verbruikte tokens, het PTU-quotum wordt toegekend per abonnement, regio en deploymenttype, en een quotum garandeert niet dat de capaciteit beschikbaar is.
Voorbeeld
De klantenchatbot van een bank heeft op maandagochtend om 9.00 uur stabiele responstijden nodig. De bank reserveert daarom PTU's voor één model in één Azure-regio en betaalt die de klok rond, ook 's nachts en in het weekend.
Wat dit betekent voor een bedrijf dat AI-API's gebruikt
Provisioned throughput past bij stabiel verkeer waarbij latency zwaarder weegt dan de prijs per token, want u betaalt de klok rond voor de gereserveerde capaciteit. Vergelijk vóór de aankoop een maand gereserveerde uren met wat hetzelfde verkeer per token kost, en controleer dat er in uw regio capaciteit beschikbaar is. Een chatbot die acht uur per dag druk is, betaalt bijvoorbeeld ook voor de andere zestien.
Waar het begrip is gedefinieerd: Elke cloud definieert zijn eigen variant. De pagina Geprovisioneerde doorvoer voor Foundry-modellen van Microsoft definieert PTU's als de eenheid van modelverwerkingscapaciteit die voor een deployment wordt gereserveerd, gefactureerd per PTU per uur.
Zo regelt Standard Compute dit
Laat Claude Code en Claude Desktop via Standard Compute lopen, en uw team loopt niet meer tegen de limieten van 5 uur en per week aan: agents draaien tot het maandbudget op is. Claude wordt via meerdere clouds bediend, dus het quotum of de storing van één provider stopt uw werk niet.
Vragen die bedrijven stellen
- Is provisioned throughput goedkoper dan betalen per gebruik?
- Alleen bij hoog en stabiel gebruik. U betaalt per PTU per uur, of u nu tokens verstuurt of niet, dus uren zonder verkeer verhogen de effectieve prijs per token.
- Betekent een PTU-quotum dat ik de capaciteit ook krijg?
- Nee. Microsoft schrijft dat het PTU-quotum een limiet per abonnement, regio en deploymenttype is, en dat een quotum niet garandeert dat er capaciteit beschikbaar is als u een deployment aanmaakt.
- Biedt Amazon Bedrock ook provisioned throughput?
- Ja. Bedrock verkoopt Provisioned Throughput om de doorvoer voor een model te verhogen. AWS merkt op dat de inference-profielen voor cross-Region inference op dit moment geen Provisioned Throughput ondersteunen.
Verwante begrippen
Gerelateerde pagina's
- Azure OpenAI: quota, PTU en 429-fouten
- Quota voor Claude op Amazon Bedrock
- Woordenlijst AI voor bedrijven