Provisioned throughput (PTU)
Provisioned throughput er reserveret modelkapacitet: I betaler for en fast mængde behandling pr. time, uanset om I bruger den, og får til gengæld forudsigelig gennemstrømning og latenstid. I Microsoft Azure måles den i provisioned throughput units (PTU'er).
Hvorfor det betyder noget for virksomheder
Kapacitet med betaling pr. token deles med andre kunder og kan blive begrænset i perioder med høj belastning. Reserveret kapacitet holdes af til jeres udrulning alene.
Microsofts dokumentation beskriver afvejningerne: reserverede udrulninger faktureres pr. PTU pr. time uanset antallet af brugte tokens, PTU-kvoten tildeles pr. abonnement, region og udrulningstype, og at have kvote garanterer ikke, at kapaciteten er tilgængelig.
Eksempel
En banks kundechatbot har brug for stabile svartider kl. 9.00 mandag morgen, så banken reserverer PTU'er til én model i én Azure-region og betaler for dem hele døgnet, også om natten og i weekenden.
Hvad det betyder for en virksomhed, der bruger AI-API'er
Provisioned throughput passer til stabil trafik, hvor svartid betyder mere end prisen pr. token, fordi I betaler for den reserverede kapacitet døgnet rundt. Sammenlign før køb en måneds reserverede timer med, hvad samme trafik koster pr. token, og kontrollér, at der er kapacitet i jeres region. En chatbot, der har travlt otte timer om dagen, betaler for eksempel også for de andre seksten.
Hvor begrebet er defineret: Hver cloud definerer sin egen version. Microsofts Provisioned throughput for Foundry Models (på engelsk) definerer PTU'er som den enhed for modelbehandlingskapacitet, der reserveres til en udrulning, faktureret pr. PTU pr. time.
Sådan løser Standard Compute det
Kør Claude Code og Claude Desktop gennem Standard Compute, så holder teamet op med at ramme grænserne pr. 5 timer og pr. uge: agenterne kører, indtil månedsbudgettet er brugt. Claude betjenes på tværs af flere clouds, så én udbyders kvote eller nedbrud stopper ikke jeres arbejde.
Spørgsmål, virksomheder stiller
- Er provisioned throughput billigere end betaling efter forbrug?
- Kun ved højt og stabilt forbrug. I betaler pr. PTU pr. time, uanset om I sender tokens, så timer uden trafik hæver den reelle pris pr. token.
- Betyder PTU-kvote, at vi får kapaciteten?
- Nej. Microsoft oplyser, at PTU-kvote er en grænse pr. abonnement, region og udrulningstype, og at kvote ikke garanterer, at der er kapacitet ledig, når I udruller.
- Tilbyder Amazon Bedrock provisioned throughput?
- Ja. Bedrock sælger Provisioned Throughput til at øge gennemstrømningen for en model. AWS oplyser, at profilerne til cross-Region inference i øjeblikket ikke understøtter Provisioned Throughput.