Provisioned throughput (PTU)
Provisioned throughput er reservert modellkapasitet: dere betaler for en fast mengde prosessering per time, enten dere bruker den eller ikke, og får til gjengjeld forutsigbar gjennomstrømning og forsinkelse. I Microsoft Azure måles den i provisioned throughput units (PTU-er).
Hvorfor det er viktig for bedrifter
Kapasitet med betaling per token deles med andre kunder og kan strupes i perioder med høy belastning. Reservert kapasitet holdes av for deres utrulling alene.
Microsofts dokumentasjon beskriver avveiningene: reserverte utrullinger faktureres per PTU per time uavhengig av hvor mange tokens som brukes, PTU-kvoten tildeles per abonnement, region og utrullingstype, og det å ha kvote garanterer ikke at kapasiteten er tilgjengelig.
Eksempel
Kundechatboten til en bank trenger stabile svartider klokken 9.00 mandag morgen, så banken reserverer PTU-er for én modell i én Azure-region og betaler for dem hele døgnet, også netter og helger.
Hva dette betyr for en bedrift som bruker KI-API-er
Provisioned throughput passer for jevn trafikk der svartid betyr mer enn pris per token, fordi dere betaler for den reserverte kapasiteten døgnet rundt. Før dere kjøper, sammenlign en måned med reserverte timer med hva samme trafikk koster per token, og sjekk at kapasiteten er tilgjengelig i regionen deres. En chatbot som er travel åtte timer i døgnet, betaler for eksempel også for de andre seksten.
Hvor begrepet er definert: Hver sky definerer sin egen variant. Microsofts Provisioned throughput for Foundry Models (på engelsk) definerer PTU som enheten for modellbehandlingskapasitet som reserveres for en utrulling, fakturert per PTU per time.
Slik løser Standard Compute det
Kjør Claude Code og Claude Desktop gjennom Standard Compute, så slutter teamet å treffe 5-timers- og ukegrensene: agentene kjører til månedsbudsjettet er brukt. Claude betjenes på tvers av flere skyer, så én leverandørs kvote eller nedetid stopper ikke arbeidet.
Spørsmål bedrifter stiller
- Er provisioned throughput billigere enn betaling per bruk?
- Bare ved høy og jevn bruk. Dere betaler per PTU per time enten dere sender tokens eller ikke, så timer uten trafikk øker den faktiske prisen per token.
- Betyr PTU-kvote at vi får kapasiteten?
- Nei. Microsoft skriver at PTU-kvote er en grense per abonnement, region og utrullingstype, og at kvote ikke garanterer at kapasitet er tilgjengelig når dere ruller ut.
- Tilbyr Amazon Bedrock provisioned throughput?
- Ja. Bedrock selger Provisioned Throughput for å øke gjennomstrømningen for en modell. AWS opplyser at profilene for cross-Region inference foreløpig ikke støtter Provisioned Throughput.