Provisioned throughput (PTU)
Provisioned throughput on varattua mallikapasiteettia: maksatte kiinteästä käsittelymäärästä tunnissa, käytätte sitä tai ette, ja saatte vastineeksi ennustettavan läpäisyn ja viiveen. Microsoft Azuressa se mitataan provisioned throughput units -yksikköinä (PTU).
Miksi sillä on merkitystä yrityksille
Tokenipohjaisesti laskutettu kapasiteetti jaetaan muiden asiakkaiden kanssa, ja sitä voidaan kuristaa ruuhkahuippujen aikana. Varattu kapasiteetti on vain teidän käyttöönottoanne varten.
Microsoftin dokumentaatio kuvaa kompromissit: varatut käyttöönotot laskutetaan tunneittain PTU-yksikköä kohden riippumatta kulutettujen tokenien määrästä, PTU-kiintiö myönnetään tilauksen, alueen ja käyttöönottotyypin mukaan, eikä kiintiö takaa, että kapasiteettia on saatavilla.
Esimerkki
Pankin asiakaschatbot tarvitsee tasaiset vasteajat maanantaiaamuisin kello 9.00. Pankki varaa siksi PTU-kapasiteettia yhdelle mallille yhdellä Azure-alueella ja maksaa siitä ympäri vuorokauden, myös öisin ja viikonloppuisin.
Mitä tämä tarkoittaa yritykselle, joka käyttää tekoälyrajapintoja
Provisioned throughput sopii tasaiseen liikenteeseen, jossa viive on tärkeämpi kuin tokenikohtainen hinta, koska varatusta kapasiteetista maksetaan ympäri vuorokauden. Ennen ostoa verratkaa kuukauden varattujen tuntien hintaa siihen, mitä sama liikenne maksaa tokenikohtaisesti, ja tarkistakaa, että kapasiteettia on saatavilla alueellanne. Esimerkiksi chatbot, jolla on ruuhkaa kahdeksan tuntia päivässä, maksaa myös muista kuudestatoista tunnista.
Missä käsite on määritelty: Jokainen pilvi määrittelee oman versionsa. Microsoftin Provisioned throughput for Foundry Models (englanniksi) määrittelee PTU:n mallin käsittelykapasiteetin yksiköksi, joka varataan käyttöönotolle (deployment) ja laskutetaan PTU:ta ja tuntia kohden.
Näin Standard Compute hoitaa sen
Ohjatkaa Claude Code ja Claude Desktop Standard Computen kautta, niin tiiminne ei enää törmää 5 tunnin ja viikon käyttörajoihin: agentit toimivat, kunnes kuukausibudjetti on käytetty. Claudea palvellaan useasta pilvestä, joten yhden palveluntarjoajan kiintiö tai käyttökatko ei pysäytä työtänne.
Yritysten usein kysymät kysymykset
- Onko provisioned throughput edullisempi kuin käytön mukaan maksaminen?
- Vain suurella ja tasaisella käytöllä. Maksatte PTU:ta ja tuntia kohden, lähetittepä tokeneita tai ette, joten käyttämättömät tunnit nostavat todellista tokenikohtaista hintaa.
- Tarkoittaako PTU-kiintiö, että saamme kapasiteetin?
- Ei. Microsoftin mukaan PTU-kiintiö on raja tilausta, aluetta ja käyttöönottotyyppiä kohden, eikä kiintiö takaa, että kapasiteettia on saatavilla käyttöönoton hetkellä.
- Tarjoaako Amazon Bedrock provisioned throughputia?
- Kyllä. Bedrock myy Provisioned Throughputia mallin läpäisyn kasvattamiseen. AWS huomauttaa, että sen alueiden väliset inferenssiprofiilit (cross-Region inference) eivät tällä hetkellä tue Provisioned Throughputia.
Liittyvät käsitteet
Aiheeseen liittyvää
- Azure OpenAI: kiintiöt, PTU ja 429-virheet
- Amazon Bedrock Claude: kiintiöt
- Sanasto: tekoäly yrityksessä