Provisioned throughput (PTU)
Provisioned throughput to zarezerwowana moc modelu: płacicie za stałą ilość przetwarzania na godzinę, niezależnie od tego, czy ją wykorzystujecie, a w zamian dostajecie przewidywalną przepustowość i opóźnienia. W Microsoft Azure mierzy się ją w jednostkach provisioned throughput units (PTU).
Dlaczego to ważne dla firm
Moc rozliczana za token jest współdzielona z innymi klientami i w szczytach może być dławiona. Moc zarezerwowana jest przeznaczona wyłącznie dla Waszego wdrożenia.
Dokumentacja Microsoftu opisuje kompromisy: wdrożenia z zarezerwowaną mocą są rozliczane za PTU i godzinę niezależnie od liczby zużytych tokenów, przydział PTU jest przyznawany na subskrypcję, region i typ wdrożenia, a przydział nie gwarantuje, że moc będzie dostępna.
Przykład
Chatbot bankowy dla klientów potrzebuje stabilnych czasów odpowiedzi w poniedziałki o 9:00. Bank rezerwuje więc PTU dla jednego modelu w jednym regionie Azure i płaci za nie całą dobę, także w nocy i w weekendy.
Co to oznacza dla firmy korzystającej z API AI
Provisioned throughput pasuje do stałego ruchu, w którym opóźnienie liczy się bardziej niż koszt tokenu, bo za zarezerwowaną moc płacicie przez całą dobę. Przed zakupem porównajcie miesiąc zarezerwowanych godzin z kosztem tego samego ruchu rozliczanego za tokeny i sprawdźcie, czy moc jest dostępna w Waszym regionie. Na przykład chatbot, który jest intensywnie używany osiem godzin dziennie, płaci też za pozostałe szesnaście.
Gdzie pojęcie jest zdefiniowane: Każda chmura definiuje własną wersję. Dokumentacja Microsoft Przydzielona przepustowość dla modeli Foundry definiuje PTU jako jednostkę mocy przetwarzania modelu zarezerwowaną dla wdrożenia, rozliczaną za PTU za godzinę.
Jak robi to Standard Compute
Skierujcie Claude Code i Claude Desktop na Standard Compute, a Wasz zespół przestanie trafiać na limity 5-godzinne i tygodniowe: agenci działają, dopóki nie wyczerpie się miesięczny budżet. Claude jest obsługiwany w kilku chmurach, więc przydział lub awaria jednego dostawcy nie zatrzymuje Waszej pracy.
Pytania, które zadają firmy
- Czy provisioned throughput jest tańszy niż płatność za użycie?
- Tylko przy wysokim i stałym wykorzystaniu. Płacicie za PTU za godzinę niezależnie od tego, czy wysyłacie tokeny, więc godziny bezczynności podnoszą efektywną cenę tokenu.
- Czy przydział PTU oznacza, że dostaniemy moc?
- Nie. Microsoft wyjaśnia, że przydział PTU jest limitem na subskrypcję, region i typ wdrożenia, a posiadanie przydziału nie gwarantuje, że moc będzie dostępna w chwili wdrożenia.
- Czy Amazon Bedrock oferuje provisioned throughput?
- Tak. Bedrock sprzedaje Provisioned Throughput, aby zwiększyć przepustowość dla modelu. AWS zaznacza, że jego profile wnioskowania między regionami (cross-Region inference) obecnie nie obsługują Provisioned Throughput.
Powiązane pojęcia
Powiązane strony
- Azure OpenAI: przydziały, PTU i błędy 429
- Amazon Bedrock Claude: limity i przydziały
- Słownik: AI w firmie