Limit liczby żądań a przydział
Limit liczby żądań (rate limit) ogranicza, jak szybko możecie wywoływać model AI, na przykład liczbę żądań lub tokenów na minutę. Przydział (quota) ogranicza, ile łącznie możecie wykorzystać lub zarezerwować, na przykład miesięczny limit wydatków albo moc przydzieloną Waszemu kontu w danym regionie.
Dlaczego to ważne dla firm
Gdy agenci zaczynają zwracać błędy HTTP 429, rozwiązanie zależy od tego, który limit został osiągnięty. Większy wolumen miesięczny nie pomoże przy limicie na minutę i odwrotnie.
Dostawcy nazywają te limity różnie. Anthropic opisuje dla Claude API dwa rodzaje: spend limits, czyli maksymalny koszt miesięczny, oraz rate limits, mierzone w żądaniach, tokenach wejściowych i tokenach wyjściowych na minutę dla każdej klasy modeli. Microsoft nazywa przydział PTU w Azure limitem zasad na subskrypcję i region i zaznacza, że przydział nie gwarantuje dostępnej mocy.
Przykład
Agenty zespołu codziennie o 10:00 zwracają błędy 429. Logi pokazują, że liczba tokenów wejściowych na minutę dochodzi do limitu liczby żądań, a wolumen miesięczny jest daleki od wyczerpania. Problem rozwiązuje rozłożenie ruchu na więcej dostawców, a nie większy przydział miesięczny.
Co to oznacza dla firmy korzystającej z API AI
Zanim udostępnicie agenta całemu zespołowi, policzcie szczytową liczbę tokenów na minutę, którą będzie wysyłał, i porównajcie ją z limitem liczby żądań każdego używanego modelu, a nie tylko z miesięcznym budżetem. Limity mogą też obowiązywać w krótszych odcinkach czasu: Anthropic zaznacza, że limit 60 żądań na minutę może być egzekwowany jako 1 żądanie na sekundę, więc krótkie skoki ruchu mogą się nie powieść poniżej wartości minutowej. Na przykład 20 programistów, którzy o 9:00 uruchamiają agentów, może w kilka sekund wyczerpać limit tokenów wejściowych na minutę, choć miesięczne wydatki są jeszcze niskie.
Gdzie pojęcie jest zdefiniowane: Każdy dostawca definiuje własne limity. Strona Anthropic Claude API rate limits (po angielsku) definiuje limity wydatków i limity liczby żądań, a dokumentacja przydzielonej przepustowości Microsoft definiuje przydział PTU na subskrypcję i region.
Jak robi to Standard Compute
Skierujcie Claude Code i Claude Desktop na Standard Compute, a Wasz zespół przestanie trafiać na limity 5-godzinne i tygodniowe: agenci działają, dopóki nie wyczerpie się miesięczny budżet. Claude jest obsługiwany w kilku chmurach, więc przydział lub awaria jednego dostawcy nie zatrzymuje Waszej pracy.
Pytania, które zadają firmy
- Jak odróżnić błąd 429 z powodu limitu liczby żądań od błędu 429 z powodu limitu wydatków?
- W Claude API oba zwracają HTTP 429 z typem błędu rate_limit_error. Odpowiedź przy limicie liczby żądań może zawierać nagłówek retry-after; odpowiedź przy limicie wydatków nigdy go nie ma i zawiera kod błędu enforced_spend_limit_reached. Ponawianie żądania po błędzie limitu wydatków kończy się niepowodzeniem, dopóki dostęp nie zostanie przywrócony.
- Czy buforowanie promptów pomaga przy limitach liczby żądań?
- W Claude API tak. Domyślne limity tokenów wejściowych na minutę liczą tylko tokeny wejściowe spoza bufora, więc treść odczytana z bufora nie wlicza się do limitu.
- Czy możemy dać jednemu zespołowi niższy limit?
- Anthropic pozwala ustawić własne limity wydatków i limity liczby żądań dla każdej przestrzeni roboczej, poniżej limitów organizacji, tak aby jedna przestrzeń robocza nie zużyła mocy potrzebnej pozostałym. Limity całej organizacji nadal obowiązują.
Powiązane pojęcia
Powiązane strony
- Limity Claude Team w firmie
- Amazon Bedrock Claude: limity i przydziały
- Azure OpenAI: limity i przydziały
- Słownik: AI w firmie