Najważniejsze w skrócie
Amazon Bedrock ogranicza Claude w tokenach na minutę, osobno dla każdego modelu i regionu, a tokeny wejściowe i wyjściowe liczą się łącznie. Niektóre modele mają też przydział żądań na minutę, a każde konto ma dzienny limit tokenów.
Każdy token wyjściowy Claude liczy się do przydziału 2,5, 5, 10 lub 15 razy, zależnie od modelu, a cała wartość max_tokens jest rezerwowana na starcie żądania. Dlatego throttling zaczyna się na długo przed tym, zanim zafakturowane tokeny osiągną przydział.
ThrottlingException to HTTP 429 i oznacza, że konto przekroczyło przydział Bedrock. AWS zaleca wykładniczy backoff z jitterem, zwiększenie przydziału oraz Reserved Tier lub Provisioned Throughput przy stałym obciążeniu.
Wnioski o większe zwiększenia rozpatruje AWS Support. AWS daje pierwszeństwo kontom, które już wykorzystują swój przydział, a pozostałe wnioski może odrzucić.
W Standard Compute Claude działa w kilku chmurach, więc przydział lub awaria jednego dostawcy nie zatrzymuje Waszej pracy: ograniczone lub nieudane żądanie automatycznie trafia do innego dostawcy tego samego modelu.
Przydziały, które dotyczą Claude
| Przydział (nazwa AWS) | Zakres | Co liczy |
|---|---|---|
Cross-Region InvokeModel tokens per minute | Na model, na region | Tokeny wejściowe i wyjściowe łącznie, dla żądań wysyłanych przez profil cross-region inference |
On-demand InvokeModel tokens per minute | Na model, na region | Tokeny wejściowe i wyjściowe łącznie, dla żądań on demand w jednym regionie |
InvokeModel requests per minute | Na model, na region | Żądania na minutę, dla modeli z tym przydziałem; Claude Opus 4.7 i 4.8 go nie mają |
Cross-Model Max Tokens Per Day | Na konto, na region | Tokeny dziennie łącznie we wszystkich obsługiwanych modelach |
Mimo nazw przydziały obejmują wszystkie API inferencji, którymi wywołuje się model na bedrock-runtime, także Converse, Responses i Chat Completions. Nowszy punkt końcowy bedrock-mantle jest liczony osobno, z własnymi przydziałami tokenów wejściowych i wyjściowych na minutę i bez przydziału żądań na minutę.
Opublikowane wartości domyślne dla obecnych modeli Claude
| Model | Cross-region, tokeny na minutę | Globalny cross-region, tokeny na minutę | Cross-region, żądania na minutę |
|---|---|---|---|
| Claude Opus 5.5 | 30 000 000 | 30 000 000 | Nie opublikowano |
| Claude Opus 5 | 30 000 000 | 30 000 000 | Nie opublikowano |
| Claude Opus 4.8 | 30 000 000 | 30 000 000 | Brak przydziału RPM |
| Claude Sonnet 5.5 | 6 000 000 | 6 000 000 | Nie opublikowano |
| Claude Sonnet 5 | 6 000 000 | 6 000 000 | Nie opublikowano |
| Claude Sonnet 4.6 | 6 000 000 | 6 000 000 | 10 000 |
| Claude Haiku 5.5 | 10 000 000 | 10 000 000 | Nie opublikowano |
| Claude Haiku 4.5 | 5 000 000 | 5 000 000 | 10 000 |
Dlaczego przydział znika szybciej, niż rośnie faktura
Bedrock przelicza tokeny wyjściowe na zużycie przydziału za pomocą mnożnika. AWS podaje mnożnik 10 dla Claude Opus 5.5, Sonnet 5, Opus 5, Fable 5.1 i Fable 5.2, 15 dla modeli Claude w wersji 4.8, 2,5 dla Claude Mythos 5, 5.1 i 5.2 oraz 5 dla Claude Fable 5 i wersji 4.7 i starszych. Dla Sonnet 5.5 i Haiku 5.5 strona nie podaje osobnego mnożnika. Płacicie tylko za faktycznie zużyte tokeny.
Przydział jest też obciążany z góry. Na starcie żądania Bedrock odejmuje tokeny wejściowe i całą wartość max_tokens, a niewykorzystaną część zwraca po zakończeniu. Odczyty z pamięci podręcznej nie liczą się do przydziału. Wzór AWS zastosowany do jednego żądania do Claude Opus 5.5:
tokeny wejściowe 20 000
max_tokens 32 000
wygenerowane wyjście 2 000
zarezerwowane na starcie 52 000
= input + max_tokens
obciążone na końcu 40 000
= input + output x 10
zafakturowane tokeny 22 000
= input + outputUstawienie max_tokens blisko rzeczywistej długości odpowiedzi to najtańszy sposób, by zmieścić więcej równoległych żądań w tym samym przydziale.
Inferencja w wielu regionach
Cross-region inference wysyła żądanie przez profil inferencji, a Bedrock wybiera region, który je obsłuży. Żądania wysyłane przez profil korzystają z przydziału cross-region modelu, oddzielnego od przydziału on demand dla żądań w jednym regionie.
| Profil | Gdzie obsługiwane są żądania | Cena |
|---|---|---|
| Geograficzny (US, EU, APAC) | W regionach danej geografii objętych profilem | Cena standardowa |
| Globalny | We wszystkich obsługiwanych komercyjnych regionach AWS | Według AWS około 10% taniej |
ThrottlingException i pokrewne błędy
| Błąd | HTTP | Znaczenie | AWS zaleca |
|---|---|---|---|
| ThrottlingException | 429 | Żądanie przekroczyło przydziały Bedrock na koncie | Ponówcie z wykładniczym backoffem i jitterem, sprawdźcie przydziały, złóżcie wniosek o zwiększenie lub użyjcie Reserved Tier albo Provisioned Throughput przy stałym obciążeniu |
| ModelNotReadyException | 429 | Niektóre operacje runtime zwracają 429 także z tego powodu | Patrzcie na typ błędu, nie tylko na kod statusu |
| ServiceUnavailable | 503 | Chwilowy brak przepustowości, niezależny od Waszego przydziału | Odczekajcie i ponówcie; jeśli to trwa, zmieńcie region lub użyjcie cross-region inference |
| overloaded_error | 529 | Model nie ma teraz wolnej przepustowości | Respektujcie Retry-After, unikajcie synchronicznych ponowień, użyjcie cross-region inference |
W przykładzie AWS jest łącznie sześć prób: pierwsze żądanie i pięć ponowień. W boto3:
import boto3
from botocore.config import Config
config = Config(retries={
"total_max_attempts": 6,
"mode": "standard",
})
client = boto3.client(
"bedrock-runtime", config=config
)Jak złożyć wniosek o zwiększenie przydziału
- Otwórzcie Service Quotas, wybierzcie Amazon Bedrock i sprawdźcie wartości konta dla modelu i regionu, które wywołujecie.
- Najpierw sprawdźcie cykl życia modelu. AWS nie zwiększa przydziałów dla modeli, których wycofanie jest zaplanowane.
- Złóżcie wniosek o zwiększenie przydziału „Cross-Region InvokeModel tokens per minute” dla modelu. AWS Support zaproponuje wtedy w tym samym zgłoszeniu zwiększenie tokenów on demand na minutę i tokenów dziennie.
- Pokażcie rzeczywiste użycie. Według AWS pierwszeństwo mają klienci, których ruch już wykorzystuje obecny przydział, a inne wnioski mogą zostać odrzucone. Mniejsze zwiększenia są zwykle zatwierdzane automatycznie, większe trafiają do AWS Support.
- Punkt końcowy
bedrock-mantlema własną procedurę.
# Przydziały Claude na koncie, bieżący region
aws service-quotas list-service-quotas \
--service-code bedrock \
--query "Quotas[?contains(QuotaName,
'Claude Sonnet 5.5')].[QuotaName,Value]" \
--output table
# Wniosek o zwiększenie z kodem przydziału
aws service-quotas \
request-service-quota-increase \
--service-code bedrock \
--quota-code L-XXXXXXXX \
--desired-value 12000000Provisioned Throughput i poziomy usług
| Opcja | Co dostajecie | Warunki |
|---|---|---|
| Provisioned Throughput | Jednostki modelu, każda ze stałą liczbą tokenów wejściowych i wyjściowych na minutę, rozliczane godzinowo | Bez zobowiązania, 1 miesiąc lub 6 miesięcy. Przepustowość i cena jednostki przez opiekuna konta AWS |
| Reserved Tier | Zarezerwowane tokeny wejściowe i wyjściowe na minutę, nadmiar przechodzi do Standard, cel dostępności 99,5% | 1 lub 3 miesiące; minimum 100 000 tokenów wejściowych i 10 000 wyjściowych na minutę; przez zespół konta AWS |
| Priority Tier | Żądania obsługiwane przed Standard i Flex, za dopłatą | Bez rezerwacji; współdzieli przydział on demand |
| Flex Tier | Zniżka dla zadań, które tolerują dłuższy czas obsługi | Bez rezerwacji; współdzieli przydział on demand |
Więcej z przydziału, który już macie
- Ustawcie
max_tokensna oczekiwaną długość odpowiedzi, bo cała wartość jest rezerwowana na starcie każdego żądania. - Używajcie prompt caching dla powtarzającego się kontekstu.
- Ograniczajcie według tokenów i równoległości. AWS ostrzega, że limiter liczący tylko żądania na minutę nie chroni, gdy zmienia się rozmiar żądań.
- Zwiększajcie obciążenie stopniowo i śledźcie odsetek odpowiedzi 429, 503 i 529 na każdym poziomie.
- Przenieście zadania offline do batch inference, a zadania tolerujące opóźnienia do Flex Tier, jeśli model to obsługuje.
Poza przydział jednego konta
Aby osiągnąć cel dostępności, AWS sam zaleca ograniczone ponowienia w aplikacji i trasy zapasowe przez kilka regionów lub modeli. Bramka AI robi to za Was, u wielu dostawców.
Ze Standard Compute Wasze konto Bedrock staje się jedną z wielu dróg do Claude i nie musicie sami wnioskować o przydział Bedrock. Claude działa u Anthropic i w dużych chmurach, a to samo API daje dostęp do GPT, Gemini i otwartych modeli, takich jak GLM, DeepSeek i MiniMax. Każdy krok trafia do najtańszego modelu, który sobie z nim poradzi, i do najtańszego dostawcy, który jest wystarczająco szybki.
Aby korzystać z Claude w Europie, ustawcie ograniczenie do Europy dla firmy, zespołu lub pojedynczego klucza: każde żądanie, łącznie z ponowieniami i trasami zapasowymi, obsługują wtedy wyłącznie zatwierdzone europejskie punkty końcowe. Claude Opus 5.5, Sonnet 5.5 i Haiku 5.5 działają w Europie w Google Vertex AI i Amazon Bedrock w Irlandii. Umowę powierzenia przetwarzania danych (DPA) podpisujecie w panelu.
from openai import OpenAI
client = OpenAI(
base_url="https://api.stdcmpt.com/v1",
api_key=STANDARD_COMPUTE_KEY,
)
# "standardcompute" wysyła każdy krok
# do najtańszego modelu, który sobie poradzi.
# Aby przypiąć Claude:
# model="anthropic/claude-sonnet-5.5"
client.chat.completions.create(
model="standardcompute",
messages=messages,
)O przydziałach Azure OpenAI piszemy na stronie Limity i przydziały Azure OpenAI. Jak Standard Compute działa w firmach, opisujemy na stronie AI dla firm.
Wasz zespół w Standard Compute
Załóżcie konto firmowe, zaproście zespół i dajcie każdej osobie oraz każdej aplikacji własny klucz.
Najczęstsze pytania
Nasz przydział Bedrock dla Claude we Frankfurcie jest za niski, a wniosek o zwiększenie czeka od tygodni. Jakie są alternatywy z przetwarzaniem w Europie?
W ramach AWS: użyjcie globalnego lub europejskiego profilu inferencji, obniżcie `max_tokens` i uzupełnijcie wniosek o rzeczywiste użycie, bo AWS daje pierwszeństwo kontom, które wykorzystują swój przydział. Poza Waszym kontem: Standard Compute obsługuje Claude Opus 5.5, Sonnet 5.5 i Haiku 5.5 w Europie przez Google Vertex AI i Amazon Bedrock w Irlandii, bez potrzeby wnioskowania o własny przydział AWS. Przy ograniczeniu do Europy każde żądanie, łącznie z ponowieniami i trasami zapasowymi, obsługują wyłącznie zatwierdzone europejskie punkty końcowe.
Jakie są domyślne przydziały Claude w Amazon Bedrock?
AWS publikuje na region 30 000 000 tokenów na minutę przez cross-region inference dla Claude Opus 5.5, Opus 5 i Opus 4.8, 6 000 000 dla Sonnet 5.5, Sonnet 5 i Sonnet 4.6 oraz 10 000 000 dla Haiku 5.5. Wartości Waszego konta mogą być niższe; sprawdźcie je w Service Quotas.
Co oznacza ThrottlingException w Bedrock?
Konto przekroczyło przydział Bedrock dla modelu, na przykład tokeny na minutę. Sprawdźcie wartości w Service Quotas, ponówcie z backoffem i jitterem i złóżcie wniosek o zwiększenie, jeśli ruch jest stały.
Dlaczego jesteśmy ograniczani, choć zużycie wydaje się niższe od przydziału?
Bo tokeny wyjściowe Claude liczą się 2,5, 5, 10 lub 15 razy, zależnie od modelu, a Bedrock rezerwuje całą wartość max_tokens na starcie każdego żądania. Obniżcie max_tokens i używajcie prompt caching, bo odczyty z pamięci podręcznej nie liczą się do przydziału.
Ile trwa zwiększenie przydziału w Bedrock?
AWS nie podaje terminu. Mniejsze zwiększenia są zwykle zatwierdzane automatycznie, większe trafiają do AWS Support, a pierwszeństwo mają konta, które już wykorzystują cały przydział. Modele z zaplanowanym wycofaniem nie dostają zwiększeń.
Czy Provisioned Throughput dla Claude w Bedrock się opłaca?
Tylko przy przewidywalnym, stałym obciążeniu. Rozlicza się go godzinowo za jednostkę modelu, bez zobowiązania albo na 1 lub 6 miesięcy, i nie działa z profilami inferencji. Alternatywą z zarezerwowanymi tokenami jest Reserved Tier od 100 000 tokenów wejściowych i 10 000 wyjściowych na minutę, przez zespół konta AWS.
Źródła (sprawdzono 9 listopada 2026)
- Quotas for Amazon Bedrock (po angielsku)docs.aws.amazon.com
- Quotas for the bedrock-runtime endpoint (po angielsku)docs.aws.amazon.com
- How tokens are counted in Amazon Bedrock (po angielsku)docs.aws.amazon.com
- Amazon Bedrock endpoints and quotas, AWS General Reference (po angielsku)docs.aws.amazon.com
- Cross-Region inference (po angielsku)docs.aws.amazon.com
- Troubleshooting Amazon Bedrock API error codes (po angielsku)docs.aws.amazon.com
- Scaling and throughput best practices (po angielsku)docs.aws.amazon.com
- Provisioned Throughput (po angielsku)docs.aws.amazon.com
- Service tiers for inference (po angielsku)docs.aws.amazon.com
- Requesting a quota increase, Service Quotas (po angielsku)docs.aws.amazon.com
- Claude Code on Amazon Bedrock (po angielsku)code.claude.com