Lyhyet vastaukset
Amazon Bedrock rajoittaa Claudea tokeneina minuutissa, malli- ja aluekohtaisesti, ja input- ja output-tokenit lasketaan yhteen. Joillakin malleilla on myös pyyntöjä minuutissa koskeva kiintiö, ja jokaisella tilillä on päivittäinen tokenkatto.
Jokainen Clauden output-token lasketaan kiintiöön 2,5-, 5-, 10- tai 15-kertaisena mallista riippuen, ja koko max_tokens varataan pyynnön alkaessa. Siksi throttling alkaa kauan ennen kuin laskutetut tokenit yltävät kiintiöön.
ThrottlingException on HTTP 429 ja tarkoittaa, että tili on ylittänyt Bedrock-kiintiön. AWS suosittelee eksponentiaalista backoffia jitterillä, kiintiön korotusta sekä Reserved Tieriä tai Provisioned Throughputia jatkuvaan kuormaan.
Suuremmat korotukset käsittelee AWS Support. AWS asettaa etusijalle tilit, jotka käyttävät jo kiintiönsä loppuun, ja voi hylätä muut hakemukset.
Standard Computessa Claudea palvellaan useasta pilvestä, joten yhden palveluntarjoajan kiintiö tai katkos ei pysäytä työtänne: rajoitettu tai epäonnistunut pyyntö siirtyy automaattisesti saman mallin toiselle palveluntarjoajalle.
Claudea koskevat kiintiöt
| Kiintiö (AWS:n nimi) | Laajuus | Mitä se laskee |
|---|---|---|
Cross-Region InvokeModel tokens per minute | Malli- ja aluekohtainen | Input- ja output-tokenit yhteensä cross-region inference -profiilin kautta tehdyissä pyynnöissä |
On-demand InvokeModel tokens per minute | Malli- ja aluekohtainen | Input- ja output-tokenit yhteensä yhden alueen on demand -pyynnöissä |
InvokeModel requests per minute | Malli- ja aluekohtainen | Pyynnöt minuutissa malleille, joilla tämä kiintiö on; Claude Opus 4.7:llä ja 4.8:lla sitä ei ole |
Cross-Model Max Tokens Per Day | Tili- ja aluekohtainen | Tokenit päivässä kaikissa tuetuissa malleissa yhteensä |
Nimistään huolimatta kiintiöt koskevat kaikkia inferenssirajapintoja, joilla mallia kutsutaan bedrock-runtime-päätepisteessä, myös Conversea, Responsesia ja Chat Completionsia. Uudempi bedrock-mantle-päätepiste lasketaan erikseen, omilla input- ja output-tokenkiintiöillään ja ilman pyyntökiintiötä.
Julkaistut oletusarvot nykyisille Claude-malleille
| Malli | Cross-region, tokenia minuutissa | Globaali cross-region, tokenia minuutissa | Cross-region, pyyntöä minuutissa |
|---|---|---|---|
| Claude Opus 5.5 | 30 000 000 | 30 000 000 | Ei julkaistu |
| Claude Opus 5 | 30 000 000 | 30 000 000 | Ei julkaistu |
| Claude Opus 4.8 | 30 000 000 | 30 000 000 | Ei RPM-kiintiötä |
| Claude Sonnet 5.5 | 6 000 000 | 6 000 000 | Ei julkaistu |
| Claude Sonnet 5 | 6 000 000 | 6 000 000 | Ei julkaistu |
| Claude Sonnet 4.6 | 6 000 000 | 6 000 000 | 10 000 |
| Claude Haiku 5.5 | 10 000 000 | 10 000 000 | Ei julkaistu |
| Claude Haiku 4.5 | 5 000 000 | 5 000 000 | 10 000 |
Miksi kiintiö kuluu nopeammin kuin lasku
Bedrock muuntaa output-tokenit kiintiön kulutukseksi kertoimella. AWS ilmoittaa kertoimeksi 10 Claude Opus 5.5:lle, Sonnet 5:lle, Opus 5:lle, Fable 5.1:lle ja Fable 5.2:lle, 15 version 4.8 Claude-malleille, 2,5 Claude Mythos 5:lle, 5.1:lle ja 5.2:lle ja 5 Claude Fable 5:lle sekä version 4.7 ja sitä vanhemmille malleille. Sonnet 5.5:lle ja Haiku 5.5:lle sivu ei nimeä omaa kerrointa. Maksatte vain todellisuudessa käytetyistä tokeneista.
Kiintiötä veloitetaan myös etukäteen. Pyynnön alkaessa Bedrock vähentää input-tokenit ja koko max_tokens-arvon ja palauttaa käyttämättömän osan, kun pyyntö on valmis. Välimuistista luetut tokenit eivät kuluta kiintiötä. AWS:n kaava sovellettuna yhteen Claude Opus 5.5 -pyyntöön:
input-tokenit 20 000
max_tokens 32 000
tuotettu output 2 000
varattu alussa 52 000
= input + max_tokens
veloitettu lopussa 40 000
= input + output x 10
laskutetut tokenit 22 000
= input + outputmax_tokens-arvon asettaminen lähelle vastauksen todellista kokoa on edullisin tapa saada samaan kiintiöön mahtumaan enemmän samanaikaisia pyyntöjä.
Inferenssi usean alueen kautta
Cross-region inference lähettää pyynnön inference-profiilin kautta, ja Bedrock valitsee alueen, joka sen käsittelee. Profiilin kautta tehdyt pyynnöt käyttävät mallin cross-region-kiintiötä, joka on erillinen yhden alueen on demand -kiintiöstä.
| Profiili | Missä pyynnöt ajetaan | Hinta |
|---|---|---|
| Maantieteellinen (US, EU, APAC) | Profiilin kattamilla saman maantieteellisen alueen AWS-alueilla | Normaali hinta |
| Globaali | Kaikilla tuetuilla kaupallisilla AWS-alueilla | AWS:n mukaan noin 10 % edullisempi |
ThrottlingException ja siihen liittyvät virheet
| Virhe | HTTP | Merkitys | AWS suosittelee |
|---|---|---|---|
| ThrottlingException | 429 | Pyyntö ylitti tilin Bedrock-kiintiöt | Yrittäkää uudelleen eksponentiaalisella backoffilla ja jitterillä, tarkistakaa kiintiöt, hakekaa korotusta tai käyttäkää Reserved Tieriä tai Provisioned Throughputia jatkuvaan kuormaan |
| ModelNotReadyException | 429 | Jotkin runtime-operaatiot palauttavat 429:n myös tästä syystä | Tarkistakaa virhetyyppi eikä pelkkää tilakoodia |
| ServiceUnavailable | 503 | Tilapäinen kapasiteettipula, kiintiöstänne riippumaton | Odottakaa ja yrittäkää uudelleen; jos pula jatkuu, vaihtakaa aluetta tai käyttäkää cross-region inferenceä |
| overloaded_error | 529 | Mallilla ei juuri nyt ole kapasiteettia | Noudattakaa Retry-After-otsaketta, välttäkää synkronisia uusintayrityksiä, käyttäkää cross-region inferenceä |
AWS:n esimerkissä yrityksiä on yhteensä kuusi: alkuperäinen pyyntö ja viisi uusintayritystä. boto3:ssa:
import boto3
from botocore.config import Config
config = Config(retries={
"total_max_attempts": 6,
"mode": "standard",
})
client = boto3.client(
"bedrock-runtime", config=config
)Näin haette kiintiön korotusta
- Avatkaa Service Quotas, valitkaa Amazon Bedrock ja tarkistakaa tilinne arvot kutsumallenne mallille ja alueelle.
- Tarkistakaa ensin mallin elinkaari. AWS ei myönnä korotuksia malleille, joiden käytöstä poisto on aikataulutettu.
- Hakekaa korotusta mallin kiintiöön ”Cross-Region InvokeModel tokens per minute”. AWS Support tarjoaa tällöin samassa tapauksessa myös on demand -tokenien ja päivittäisten tokenien korotusta.
- Osoittakaa todellinen käyttö. AWS:n mukaan etusijalla ovat asiakkaat, joiden liikenne jo käyttää nykyisen kiintiön, ja muut hakemukset voidaan hylätä. Pienemmät korotukset hyväksytään yleensä automaattisesti, suuremmat menevät AWS Supportin käsiteltäviksi.
bedrock-mantle-päätepisteellä on oma menettelynsä.
# Tilin Claude-kiintiöt nykyisellä alueella
aws service-quotas list-service-quotas \
--service-code bedrock \
--query "Quotas[?contains(QuotaName,
'Claude Sonnet 5.5')].[QuotaName,Value]" \
--output table
# Haetaan korotusta kiintiökoodilla
aws service-quotas \
request-service-quota-increase \
--service-code bedrock \
--quota-code L-XXXXXXXX \
--desired-value 12000000Provisioned Throughput ja palvelutasot
| Vaihtoehto | Mitä saatte | Ehdot |
|---|---|---|
| Provisioned Throughput | Malliyksiköitä, joista kullakin on kiinteä määrä input- ja output-tokeneita minuutissa, laskutus tunneittain | Ilman sitoutumista, 1 kuukausi tai 6 kuukautta. Kapasiteetti ja yksikköhinta AWS-asiakkuuspäällikön kautta |
| Reserved Tier | Varatut input- ja output-tokenit minuutissa, ylivuoto Standard-tasolle, käytettävyystavoite 99,5 % | 1 tai 3 kuukautta; vähintään 100 000 input- ja 10 000 output-tokenia minuutissa; AWS-asiakastiimin kautta |
| Priority Tier | Pyynnöt käsitellään ennen Standard- ja Flex-tasoja lisähintaan | Ei varausta; jakaa on demand -kiintiön |
| Flex Tier | Alennus työlle, joka sietää pidemmän käsittelyajan | Ei varausta; jakaa on demand -kiintiön |
Enemmän irti nykyisestä kiintiöstä
- Asettakaa
max_tokensodotetun vastauksen kokoiseksi, koska koko arvo varataan jokaisen pyynnön alkaessa. - Käyttäkää prompt cachingia toistuvaan kontekstiin.
- Rajoittakaa tokenien ja samanaikaisuuden mukaan. AWS varoittaa, että pelkkä pyyntöjä minuutissa laskeva rajoitin ei suojaa, kun pyyntöjen koko muuttuu.
- Kasvattakaa kuormaa vaiheittain ja seuratkaa 429-, 503- ja 529-vastausten osuutta jokaisella tasolla.
- Siirtäkää offline-työ batch inferenceen ja viiveen sietävä työ Flex Tieriin, jos malli tukee sitä.
Yhden tilin kiintiön ulkopuolelle
Käytettävyystavoitteen saavuttamiseksi AWS itse suosittelee sovellukseen rajattuja uusintayrityksiä ja varareittejä usean alueen tai mallin välillä. Gateway tekee tämän puolestanne usean palveluntarjoajan välillä.
Standard Computen kanssa Bedrock-tilinne on yksi monista reiteistä Claudeen, eikä teidän tarvitse itse hakea Bedrock-kiintiötä. Claudea palvellaan Anthropicilta ja suurista pilvistä, ja sama API tavoittaa GPT:n, Geminin ja avoimet mallit, kuten GLM:n, DeepSeekin ja MiniMaxin. Jokainen vaihe menee halvimmalle mallille, joka siitä selviää, ja halvimmalle palveluntarjoajalle, joka on riittävän nopea.
Kun haluatte käyttää Claudea Euroopassa, asettakaa Eurooppa-rajaus yritykselle, tiimille tai yksittäiselle avaimelle: silloin jokainen pyyntö, myös uusintayritykset ja varareitit, käsitellään vain hyväksytyissä eurooppalaisissa inferenssipäätepisteissä. Claude Opus 5.5, Sonnet 5.5 ja Haiku 5.5 toimivat Euroopassa Google Vertex AI:ssa ja Amazon Bedrockissa Irlannissa. Tietojenkäsittelysopimuksen (DPA) allekirjoitatte hallintapaneelissa.
from openai import OpenAI
client = OpenAI(
base_url="https://api.stdcmpt.com/v1",
api_key=STANDARD_COMPUTE_KEY,
)
# "standardcompute" lähettää jokaisen vaiheen
# halvimmalle mallille, joka siitä selviää.
# Clauden lukitsemiseksi:
# model="anthropic/claude-sonnet-5.5"
client.chat.completions.create(
model="standardcompute",
messages=messages,
)Azure OpenAI -kiintiöistä kerromme sivulla Azure OpenAI -kiintiöt ja -rajat. Standard Computen toiminnasta yrityksille kerromme sivulla Tekoäly yrityksille.
Tiiminne Standard Computeen
Luokaa yritystili, kutsukaa tiiminne ja antakaa jokaiselle henkilölle ja sovellukselle oma avain.
Usein kysytyt kysymykset
Bedrock-kiintiömme Claudelle Frankfurtissa tai Tukholmassa on liian pieni, ja korotushakemus on odottanut viikkoja. Mitä vaihtoehtoja on Euroopassa?
AWS:n sisällä: käyttäkää globaalia tai EU-pohjaista inference-profiilia, pienentäkää `max_tokens`-arvoa ja täydentäkää hakemusta todellisella käytöllä, koska AWS asettaa etusijalle tilit, jotka käyttävät kiintiönsä. Tilinne ulkopuolella: Standard Compute palvelee Claude Opus 5.5:tä, Sonnet 5.5:tä ja Haiku 5.5:tä Euroopassa Google Vertex AI:n ja Irlannin Amazon Bedrockin kautta, eikä teidän tarvitse hakea omaa AWS-kiintiötä. Eurooppa-rajauksella jokainen pyyntö, myös uusintayritykset ja varareitit, käsitellään vain hyväksytyissä eurooppalaisissa päätepisteissä.
Mitkä ovat Clauden oletuskiintiöt Amazon Bedrockissa?
AWS julkaisee aluekohtaisesti 30 000 000 tokenia minuutissa cross-region inferencen kautta Claude Opus 5.5:lle, Opus 5:lle ja Opus 4.8:lle, 6 000 000 Sonnet 5.5:lle, Sonnet 5:lle ja Sonnet 4.6:lle sekä 10 000 000 Haiku 5.5:lle. Tilinne arvot voivat olla pienemmät; tarkistakaa ne Service Quotasista.
Mitä ThrottlingException tarkoittaa Bedrockissa?
Tili on ylittänyt mallin Bedrock-kiintiön, esimerkiksi tokenit minuutissa. Tarkistakaa arvot Service Quotasista, yrittäkää uudelleen backoffilla ja jitterillä ja hakekaa korotusta, jos liikenne on vakaata.
Miksi meitä rajoitetaan, vaikka kulutus näyttää olevan kiintiön alla?
Koska Clauden output-tokenit lasketaan 2,5-, 5-, 10- tai 15-kertaisina mallista riippuen, ja Bedrock varaa koko max_tokens-arvon jokaisen pyynnön alkaessa. Pienentäkää max_tokens-arvoa ja käyttäkää prompt cachingia, jolloin välimuistista luetut tokenit eivät kuluta kiintiötä.
Kauanko kiintiön korotus Bedrockissa kestää?
AWS ei ilmoita aikaa. Pienemmät korotukset hyväksytään yleensä automaattisesti, suuremmat menevät AWS Supportille, ja etusijalla ovat tilit, jotka jo käyttävät koko kiintiönsä. Malleille, joiden käytöstä poisto on aikataulutettu, korotuksia ei myönnetä.
Kannattaako Provisioned Throughput Claudelle Bedrockissa?
Vain ennustettavaan, jatkuvaan kuormaan. Se laskutetaan tunneittain malliyksikköä kohden, ilman sitoutumista tai 1 tai 6 kuukaudeksi, eikä se toimi inference-profiilien kanssa. Varattujen tokenien vaihtoehto on Reserved Tier alkaen 100 000 input- ja 10 000 output-tokenista minuutissa, AWS-asiakastiiminne kautta.
Lähteet (tarkistettu 9. marraskuuta 2026)
- Quotas for Amazon Bedrock (englanniksi)docs.aws.amazon.com
- Quotas for the bedrock-runtime endpoint (englanniksi)docs.aws.amazon.com
- How tokens are counted in Amazon Bedrock (englanniksi)docs.aws.amazon.com
- Amazon Bedrock endpoints and quotas, AWS General Reference (englanniksi)docs.aws.amazon.com
- Cross-Region inference (englanniksi)docs.aws.amazon.com
- Troubleshooting Amazon Bedrock API error codes (englanniksi)docs.aws.amazon.com
- Scaling and throughput best practices (englanniksi)docs.aws.amazon.com
- Provisioned Throughput (englanniksi)docs.aws.amazon.com
- Service tiers for inference (englanniksi)docs.aws.amazon.com
- Requesting a quota increase, Service Quotas (englanniksi)docs.aws.amazon.com
- Claude Code on Amazon Bedrock (englanniksi)code.claude.com