Claude på Amazon Bedrock: kvoter, throttling og forhøjelser

De kvoter, der gælder for Claude

Trods navnene gælder kvoterne for alle inferens-API'er, der kalder modellen på bedrock-runtime, også Converse, Responses og Chat Completions. Det nyere endpoint bedrock-mantle tælles for sig, med egne kvoter for input- og output-tokens pr. minut og uden kvote for forespørgsler pr. minut.

Offentliggjorte standardværdier for de aktuelle Claude-modeller

Hvorfor kvoten falder hurtigere end regningen

Bedrock omregner output-tokens til kvoteforbrug med en burndown-faktor. AWS angiver 10 gange for Claude Opus 5.5, Sonnet 5, Opus 5 og Fable 5.1, 15 gange for Claude-modeller i version 4.8 og 5 gange for version 4.7 og ældre. Siden angiver ingen særskilt faktor for Sonnet 5.5 eller Haiku 5.5. I betaler kun for de tokens, der faktisk bruges.

Kvoten belastes også på forhånd. Når en forespørgsel starter, trækker Bedrock input-tokens plus hele max_tokens fra og giver den ubrugte del tilbage til sidst. Læsninger fra cachen tæller ikke. AWS' formel brugt på én forespørgsel til Claude Opus 5.5:

input-tokens          20.000
max_tokens            32.000
genereret output       2.000

reserveret ved start  52.000
  = input + max_tokens
belastet til sidst    40.000
  = input + output x 10
fakturerede tokens    22.000
  = input + output

At sætte max_tokens tæt på den reelle outputstørrelse er den billigste måde at få plads til flere samtidige forespørgsler i samme kvote.

Cross-region inference

Cross-region inference sender en forespørgsel gennem en inference-profil, og Bedrock vælger den region, der betjener den. Kald gennem en profil bruger modellens cross-region-kvote, som er adskilt fra on-demand-kvoten for kald i én region.

ThrottlingException og beslægtede fejl

AWS' eksempel er seks forsøg i alt, den første forespørgsel plus fem genforsøg. I boto3:

import boto3
from botocore.config import Config

config = Config(retries={
    "total_max_attempts": 6,
    "mode": "standard",
})
client = boto3.client(
    "bedrock-runtime", config=config
)

Sådan anmoder I om en kvoteforhøjelse

1. Åbn Service Quotas, vælg Amazon Bedrock, og tjek kontoens værdier for den model og region, I kalder.
2. Tjek først modellens livscyklus. AWS giver ikke forhøjelser for Legacy- eller Deprecated-modeller.
3. Anmod om forhøjelsen på "Cross-Region InvokeModel tokens per minute" for modellen. AWS Support tilbyder så at hæve on-demand-tokens pr. minut og tokens pr. dag i samme sag.
4. Vis reelt forbrug. Ifølge AWS prioriteres kunder, hvis trafik allerede bruger den nuværende kvote, og andre anmodninger kan afvises. Mindre forhøjelser godkendes ofte automatisk; større vurderes af AWS Support.
5. Endpointet bedrock-mantle har sin egen procedure.

# Kontoens Claude-kvoter, aktuel region
aws service-quotas list-service-quotas \
  --service-code bedrock \
  --query "Quotas[?contains(QuotaName,
    'Claude Sonnet 5.5')].[QuotaName,Value]" \
  --output table

# Anmod om forhøjelse med kvotekoden
aws service-quotas \
  request-service-quota-increase \
  --service-code bedrock \
  --quota-code L-XXXXXXXX \
  --desired-value 12000000

Provisioned Throughput og service tiers

Få mere ud af den kvote, I har

• Sæt max_tokens til det forventede output, da hele værdien reserveres ved starten af hver forespørgsel.
• Brug prompt caching til tilbagevendende kontekst.
• Begræns efter tokens og samtidighed. AWS advarer om, at en grænse alene på forespørgsler pr. minut ikke beskytter, når forespørgslernes størrelse ændrer sig.
• Skru op i trin, og hold øje med andelen af 429, 503 og 529 på hvert niveau.
• Flyt offline-arbejde til batch inference og latenstolerant arbejde til Flex Tier, hvor modellen understøtter det.

Ud over én kontos kvote

For at nå et oppetidsmål anbefaler AWS selv begrænsede genforsøg og fallback på tværs af regioner eller modeller i jeres applikation. En gateway gør det arbejde for jer, på tværs af flere udbydere.

Med Standard Compute bliver jeres Bedrock-konto én af flere veje for Claude, og I skal ikke selv ansøge om en Bedrock-kvote. Claude betjenes af Anthropic og de store clouds, og samme API når GPT, Gemini og åbne modeller som GLM, DeepSeek og MiniMax. Hvert trin går til den billigste model, der kan klare det, og til den billigste udbyder, der er hurtig nok.

For Claude i Europa sætter I en Europa-regel for virksomheden, et team eller en enkelt nøgle: hver forespørgsel, også gentagelser og fallbacks, betjenes så kun af godkendte europæiske inferens-endpoints. Claude Opus 5.5, Sonnet 5.5 og Haiku 5.5 kører i Europa på Google Vertex AI og Amazon Bedrock i Irland. Databehandleraftalen underskriver I i dashboardet.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.stdcmpt.com/v1",
    api_key=STANDARD_COMPUTE_KEY,
)

# "standardcompute" sender hvert trin til den
# billigste model, der kan klare det.
# For at låse Claude fast:
# model="anthropic/claude-sonnet-5.5"
client.chat.completions.create(
    model="standardcompute",
    messages=messages,
)

Om kvoter på Azure OpenAI, se Azure OpenAI kvoter. Hvordan Standard Compute fungerer for virksomheder, står på AI-gateway til virksomheder.

Ofte stillede spørgsmål

Kilder (kontrolleret 9. november 2026)

1. Quotas for Amazon Bedrock (engelsk)docs.aws.amazon.com
2. Quotas for the bedrock-runtime endpoint (engelsk)docs.aws.amazon.com
3. How tokens are counted in Amazon Bedrock (engelsk)docs.aws.amazon.com
4. Amazon Bedrock service quotas, AWS General Reference (engelsk)docs.aws.amazon.com
5. Cross-Region inference (engelsk)docs.aws.amazon.com
6. Troubleshooting Amazon Bedrock API error codes (engelsk)docs.aws.amazon.com
7. Scaling and throughput best practices (engelsk)docs.aws.amazon.com
8. Provisioned Throughput (engelsk)docs.aws.amazon.com
9. Service tiers for inference (engelsk)docs.aws.amazon.com
10. Requesting a quota increase, Service Quotas (engelsk)docs.aws.amazon.com
11. Claude Code on Amazon Bedrock (engelsk)code.claude.com

Læs også

• AI-gateway til virksomheder
• Azure OpenAI kvoter og grænser