Nopeusrajoitus ja kiintiö
Nopeusrajoitus (rate limit) rajaa, kuinka nopeasti tekoälymallia voi kutsua, esimerkiksi pyyntöinä tai tokeneina minuutissa. Kiintiö rajaa, kuinka paljon voitte kaikkiaan käyttää tai varata, esimerkiksi kuukausittaisena kulukattona tai tilillenne alueella myönnettynä kapasiteettina.
Miksi sillä on merkitystä yrityksille
Kun agentit alkavat saada HTTP 429 -virheitä, ratkaisu riippuu siitä, mikä raja tuli vastaan. Suurempi kuukausimäärä ei auta minuuttikohtaiseen rajaan eikä päinvastoin.
Palveluntarjoajat nimeävät rajat eri tavoin. Anthropic kuvaa Claude API:lle kaksi tyyppiä: spend limits eli kuukausittainen enimmäiskustannus ja rate limits, jotka mitataan pyyntöinä, syötetokeneina ja tuotostokeneina minuutissa kullekin malliluokalle. Microsoft kutsuu Azuren PTU-kiintiötä tilaus- ja aluekohtaiseksi käytäntörajaksi ja huomauttaa, ettei kiintiö takaa kapasiteettia.
Esimerkki
Tiimin agentit kaatuvat joka aamu kello 10.00 virheeseen 429. Lokeista näkyy, että syötetokenit minuutissa ovat nopeusrajoituksen tasolla, vaikka kuukausimäärästä on käytetty vasta pieni osa. Kuorman jakaminen useammalle palveluntarjoajalle ratkaisee ongelman; suurempi kuukausikiintiö ei sitä ratkaisisi.
Mitä tämä tarkoittaa yritykselle, joka käyttää tekoälyrajapintoja
Ennen kuin otatte agentin käyttöön koko tiimille, laskekaa yhteen sen lähettämät tokenit minuutissa huippuhetkellä ja verratkaa summaa jokaisen käyttämänsä mallin nopeusrajoitukseen, ei vain kuukausibudjettiin. Rajoja voidaan valvoa myös lyhyemmissä jaksoissa: Anthropic huomauttaa, että 60 pyynnön minuuttiraja voidaan toteuttaa yhtenä pyyntönä sekunnissa, joten lyhyet piikit voivat epäonnistua jo minuuttirajan alapuolella. Esimerkiksi 20 kehittäjää, jotka käynnistävät agenttinsa kello 9.00, voivat törmätä syötetokenien minuuttirajaan sekunneissa, vaikka kuukauden kulut ovat vielä pienet.
Missä käsite on määritelty: Jokainen toimittaja määrittelee omat rajansa. Anthropicin Claude API rate limits -sivu (englanniksi) määrittelee kulukatot (spend limits) ja nopeusrajoitukset (rate limits), ja Microsoftin provisioned throughput -dokumentaatio (englanniksi) määrittelee PTU-kiintiön tilaus- ja aluekohtaisesti.
Näin Standard Compute hoitaa sen
Ohjatkaa Claude Code ja Claude Desktop Standard Computen kautta, niin tiiminne ei enää törmää 5 tunnin ja viikon käyttörajoihin: agentit toimivat, kunnes kuukausibudjetti on käytetty. Claudea palvellaan useasta pilvestä, joten yhden palveluntarjoajan kiintiö tai käyttökatko ei pysäytä työtänne.
Yritysten usein kysymät kysymykset
- Miten nopeusrajoituksen 429-virhe erotetaan kulukaton 429-virheestä?
- Claude API:ssa molemmat palauttavat HTTP 429 -vastauksen virhetyypillä rate_limit_error. Nopeusrajoituksen vastauksessa voi olla retry-after-otsake; kulukaton vastauksessa sitä ei ole koskaan, ja sen virhekoodi on enforced_spend_limit_reached. Kulukattovirheen jälkeiset uusintayritykset epäonnistuvat, kunnes käyttö jatkuu.
- Auttaako kehotteiden välimuisti nopeusrajoituksiin?
- Claude API:ssa voi auttaa. Oletusarvoiset syötetokenien minuuttirajat laskevat vain välimuistin ulkopuoliset syötetokenit, joten välimuistista luettu sisältö ei kuluta rajaa.
- Voiko yhdelle tiimille antaa matalamman rajan?
- Anthropicilla voi asettaa jokaiselle työtilalle (workspace) omat kulukatot ja nopeusrajoitukset organisaation rajojen alapuolelle, jotta yksi työtila ei kuluta muiden tarvitsemaa kapasiteettia. Organisaation laajuiset rajat ovat silti voimassa.
Liittyvät käsitteet
Aiheeseen liittyvää
- Clauden käyttörajat yrityksen tiimeille
- Amazon Bedrock Claude: kiintiöt
- Azure OpenAI: kiintiöt
- Sanasto: tekoäly yrityksessä