Tokens per sekund
Tokens per sekund (TPS) er hastigheten en modell genererer svaret sitt med, målt i utdata-tokens per sekund for én forespørsel. Sammen med tiden til første token avgjør det hvor raskt et svar føles.
Hvorfor det er viktig for bedrifter
Den samme modellen kan kjøre med svært ulik hastighet hos ulike leverandører og på ulik maskinvare, så hastighet er like mye en egenskap ved leverandøren som ved modellen.
For agenter som kjører mange steg etter hverandre, blir treg utdata til minutter med venting per oppgave, ganget med hver person i teamet.
Eksempel
En agent kjører 40 steg etter hverandre, og hvert steg skriver rundt 500 tokens. Med 50 tokens per sekund tar selve genereringen nesten 7 minutter. Med 150 tokens per sekund tar den litt over 2 minutter.
Hva dette betyr for en bedrift som bruker KI-API-er
Når dere sammenligner leverandører av samme modell, be om utdatahastighet og tid til første token målt på deres egne prompter, ikke et overskriftstall. For en chatassistent avgjør tiden til første token om den føles rask; for agenter og batchjobber avgjør den jevne utdatahastigheten hvor lang tid en oppgave tar. En rapport på 2 000 tokens tar for eksempel rundt 40 sekunder å generere ved 50 tokens per sekund, og rundt 13 sekunder ved 150.
Hvor begrepet er definert: Ingen standardiseringsorganisasjon definerer det, men dokumentasjon for ytelsestesting gjør det. NVIDIAs NIM benchmarking metrics (på engelsk) definerer tid til første token, latens mellom tokens og totalt antall tokens per sekund, som beskrives som den samlede gjennomstrømningen av utdatatokens over alle samtidige forespørsler.
Slik løser Standard Compute det
Ett API gir dere frontier-modeller og åpne modeller, og hvert steg rutes til den billigste modellen som klarer det, hos den billigste leverandøren som er rask nok til å betjene det.
Spørsmål bedrifter stiller
- Måles tokens per sekund per bruker eller per system?
- Begge deler brukes, og de er lette å blande. Hastigheten per forespørsel er det én bruker ser. Systemgjennomstrømningen legger sammen utdata fra alle samtidige forespørsler, det NVIDIAs dokumentasjon kaller totalt antall tokens per sekund per system. En leverandør kan ha høy systemgjennomstrømning mens strømmen til hver bruker er treg.
- Hva er tid til første token?
- Ventetiden før det første utdatatokenet kommer. Den inkluderer kø og innlesing av prompten, så lange prompter og travle endepunkter øker den selv når utdatahastigheten er høy.
- Koster en raskere leverandør mer?
- Ikke nødvendigvis. Samme modell prises og leveres ulikt av ulike leverandører, så hastighet og pris må sammenlignes per leverandør, på deres egen arbeidslast.