Tokens pr. sekund
Tokens pr. sekund (TPS) er den hastighed, en model genererer sit svar med, målt i output-tokens pr. sekund for én forespørgsel. Sammen med tiden til første token afgør det, hvor hurtigt et svar føles.
Hvorfor det betyder noget for virksomheder
Den samme model kan køre med meget forskellig hastighed hos forskellige udbydere og på forskellig hardware, så hastighed er lige så meget en egenskab ved udbyderen som ved modellen.
For agenter, der kører mange trin efter hinanden, bliver langsomt output til minutters ventetid pr. opgave, ganget med hver person i teamet.
Eksempel
En agent kører 40 trin efter hinanden, og hvert trin skriver omkring 500 tokens. Med 50 tokens pr. sekund tager selve genereringen næsten 7 minutter. Med 150 tokens pr. sekund tager den lidt over 2 minutter.
Hvad det betyder for en virksomhed, der bruger AI-API'er
Når I sammenligner udbydere af samme model, så bed om outputhastighed og tid til første token målt på jeres egne prompts, ikke et overskriftstal. For en chatassistent afgør tiden til første token, om den føles hurtig; for agenter og batchjob afgør den vedvarende outputhastighed, hvor lang tid en opgave tager. En rapport på 2.000 tokens tager for eksempel omkring 40 sekunder at generere ved 50 tokens pr. sekund og omkring 13 sekunder ved 150.
Hvor begrebet er defineret: Intet standardiseringsorgan definerer det; det gør benchmarkdokumentation. NVIDIAs NIM benchmarking metrics (på engelsk) definerer tid til første token, latenstid mellem tokens og samlet antal tokens pr. sekund, som beskrives som den samlede outputgennemstrømning af tokens på tværs af alle samtidige forespørgsler.
Sådan løser Standard Compute det
Ét API giver jer frontiermodeller og åbne modeller, og hvert trin sendes til den billigste model, der kan klare det, hos den billigste udbyder, der er hurtig nok til at betjene det.
Spørgsmål, virksomheder stiller
- Måles tokens pr. sekund pr. bruger eller pr. system?
- Begge dele bruges, og de er lette at forveksle. Hastigheden pr. forespørgsel er det, én bruger oplever. Systemets gennemstrømning lægger output sammen på tværs af alle samtidige forespørgsler, hvilket NVIDIAs benchmarkdokumentation kalder samlet antal tokens pr. sekund pr. system. En udbyder kan have høj gennemstrømning i systemet, mens hver brugers strøm er langsom.
- Hvad er tid til første token?
- Ventetiden, før det første outputtoken kommer. Den omfatter kø og indlæsning af prompten, så lange prompts og travle endpoints øger den, selv når outputhastigheden er høj.
- Koster en hurtigere udbyder mere?
- Ikke nødvendigvis. Samme model prissættes og leveres forskelligt hos forskellige udbydere, så hastighed og pris skal sammenlignes pr. udbyder og på jeres egen arbejdsbyrde.