Tokens per seconde
Tokens per seconde (TPS) is de snelheid waarmee een model zijn antwoord genereert, gemeten in outputtokens per seconde voor één verzoek. Samen met de tijd tot het eerste token bepaalt het hoe snel een antwoord aanvoelt.
Waarom dit belangrijk is voor bedrijven
Hetzelfde model kan bij verschillende providers en op verschillende hardware met heel verschillende snelheden draaien. Snelheid is dus net zo goed een eigenschap van de provider als van het model.
Bij agents die veel stappen achter elkaar uitvoeren, loopt trage output op tot minuten wachten per taak, vermenigvuldigd met iedereen in het team.
Voorbeeld
Een agent voert 40 stappen achter elkaar uit en elke stap schrijft ongeveer 500 tokens. Bij 50 tokens per seconde duurt alleen het genereren al bijna 7 minuten. Bij 150 tokens per seconde is het iets meer dan 2 minuten.
Wat dit betekent voor een bedrijf dat AI-API's gebruikt
Vergelijkt u providers van hetzelfde model, vraag dan naar de uitvoersnelheid en de tijd tot het eerste token, gemeten op uw eigen prompts, niet naar één kopcijfer. Bij een chatassistent bepaalt de tijd tot het eerste token of hij vlot aanvoelt; bij agents en batchtaken bepaalt de aanhoudende uitvoersnelheid hoe lang een taak duurt. Een rapport van 2.000 tokens kost bij 50 tokens per seconde bijvoorbeeld ongeveer 40 seconden om te genereren, en bij 150 tokens per seconde ongeveer 13 seconden.
Waar het begrip is gedefinieerd: Geen normalisatie-instelling definieert het; benchmarkdocumentatie wel. De NIM-benchmarkmetrics van NVIDIA (Engelstalig) definiëren de tijd tot het eerste token, de latency tussen tokens en het totaal aantal tokens per seconde, dat NVIDIA omschrijft als de totale doorvoer van outputtokens over alle gelijktijdige verzoeken.
Zo regelt Standard Compute dit
Eén API geeft u frontier- en open source modellen, en stuurt elke stap naar het goedkoopste model dat hem aankan en naar de goedkoopste provider die snel genoeg is om hem te bedienen.
Vragen die bedrijven stellen
- Worden tokens per seconde per gebruiker of per systeem gemeten?
- Allebei komt voor, en ze worden makkelijk verward. De snelheid per verzoek is wat één gebruiker ziet. De systeemdoorvoer telt de output van alle gelijktijdige verzoeken op; de benchmarkdocumentatie van NVIDIA noemt dat het totaal aantal tokens per seconde per systeem. Een provider kan dus een hoge systeemdoorvoer hebben terwijl de stream van elke gebruiker traag is.
- Wat is de tijd tot het eerste token?
- De wachttijd voordat het eerste outputtoken binnenkomt. Daarin zitten ook de wachtrij en het inlezen van de prompt, dus lange prompts en drukke endpoints verhogen die tijd, ook als de uitvoersnelheid hoog is.
- Is een snellere provider duurder?
- Niet per se. Hetzelfde model wordt door verschillende providers anders geprijsd en bediend, dus vergelijk snelheid en prijs per provider, op uw eigen workload.