Tokens per sekund
Tokens per sekund (TPS) är den hastighet med vilken en modell genererar sitt svar, mätt i utdatatokens per sekund för en enskild förfrågan. Tillsammans med tiden till första token avgör det hur snabbt ett svar känns.
Varför det spelar roll för företag
Samma modell kan köras i mycket olika hastighet hos olika leverantörer och på olika hårdvara, så hastigheten är lika mycket en egenskap hos leverantören som hos modellen.
För agenter som kör många steg i rad blir långsam utdata till minuter av väntan per uppgift, multiplicerat med varje person i teamet.
Exempel
En agent kör 40 steg i rad och varje steg skriver omkring 500 tokens. Med 50 tokens per sekund tar enbart genereringen nästan 7 minuter. Med 150 tokens per sekund tar den drygt 2 minuter.
Vad det betyder för ett företag som använder AI-API:er
När ni jämför leverantörer av samma modell, be om utmatningshastighet och tid till första token mätta på era egna prompter, inte en rubriksiffra. För en chattassistent avgör tiden till första token om den känns snabb; för agenter och batchjobb avgör den uthålliga utmatningshastigheten hur lång tid en uppgift tar. En rapport på 2 000 tokens tar till exempel cirka 40 sekunder att generera med 50 tokens per sekund och cirka 13 sekunder med 150.
Var begreppet definieras: Inget standardiseringsorgan definierar det; dokumentation för prestandatester gör det. NVIDIA:s NIM benchmarking metrics (på engelska) definierar tid till första token, latens mellan tokens och totalt antal tokens per sekund, som beskrivs som den totala genomströmningen av utdatatokens över alla samtidiga förfrågningar.
Så hanterar Standard Compute det
Ett enda API ger er frontiermodeller och modeller med öppen källkod, och varje steg går till den billigaste modellen som klarar det och till den billigaste leverantören som är tillräckligt snabb för att betjäna det.
Vanliga frågor från företag
- Mäts tokens per sekund per användare eller per system?
- Båda används, och de är lätta att blanda ihop. Hastigheten per förfrågan är vad en användare ser. Systemets genomströmning summerar utdata över alla samtidiga förfrågningar, vilket NVIDIA:s dokumentation för prestandatester kallar totalt antal tokens per sekund per system. En leverantör kan ha hög genomströmning i systemet medan varje användares ström går långsamt.
- Vad är tid till första token?
- Väntetiden innan den första utdatatoken kommer. Den omfattar köande och inläsning av prompten, så långa prompter och belastade slutpunkter ökar den även när utmatningshastigheten är hög.
- Kostar en snabbare leverantör mer?
- Inte nödvändigtvis. Samma modell prissätts och körs olika hos olika leverantörer, så hastighet och pris måste jämföras per leverantör, på er egen arbetslast.