Tokens pro Sekunde
Tokens pro Sekunde (TPS) sind die Geschwindigkeit, mit der ein Modell seine Antwort erzeugt, gemessen in Ausgabe-Tokens pro Sekunde für eine Anfrage. Zusammen mit der Zeit bis zum ersten Token bestimmen sie, wie schnell sich eine Antwort anfühlt.
Warum das für Unternehmen wichtig ist
Dasselbe Modell kann bei verschiedenen Anbietern und auf verschiedener Hardware sehr unterschiedlich schnell laufen. Geschwindigkeit ist also ebenso eine Eigenschaft des Anbieters wie des Modells.
Bei Agenten mit vielen Schritten hintereinander summiert sich langsame Ausgabe zu Minuten Wartezeit pro Aufgabe, multipliziert mit jeder Person im Team.
Beispiel
Ein Agent führt 40 Schritte hintereinander aus, jeder schreibt rund 500 Tokens. Bei 50 Tokens pro Sekunde dauert allein die Generierung fast 7 Minuten, bei 150 Tokens pro Sekunde gut 2 Minuten.
So setzt Standard Compute das um
Eine einzige API gibt Ihnen Frontier- und Open-Source-Modelle und leitet jeden Schritt an das günstigste Modell, das ihn erledigen kann, und an den günstigsten Anbieter, der schnell genug ist.