Token al secondo
I token al secondo (TPS) indicano la velocità con cui un modello genera la risposta, misurata in token di output al secondo per una richiesta. Insieme al tempo al primo token, determinano quanto una risposta appare rapida.
Perché conta per le aziende
Lo stesso modello può girare a velocità molto diverse a seconda del provider e dell'hardware, quindi la velocità dipende dal provider quanto dal modello.
Per gli agenti che concatenano molti passaggi, una generazione lenta si traduce in minuti di attesa per attività, moltiplicati per ogni persona del team.
Esempio
Un agente concatena 40 passaggi, e ogni passaggio scrive circa 500 token. A 50 token al secondo la sola generazione richiede quasi 7 minuti. A 150 token al secondo richiede poco più di 2 minuti.
Cosa significa per un'azienda che usa API di IA
Quando confrontate i provider di uno stesso modello, chiedete la velocità di output e il tempo al primo token misurati sui vostri prompt, non un valore di vetrina. Per un assistente in chat è il tempo al primo token a decidere se sembra reattivo; per agenti e job batch è la velocità di output sostenuta a decidere quanto dura un'attività. Per esempio, un report di 2.000 token richiede circa 40 secondi di generazione a 50 token al secondo e circa 13 secondi a 150.
Dove è definito: Nessun ente di normazione lo definisce; lo fa la documentazione dei benchmark. Le metriche di benchmarking di NVIDIA NIM (in inglese) definiscono il tempo al primo token, la latenza tra token e i token totali al secondo, descritti come il throughput totale di token di output su tutte le richieste simultanee.
Cosa fa Standard Compute
Un'unica API vi dà modelli di frontiera e modelli open source, e invia ogni passaggio al modello più economico in grado di svolgerlo, servito dal provider più economico abbastanza veloce da farlo.
Domande frequenti delle aziende
- I token al secondo si misurano per utente o per sistema?
- Si usano entrambe le misure, ed è facile confonderle. La velocità per richiesta è quella che vede un singolo utente. Il throughput di sistema somma l'output di tutte le richieste simultanee, ciò che la documentazione di benchmarking di NVIDIA chiama token totali al secondo per sistema. Un provider può avere un throughput di sistema alto mentre il flusso di ogni utente è lento.
- Che cos'è il tempo al primo token?
- L'attesa prima che arrivi il primo token di output. Comprende la coda e la lettura del prompt, quindi prompt lunghi ed endpoint carichi lo fanno salire anche quando la velocità di output è alta.
- Un provider più veloce costa di più?
- Non necessariamente. Lo stesso modello ha prezzi e prestazioni diversi da un provider all'altro, quindi velocità e prezzo vanno confrontati provider per provider, sul vostro carico di lavoro.