Tokens par seconde
Les tokens par seconde (TPS) désignent la vitesse à laquelle un modèle génère sa réponse, mesurée en tokens de sortie par seconde pour une requête. Avec le délai avant le premier token, ils déterminent la rapidité ressentie d'une réponse.
Pourquoi c'est important pour les entreprises
Le même modèle peut tourner à des vitesses très différentes selon le fournisseur et le matériel : la vitesse dépend du fournisseur autant que du modèle.
Pour les agents qui enchaînent de nombreuses étapes, une génération lente se traduit par des minutes d'attente par tâche, multipliées par chaque personne de l'équipe.
Exemple
Un agent enchaîne 40 étapes, et chaque étape écrit environ 500 tokens. À 50 tokens par seconde, la génération seule prend près de 7 minutes. À 150 tokens par seconde, elle prend un peu plus de 2 minutes.
Ce que cela change pour une entreprise qui utilise des API d'IA
Quand vous comparez des fournisseurs d'un même modèle, demandez la vitesse de sortie et le délai avant le premier token mesurés sur vos propres prompts, pas un chiffre vitrine. Pour un assistant conversationnel, le délai avant le premier token fait la différence ressentie ; pour les agents et les traitements par lots, c'est la vitesse soutenue qui fixe la durée d'une tâche. Par exemple, un rapport de 2 000 tokens prend environ 40 secondes à 50 tokens par seconde et environ 13 secondes à 150.
Où le terme est défini : Aucun organisme de normalisation ne le définit ; la documentation de benchmark, si. Les métriques de benchmark NIM de NVIDIA (en anglais) définissent le délai avant le premier token, la latence entre tokens et le total de tokens par seconde, c'est-à-dire le débit de sortie sur toutes les requêtes simultanées.
Ce que fait Standard Compute
Une seule API vous donne les modèles de pointe et les modèles open source, et elle envoie chaque étape au modèle le moins cher capable de la faire, servi par le fournisseur le moins cher assez rapide pour le faire.
Questions fréquentes des entreprises
- Les tokens par seconde se mesurent-ils par utilisateur ou par système ?
- Les deux existent et on les confond facilement. La vitesse par requête est ce que voit un utilisateur. Le débit système additionne la sortie de toutes les requêtes simultanées, ce que NVIDIA appelle le total de tokens par seconde par système. Un fournisseur peut afficher un débit système élevé alors que le flux de chaque utilisateur est lent.
- Qu'est-ce que le délai avant le premier token ?
- L'attente avant l'arrivée du premier token de sortie. Il inclut la file d'attente et la lecture du prompt ; il augmente donc avec les longs prompts et les points de terminaison chargés, même quand la vitesse de sortie est élevée.
- Un fournisseur plus rapide coûte-t-il plus cher ?
- Pas forcément. Un même modèle est tarifé et servi différemment selon les fournisseurs ; comparez vitesse et prix fournisseur par fournisseur, sur votre propre charge.