Tokens por segundo
Los tokens por segundo (TPS) son la velocidad a la que un modelo genera su respuesta, medida en tokens de salida por segundo para una solicitud. Junto al tiempo hasta el primer token, determinan lo rápida que se percibe una respuesta.
Por qué importa a las empresas
El mismo modelo puede funcionar a velocidades muy distintas según el proveedor y el hardware, así que la velocidad depende del proveedor tanto como del modelo.
En los agentes que encadenan muchos pasos, una generación lenta se traduce en minutos de espera por tarea, multiplicados por cada persona del equipo.
Ejemplo
Un agente encadena 40 pasos, y cada paso escribe unos 500 tokens. A 50 tokens por segundo, solo la generación tarda casi 7 minutos. A 150 tokens por segundo, tarda algo más de 2 minutos.
Qué significa para una empresa que usa API de IA
Cuando compare proveedores del mismo modelo, pida la velocidad de salida y el tiempo hasta el primer token medidos con sus propios prompts, no una cifra de catálogo. En un asistente de chat, el tiempo hasta el primer token decide si la respuesta parece ágil; en agentes y procesos por lotes, la velocidad de salida sostenida decide cuánto tarda una tarea. Por ejemplo, un informe de 2.000 tokens tarda unos 40 segundos en generarse a 50 tokens por segundo y unos 13 segundos a 150.
Dónde se define: Ningún organismo de normalización lo define; sí lo hace la documentación de benchmarks. Las métricas de benchmarking de NIM de NVIDIA (en inglés) definen el tiempo hasta el primer token, la latencia entre tokens y el total de tokens por segundo, que describen como el rendimiento total de tokens de salida en todas las solicitudes simultáneas.
Qué hace Standard Compute
Una sola API le da modelos de frontera y modelos de código abierto, y envía cada paso al modelo más barato capaz de hacerlo, servido por el proveedor más barato que sea lo bastante rápido.
Preguntas frecuentes de las empresas
- ¿Los tokens por segundo se miden por usuario o por sistema?
- Se usan las dos medidas, y es fácil confundirlas. La velocidad por solicitud es lo que ve un usuario. El rendimiento del sistema suma la salida de todas las solicitudes simultáneas, lo que la documentación de benchmarking de NVIDIA llama total de tokens por segundo por sistema. Un proveedor puede tener un rendimiento del sistema alto mientras el flujo de cada usuario va lento.
- ¿Qué es el tiempo hasta el primer token?
- La espera hasta que llega el primer token de salida. Incluye la cola y la lectura del prompt, así que los prompts largos y los endpoints saturados la alargan aunque la velocidad de salida sea alta.
- ¿Un proveedor más rápido cuesta más?
- No necesariamente. Cada proveedor fija el precio del mismo modelo y lo sirve a su manera, así que la velocidad y el precio hay que compararlos proveedor por proveedor, con su propia carga de trabajo.