Router LLM
Un router LLM es un software que decide, para cada solicitud, qué gran modelo de lenguaje y qué proveedor deben responderla. Equilibra calidad, precio, velocidad y política de la empresa, mediante reglas fijas o un clasificador.
Por qué importa a las empresas
La mayoría de los pasos de un agente de IA son rutinarios: leer archivos, resumir, dar formato. Enviar esos pasos a un modelo más pequeño reduce el coste, mientras los pasos difíciles conservan el modelo más potente.
Un router también ofrece una alternativa. Cuando un proveedor va lento o cae, la solicitud pasa a otro proveedor aprobado del mismo modelo.
Ejemplo
Un agente de programación envía 1.000 solicitudes durante una sesión de trabajo. El router asigna la planificación y los cambios difíciles a Claude Opus, y la lectura y el resumen de archivos a un modelo abierto pequeño: la factura baja y los pasos difíciles conservan el modelo de frontera.
Qué significa para una empresa que usa API de IA
Si cada llamada va a un modelo de frontera, paga precios de frontera también por pasos que un modelo pequeño podría resolver. Un router mantiene la misma llamada a la API en su código, mientras cada solicitud va a un modelo adecuado para ella. Por ejemplo, un equipo con un flujo de extracción de datos de documentos envía la extracción de campos sencillos a un modelo pequeño y solo escala a un modelo de frontera cuando la salida del modelo pequeño no supera la validación.
Dónde se define: No existe una norma formal. Una definición muy citada procede de la investigación: RouteLLM: Learning to Route LLMs with Preference Data (Ong et al., 2024, en inglés) describe modelos router que eligen de forma dinámica, durante la inferencia, entre un LLM más potente y otro más débil.
Qué hace Standard Compute
Una sola API le da modelos de frontera y modelos de código abierto, y envía cada paso al modelo más barato capaz de hacerlo, servido por el proveedor más barato que sea lo bastante rápido.
Si un proveedor cae, su solicitud pasa automáticamente a otro proveedor aprobado del mismo modelo, sin salir de sus reglas de región ni de proveedores.
Preguntas frecuentes de las empresas
- ¿Un router LLM empeora la calidad de las respuestas?
- Puede ocurrir si envía una solicitud difícil a un modelo demasiado débil. Los routers se ajustan a un objetivo de calidad: los autores de RouteLLM indican que en algunos casos redujeron los costes a menos de la mitad sin empeorar la calidad de las respuestas. El resultado depende de la carga de trabajo, así que pruebe el enrutamiento con sus propios prompts antes de confiar en él.
- ¿Qué diferencia hay entre un router LLM y una pasarela de IA?
- Un router toma una sola decisión: qué modelo y qué proveedor responden a esta solicitud. Una pasarela es el punto de control más amplio que aplica acceso, reglas de datos, presupuestos y registros a cada solicitud. Muchas pasarelas incluyen un router.
- ¿Puede un router cambiar de proveedor cuando uno cae?
- Sí, si el mismo modelo lo ofrece más de un proveedor o si hay un modelo de reserva configurado. Compruebe que las alternativas siguen las mismas reglas de datos y de proveedores que la primera opción; si no, una conmutación por error puede enviar datos a un sitio que usted no aprobó.