Enrutamiento de modelos
El enrutamiento de modelos consiste en enviar cada solicitud de IA a un modelo elegido para esa solicitud, en lugar de enviarlo todo a un único modelo. La elección se hace con reglas, por ejemplo según el tipo de tarea, el equipo o la clase de datos, o automáticamente con un clasificador.
Por qué importa a las empresas
Los precios por token varían mucho de un modelo a otro. Enviar el trabajo rutinario a modelos más baratos es una de las principales palancas sobre la factura de IA.
El enrutamiento tiene dos niveles. El mismo modelo suele servirlo más de un proveedor, con precios, velocidades, ubicaciones y contratos distintos, así que elegir el proveedor importa tanto como elegir el modelo.
Ejemplo
La clasificación de incidencias de un equipo de soporte va a un modelo rápido y barato, los borradores de respuesta a clientes a un modelo de frontera, y todo lo marcado como dato personal solo a modelos servidos por endpoints europeos.
Qué significa para una empresa que usa API de IA
En una empresa, el enrutamiento de modelos empieza con unas pocas reglas escritas: qué tipo de trabajo puede usar qué modelos y qué datos pueden ir a dónde. Las primeras reglas suelen ser un modelo barato para clasificar, un modelo de frontera para los textos dirigidos a clientes y endpoints europeos para todo lo que contenga datos personales. El enrutamiento automático va más allá: el enrutador de modelos de Microsoft Foundry, en su modo predeterminado Balanced, tiene en cuenta los modelos que quedan dentro de un margen pequeño de calidad respecto al mejor para cada prompt, por ejemplo del 1 % al 2 %, y elige el más rentable.
Dónde se define: Ninguna ley ni norma lo define. La documentación de los fabricantes describe implementaciones, por ejemplo el enrutador de modelos de Microsoft Foundry, un modelo de lenguaje entrenado que envía cada prompt en tiempo real al gran modelo de lenguaje más adecuado.
Qué hace Standard Compute
Una sola API le da modelos de frontera y modelos de código abierto, y envía cada paso al modelo más barato capaz de hacerlo, servido por el proveedor más barato que sea lo bastante rápido.
Decida qué modelos puede usar cada clave, para que cada aplicación y cada miembro del equipo tenga exactamente los modelos que usted aprueba.
Preguntas frecuentes de las empresas
- ¿Cómo funciona el enrutamiento inteligente de modelos?
- Un clasificador, a menudo un modelo de lenguaje pequeño, lee cada prompt y estima su dificultad y el tipo de tarea. Después elige el modelo más barato que se espera que alcance un nivel de calidad, o el modelo más potente si usted prioriza la calidad sobre el coste. El enrutador de modelos de Microsoft Foundry, por ejemplo, analiza la complejidad, el razonamiento y el tipo de tarea de los prompts y ofrece los modos Balanced, Cost y Quality.
- ¿Puede el enrutamiento enviar mis datos a un modelo que no he aprobado?
- Solo si ese modelo está en el conjunto de enrutamiento, así que limite el conjunto a los modelos aprobados. El enrutador de modelos de Microsoft, por ejemplo, permite elegir un subconjunto de modelos y lo usa también como conjunto de reserva, de modo que ningún modelo no aprobado procesa los prompts.
- ¿El enrutamiento de modelos es lo mismo que el equilibrio de carga?
- No. El equilibrio de carga reparte las solicitudes entre copias del mismo modelo o endpoint. El enrutamiento elige un modelo o un proveedor distinto para cada solicitud, según su contenido o según unas reglas.