Routeur LLM
Un routeur LLM est un logiciel qui décide, pour chaque requête, quel grand modèle de langage et quel fournisseur doivent y répondre. Il arbitre entre qualité, prix, vitesse et politique de l'entreprise, à l'aide de règles fixes ou d'un classifieur.
Pourquoi c'est important pour les entreprises
La plupart des étapes d'un agent IA sont routinières : lire des fichiers, résumer, mettre en forme. Confier ces étapes à un modèle plus petit réduit le coût, tandis que les étapes difficiles gardent le modèle le plus puissant.
Un routeur fournit aussi une solution de repli. Quand un fournisseur est lent ou en panne, la requête part vers un autre fournisseur approuvé du même modèle.
Exemple
Un agent de code envoie 1 000 requêtes au cours d'une session de travail. Le routeur confie la planification et les modifications difficiles à Claude Opus, et la lecture et le résumé de fichiers à un petit modèle ouvert : la facture baisse et les étapes difficiles gardent le modèle de pointe.
Ce que cela change pour une entreprise qui utilise des API d'IA
Si chaque appel part vers un modèle de pointe, vous payez le prix fort pour des étapes qu'un petit modèle saurait faire. Un routeur garde le même appel d'API dans votre code et envoie chaque requête vers un modèle adapté. Par exemple, une équipe qui exploite une chaîne d'extraction de documents confie l'extraction de champs simples à un petit modèle et ne passe à un modèle de pointe que si la sortie du petit modèle échoue à la validation.
Où le terme est défini : Il n'existe pas de norme formelle. Une définition souvent citée vient de la recherche : RouteLLM: Learning to Route LLMs with Preference Data (Ong et al., 2024, en anglais), où des modèles routeurs choisissent dynamiquement, au moment de l'inférence, entre un LLM plus fort et un LLM plus faible.
Ce que fait Standard Compute
Une seule API vous donne les modèles de pointe et les modèles open source, et elle envoie chaque étape au modèle le moins cher capable de la faire, servi par le fournisseur le moins cher assez rapide pour le faire.
Si un fournisseur tombe en panne, votre requête bascule automatiquement vers un autre fournisseur approuvé du même modèle, sans sortir de vos règles de région ou de fournisseur.
Questions fréquentes des entreprises
- Un routeur LLM dégrade-t-il la qualité des réponses ?
- Cela peut arriver si une requête difficile part vers un modèle trop faible. Les routeurs sont donc réglés sur un objectif de qualité : les auteurs de RouteLLM font état, dans certains cas, de coûts divisés par plus de deux sans perte de qualité. Les résultats dépendent de la charge de travail ; testez le routage sur vos propres prompts.
- Quelle différence entre un routeur LLM et une passerelle IA ?
- Un routeur prend une seule décision : quel modèle et quel fournisseur répondent à cette requête. Une passerelle est le point de contrôle plus large qui applique accès, règles de données, budgets et journaux à chaque requête. Beaucoup de passerelles intègrent un routeur.
- Un routeur peut-il basculer quand un fournisseur tombe en panne ?
- Oui, si le même modèle est proposé par plusieurs fournisseurs ou si un modèle de repli est prévu. Vérifiez que le repli respecte les mêmes règles de données et de fournisseurs que le premier choix ; sinon une bascule peut envoyer des données là où vous ne l'avez pas autorisé.