Routage de modèles
Le routage de modèles consiste à envoyer chaque requête d'IA à un modèle choisi pour cette requête, au lieu de tout envoyer à un modèle unique. Le choix se fait par des règles, par exemple selon le type de tâche, l'équipe ou la classe de données, ou automatiquement par un classifieur.
Pourquoi c'est important pour les entreprises
Les prix par token varient fortement d'un modèle à l'autre. Confier le travail routinier à des modèles moins chers est l'un des principaux leviers sur la facture d'IA.
Le routage se joue à deux niveaux. Le même modèle est souvent servi par plusieurs fournisseurs, avec des prix, des vitesses, des localisations et des contrats différents : le choix du fournisseur compte autant que celui du modèle.
Exemple
Le tri des tickets d'une équipe support part vers un modèle rapide et peu coûteux, les brouillons de réponse aux clients vers un modèle de pointe, et tout ce qui est marqué comme donnée personnelle uniquement vers des modèles servis par des points de terminaison européens.
Ce que cela change pour une entreprise qui utilise des API d'IA
En entreprise, le routage de modèles commence par quelques règles écrites : quels travaux peuvent utiliser quels modèles, et quelles données peuvent aller où. Les premières règles sont souvent un modèle peu coûteux pour la classification, un modèle de pointe pour les textes destinés aux clients et des points de terminaison européens pour tout ce qui contient des données personnelles. Le routage automatique va plus loin : le routeur de modèles de Microsoft Foundry, dans son mode Balanced par défaut, retient les modèles proches du meilleur pour un prompt, par exemple à 1 à 2 % de qualité, et choisit le plus économique.
Où le terme est défini : Aucune loi ni norme ne le définit. La documentation des éditeurs décrit des mises en œuvre, par exemple le routeur de modèles de Microsoft Foundry, un modèle de langage entraîné qui envoie chaque prompt en temps réel vers le modèle le plus adapté.
Ce que fait Standard Compute
Une seule API vous donne les modèles de pointe et les modèles open source, et elle envoie chaque étape au modèle le moins cher capable de la faire, servi par le fournisseur le moins cher assez rapide pour le faire.
Décidez quels modèles chaque clé peut utiliser, pour que chaque application et chaque membre de l'équipe dispose exactement des modèles que vous approuvez.
Questions fréquentes des entreprises
- Comment fonctionne le routage intelligent de modèles ?
- Un classifieur, souvent un petit modèle de langage, lit chaque prompt et estime sa difficulté et le type de tâche. Il choisit ensuite le modèle le moins cher censé atteindre un seuil de qualité, ou le plus performant si vous privilégiez la qualité. Le routeur de Microsoft Foundry analyse par exemple la complexité, le raisonnement et le type de tâche, et propose les modes Balanced, Cost et Quality.
- Le routage peut-il envoyer nos données vers un modèle non autorisé ?
- Seulement si le pool de routage le contient ; limitez donc ce pool aux modèles approuvés. Le routeur de Microsoft permet par exemple de choisir un sous-ensemble de modèles qui sert aussi d'ensemble de repli, afin que les prompts ne soient pas traités par des modèles non autorisés.
- Le routage de modèles, est-ce de la répartition de charge ?
- Non. La répartition de charge distribue les requêtes entre des copies du même modèle ou du même point de terminaison. Le routage choisit un modèle ou un fournisseur différent pour chaque requête, selon son contenu ou des règles.