Modelroutering
Modelroutering is het sturen van elk AI-verzoek naar een model dat voor dat verzoek is gekozen, in plaats van alles naar één vast model te sturen. De keuze volgt uit regels, zoals taaktype, team of dataclassificatie, of wordt automatisch gemaakt door een classifier.
Waarom dit belangrijk is voor bedrijven
Tokenprijzen verschillen sterk tussen modellen. Routinewerk naar goedkopere modellen sturen is een van de grootste hefbomen op de AI-rekening.
Routering gebeurt op twee niveaus. Hetzelfde model wordt vaak door meerdere providers bediend, met verschillende prijzen, snelheden, locaties en contracten, dus de keuze van de provider weegt even zwaar als de keuze van het model.
Voorbeeld
Bij een supportteam gaat het indelen van tickets naar een snel, goedkoop model, conceptantwoorden aan klanten gaan naar een frontier-model, en alles wat als persoonsgegevens is gemarkeerd gaat alleen naar modellen op Europese endpoints.
Wat dit betekent voor een bedrijf dat AI-API's gebruikt
Voor een bedrijf begint modelroutering met een paar schriftelijke regels: welk soort werk welke modellen mag gebruiken, en welke data waarheen mag. Gebruikelijke eerste regels zijn een goedkoop model voor classificatie, een frontier-model voor tekst die naar klanten gaat, en Europese endpoints voor alles met persoonsgegevens. Automatische routering gaat verder: de modelrouter van Microsoft in Foundry bekijkt in de standaardmodus Balanced de modellen die binnen een kleine kwaliteitsmarge van het beste model voor een prompt vallen, bijvoorbeeld 1% tot 2%, en kiest daaruit het meest kosteneffectieve.
Waar het begrip is gedefinieerd: Geen wet of norm definieert het. Documentatie van leveranciers beschrijft implementaties, zoals de modelrouter voor Microsoft Foundry van Microsoft: een getraind taalmodel dat elke prompt in realtime naar het meest geschikte grote taalmodel stuurt.
Zo regelt Standard Compute dit
Eén API geeft u frontier- en open source modellen, en stuurt elke stap naar het goedkoopste model dat hem aankan en naar de goedkoopste provider die snel genoeg is om hem te bedienen.
Bepaal welke modellen elke sleutel mag gebruiken, zodat elke applicatie en elk teamlid precies de modellen krijgt die u goedkeurt.
Vragen die bedrijven stellen
- Hoe werkt intelligente modelroutering?
- Een classifier, vaak een klein taalmodel, leest elke prompt en schat in hoe moeilijk die is en om wat voor taak het gaat. Daarna kiest hij het goedkoopste model dat naar verwachting een kwaliteitsgrens haalt, of het sterkste model als u kwaliteit boven kosten zet. De modelrouter van Microsoft Foundry analyseert prompts bijvoorbeeld op complexiteit, redeneren en taaktype en biedt de modi Balanced, Cost en Quality.
- Kan routering onze data naar een model sturen dat we niet hebben goedgekeurd?
- Alleen als dat model in de routeringspool zit, dus beperk de pool tot goedgekeurde modellen. Bij de modelrouter van Microsoft kiest u bijvoorbeeld een subset van modellen, en die subset geldt ook als fallbackset, zodat prompts niet door niet-goedgekeurde modellen worden verwerkt.
- Is modelroutering hetzelfde als load balancing?
- Nee. Load balancing verdeelt verzoeken over kopieën van hetzelfde model of endpoint. Routering kiest per verzoek een ander model of een andere provider, op basis van de inhoud of van regels.