Modellroutning
Modellroutning innebär att varje AI-förfrågan skickas till en modell som väljs för just den förfrågan, i stället för att allt går till en och samma modell. Valet görs med regler, till exempel efter uppgiftstyp, team eller dataklass, eller automatiskt av en klassificerare.
Varför det spelar roll för företag
Priset per token skiljer sig mycket mellan modeller. Att låta rutinarbete gå till billigare modeller är en av de största hävstängerna på en AI-faktura.
Routning sker på två nivåer. Samma modell betjänas ofta av flera leverantörer med olika priser, hastigheter, platser och avtal, så valet av leverantör väger lika tungt som valet av modell.
Exempel
Ett supportteams sortering av ärenden går till en snabb och billig modell, svarsutkast till kunder går till en frontiermodell, och allt som är märkt som personuppgifter går endast till modeller på europeiska slutpunkter.
Vad det betyder för ett företag som använder AI-API:er
För ett företag börjar modellroutning som några skrivna regler: vilka typer av arbete som får använda vilka modeller, och vilka data som får gå vart. Typiska första regler är en billig modell för klassificering, en frontiermodell för text som når kunder och europeiska slutpunkter för allt som innehåller personuppgifter. Automatisk routning går längre: Microsofts modellrouter i Foundry väger i standardläget Balanced in de modeller som ligger inom ett litet kvalitetsintervall från den bästa för en prompt, till exempel 1 till 2 procent, och väljer den mest kostnadseffektiva.
Var begreppet definieras: Ingen lag eller standard definierar det. Leverantörernas dokumentation beskriver implementationer, till exempel Microsofts modellrouter för Microsoft Foundry, en tränad språkmodell som i realtid routar varje prompt till den mest lämpliga stora språkmodellen.
Så hanterar Standard Compute det
Ett enda API ger er frontiermodeller och modeller med öppen källkod, och varje steg går till den billigaste modellen som klarar det och till den billigaste leverantören som är tillräckligt snabb för att betjäna det.
Bestäm vilka modeller varje nyckel får använda, så att varje applikation och varje teammedlem får exakt de modeller ni godkänner.
Vanliga frågor från företag
- Hur fungerar intelligent modellroutning?
- En klassificerare, ofta en liten språkmodell, läser varje prompt och bedömer hur svår den är och vilken typ av uppgift det gäller. Sedan väljer den den billigaste modellen som väntas klara en kvalitetsnivå, eller den starkaste modellen om ni prioriterar kvalitet framför kostnad. Microsofts modellrouter i Foundry analyserar till exempel prompter utifrån komplexitet, resonemang och uppgiftstyp och har lägena Balanced, Cost och Quality.
- Kan routningen skicka våra data till en modell vi inte har godkänt?
- Bara om modellen ingår i routningspoolen, så begränsa poolen till godkända modeller. Med Microsofts modellrouter kan ni till exempel välja en delmängd av modeller som också används som reservuppsättning, så att prompter inte behandlas av modeller som inte är godkända.
- Är modellroutning samma sak som lastbalansering?
- Nej. Lastbalansering fördelar förfrågningar mellan kopior av samma modell eller slutpunkt. Routning väljer en annan modell eller leverantör för varje förfrågan, utifrån innehållet eller utifrån regler.