Modellruting
Modellruting er praksisen med å sende hver KI-forespørsel til en modell som er valgt for akkurat den forespørselen, i stedet for å sende alt til én fast modell. Valget gjøres med regler, for eksempel etter oppgavetype, team eller dataklasse, eller automatisk av en klassifikator.
Hvorfor det er viktig for bedrifter
Prisen per token varierer mye mellom modeller. Å rute rutinearbeid til billigere modeller er en av de største spakene på KI-regningen.
Ruting skjer på to nivåer. Den samme modellen betjenes ofte av flere leverandører med ulike priser, hastigheter, plasseringer og avtaler, så valget av leverandør betyr like mye som valget av modell.
Eksempel
Sortering av saker i et supportteam går til en rask og rimelig modell, utkast til svar til kunder går til en frontier-modell, og alt som er merket som personopplysninger, går bare til modeller på europeiske endepunkter.
Hva dette betyr for en bedrift som bruker KI-API-er
For en bedrift starter modellruting som noen få skriftlige regler: hvilke typer arbeid som kan bruke hvilke modeller, og hvilke data som kan gå hvor. Typiske første regler er en rimelig modell til klassifisering, en frontier-modell til tekst som går til kunder, og europeiske endepunkter for alt som inneholder personopplysninger. Automatisk ruting går lenger: Microsofts modellruter i Foundry vurderer i standardmodusen Balanced modellene som ligger innenfor et lite kvalitetsspenn fra den beste modellen for en prompt, for eksempel 1 % til 2 %, og velger den mest kostnadseffektive.
Hvor begrepet er definert: Ingen lov eller standard definerer det. Leverandørenes dokumentasjon beskriver implementasjoner, for eksempel Microsofts Model router for Microsoft Foundry (på engelsk), en trent språkmodell som ruter hver prompt i sanntid til den best egnede store språkmodellen.
Slik løser Standard Compute det
Ett API gir dere frontier-modeller og åpne modeller, og hvert steg rutes til den billigste modellen som klarer det, hos den billigste leverandøren som er rask nok til å betjene det.
Bestem hvilke modeller hver nøkkel kan bruke, så hver applikasjon og hvert teammedlem får nøyaktig de modellene dere godkjenner.
Spørsmål bedrifter stiller
- Hvordan fungerer intelligent modellruting?
- En klassifikator, ofte en liten språkmodell, leser hver prompt og anslår hvor vanskelig den er og hva slags oppgave det er. Deretter velger den den rimeligste modellen som ventes å nå et kvalitetskrav, eller den sterkeste modellen hvis dere setter kvalitet foran kostnad. Microsofts modellruter i Foundry analyserer for eksempel prompter etter kompleksitet, resonnering og oppgavetype, og har modusene Balanced, Cost og Quality.
- Kan rutingen sende dataene våre til en modell vi ikke har godkjent?
- Bare hvis modellen er med i utvalget rutingen velger fra, så begrens utvalget til godkjente modeller. Med Microsofts modellruter velger dere for eksempel et utvalg modeller, og det samme utvalget brukes som reservesett, så promptene ikke behandles av modeller som ikke er godkjent.
- Er modellruting det samme som lastfordeling?
- Nei. Lastfordeling sprer forespørsler over kopier av samme modell eller endepunkt. Ruting velger en annen modell eller leverandør for hver forespørsel, ut fra innholdet eller ut fra regler.