LLM-ruter
En LLM-ruter er programvare som for hver forespørsel avgjør hvilken stor språkmodell og hvilken leverandør som skal svare. Den veier kvalitet, pris, hastighet og bedriftens retningslinjer, med faste regler eller en klassifikator.
Hvorfor det er viktig for bedrifter
De fleste stegene til en KI-agent er rutine: lese filer, oppsummere, formatere. Sendes disse stegene til en mindre modell, går kostnaden ned, mens de vanskelige stegene fortsatt får den sterkeste modellen.
En ruter gir dere også en reserverute. Når én leverandør er treg eller nede, går forespørselen til en annen godkjent leverandør av samme modell.
Eksempel
En kodeagent sender 1 000 forespørsler i løpet av en arbeidsøkt. Ruteren sender planlegging og vanskelige endringer til Claude Opus, og fillesing og oppsummeringer til en liten åpen modell. Regningen går ned, mens de vanskelige stegene beholder frontier-modellen.
Hva dette betyr for en bedrift som bruker KI-API-er
Går hvert kall til én frontier-modell, betaler dere frontier-pris også for steg en liten modell kunne klart. Med en ruter er API-kallet i koden det samme, mens hver forespørsel går til en modell som passer. Et team med en flyt for dokumentuttrekk lar for eksempel en liten modell hente ut enkle felt, og sender bare videre til en frontier-modell når svaret fra den lille modellen ikke består valideringen.
Hvor begrepet er definert: Det finnes ingen formell standard. En mye sitert definisjon fra forskningen står i RouteLLM: Learning to Route LLMs with Preference Data (Ong mfl., 2024, på engelsk): rutermodeller velger dynamisk mellom en sterkere og en svakere LLM under inferens.
Slik løser Standard Compute det
Ett API gir dere frontier-modeller og åpne modeller, og hvert steg rutes til den billigste modellen som klarer det, hos den billigste leverandøren som er rask nok til å betjene det.
Går en leverandør ned, går forespørselen automatisk over til en annen godkjent leverandør av samme modell, uten å forlate region- eller leverandørreglene deres.
Spørsmål bedrifter stiller
- Blir svarene dårligere med en LLM-ruter?
- Det kan skje hvis ruteren sender en vanskelig forespørsel til en for svak modell. Rutere stilles inn mot et kvalitetsmål: forfatterne bak RouteLLM rapporterer at kostnadene i noen tilfeller ble mer enn halvert uten at svarkvaliteten gikk ned. Resultatet avhenger av arbeidslasten, så test rutingen på deres egne prompter før dere stoler på den.
- Hva er forskjellen på en LLM-ruter og en KI-gateway?
- En ruter tar én avgjørelse: hvilken modell og hvilken leverandør som skal svare på denne forespørselen. En gateway er det bredere kontrollpunktet som håndhever tilgang, dataregler, budsjetter og logger for hver forespørsel. Mange gatewayer har en innebygd ruter.
- Kan en ruter bytte leverandør når en leverandør er nede?
- Ja, hvis samme modell tilbys av mer enn én leverandør, eller hvis en reservemodell er satt opp. Sjekk at reserverutene følger de samme data- og leverandørreglene som førstevalget; ellers kan et bytte sende data et sted dere ikke har godkjent.