LLM-router
En LLM-router er software, der for hver forespørgsel afgør, hvilken stor sprogmodel og hvilken udbyder der skal svare. Den vejer kvalitet, pris, hastighed og virksomhedens politik op mod hinanden, med faste regler eller en klassifikator.
Hvorfor det betyder noget for virksomheder
De fleste trin, en AI-agent tager, er rutine: læse filer, opsummere, formatere. Sendes de trin til en mindre model, falder omkostningen, mens de svære trin stadig får den stærkeste model.
En router giver jer også en fallback. Når én udbyder er langsom eller nede, går forespørgslen til en anden godkendt udbyder af samme model.
Eksempel
En kodeagent sender 1.000 forespørgsler i løbet af en arbejdssession. Routeren sender planlægning og svære ændringer til Claude Opus og fillæsning og opsummeringer til en lille åben model. Regningen falder, mens de svære trin beholder frontiermodellen.
Hvad det betyder for en virksomhed, der bruger AI-API'er
Går hvert kald til én frontiermodel, betaler I frontierpriser også for trin, som en lille model kunne klare. En router lader API-kaldet i jeres kode være det samme, mens hver forespørgsel sendes til en model, der passer til den. Et team med et flow til dokumentudtræk sender for eksempel simpelt feltudtræk til en lille model og eskalerer kun til en frontiermodel, når den lille models svar ikke består valideringen.
Hvor begrebet er defineret: Der findes ingen formel standard. En ofte citeret definition fra forskningen står i RouteLLM: Learning to Route LLMs with Preference Data (Ong et al., 2024, på engelsk), som beskriver routermodeller, der under inferens dynamisk vælger mellem en stærkere og en svagere LLM.
Sådan løser Standard Compute det
Ét API giver jer frontiermodeller og åbne modeller, og hvert trin sendes til den billigste model, der kan klare det, hos den billigste udbyder, der er hurtig nok til at betjene det.
Går en udbyder ned, skifter jeres forespørgsel automatisk til en anden godkendt udbyder af samme model, uden at forlade jeres regions- eller udbyderregler.
Spørgsmål, virksomheder stiller
- Giver en LLM-router dårligere svar?
- Det kan den, hvis den sender en svær forespørgsel til en model, der er for svag. Routere indstilles efter et kvalitetsmål: forfatterne bag RouteLLM rapporterer, at omkostningerne i nogle tilfælde blev mere end halveret uden lavere svarkvalitet. Resultatet afhænger af arbejdsbyrden, så test routing på jeres egne prompts, før I stoler på den.
- Hvad er forskellen på en LLM-router og en AI-gateway?
- En router træffer én beslutning: hvilken model og udbyder der skal besvare forespørgslen. En gateway er det bredere kontrolpunkt, der anvender adgang, dataregler, budgetter og logs på hver forespørgsel. Mange gateways indeholder en router.
- Kan en router skifte udbyder, når en udbyder er nede?
- Ja, hvis samme model udbydes af mere end én udbyder, eller hvis der er sat en reservemodel op. Kontrollér, at fallbacks følger de samme data- og udbyderregler som førstevalget; ellers kan et skift sende data et sted hen, I ikke har godkendt.