Modelrouting
Modelrouting er praksissen med at sende hver AI-forespørgsel til en model, der er valgt til netop den forespørgsel, i stedet for at sende alt til én fast model. Valget træffes med regler, for eksempel efter opgavetype, team eller dataklasse, eller automatisk af en klassifikator.
Hvorfor det betyder noget for virksomheder
Prisen pr. token varierer meget mellem modeller. At route rutinearbejde til billigere modeller er et af de største greb på AI-regningen.
Routing sker på to niveauer. Den samme model betjenes ofte af flere udbydere med forskellige priser, hastigheder, placeringer og aftaler, så valget af udbyder betyder lige så meget som valget af model.
Eksempel
Sortering af sager i et supportteam går til en hurtig og billig model, udkast til svar til kunder går til en frontiermodel, og alt, der er mærket som personoplysninger, går kun til modeller på europæiske endpoints.
Hvad det betyder for en virksomhed, der bruger AI-API'er
For en virksomhed begynder modelrouting som nogle få skrevne regler: hvilke typer arbejde der må bruge hvilke modeller, og hvilke data der må sendes hvorhen. Typiske første regler er en billig model til klassificering, en frontiermodel til tekst, som kunderne ser, og europæiske endpoints til alt med personoplysninger. Automatisk routing går videre: Microsofts model router i Foundry tager i standardtilstanden Balanced de modeller i betragtning, der ligger inden for et lille kvalitetsinterval af den bedste til en given prompt, for eksempel 1 % til 2 %, og vælger den mest omkostningseffektive.
Hvor begrebet er defineret: Ingen lov eller standard definerer det. Leverandørernes dokumentation beskriver implementeringer, for eksempel Microsofts Model router for Microsoft Foundry (på engelsk), en trænet sprogmodel, der i realtid router hver prompt til den bedst egnede store sprogmodel.
Sådan løser Standard Compute det
Ét API giver jer frontiermodeller og åbne modeller, og hvert trin sendes til den billigste model, der kan klare det, hos den billigste udbyder, der er hurtig nok til at betjene det.
Bestem hvilke modeller hver nøgle må bruge, så hver applikation og hvert teammedlem får præcis de modeller, I godkender.
Spørgsmål, virksomheder stiller
- Hvordan fungerer intelligent modelrouting?
- En klassifikator, ofte en lille sprogmodel, læser hver prompt og vurderer, hvor svær den er, og hvilken type opgave det er. Derefter vælger den den billigste model, der forventes at nå en kvalitetstærskel, eller den stærkeste model, hvis I prioriterer kvalitet over pris. Microsofts model router i Foundry analyserer for eksempel prompts ud fra kompleksitet, ræsonnement og opgavetype og tilbyder tilstandene Balanced, Cost og Quality.
- Kan routing sende vores data til en model, vi ikke har godkendt?
- Kun hvis modellen er med i routingpuljen, så begræns puljen til godkendte modeller. Microsofts model router lader jer for eksempel vælge et udsnit af modeller og bruger det samme udsnit som reservesæt, så prompts ikke behandles af modeller, I ikke har godkendt.
- Er modelrouting det samme som belastningsfordeling?
- Nej. Belastningsfordeling spreder forespørgsler over kopier af samme model eller endpoint. Routing vælger en anden model eller udbyder for hver forespørgsel ud fra indholdet eller faste regler.