AI-gateway
En AI-gateway er én samlet tjeneste mellem en virksomheds applikationer og de AI-modeludbydere, den bruger. Hver forespørgsel går gennem den, så adgang, routing, dataregler, budgetter og logning håndhæves ét sted.
Hvorfor det betyder noget for virksomheder
Uden en gateway opretter hvert team sine egne konti hos udbyderne, og IT har ikke ét sted at se, hvem der bruger hvilken model, hvor data ender, eller hvad det koster.
En gateway gør de spørgsmål til indstillinger: én aftale, ét sæt nøgler, én log og de samme regler for hvert værktøj, der kalder en model.
Eksempel
En virksomhed med 200 udviklere kobler Claude Code, en intern chatbot og et dokumentflow til ét gateway-endpoint. Sikkerhedsteamet sætter én regel om, at hver forespørgsel skal betjenes i Europa, og økonomiafdelingen ser omkostningen pr. person og pr. applikation.
Hvad det betyder for en virksomhed, der bruger AI-API'er
Kalder jeres udviklere modellernes API'er direkte, har hver app sine egne udbydernøgler, og ingen kan sige, hvilke data der gik til hvilken udbyder i sidste måned, uden at spørge hvert team. Med en gateway foran ændrer I én basis-URL og én nøgle pr. app; derefter styres adgang, routing, logning og udgiftslofter ét sted. Et softwarefirma med 50 medarbejdere flytter for eksempel tre interne værktøjer fra separate udbydernøgler til ét gateway-endpoint og kan derefter fjerne adgangen for en medarbejder, der stopper, med én ændring i stedet for at skifte nøgler hos tre udbydere.
Hvor begrebet er defineret: Ingen lov eller standard definerer begrebet; leverandørerne beskriver det i deres egen dokumentation. Microsoft beskriver for eksempel AI-gatewayen i Azure API Management (på engelsk) som et sæt funktioner til at sikre, skalere, overvåge og styre AI-modeller, agenter og værktøjer, herunder tokengrænser, belastningsfordeling og logning.
Sådan løser Standard Compute det
Ét API giver jer frontiermodeller og åbne modeller, og hvert trin sendes til den billigste model, der kan klare det, hos den billigste udbyder, der er hurtig nok til at betjene det.
Sæt en Europa-regel for virksomheden, et team eller en enkelt nøgle, så bliver hver forespørgsel, også nye forsøg og fallbacks, kun betjent af godkendte europæiske inferens-endpoints. Kan intet europæisk endpoint betjene forespørgslen, afvises den, før jeres prompt sendes.
Spørgsmål, virksomheder stiller
- Hvad er forskellen på en AI-gateway og en API-gateway?
- En API-gateway router og beskytter ethvert HTTP-API. En AI-gateway tilføjer kontroller, der kun giver mening for modelkald: rate limits og kvoter opgjort i tokens, routing mellem modeller og udbydere og logs med model, tokens og omkostning pr. forespørgsel. Microsoft har bygget AI-gatewayen i Azure API Management som en udvidelse af sin eksisterende API-gateway, ikke som et separat produkt.
- Ser gatewayen vores prompts, og skal vi have en databehandleraftale med den?
- Ja, hver forespørgsel går gennem den, så gatewayen behandler også indholdet af jeres prompts på vej til modellen. Indeholder de personoplysninger, vil gatewayen typisk være databehandler efter databeskyttelsesforordningen. Vurder den derfor som enhver anden leverandør: hvor den kører, om den gemmer eller logger prompts, og om en databehandleraftale dækker den.
- Hvordan prissættes en AI-gateway?
- Prismodellerne er forskellige. Nogle gateways lægger et gebyr oven på udbydernes tokenpriser, nogle tager betaling pr. forespørgsel eller pr. bruger, og nogle sælger en plan, hvor modelforbruget er inkluderet. Sammenlign den samlede omkostning for jeres reelle trafik, inklusive modellernes tokens, ikke kun gatewaygebyret.