KI-gateway
En KI-gateway er én samlet tjeneste mellom en bedrifts applikasjoner og KI-modelleverandørene den bruker. Hver forespørsel går gjennom den, så tilgang, ruting, dataregler, budsjetter og logging håndheves på ett sted.
Hvorfor det er viktig for bedrifter
Uten en gateway oppretter hvert team sine egne leverandørkontoer, og IT har ikke ett sted å se hvem som bruker hvilken modell, hvor dataene går eller hva det koster.
En gateway gjør disse spørsmålene om til innstillinger: én avtale, ett sett nøkler, én logg og de samme reglene for hvert verktøy som kaller en modell.
Eksempel
En bedrift med 200 utviklere kobler Claude Code, en intern chatbot og en dokumentflyt til ett gateway-endepunkt. Sikkerhetsteamet setter én regel om at hver forespørsel skal betjenes i Europa, og økonomiavdelingen ser kostnadene per person og per applikasjon.
Hva dette betyr for en bedrift som bruker KI-API-er
Kaller utviklerne deres modell-API-ene direkte, har hver applikasjon sine egne leverandørnøkler, og ingen kan si hvilke data som gikk til hvilken leverandør forrige måned uten å spørre hvert team. Med en gateway foran endrer dere én basis-URL og én nøkkel per applikasjon; deretter settes tilgang, ruting, logging og utgiftstak på ett sted. Et programvareselskap med 50 ansatte flytter for eksempel tre interne verktøy fra separate leverandørnøkler til ett gateway-endepunkt, og kan da fjerne tilgangen til en som slutter, med én endring i stedet for å bytte nøkler hos tre leverandører.
Hvor begrepet er definert: Ingen lov eller standard definerer begrepet; leverandørene beskriver det i sin egen dokumentasjon. Microsoft beskriver for eksempel AI-gatewayen i Azure API Management (på engelsk) som et sett funksjoner for å sikre, skalere, overvåke og styre KI-modeller, agenter og verktøy, blant annet token-grenser, lastfordeling og logging.
Slik løser Standard Compute det
Ett API gir dere frontier-modeller og åpne modeller, og hvert steg rutes til den billigste modellen som klarer det, hos den billigste leverandøren som er rask nok til å betjene det.
Sett en Europa-regel for bedriften, et team eller én nøkkel, så blir hver forespørsel, også nye forsøk og reserveruter, betjent bare av godkjente europeiske inferensendepunkter. Kan ingen europeiske endepunkter betjene den, blir forespørselen avvist før prompten sendes.
Spørsmål bedrifter stiller
- Hva er forskjellen på en KI-gateway og en API-gateway?
- En API-gateway ruter og sikrer et hvilket som helst HTTP-API. En KI-gateway legger til kontroller som bare gir mening for modellkall: rate limits og kvoter målt i tokens, ruting mellom modeller og leverandører, og logger med modell, tokens og kostnad per forespørsel. Microsoft bygde AI-gatewayen i Azure API Management som en utvidelse av den eksisterende API-gatewayen sin, ikke som et eget produkt.
- Ser gatewayen promptene våre, og trenger vi en databehandleravtale med den?
- Ja, hver forespørsel går gjennom den, så gatewayen behandler også innholdet i promptene på vei til modellen. Inneholder de personopplysninger, bør dere vurdere den som enhver annen databehandler etter GDPR: hvor den kjører, om den lagrer eller logger prompter, og om det finnes en databehandleravtale som dekker den.
- Hva koster en KI-gateway?
- Prismodellene varierer. Noen gatewayer legger et påslag på leverandørenes tokenpriser, noen tar betalt per forespørsel eller per bruker, og noen selger et abonnement der modellbruken er inkludert. Sammenlign totalkostnaden for den faktiske trafikken deres, inkludert modelltokens, ikke bare gatewayavgiften.