AI-gateway
En AI-gateway är en enda tjänst mellan ett företags applikationer och de AI-modelleverantörer det använder. Varje förfrågan passerar genom den, så åtkomst, routning, dataregler, budgetar och loggning tillämpas på ett ställe.
Varför det spelar roll för företag
Utan en gateway öppnar varje team egna konton hos leverantörerna, och IT har ingen samlad plats för att se vem som använder vilken modell, vart data tar vägen eller vad det kostar.
En gateway gör de frågorna till inställningar: ett avtal, en uppsättning nycklar, en logg och samma regler för varje verktyg som anropar en modell.
Exempel
Ett företag med 200 utvecklare kopplar Claude Code, en intern chattbot och ett dokumentflöde till en och samma gateway-slutpunkt. Säkerhetsavdelningen sätter en regel om att varje förfrågan ska betjänas i Europa, och ekonomiavdelningen ser kostnaden per person och per applikation.
Vad det betyder för ett företag som använder AI-API:er
Om era utvecklare anropar modell-API:er direkt har varje app sina egna leverantörsnycklar, och ingen kan säga vilka data som gick till vilken leverantör förra månaden utan att fråga varje team. Med en gateway framför byter ni en bas-URL och en nyckel per app; sedan styrs åtkomst, routning, loggning och utgiftstak på ett ställe. Ett mjukvaruföretag med 50 anställda flyttar till exempel tre interna verktyg från separata leverantörsnycklar till en gateway-slutpunkt och kan sedan ta bort åtkomsten för en person som slutar med en enda ändring, i stället för att byta nycklar hos tre leverantörer.
Var begreppet definieras: Ingen lag eller standard definierar begreppet; leverantörerna beskriver det i sin egen dokumentation. Microsoft beskriver till exempel AI-gatewayfunktionerna i Azure API Management som en uppsättning funktioner för att skydda, skala, övervaka och styra AI-modeller, agenter och verktyg, bland annat tokengränser, lastbalansering och loggning.
Så hanterar Standard Compute det
Ett enda API ger er frontiermodeller och modeller med öppen källkod, och varje steg går till den billigaste modellen som klarar det och till den billigaste leverantören som är tillräckligt snabb för att betjäna det.
Sätt en Europa-regel för företaget, ett team eller en enskild nyckel, så betjänas varje förfrågan, även nya försök och reservvägar, endast av godkända europeiska inferensslutpunkter. Om ingen europeisk slutpunkt kan betjäna den avvisas förfrågan innan er prompt skickas.
Vanliga frågor från företag
- Vad är skillnaden mellan en AI-gateway och en API-gateway?
- En API-gateway routar och skyddar vilket HTTP-API som helst. En AI-gateway lägger till kontroller som bara är meningsfulla för modellanrop: rate limits och kvoter räknade i tokens, routning mellan modeller och leverantörer, och loggar med modell, tokens och kostnad per förfrågan. Microsoft byggde AI-gatewayen i Azure API Management som en utökning av sin befintliga API-gateway, inte som en separat produkt.
- Ser gatewayen våra prompter, och behöver vi ett personuppgiftsbiträdesavtal med den?
- Ja, varje förfrågan passerar genom den, så gatewayen behandlar även innehållet i prompterna på vägen till modellen. Innehåller prompterna personuppgifter ska den granskas som vilket personuppgiftsbiträde som helst enligt GDPR: var den körs, om den lagrar eller loggar prompter, och att ett personuppgiftsbiträdesavtal täcker den.
- Hur prissätts en AI-gateway?
- Modellerna skiljer sig åt. Vissa gatewayer lägger en avgift ovanpå leverantörernas tokenpriser, vissa tar betalt per förfrågan eller per användare, och vissa säljer en plan där modellanvändningen ingår. Jämför den totala kostnaden för er verkliga trafik, inklusive modellens tokens, inte bara gatewayavgiften.