AI-gateway
Een AI-gateway is één dienst tussen de applicaties van een bedrijf en de aanbieders van AI-modellen die het gebruikt. Elk verzoek loopt erdoorheen, zodat toegang, routering, dataregels, budgetten en logging op één plek worden toegepast.
Waarom dit belangrijk is voor bedrijven
Zonder gateway opent elk team zijn eigen accounts bij providers, en heeft IT geen centrale plek om te zien wie welk model gebruikt, waar de data naartoe gaat en wat het kost.
Een gateway maakt van die vragen instellingen: één contract, één set sleutels, één log en dezelfde regels voor elke tool die een model aanroept.
Voorbeeld
Een bedrijf met 200 ontwikkelaars laat Claude Code, een interne chatbot en een documentpipeline naar één gateway-endpoint wijzen. Security stelt één regel in dat elk verzoek in Europa wordt bediend, en finance ziet de uitgaven per persoon en per applicatie.
Wat dit betekent voor een bedrijf dat AI-API's gebruikt
Roepen uw ontwikkelaars de API's van modellen rechtstreeks aan, dan heeft elke applicatie eigen providersleutels, en kan niemand zonder rondvraag bij elk team zeggen welke data vorige maand naar welke provider ging. Met een gateway ervoor wijzigt u per applicatie één basis-URL en één sleutel; daarna stelt u toegang, routering, logging en uitgavenlimieten op één plek in. Een softwarebedrijf met 50 medewerkers zet bijvoorbeeld drie interne tools over van losse providersleutels naar één gateway-endpoint, en kan daarna de toegang van een vertrekkende collega met één wijziging intrekken, in plaats van bij drie providers sleutels te vervangen.
Waar het begrip is gedefinieerd: Geen wet of norm definieert het begrip; leveranciers beschrijven het in hun eigen documentatie. Microsoft beschrijft bijvoorbeeld de mogelijkheden van AI-gateways in Azure API Management als een set functies om AI-modellen, agents en tools te beveiligen, te schalen, te monitoren en te beheren, waaronder tokenlimieten, load balancing en logging.
Zo regelt Standard Compute dit
Eén API geeft u frontier- en open source modellen, en stuurt elke stap naar het goedkoopste model dat hem aankan en naar de goedkoopste provider die snel genoeg is om hem te bedienen.
Stel een Europa-regel in voor uw bedrijf, een team of één sleutel, en elk verzoek, inclusief herhalingen en fallbacks, wordt alleen bediend door goedgekeurde Europese inference-endpoints. Kan geen Europees endpoint het bedienen, dan wordt het verzoek geweigerd voordat uw prompt wordt verstuurd.
Vragen die bedrijven stellen
- Wat is het verschil tussen een AI-gateway en een API-gateway?
- Een API-gateway routeert en beveiligt elke willekeurige HTTP-API. Een AI-gateway voegt controles toe die alleen zin hebben bij modelaanroepen: rate limits en quota in tokens, routering tussen modellen en providers, en logs met model, tokens en kosten per verzoek. Microsoft heeft de AI-gateway in Azure API Management gebouwd als uitbreiding van zijn bestaande API-gateway, niet als apart product.
- Ziet de gateway onze prompts, en hebben we er een verwerkersovereenkomst mee nodig?
- Ja, elk verzoek loopt erdoorheen, dus de gateway verwerkt ook de inhoud van uw prompts op weg naar het model. Staan er persoonsgegevens in, beoordeel de gateway dan zoals elke andere verwerker onder de AVG: waar hij draait, of hij prompts opslaat of logt, en of er een verwerkersovereenkomst is die hem dekt.
- Wat kost een AI-gateway?
- De prijsmodellen verschillen. Sommige gateways rekenen een opslag bovenop de tokenprijzen van de providers, andere rekenen per verzoek of per gebruiker, en weer andere verkopen een abonnement waarin het modelgebruik zit. Vergelijk de totale kosten voor uw werkelijke verkeer, inclusief de tokens van het model, niet alleen de gatewaykosten.