Woordenlijst AI voor bedrijven
Korte definities van de begrippen die naar voren komen wanneer een bedrijf AI inkoopt, beveiligt en beheert: gateways en routering, gegevensbescherming, identiteit, kostenbeheersing en regelgeving.
Elk begrip begint met de definitie, gevolgd door het belang voor bedrijven, een concreet voorbeeld en hoe Standard Compute het regelt.
Gateways, routering en capaciteit
- AI-gateway
- Een AI-gateway is één dienst tussen de applicaties van een bedrijf en de aanbieders van AI-modellen die het gebruikt.
- LLM-router
- Een LLM-router is software die per verzoek bepaalt welk groot taalmodel en welke provider het beantwoordt.
- Modelroutering
- Modelroutering is het sturen van elk AI-verzoek naar een model dat voor dat verzoek is gekozen, in plaats van alles naar één vast model te sturen.
- Tokens per seconde
- Tokens per seconde (TPS) is de snelheid waarmee een model zijn antwoord genereert, gemeten in outputtokens per seconde voor één verzoek.
- Rate limit vs. quotum
- Een rate limit begrenst hoe snel u een AI-model mag aanroepen, bijvoorbeeld in verzoeken of tokens per minuut.
- Provisioned throughput (PTU)
- Provisioned throughput is gereserveerde modelcapaciteit: u betaalt per uur voor een vaste hoeveelheid verwerking, of u die nu gebruikt of niet, en krijgt daarvoor voorspelbare doorvoer en latency.
Gegevensbescherming en verwerkingslocatie
- Geen dataretentie (zero data retention)
- Geen dataretentie (zero data retention, ZDR) betekent dat de AI-provider geen kopie van prompts of output bewaart nadat het antwoord is teruggestuurd.
- Geen-trainingsgarantie (no-training guarantee)
- Een geen-trainingsgarantie is een contractuele toezegging dat een AI-provider uw prompts, bestanden of output niet gebruikt om zijn modellen te trainen of te verbeteren.
- Dataresidentie
- Dataresidentie is de eis dat data in een bepaald land of een bepaalde regio wordt opgeslagen, en vaak ook verwerkt.
- Regionale verwerking (Europa-regel)
- Regionale verwerking is een routeringsregel waardoor AI-verzoeken alleen worden bediend door inference-endpoints in een goedgekeurde regio.
- BYOK (bring your own key)
- BYOK (bring your own key) betekent dat u uw eigen sleutels aan een tool van een derde partij levert.
- Soevereine AI
- Soevereine AI betekent dat een bedrijf of overheidsorganisatie AI kan gebruiken onder eigen jurisdictie en controle.
Identiteit en toegang
- SSO, SAML en Microsoft Entra voor AI-tools
- Single sign-on (SSO) voor AI-tools laat medewerkers bij AI-diensten inloggen met hun bedrijfsidentiteit, zoals een werkaccount in Microsoft Entra ID, in plaats van met een apart wachtwoord.
- SCIM
- SCIM (System for Cross-domain Identity Management) is een open standaard om gebruikersaccounts en groepen in een applicatie automatisch aan te maken, bij te werken en te verwijderen, aangestuurd door de identiteitsprovider.
- Toegestane providers (provider allow-list)
- Een lijst met toegestane providers (provider allow-list) noemt de inference-providers, zoals de eigen API van een modelmaker of een bepaalde cloud, die de AI-verzoeken van een bedrijf mogen verwerken.
- Toegestane modellen (model allow-list)
- Een lijst met toegestane modellen (model allow-list) bepaalt welke AI-modellen een persoon, team of applicatie mag aanroepen.
Kostenbeheersing
- Budget per sleutel
- Een budget per sleutel is een uitgavenlimiet die aan één API-sleutel is gekoppeld, zodat de persoon of applicatie die de sleutel gebruikt in een periode nooit meer kan uitgeven dan het toegewezen bedrag.
- Uitgavenlimiet
- Een uitgavenlimiet is een harde bovengrens voor AI-uitgaven voor een account, een sleutel of een periode.
Governance en regelgeving
- Auditlog voor AI
- Een auditlog voor AI is een registratie van wie AI-instellingen heeft gewijzigd en hoe AI is gebruikt: wijzigingen door admins aan personen, sleutels en regels, en per verzoek welk model en welke provider het onder welk beleid heeft bediend.
- AI-gebruiksbeleid
- Een AI-gebruiksbeleid bevat de schriftelijke regels van een bedrijf voor het gebruik van AI-tools op het werk: welke tools zijn goedgekeurd, welke data in prompts mag, hoe output wordt gecontroleerd en wie u inlicht als er iets misgaat.
- Gebruiksverantwoordelijke onder de AI-verordening
- Onder de AI-verordening (EU AI Act) is een gebruiksverantwoordelijke een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die een AI-systeem onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteit (artikel 3, punt 4).
Standard Compute is een AI-gateway voor bedrijven, met frontier- en open source modellen via één API. Uw admins bepalen waar verzoeken worden verwerkt, welke providers en modellen zijn toegestaan en wat elke persoon en applicatie mag uitgeven.
Bedrijfsaccount aanmakenof mail naar contact@standardcompute.com