Ordbog: AI i virksomheden
Korte definitioner af de begreber, der dukker op, når en virksomhed køber, sikrer og styrer AI: gateways og routing, databeskyttelse, identitet, omkostningskontrol og regulering.
Hvert opslag starter med definitionen, derefter hvorfor den betyder noget, et konkret eksempel og hvordan Standard Compute løser det.
Gateways, routing og kapacitet
- AI-gateway
- En AI-gateway er én samlet tjeneste mellem en virksomheds applikationer og de AI-modeludbydere, den bruger.
- LLM-router
- En LLM-router er software, der for hver forespørgsel afgør, hvilken stor sprogmodel og hvilken udbyder der skal svare.
- Modelrouting
- Modelrouting er praksissen med at sende hver AI-forespørgsel til en model, der er valgt til netop den forespørgsel, i stedet for at sende alt til én fast model.
- Tokens pr. sekund
- Tokens pr. sekund (TPS) er den hastighed, en model genererer sit svar med, målt i output-tokens pr. sekund for én forespørgsel.
- Rate limit og kvote
- En rate limit begrænser, hvor hurtigt I kan kalde en AI-model, for eksempel forespørgsler eller tokens pr. minut.
- Provisioned throughput (PTU)
- Provisioned throughput er reserveret modelkapacitet: I betaler for en fast mængde behandling pr. time, uanset om I bruger den, og får til gengæld forudsigelig gennemstrømning og latenstid.
Databeskyttelse og behandlingssted
- Nul dataopbevaring (zero data retention)
- Nul dataopbevaring (ZDR) betyder, at AI-udbyderen ikke beholder nogen kopi af prompts eller svar, efter at svaret er leveret.
- Garanti mod træning
- En garanti mod træning (no-training guarantee) er en aftalt forpligtelse om, at en AI-udbyder ikke bruger jeres prompts, filer eller svar til at træne eller forbedre sine modeller.
- Dataresidens
- Dataresidens er kravet om, at data opbevares, og ofte også behandles, i et bestemt land eller en bestemt region.
- Regional behandling (Europa-regel)
- Regional behandling er en routingregel, der lader AI-forespørgsler betjene kun af inferens-endpoints i en godkendt region.
- BYOK (bring your own key)
- BYOK (bring your own key) betyder, at I giver et eksternt værktøj jeres egne nøgler.
- Suveræn AI
- Suveræn AI betyder, at en virksomhed eller en offentlig myndighed kan bruge AI under egen jurisdiktion og kontrol.
Identitet og adgang
- SSO, SAML og Microsoft Entra til AI-værktøjer
- Single sign-on (SSO) til AI-værktøjer lader medarbejdere logge ind i AI-tjenester med virksomhedens identitet, for eksempel en arbejdskonto i Microsoft Entra ID, i stedet for en separat adgangskode.
- SCIM
- SCIM (System for Cross-domain Identity Management) er en åben standard for automatisk at oprette, opdatere og fjerne brugerkonti og grupper i en applikation, styret af identitetsudbyderen.
- Godkendte udbydere (allow-list)
- En liste over godkendte udbydere (provider allow-list) er listen over de inferensudbydere, for eksempel modeludviklerens eget API eller en bestemt cloud, der må behandle en virksomheds AI-forespørgsler.
- Godkendte modeller (allow-list)
- En liste over godkendte modeller (model allow-list) angiver, hvilke AI-modeller en person, et team eller en applikation må kalde.
Omkostningskontrol
- Budget pr. nøgle
- Et budget pr. nøgle er et udgiftsloft knyttet til én enkelt API-nøgle, så den person eller applikation, der bruger nøglen, aldrig kan bruge mere end sin ramme i en periode.
- Udgiftsloft
- Et udgiftsloft er en hård øvre grænse for AI-udgifter for en konto, en nøgle eller en periode.
Styring og regulering
- Revisionslog for AI
- En revisionslog for AI er en oversigt over, hvem der ændrede AI-indstillinger, og hvordan AI blev brugt: administratorændringer af personer, nøgler og regler og, for hver forespørgsel, hvilken model og hvilken udbyder der betjente den, under hvilken regel.
- AI-politik
- En AI-politik er en virksomheds skriftlige regler for brug af AI-værktøjer på arbejdet: hvilke værktøjer der er godkendt, hvilke data der må indgå i prompts, hvordan svarene kontrolleres, og hvem man skal give besked, når noget går galt.
- Idriftsætter efter AI-forordningen (deployer)
- Efter forordningen om kunstig intelligens (AI-forordningen, EU AI Act) er en idriftsætter (deployer) en fysisk eller juridisk person, offentlig myndighed, et agentur eller et andet organ, der anvender et AI-system under sin myndighed, medmindre AI-systemet anvendes som led i en personlig ikkeerhvervsmæssig aktivitet (artikel 3, nr. 4).
Standard Compute er en AI-gateway til virksomheder med frontiermodeller og åbne modeller gennem ét API. Jeres administratorer bestemmer, hvor forespørgsler behandles, hvilke udbydere og modeller der er tilladt, og hvad hver person og applikation må bruge.
Opret et virksomhedsområdeeller skriv til contact@standardcompute.com