Ordliste: KI i bedriften
Korte definisjoner av begrepene som dukker opp når en bedrift kjøper, sikrer og styrer KI: gatewayer og ruting, personvern, identitet, kostnadskontroll og regulering.
Hver oppføring starter med definisjonen, deretter hvorfor den er viktig, et konkret eksempel og hvordan Standard Compute løser det.
Gatewayer, ruting og kapasitet
- KI-gateway
- En KI-gateway er én samlet tjeneste mellom en bedrifts applikasjoner og KI-modelleverandørene den bruker.
- LLM-ruter
- En LLM-ruter er programvare som for hver forespørsel avgjør hvilken stor språkmodell og hvilken leverandør som skal svare.
- Modellruting
- Modellruting er praksisen med å sende hver KI-forespørsel til en modell som er valgt for akkurat den forespørselen, i stedet for å sende alt til én fast modell.
- Tokens per sekund
- Tokens per sekund (TPS) er hastigheten en modell genererer svaret sitt med, målt i utdata-tokens per sekund for én forespørsel.
- Rate limit og kvote
- En rate limit begrenser hvor raskt dere kan kalle en KI-modell, for eksempel forespørsler eller tokens per minutt.
- Provisioned throughput (PTU)
- Provisioned throughput er reservert modellkapasitet: dere betaler for en fast mengde prosessering per time, enten dere bruker den eller ikke, og får til gjengjeld forutsigbar gjennomstrømning og forsinkelse.
Personvern og behandlingssted
- Null datalagring (zero data retention)
- Null datalagring (zero data retention, ZDR) betyr at KI-leverandøren ikke beholder noen kopi av prompter eller svar etter at svaret er levert.
- Garanti mot trening
- En garanti mot trening (no-training guarantee) er en avtalefestet forpliktelse om at en KI-leverandør ikke bruker promptene, filene eller svarene deres til å trene eller forbedre modellene sine.
- Dataresidens
- Dataresidens er kravet om at data lagres, og ofte også behandles, i et bestemt land eller en bestemt region.
- Regional behandling (Europa-regel)
- Regional behandling er en rutingregel som lar KI-forespørsler betjenes bare av inferensendepunkter i en godkjent region.
- BYOK (bring your own key)
- BYOK (bring your own key) betyr at dere gir et eksternt verktøy deres egne nøkler.
- Suveren KI
- Suveren KI betyr at en bedrift eller en offentlig virksomhet kan bruke KI under egen jurisdiksjon og kontroll.
Identitet og tilgang
- SSO, SAML og Microsoft Entra for KI-verktøy
- Enkel pålogging (single sign-on, SSO) for KI-verktøy lar ansatte logge inn i KI-tjenester med bedriftsidentiteten sin, for eksempel en jobbkonto i Microsoft Entra ID, i stedet for et eget passord.
- SCIM
- SCIM (System for Cross-domain Identity Management) er en åpen standard for å opprette, oppdatere og fjerne brukerkontoer og grupper i en applikasjon automatisk, styrt av identitetsleverandøren.
- Godkjente leverandører (allow-list)
- En liste over godkjente leverandører (provider allow-list) er listen over inferensleverandører, for eksempel modellprodusentens eget API eller en bestemt sky, som får behandle en bedrifts KI-forespørsler.
- Godkjente modeller (allow-list)
- En liste over godkjente modeller (model allow-list) angir hvilke KI-modeller en person, et team eller en applikasjon kan kalle.
Kostnadskontroll
- Budsjett per nøkkel
- Et budsjett per nøkkel er et utgiftstak knyttet til én enkelt API-nøkkel, så personen eller applikasjonen som bruker nøkkelen, aldri kan bruke mer enn rammen sin i en periode.
- Utgiftstak
- Et utgiftstak er en hard øvre grense for KI-utgifter for en konto, en nøkkel eller en periode.
Styring og regulering
- Revisjonslogg for KI
- En revisjonslogg for KI er en oversikt over hvem som endret KI-innstillinger og hvordan KI ble brukt: administratorendringer av personer, nøkler og regler, og for hver forespørsel hvilken modell og hvilken leverandør som betjente den, under hvilken regel.
- Retningslinjer for KI-bruk
- Retningslinjer for KI-bruk er en bedrifts skriftlige regler for bruk av KI-verktøy på jobben: hvilke verktøy som er godkjent, hvilke data som kan legges inn i prompter, hvordan svarene kontrolleres og hvem man skal si fra til når noe går galt.
- Idriftsetter etter KI-forordningen (deployer)
- Etter KI-forordningen (EU AI Act) er en idriftsetter (deployer) en fysisk eller juridisk person, offentlig myndighet, byrå eller annet organ som bruker et KI-system under sin myndighet, unntatt når KI-systemet brukes som ledd i en personlig, ikke-yrkesmessig aktivitet (artikkel 3 nr. 4).
Standard Compute er en KI-gateway for bedrifter, med frontier-modeller og åpne modeller gjennom ett API. Administratorene deres bestemmer hvor forespørsler behandles, hvilke leverandører og modeller som er tillatt, og hva hver person og applikasjon kan bruke.
Opprett et bedriftsområdeeller skriv til contact@standardcompute.com