Ordlista: AI i företaget
Korta definitioner av de begrepp som dyker upp när ett företag köper in, säkrar och styr AI: gateways och routning, dataskydd, identitet, kostnadskontroll och reglering.
Varje post börjar med definitionen, följt av varför den spelar roll, ett konkret exempel och hur Standard Compute hanterar det.
Gateways, routning och kapacitet
- AI-gateway
- En AI-gateway är en enda tjänst mellan ett företags applikationer och de AI-modelleverantörer det använder.
- LLM-router
- En LLM-router är programvara som för varje förfrågan avgör vilken stor språkmodell och vilken leverantör som ska svara.
- Modellroutning
- Modellroutning innebär att varje AI-förfrågan skickas till en modell som väljs för just den förfrågan, i stället för att allt går till en och samma modell.
- Tokens per sekund
- Tokens per sekund (TPS) är den hastighet med vilken en modell genererar sitt svar, mätt i utdatatokens per sekund för en enskild förfrågan.
- Rate limit och kvot
- En rate limit (hastighetsgräns) begränsar hur snabbt ni kan anropa en AI-modell, till exempel förfrågningar eller tokens per minut.
- Provisioned throughput (PTU)
- Provisioned throughput är reserverad modellkapacitet: ni betalar för en fast mängd bearbetning per timme, oavsett om ni använder den eller inte, och får i gengäld förutsägbar genomströmning och latens.
Dataskydd och behandlingsplats
- Noll datalagring (zero data retention, ZDR)
- Noll datalagring (zero data retention, ZDR) innebär att AI-leverantören inte behåller någon kopia av prompter eller svar när svaret har levererats.
- Garanti om ingen träning
- En garanti om ingen träning är ett avtalsenligt åtagande att en AI-leverantör inte använder era prompter, filer eller svar för att träna eller förbättra sina modeller.
- Dataresidens
- Dataresidens är kravet att data lagras, och ofta behandlas, i ett visst land eller en viss region.
- Regional behandling (Europa-regel)
- Regional behandling är en routningsregel som låter AI-förfrågningar betjänas endast av inferensslutpunkter i en godkänd region.
- BYOK (bring your own key)
- BYOK (bring your own key) innebär att ni lämnar era egna nycklar till ett externt verktyg.
- Suverän AI
- Suverän AI innebär att ett företag eller en offentlig organisation kan använda AI under egen jurisdiktion och kontroll.
Identitet och åtkomst
- SSO, SAML och Microsoft Entra för AI-verktyg
- Enkel inloggning (single sign-on, SSO) för AI-verktyg låter medarbetare logga in i AI-tjänster med sin företagsidentitet, till exempel ett jobbkonto i Microsoft Entra ID, i stället för med ett separat lösenord.
- SCIM
- SCIM (System for Cross-domain Identity Management) är en öppen standard för att automatiskt skapa, uppdatera och ta bort användarkonton och grupper i en applikation, styrt av identitetsleverantören.
- Tillåtna leverantörer (allow-list)
- En lista över tillåtna leverantörer (provider allow-list) anger vilka inferensleverantörer, till exempel en modelltillverkares eget API eller ett visst moln, som får behandla ett företags AI-förfrågningar.
- Tillåtna modeller (allow-list)
- En lista över tillåtna modeller (model allow-list) anger vilka AI-modeller en person, ett team eller en applikation får anropa.
Kostnadskontroll
- Budget per nyckel
- En budget per nyckel är ett utgiftstak kopplat till en enskild API-nyckel, så att personen eller applikationen som använder nyckeln aldrig kan spendera mer än sin tilldelning under en period.
- Utgiftstak
- Ett utgiftstak är en hård övre gräns för AI-kostnader för ett konto, en nyckel eller en period.
Styrning och reglering
- Granskningslogg för AI
- En granskningslogg för AI är en logg över vem som ändrade AI-inställningar och hur AI användes: administratörsändringar av personer, nycklar och regler, och för varje förfrågan vilken modell och vilken leverantör som betjänade den under vilken regel.
- AI-policy
- En AI-policy är ett företags skriftliga regler för att använda AI-verktyg i arbetet: vilka verktyg som är godkända, vilka data som får gå in i prompter, hur resultat granskas och vem man ska meddela när något går fel.
- Tillhandahållare enligt AI-förordningen
- Enligt AI-förordningen (EU AI Act) är en tillhandahållare (deployer) en fysisk eller juridisk person, offentlig myndighet, byrå eller annat organ som under eget överinseende använder ett AI-system, utom när AI-systemet används som ett led i en personlig icke-yrkesmässig verksamhet (artikel 3.4).
Standard Compute är en AI-gateway för företag, med frontiermodeller och modeller med öppen källkod via ett API. Era administratörer bestämmer var förfrågningar behandlas, vilka leverantörer och modeller som är tillåtna och vad varje person och applikation får spendera.
Skapa ett företagskontoeller mejla contact@standardcompute.com