Regional behandling (Europa-regel)
Regional behandling er en rutingregel som lar KI-forespørsler betjenes bare av inferensendepunkter i en godkjent region. En Europa-regel er den europeiske varianten: forespørsler går bare til europeiske endepunkter og avvises når ingen er tilgjengelige.
Hvorfor det er viktig for bedrifter
En regioninnstilling som i det stille faller tilbake til en annen region ved feil eller nye forsøk, beskytter mindre enn den ser ut til. Regelen må gjelde for hvert kall som bærer prompten: klassifisering, svaret, nye forsøk og reserveruter.
Å avvise forespørselen er det trygge utfallet. En tydelig feil er enkel å håndtere, mens en stille overføring ut av regionen er et avvik.
Eksempel
Et team i offentlig sektor setter en Europa-regel på nøklene sine. Når det eneste europeiske endepunktet for en modell er nede, returnerer forespørselen en feil, og teamet bytter til en annen modell, uten at noe betjenes i USA.
Hva dette betyr for en bedrift som bruker KI-API-er
Sett regionregelen der forespørslene starter, på nøkkelen eller prosjektet, i stedet for å stole på at hver applikasjon velger riktig endepunkt, og test hva som skjer når det regionale endepunktet feiler. En god regel gir en feil dere kan håndtere, i stedet for å behandle forespørselen et annet sted i stillhet. På Amazon Bedrock bruker for eksempel et team som trenger behandling i EU, en geografisk inferensprofil for EU i stedet for en global, og betaler standardpris i stedet for den globale rabatten.
Hvor begrepet er definert: Leverandørene definerer det per tjeneste. Amazons dokumentasjon om cross-Region inference (på engelsk) skiller for eksempel mellom geografiske profiler som ruter innenfor et område som EU, og globale profiler som ruter over hele verden. For personopplysninger er den rettslige rammen GDPR kapittel V om overføring.
Slik løser Standard Compute det
Sett en Europa-regel for bedriften, et team eller én nøkkel, så blir hver forespørsel, også nye forsøk og reserveruter, betjent bare av godkjente europeiske inferensendepunkter. Kan ingen europeiske endepunkter betjene den, blir forespørselen avvist før prompten sendes.
EU-gatewayen vår terminerer TLS og kjører i Finland, og kontodataene deres lagres i Frankfurt.
Spørsmål bedrifter stiller
- Hva regnes som Europa i en Europa-regel?
- Det avhenger av leverandøren. Noen mener bare land i EU og EØS, andre tar også med Storbritannia og Sveits. Be om listen over regioner og endepunkter som teller.
- Følger nye forsøk og reserveruter regionregelen?
- Det bør de, og det er verdt å teste. En regel som bare gjelder første forsøk, kan sende nye forsøk til en annen region. Spør leverandøren om klassifisering, nye forsøk og reserveruter er dekket.
- Begrenser en regionregel hvilke modeller vi kan bruke?
- Ofte, ja. Ikke alle modeller tilbys i alle regioner, så en streng regel kan gjøre noen modeller utilgjengelige. Sjekk tilgjengeligheten per region før dere setter regelen for hele bedriften.