Regional behandling (Europa-regel)
Regional behandling er en routingregel, der lader AI-forespørgsler betjene kun af inferens-endpoints i en godkendt region. En Europa-regel er den europæiske udgave: forespørgsler går kun til europæiske endpoints og afvises, når ingen er tilgængelige.
Hvorfor det betyder noget for virksomheder
En regionsindstilling, der i det stille falder tilbage til en anden region ved fejl eller nye forsøg, beskytter mindre, end den ser ud til. Reglen skal gælde for hvert kald, der bærer prompten: klassificering, svaret, nye forsøg og fallbacks.
At afvise forespørgslen er det sikre udfald. En tydelig fejl er nem at håndtere, mens en stille overførsel ud af regionen er en hændelse.
Eksempel
Et team i den offentlige sektor sætter en Europa-regel på sine nøgler. Når det eneste europæiske endpoint for en model er nede, returnerer forespørgslen en fejl, og teamet skifter til en anden model, uden at noget betjenes i USA.
Hvad det betyder for en virksomhed, der bruger AI-API'er
Sæt regionsreglen der, hvor forespørgslerne starter, på nøglen eller projektet, i stedet for at stole på, at hver app vælger det rigtige endpoint, og test, hvad der sker, når det regionale endpoint fejler. En god regel returnerer en fejl, I kan håndtere, i stedet for i stilhed at behandle forespørgslen et andet sted. I Amazon Bedrock bruger et team, der har brug for behandling i EU, for eksempel en geografisk EU-profil til inferens frem for en global og betaler standardprisen i stedet for den globale rabat.
Hvor begrebet er defineret: Leverandørerne definerer det pr. tjeneste. Amazons dokumentation om cross-Region inference (på engelsk) skelner for eksempel mellem geografiske profiler, der router inden for et område som EU, og globale profiler, der router på verdensplan. For personoplysninger er den juridiske ramme databeskyttelsesforordningens kapitel V om overførsler.
Sådan løser Standard Compute det
Sæt en Europa-regel for virksomheden, et team eller en enkelt nøgle, så bliver hver forespørgsel, også nye forsøg og fallbacks, kun betjent af godkendte europæiske inferens-endpoints. Kan intet europæisk endpoint betjene forespørgslen, afvises den, før jeres prompt sendes.
Vores EU-gateway terminerer TLS og kører i Finland, og jeres kontodata gemmes i Frankfurt.
Spørgsmål, virksomheder stiller
- Hvad omfatter Europa i en Europa-regel?
- Det afhænger af leverandøren. Nogle mener kun EU- og EØS-lande; andre medtager også Storbritannien og Schweiz. Bed om listen over de regioner og endpoints, der tæller med.
- Følger nye forsøg og fallbacks regionsreglen?
- Det bør de, og det er værd at teste. En regel, der kun gælder første forsøg, kan sende gentagne forespørgsler til en anden region. Spørg leverandøren, om klassificering, nye forsøg og fallbacks alle er omfattet.
- Begrænser en regionsregel, hvilke modeller vi kan bruge?
- Ofte, ja. Ikke alle modeller udbydes i alle regioner, så en streng regel kan gøre nogle modeller utilgængelige. Tjek tilgængeligheden pr. region, før I sætter reglen for hele virksomheden.