Regional behandling (Europa-regel)
Regional behandling är en routningsregel som låter AI-förfrågningar betjänas endast av inferensslutpunkter i en godkänd region. En Europa-regel är den europeiska varianten: förfrågningar går endast till europeiska slutpunkter och avvisas när ingen är tillgänglig.
Varför det spelar roll för företag
En regioninställning som i tysthet faller tillbaka på en annan region vid fel eller nya försök skyddar mindre än den verkar göra. Regeln måste gälla för varje anrop som bär prompten: klassificering, svaret, nya försök och reservvägar.
Att avvisa en förfrågan är det säkra utfallet. Ett tydligt fel är lätt att hantera, medan en tyst överföring utanför regionen är en regelefterlevnadsincident.
Exempel
Ett team i offentlig sektor sätter en Europa-regel på sina nycklar. När den enda europeiska slutpunkten för en modell är nere returnerar förfrågan ett fel och teamet byter till en annan modell, utan att något betjänas i USA.
Vad det betyder för ett företag som använder AI-API:er
Sätt regionregeln där förfrågningarna börjar, på nyckeln eller projektet, i stället för att lita på att varje app väljer rätt slutpunkt, och testa vad som händer när den regionala slutpunkten går ner. En bra regel ger ett fel ni kan hantera i stället för att i tysthet behandla förfrågan någon annanstans. Hos Amazon Bedrock använder till exempel ett team som behöver behandling i EU en geografisk inferensprofil för EU i stället för en global, och betalar standardpriset i stället för den globala rabatten.
Var begreppet definieras: Leverantörerna definierar det per tjänst. Amazons dokumentation om cross-Region inference (på engelska) skiljer till exempel mellan geografiska profiler som routar inom ett område som EU och globala profiler som routar över hela världen. För personuppgifter är kapitel V i dataskyddsförordningen (GDPR) om överföringar den rättsliga ramen.
Så hanterar Standard Compute det
Sätt en Europa-regel för företaget, ett team eller en enskild nyckel, så betjänas varje förfrågan, även nya försök och reservvägar, endast av godkända europeiska inferensslutpunkter. Om ingen europeisk slutpunkt kan betjäna den avvisas förfrågan innan er prompt skickas.
Vår EU-gateway terminerar TLS och körs i Finland, och era kontodata lagras i Frankfurt.
Vanliga frågor från företag
- Vad räknas som Europa i en Europa-regel?
- Det beror på leverantören. Vissa menar bara EU- och EES-länder; andra räknar även in Storbritannien och Schweiz. Be om listan över de regioner och slutpunkter som räknas.
- Följer nya försök och reservvägar regionregeln?
- Det bör de, och det är värt att testa. En regel som bara gäller första försöket kan skicka nya försök till en annan region. Fråga leverantören om klassificering, nya försök och reservvägar alla omfattas.
- Begränsar en regionregel vilka modeller vi kan använda?
- Ofta, ja. Alla modeller erbjuds inte i alla regioner, så en strikt regel kan göra vissa modeller otillgängliga. Kontrollera tillgängligheten per region innan ni sätter regeln för hela företaget.