Przetwarzanie regionalne (ograniczenie do Europy)
Przetwarzanie regionalne to reguła routingu, zgodnie z którą żądania AI obsługują wyłącznie punkty końcowe inferencji w zatwierdzonym regionie. Ograniczenie do Europy to jej europejski wariant: żądania trafiają wyłącznie do europejskich punktów końcowych i są odrzucane, gdy żaden nie jest dostępny.
Dlaczego to ważne dla firm
Ustawienie regionu, które przy błędzie lub ponowieniu po cichu przełącza się na inny region, chroni mniej, niż się wydaje. Ograniczenie musi obejmować każde wywołanie zawierające prompt: klasyfikację, odpowiedź, ponowienia i trasy zapasowe.
Odrzucenie żądania to bezpieczny wynik. Wyraźny błąd łatwo obsłużyć, a ciche przekazanie poza region to incydent zgodności.
Przykład
Zespół z sektora publicznego ustawia ograniczenie do Europy na swoich kluczach. Gdy jedyny europejski punkt końcowy danego modelu jest niedostępny, żądanie zwraca błąd, a zespół przełącza się na inny model, bez obsługi czegokolwiek w USA.
Co to oznacza dla firmy korzystającej z API AI
Ustawcie ograniczenie regionalne tam, gdzie żądania się zaczynają, czyli na kluczu lub projekcie, zamiast liczyć na to, że każda aplikacja wybierze właściwy punkt końcowy, i przetestujcie, co się dzieje, gdy regionalny punkt końcowy przestaje działać. Dobra reguła zwraca błąd, który możecie obsłużyć, zamiast po cichu przetworzyć żądanie gdzie indziej. W Amazon Bedrock zespół, który potrzebuje przetwarzania w UE, korzysta na przykład z unijnego profilu geograficznego zamiast globalnego i płaci cenę standardową zamiast ceny z rabatem dla profilu globalnego.
Gdzie pojęcie jest zdefiniowane: Dostawcy definiują to dla każdej usługi osobno. Dokumentacja Amazon cross-Region inference (po angielsku) oddziela na przykład profile geograficzne, które kierują ruch w obrębie obszaru takiego jak UE, od profili globalnych, które kierują go na cały świat. W przypadku danych osobowych ramy prawne wyznacza rozdział V RODO o przekazywaniu danych.
Jak robi to Standard Compute
Ustawcie ograniczenie do Europy dla firmy, zespołu lub pojedynczego klucza, a każde żądanie, łącznie z ponowieniami i trasami zapasowymi, obsłużą wyłącznie zatwierdzone europejskie punkty końcowe inferencji. Jeśli żaden europejski punkt końcowy nie może go obsłużyć, żądanie zostaje odrzucone, zanim Wasz prompt zostanie wysłany.
Nasza bramka UE kończy połączenia TLS i działa w Finlandii, a dane Waszego konta są przechowywane we Frankfurcie.
Pytania, które zadają firmy
- Co obejmuje Europa w ograniczeniu do Europy?
- To zależy od dostawcy. Jedni mają na myśli tylko państwa UE i EOG, inni wliczają też Wielką Brytanię i Szwajcarię. Poproście o listę regionów i punktów końcowych, które się liczą.
- Czy ponowienia i trasy zapasowe podlegają ograniczeniu regionalnemu?
- Powinny i warto to przetestować. Reguła, która dotyczy tylko pierwszej próby, może wysłać ponowione żądania do innego regionu. Zapytajcie dostawcę, czy klasyfikacja, ponowienia i trasy zapasowe są objęte regułą.
- Czy ograniczenie regionalne zawęża wybór modeli?
- Często tak. Nie każdy model jest oferowany w każdym regionie, więc ścisła reguła może sprawić, że część modeli będzie niedostępna. Sprawdźcie dostępność w każdym regionie, zanim ustawicie regułę dla całej firmy.