Słownik: AI w firmie
Krótkie definicje pojęć, które pojawiają się, gdy firma kupuje, zabezpiecza i nadzoruje AI: bramki i routing, ochrona danych, tożsamość, kontrola kosztów i regulacje.
Każde hasło zaczyna się od definicji, po której następuje wyjaśnienie, dlaczego jest ważne, konkretny przykład i opis, jak robi to Standard Compute.
Bramki, routing i przepustowość
- Bramka AI
- Bramka AI to jedna usługa między aplikacjami firmy a dostawcami modeli AI, z których firma korzysta.
- Router LLM
- Router LLM to oprogramowanie, które przy każdym żądaniu decyduje, który duży model językowy i który dostawca ma odpowiedzieć.
- Routing modeli
- Routing modeli polega na tym, że każde żądanie AI trafia do modelu wybranego właśnie dla tego żądania, zamiast wszystko wysyłać do jednego modelu.
- Tokeny na sekundę
- Tokeny na sekundę (TPS) to szybkość, z jaką model generuje odpowiedź, mierzona w tokenach wyjściowych na sekundę dla pojedynczego żądania.
- Limit liczby żądań a przydział
- Limit liczby żądań (rate limit) ogranicza, jak szybko możecie wywoływać model AI, na przykład liczbę żądań lub tokenów na minutę.
- Provisioned throughput (PTU)
- Provisioned throughput to zarezerwowana moc modelu: płacicie za stałą ilość przetwarzania na godzinę, niezależnie od tego, czy ją wykorzystujecie, a w zamian dostajecie przewidywalną przepustowość i opóźnienia.
Ochrona danych i miejsce przetwarzania
- Zerowa retencja danych (zero data retention, ZDR)
- Zerowa retencja danych (zero data retention, ZDR) oznacza, że dostawca AI nie zachowuje żadnej kopii promptów ani odpowiedzi po dostarczeniu odpowiedzi.
- Gwarancja braku trenowania
- Gwarancja braku trenowania to umowne zobowiązanie dostawcy AI, że nie użyje Waszych promptów, plików ani odpowiedzi do trenowania ani ulepszania swoich modeli.
- Rezydencja danych
- Rezydencja danych to wymóg, aby dane były przechowywane, a często także przetwarzane, w określonym kraju lub regionie.
- Przetwarzanie regionalne (ograniczenie do Europy)
- Przetwarzanie regionalne to reguła routingu, zgodnie z którą żądania AI obsługują wyłącznie punkty końcowe inferencji w zatwierdzonym regionie.
- BYOK (bring your own key)
- BYOK (bring your own key) oznacza, że przekazujecie własne klucze zewnętrznemu narzędziu.
- Suwerenna AI
- Suwerenna AI oznacza, że firma lub instytucja publiczna może korzystać z AI pod własną jurysdykcją i kontrolą.
Tożsamość i dostęp
- Logowanie jednokrotne (SSO), SAML i Microsoft Entra dla narzędzi AI
- Logowanie jednokrotne (single sign-on, SSO) do narzędzi AI pozwala pracownikom logować się do usług AI tożsamością firmową, na przykład kontem służbowym w Microsoft Entra ID, zamiast osobnym hasłem.
- SCIM
- SCIM (System for Cross-domain Identity Management) to otwarty standard automatycznego tworzenia, aktualizowania i usuwania kont użytkowników i grup w aplikacji, sterowany przez dostawcę tożsamości.
- Lista dozwolonych dostawców (allow-list)
- Lista dozwolonych dostawców (provider allow-list) określa, którzy dostawcy inferencji, na przykład własne API twórcy modelu lub konkretna chmura, mogą przetwarzać żądania AI firmy.
- Lista dozwolonych modeli (allow-list)
- Lista dozwolonych modeli (model allow-list) określa, które modele AI może wywoływać osoba, zespół lub aplikacja.
Kontrola kosztów
- Budżet na klucz
- Budżet na klucz to limit wydatków przypisany do pojedynczego klucza API, dzięki któremu osoba lub aplikacja, która z niego korzysta, nigdy nie wyda w danym okresie więcej, niż ma przydzielone.
- Limit wydatków
- Limit wydatków to twardy górny pułap kosztów AI dla konta, klucza lub okresu.
Nadzór i regulacje
- Dziennik audytu AI
- Dziennik audytu AI to zapis tego, kto zmieniał ustawienia AI i jak AI była używana: zmiany administratorów dotyczące osób, kluczy i reguł, a dla każdego żądania informacja, który model i który dostawca je obsłużył i według jakiej reguły.
- Polityka korzystania z AI
- Polityka korzystania z AI to spisane zasady firmy dotyczące korzystania z narzędzi AI w pracy: które narzędzia są zatwierdzone, jakie dane mogą trafić do promptów, jak weryfikuje się wyniki i kogo powiadomić, gdy coś pójdzie nie tak.
- Podmiot stosujący według aktu w sprawie sztucznej inteligencji
- Według aktu w sprawie sztucznej inteligencji (AI Act) podmiot stosujący (deployer) to osoba fizyczna lub prawna, organ publiczny, agencja lub inny podmiot, które wykorzystują system AI, nad którym sprawują kontrolę, z wyjątkiem sytuacji, gdy system AI jest wykorzystywany w ramach osobistej działalności pozazawodowej (art. 3 pkt 4).
Standard Compute to bramka AI dla firm, z modelami czołowymi i otwartymi modelami przez jedno API. Wasi administratorzy decydują, gdzie przetwarzane są żądania, którzy dostawcy i które modele są dozwolone i ile może wydać każda osoba i aplikacja.
Załóż konto firmowelub napiszcie na contact@standardcompute.com