Routing modeli
Routing modeli polega na tym, że każde żądanie AI trafia do modelu wybranego właśnie dla tego żądania, zamiast wszystko wysyłać do jednego modelu. Wyboru dokonują reguły, na przykład według rodzaju zadania, zespołu lub klasy danych, albo automatycznie klasyfikator.
Dlaczego to ważne dla firm
Cena za token bardzo się różni między modelami. Kierowanie rutynowej pracy do tańszych modeli to jeden z najskuteczniejszych sposobów na obniżenie rachunku za AI.
Routing działa na dwóch poziomach. Ten sam model często obsługuje kilku dostawców o różnych cenach, szybkościach, lokalizacjach i warunkach umów, więc wybór dostawcy waży tyle samo co wybór modelu.
Przykład
Klasyfikacja zgłoszeń w dziale obsługi klienta trafia do szybkiego i taniego modelu, szkice odpowiedzi dla klientów do modelu czołowego, a wszystko, co oznaczono jako dane osobowe, wyłącznie do modeli na europejskich punktach końcowych.
Co to oznacza dla firmy korzystającej z API AI
W firmie routing modeli zaczyna się od kilku spisanych reguł: jakie rodzaje pracy mogą korzystać z jakich modeli i jakie dane mogą trafiać dokąd. Typowe pierwsze reguły to tani model do klasyfikacji, model czołowy do tekstów dla klientów i europejskie punkty końcowe dla wszystkiego, co zawiera dane osobowe. Routing automatyczny idzie dalej: router modeli Microsoft w Foundry w domyślnym trybie Balanced bierze pod uwagę modele mieszczące się w niewielkim przedziale jakości względem najlepszego modelu dla danego promptu, na przykład od 1% do 2%, i wybiera spośród nich najbardziej opłacalny.
Gdzie pojęcie jest zdefiniowane: Żadna ustawa ani norma tego nie definiuje. Dokumentacja dostawców opisuje konkretne wdrożenia, na przykład router modeli w Microsoft Foundry: wytrenowany model językowy, który w czasie rzeczywistym kieruje każdy prompt do najbardziej odpowiedniego dużego modelu językowego.
Jak robi to Standard Compute
Jedno API daje Wam modele czołowe i otwarte modele, a każdy krok trafia do najtańszego modelu, który sobie z nim poradzi, i do najtańszego dostawcy, który obsłuży go wystarczająco szybko.
Zdecydujcie, z których modeli może korzystać każdy klucz, aby każda aplikacja i każdy członek zespołu dostali dokładnie te modele, które zatwierdzicie.
Pytania, które zadają firmy
- Jak działa inteligentny routing modeli?
- Klasyfikator, często mały model językowy, czyta każdy prompt i ocenia, jak jest trudny i jakiego rodzaju to zadanie. Następnie wybiera najtańszy model, który powinien spełnić próg jakości, albo najsilniejszy model, jeśli stawiacie jakość ponad koszt. Router modeli Microsoft Foundry analizuje na przykład prompty pod kątem złożoności, rozumowania i rodzaju zadania oraz oferuje tryby Balanced, Cost i Quality.
- Czy routing może wysłać nasze dane do modelu, którego nie zatwierdziliśmy?
- Tylko jeśli ten model jest w puli routingu, więc ograniczcie pulę do zatwierdzonych modeli. Router modeli Microsoft pozwala na przykład wybrać podzbiór modeli i używa tego podzbioru także jako zestawu zapasowego, dzięki czemu prompty nie są przetwarzane przez niezatwierdzone modele.
- Czy routing modeli to to samo co równoważenie obciążenia?
- Nie. Równoważenie obciążenia rozkłada żądania między kopie tego samego modelu lub punktu końcowego. Routing wybiera dla każdego żądania inny model lub innego dostawcę, na podstawie treści żądania albo reguł.