Router LLM
Router LLM to oprogramowanie, które przy każdym żądaniu decyduje, który duży model językowy i który dostawca ma odpowiedzieć. Waży jakość, cenę, szybkość i politykę firmy, korzystając ze stałych reguł albo z klasyfikatora.
Dlaczego to ważne dla firm
Większość kroków agenta AI to rutyna: czytanie plików, streszczanie, formatowanie. Gdy te kroki trafiają do mniejszego modelu, koszt spada, a trudne kroki nadal dostają najmocniejszy model.
Router daje też trasę zapasową. Gdy dostawca jest powolny lub niedostępny, żądanie trafia do innego zatwierdzonego dostawcy tego samego modelu.
Przykład
Agent programistyczny wysyła 1000 żądań w ciągu jednej sesji. Router kieruje planowanie i trudne zmiany do Claude Opus, a czytanie plików i streszczenia do małego otwartego modelu, więc rachunek spada, a trudne kroki zachowują model czołowy.
Co to oznacza dla firmy korzystającej z API AI
Jeśli każde wywołanie trafia do jednego modelu czołowego, płacicie ceny modelu czołowego także za kroki, z którymi poradziłby sobie mały model. Router zostawia w kodzie to samo wywołanie API, a każde żądanie trafia do modelu, który do niego pasuje. Na przykład zespół z procesem wyodrębniania danych z dokumentów kieruje proste wyodrębnianie pól do małego modelu i przechodzi na model czołowy dopiero wtedy, gdy wynik małego modelu nie przejdzie walidacji.
Gdzie pojęcie jest zdefiniowane: Nie ma formalnej normy. Często cytowana definicja z badań znajduje się w pracy RouteLLM: Learning to Route LLMs with Preference Data (Ong i in., 2024, po angielsku): modele routujące podczas inferencji dynamicznie wybierają między silniejszym a słabszym LLM.
Jak robi to Standard Compute
Jedno API daje Wam modele czołowe i otwarte modele, a każdy krok trafia do najtańszego modelu, który sobie z nim poradzi, i do najtańszego dostawcy, który obsłuży go wystarczająco szybko.
Gdy dostawca przestaje działać, Wasze żądanie automatycznie przechodzi do innego zatwierdzonego dostawcy tego samego modelu, bez wychodzenia poza Wasze ograniczenia regionalne i ograniczenia dostawców.
Pytania, które zadają firmy
- Czy router LLM obniża jakość odpowiedzi?
- Może, jeśli wyśle trudne żądanie do zbyt słabego modelu. Routery stroi się pod docelową jakość: autorzy RouteLLM podają, że w niektórych przypadkach koszty spadły ponad dwukrotnie bez pogorszenia jakości odpowiedzi. Wyniki zależą od rodzaju obciążenia, więc przetestujcie routing na własnych promptach, zanim na nim oprzecie produkcję.
- Czym router LLM różni się od bramki AI?
- Router podejmuje jedną decyzję: który model i który dostawca odpowiada na dane żądanie. Bramka to szerszy punkt kontroli, który stosuje do każdego żądania reguły dostępu, reguły dotyczące danych, budżety i logi. Wiele bramek ma wbudowany router.
- Czy router może przełączyć żądanie, gdy dostawca nie działa?
- Tak, jeśli ten sam model oferuje więcej niż jeden dostawca albo ustawiono model zapasowy. Sprawdźcie, czy trasy zapasowe podlegają tym samym regułom dotyczącym danych i dostawców co pierwszy wybór; w przeciwnym razie przełączenie może wysłać dane tam, czego nie zatwierdziliście.