LLM-reititin
LLM-reititin on ohjelmisto, joka päättää jokaisen pyynnön kohdalla, mikä suuri kielimalli ja mikä palveluntarjoaja siihen vastaa. Se punnitsee laatua, hintaa, nopeutta ja yrityksen käytäntöjä kiinteiden sääntöjen tai luokittelijan avulla.
Miksi sillä on merkitystä yrityksille
Useimmat tekoälyagentin vaiheet ovat rutiinia: tiedostojen lukemista, tiivistämistä ja muotoilua. Kun nämä vaiheet menevät pienemmälle mallille, kustannukset laskevat, ja vaikeat vaiheet saavat silti vahvimman mallin.
Reititin antaa myös varareitin. Kun palveluntarjoaja on hidas tai poissa käytöstä, pyyntö menee toiselle saman mallin hyväksytylle palveluntarjoajalle.
Esimerkki
Koodausagentti lähettää työpäivän aikana 1 000 pyyntöä. Reititin ohjaa suunnittelun ja vaikeat muutokset Claude Opukselle ja tiedostojen lukemisen ja tiivistelmät pienelle avoimelle mallille, joten lasku pienenee ja vaikeat vaiheet saavat edelleen kärkimallin.
Mitä tämä tarkoittaa yritykselle, joka käyttää tekoälyrajapintoja
Jos jokainen kutsu menee yhdelle kärkimallille, maksatte kärkimallin hintaa myös vaiheista, jotka pieni malli hoitaisi. Reititin pitää koodinne API-kutsun ennallaan, mutta jokainen pyyntö menee sille sopivalle mallille. Esimerkiksi asiakirjoista tietoja poimiva tiimi lähettää yksinkertaiset kenttäpoiminnat pienelle mallille ja siirtää pyynnön kärkimallille vain, jos pienen mallin tuotos ei läpäise tarkistusta.
Missä käsite on määritelty: Muodollista standardia ei ole. Laajasti siteerattu tutkimuksen määritelmä on julkaisussa RouteLLM: Learning to Route LLMs with Preference Data (Ong ym., 2024, englanniksi): reititinmallit valitsevat päättelyn aikana dynaamisesti vahvemman ja heikomman LLM:n välillä.
Näin Standard Compute hoitaa sen
Yksi rajapinta antaa käyttöönne sekä kärkimallit että avoimet mallit, ja jokainen vaihe menee edullisimmalle mallille, joka siitä suoriutuu, ja edullisimmalle palveluntarjoajalle, joka on riittävän nopea palvelemaan sen.
Jos palveluntarjoaja kaatuu, pyyntönne siirtyy automaattisesti toiselle saman mallin hyväksytylle palveluntarjoajalle poistumatta alue- tai palveluntarjoajarajauksistanne.
Yritysten usein kysymät kysymykset
- Heikentääkö LLM-reititin vastausten laatua?
- Voi heikentää, jos se lähettää vaikean pyynnön liian heikolle mallille. Reitittimet viritetään laatutavoitetta vasten: RouteLLM-tutkimuksen tekijät raportoivat kustannusten laskeneen joissakin tapauksissa alle puoleen ilman, että vastausten laatu heikkeni. Tulokset riippuvat työkuormasta, joten testatkaa reititystä omilla kehotteillanne ennen kuin luotatte siihen.
- Mitä eroa on LLM-reitittimellä ja AI-gatewaylla?
- Reititin tekee yhden päätöksen: mikä malli ja palveluntarjoaja vastaa tähän pyyntöön. Gateway on laajempi hallintapiste, joka soveltaa käyttöoikeuksia, tietosääntöjä, budjetteja ja lokitusta jokaiseen pyyntöön. Monessa gatewayssa on reititin.
- Voiko reititin siirtää pyynnön toiselle palveluntarjoajalle, jos yksi on alhaalla?
- Kyllä, jos samaa mallia tarjoaa useampi palveluntarjoaja tai varamalli on määritetty. Tarkistakaa, että varareitit noudattavat samoja tieto- ja palveluntarjoajasääntöjä kuin ensisijainen valinta; muuten varareitti voi lähettää tietoja paikkaan, jota ette ole hyväksyneet.