Mallien reititys
Mallien reititys tarkoittaa, että jokainen tekoälypyyntö ohjataan juuri sille pyynnölle valitulle mallille sen sijaan, että kaikki menisi samalle mallille. Valinta tehdään säännöillä, esimerkiksi tehtävätyypin, tiimin tai tietoluokan mukaan, tai automaattisesti luokittelijalla.
Miksi sillä on merkitystä yrityksille
Tokenin hinta vaihtelee malleittain paljon. Rutiinityön ohjaaminen edullisemmille malleille on yksi tehokkaimmista keinoista pienentää tekoälylaskua.
Reititystä tehdään kahdella tasolla. Samaa mallia palvelee usein useampi palveluntarjoaja eri hinnoin, nopeuksin, sijainnein ja sopimusehdoin, joten palveluntarjoajan valinta painaa yhtä paljon kuin mallin valinta.
Esimerkki
Asiakastuen tikettien luokittelu menee nopealle ja edulliselle mallille, asiakasvastausten luonnokset kärkimallille, ja kaikki henkilötiedoiksi merkitty menee vain malleille, joita palvellaan eurooppalaisista päätepisteistä.
Mitä tämä tarkoittaa yritykselle, joka käyttää tekoälyrajapintoja
Yrityksessä mallien reititys alkaa muutamasta kirjatusta säännöstä: millaiseen työhön saa käyttää mitäkin mallia ja mitä tietoja saa lähettää minnekin. Tyypillisiä ensimmäisiä sääntöjä ovat edullinen malli luokitteluun, kärkimalli asiakkaille näkyvään tekstiin ja eurooppalaiset päätepisteet kaikkeen, mikä sisältää henkilötietoja. Automaattinen reititys menee pidemmälle: Microsoftin Foundryn mallireititin huomioi oletustilassaan Balanced ne mallit, jotka jäävät kehotteen parhaasta mallista vain pienen laatueron päähän, esimerkiksi 1 tai 2 prosenttia, ja valitsee niistä kustannustehokkaimman.
Missä käsite on määritelty: Mikään laki tai standardi ei määrittele sitä. Toimittajien dokumentaatio kuvaa toteutuksia, esimerkiksi Microsoftin Model router for Microsoft Foundry (englanniksi): koulutettu kielimalli, joka reitittää jokaisen kehotteen reaaliaikaisesti sopivimmalle suurelle kielimallille.
Näin Standard Compute hoitaa sen
Yksi rajapinta antaa käyttöönne sekä kärkimallit että avoimet mallit, ja jokainen vaihe menee edullisimmalle mallille, joka siitä suoriutuu, ja edullisimmalle palveluntarjoajalle, joka on riittävän nopea palvelemaan sen.
Päättäkää, mitä malleja kukin avain saa käyttää, niin jokainen sovellus ja tiimin jäsen saa juuri ne mallit, jotka hyväksytte.
Yritysten usein kysymät kysymykset
- Miten älykäs mallien reititys toimii?
- Luokittelija, usein pieni kielimalli, lukee jokaisen kehotteen ja arvioi, kuinka vaikea se on ja millainen tehtävä on kyseessä. Sitten se valitsee edullisimman mallin, jonka odotetaan täyttävän laatuvaatimuksen, tai vahvimman mallin, jos painotatte laatua kustannusten sijaan. Esimerkiksi Microsoftin Foundryn mallireititin analysoi kehotteiden monimutkaisuutta, päättelyä ja tehtävätyyppiä ja tarjoaa tilat Balanced, Cost ja Quality.
- Voiko reititys lähettää tietojamme mallille, jota emme ole hyväksyneet?
- Vain jos malli kuuluu reitityksen valikoimaan, joten rajatkaa valikoima hyväksyttyihin malleihin. Microsoftin mallireitittimessä voi esimerkiksi valita mallien osajoukon, jota käytetään myös varajoukkona, joten kehotteita ei käsitellä hyväksymättömillä malleilla.
- Onko mallien reititys sama asia kuin kuormantasaus?
- Ei. Kuormantasaus jakaa pyyntöjä saman mallin tai päätepisteen kopioille. Reititys valitsee jokaiselle pyynnölle mallin tai palveluntarjoajan sen sisällön tai sääntöjen perusteella.