Tokenia sekunnissa
Tokenia sekunnissa (TPS) on nopeus, jolla malli tuottaa vastauksensa, mitattuna tuotettuina tokeneina sekunnissa yhden pyynnön osalta. Yhdessä ensimmäisen tokenin viiveen kanssa se ratkaisee, kuinka nopealta vastaus tuntuu.
Miksi sillä on merkitystä yrityksille
Sama malli voi toimia hyvin eri nopeudella eri palveluntarjoajilla ja eri laitteistolla, joten nopeus on yhtä lailla palveluntarjoajan kuin mallin ominaisuus.
Agenteilla, jotka suorittavat monta vaihetta peräkkäin, hidas tuotos tarkoittaa minuuttien odotusta jokaisessa tehtävässä, ja odotus kertautuu jokaisen tiimin jäsenen kohdalla.
Esimerkki
Agentti suorittaa 40 vaihetta peräkkäin, ja jokainen vaihe kirjoittaa noin 500 tokenia. Nopeudella 50 tokenia sekunnissa pelkkä tuottaminen kestää lähes 7 minuuttia. Nopeudella 150 tokenia sekunnissa se kestää vähän yli 2 minuuttia.
Mitä tämä tarkoittaa yritykselle, joka käyttää tekoälyrajapintoja
Kun vertailette saman mallin palveluntarjoajia, pyytäkää tuotosnopeus ja ensimmäisen tokenin viive mitattuina omilla kehotteillanne, älkää tyytykö mainoslukuun. Chat-avustajassa ensimmäisen tokenin viive ratkaisee, tuntuuko se nopealta; agenteissa ja eräajoissa tasainen tuotosnopeus ratkaisee, kuinka kauan tehtävä kestää. Esimerkiksi 2 000 tokenin raportin tuottaminen kestää noin 40 sekuntia nopeudella 50 tokenia sekunnissa ja noin 13 sekuntia nopeudella 150.
Missä käsite on määritelty: Mikään standardointielin ei määrittele sitä; benchmark-dokumentaatio määrittelee. NVIDIAn NIM benchmarking metrics (englanniksi) määrittelee ensimmäisen tokenin viiveen (time to first token), tokenien välisen viiveen (inter-token latency) ja tokenien kokonaismäärän sekunnissa, jonka se kuvaa kaikkien samanaikaisten pyyntöjen yhteenlasketuksi tuotostokenien läpäisyksi.
Näin Standard Compute hoitaa sen
Yksi rajapinta antaa käyttöönne sekä kärkimallit että avoimet mallit, ja jokainen vaihe menee edullisimmalle mallille, joka siitä suoriutuu, ja edullisimmalle palveluntarjoajalle, joka on riittävän nopea palvelemaan sen.
Yritysten usein kysymät kysymykset
- Mitataanko tokenit sekunnissa käyttäjää vai järjestelmää kohden?
- Molempia käytetään, ja ne menevät helposti sekaisin. Pyyntökohtainen nopeus on se, minkä yksi käyttäjä näkee. Järjestelmän läpäisy laskee yhteen kaikkien samanaikaisten pyyntöjen tuotoksen; NVIDIAn benchmark-dokumentaatio kutsuu sitä järjestelmän tokeneiksi sekunnissa (total TPS per system). Palveluntarjoajan järjestelmän läpäisy voi olla suuri, vaikka jokaisen käyttäjän vastausvirta on hidas.
- Mikä on ensimmäisen tokenin viive?
- Odotus ennen kuin ensimmäinen tuotostoken saapuu. Siihen sisältyy jonotus ja kehotteen lukeminen, joten pitkät kehotteet ja kuormitetut päätepisteet kasvattavat sitä, vaikka tuotosnopeus olisi suuri.
- Maksaako nopeampi palveluntarjoaja enemmän?
- Ei välttämättä. Eri palveluntarjoajat hinnoittelevat ja palvelevat samaa mallia eri tavoin, joten nopeutta ja hintaa on verrattava palveluntarjoajakohtaisesti omalla työkuormallanne.