Tokeny na sekundę
Tokeny na sekundę (TPS) to szybkość, z jaką model generuje odpowiedź, mierzona w tokenach wyjściowych na sekundę dla pojedynczego żądania. Razem z czasem do pierwszego tokena decydują o tym, jak szybka wydaje się odpowiedź.
Dlaczego to ważne dla firm
Ten sam model może działać z bardzo różną szybkością u różnych dostawców i na różnym sprzęcie, więc szybkość jest w równym stopniu cechą dostawcy co modelu.
W przypadku agentów, które wykonują wiele kroków po kolei, wolne generowanie oznacza minuty czekania na każde zadanie, pomnożone przez każdą osobę w zespole.
Przykład
Agent wykonuje 40 kroków po kolei, a każdy krok generuje około 500 tokenów. Przy 50 tokenach na sekundę samo generowanie trwa prawie 7 minut. Przy 150 tokenach na sekundę trwa nieco ponad 2 minuty.
Co to oznacza dla firmy korzystającej z API AI
Porównując dostawców tego samego modelu, proście o szybkość generowania i czas do pierwszego tokenu zmierzone na Waszych własnych promptach, a nie o liczbę z materiałów marketingowych. W asystencie czatowym czas do pierwszego tokenu decyduje, czy odpowiedź wydaje się natychmiastowa; w agentach i zadaniach wsadowych o czasie wykonania decyduje utrzymana szybkość generowania. Na przykład raport o długości 2000 tokenów powstaje w około 40 sekund przy 50 tokenach na sekundę i w około 13 sekund przy 150.
Gdzie pojęcie jest zdefiniowane: Nie definiuje tego żadna organizacja normalizacyjna; robi to dokumentacja benchmarków. Metryki benchmarków NVIDIA NIM (po angielsku) definiują czas do pierwszego tokenu, opóźnienie między tokenami oraz łączną liczbę tokenów na sekundę, opisaną jako łączna przepustowość tokenów wyjściowych ze wszystkich równoczesnych żądań.
Jak robi to Standard Compute
Jedno API daje Wam modele czołowe i otwarte modele, a każdy krok trafia do najtańszego modelu, który sobie z nim poradzi, i do najtańszego dostawcy, który obsłuży go wystarczająco szybko.
Pytania, które zadają firmy
- Czy tokeny na sekundę mierzy się na użytkownika, czy dla całego systemu?
- Stosuje się oba podejścia i łatwo je pomylić. Szybkość pojedynczego żądania to to, co widzi jeden użytkownik. Przepustowość systemu sumuje tokeny wyjściowe ze wszystkich równoczesnych żądań; dokumentacja benchmarków NVIDIA nazywa ją łączną liczbą tokenów na sekundę dla systemu. Dostawca może mieć wysoką przepustowość systemu, a mimo to strumień każdego użytkownika może być wolny.
- Czym jest czas do pierwszego tokenu?
- To czas oczekiwania, zanim pojawi się pierwszy token odpowiedzi. Obejmuje kolejkę i wczytanie promptu, więc długie prompty i obciążone punkty końcowe go wydłużają, nawet gdy sama szybkość generowania jest wysoka.
- Czy szybszy dostawca jest droższy?
- Niekoniecznie. Ten sam model jest u różnych dostawców inaczej wyceniany i inaczej obsługiwany, więc szybkość i cenę trzeba porównywać dla każdego dostawcy osobno, na własnym obciążeniu.