LLM-Router
Ein LLM-Router ist Software, die pro Anfrage entscheidet, welches große Sprachmodell und welcher Anbieter antworten soll. Er wägt Qualität, Preis, Geschwindigkeit und Unternehmensrichtlinien ab, mit festen Regeln oder einem Klassifikator.
Warum das für Unternehmen wichtig ist
Die meisten Schritte eines KI-Agenten sind Routine: Dateien lesen, zusammenfassen, formatieren. Gehen diese Schritte an ein kleineres Modell, sinken die Kosten, und die schweren Schritte bekommen weiter das stärkste Modell.
Ein Router liefert außerdem einen Fallback. Ist ein Anbieter langsam oder ausgefallen, geht die Anfrage an einen anderen freigegebenen Anbieter desselben Modells.
Beispiel
Ein Coding-Agent sendet in einer Arbeitssitzung 1.000 Anfragen. Der Router schickt Planung und schwierige Änderungen an Claude Opus und das Lesen und Zusammenfassen von Dateien an ein kleines offenes Modell. Die Rechnung sinkt, die schweren Schritte behalten das Frontier-Modell.
So setzt Standard Compute das um
Eine einzige API gibt Ihnen Frontier- und Open-Source-Modelle und leitet jeden Schritt an das günstigste Modell, das ihn erledigen kann, und an den günstigsten Anbieter, der schnell genug ist.
Fällt ein Anbieter aus, wechselt Ihre Anfrage automatisch zu einem anderen freigegebenen Anbieter desselben Modells, ohne Ihre Regions- oder Anbieterregeln zu verlassen.