Modell-Routing
Modell-Routing bedeutet, jede KI-Anfrage an ein für diese Anfrage gewähltes Modell zu schicken, statt alles an ein festes Modell. Die Wahl trifft eine Regel, etwa nach Aufgabe, Team oder Datenklasse, oder automatisch ein Klassifikator.
Warum das für Unternehmen wichtig ist
Die Preise pro Token unterscheiden sich zwischen Modellen stark. Routinearbeit an günstigere Modelle zu geben, ist einer der größten Hebel auf der KI-Rechnung.
Routing findet auf zwei Ebenen statt. Dasselbe Modell wird oft von mehreren Anbietern mit unterschiedlichen Preisen, Geschwindigkeiten, Standorten und Verträgen bedient, daher zählt die Wahl des Anbieters so viel wie die des Modells.
Beispiel
Die Ticket-Sortierung eines Support-Teams geht an ein schnelles, günstiges Modell, Antwortentwürfe an Kunden gehen an ein Frontier-Modell, und alles, was als personenbezogen markiert ist, geht nur an Modelle auf europäischen Endpunkten.
So setzt Standard Compute das um
Eine einzige API gibt Ihnen Frontier- und Open-Source-Modelle und leitet jeden Schritt an das günstigste Modell, das ihn erledigen kann, und an den günstigsten Anbieter, der schnell genug ist.
Legen Sie fest, welche Modelle jeder Schlüssel nutzen darf, damit jede App und jede Person genau die Modelle bekommt, die Sie freigeben.