Router LLM
Un router LLM è un software che decide, per ogni richiesta, quale modello linguistico di grandi dimensioni e quale provider devono rispondere. Bilancia qualità, prezzo, velocità e policy aziendale, con regole fisse o con un classificatore.
Perché conta per le aziende
La maggior parte dei passaggi di un agente di IA è routine: leggere file, riassumere, formattare. Affidare questi passaggi a un modello più piccolo riduce il costo, mentre i passaggi difficili mantengono il modello più potente.
Un router offre anche un'alternativa. Quando un provider è lento o va giù, la richiesta passa a un altro provider approvato dello stesso modello.
Esempio
Un agente di programmazione invia 1.000 richieste in una sessione di lavoro. Il router affida pianificazione e modifiche difficili a Claude Opus, e lettura e riassunto dei file a un piccolo modello aperto: la fattura scende e i passaggi difficili mantengono il modello di frontiera.
Cosa significa per un'azienda che usa API di IA
Se ogni chiamata va a un modello di frontiera, pagate prezzi da modello di frontiera anche per i passaggi che un modello piccolo saprebbe svolgere. Un router lascia invariata la chiamata API nel vostro codice e manda ogni richiesta a un modello adatto. Per esempio, un team con una pipeline di estrazione dati da documenti affida l'estrazione dei campi semplici a un modello piccolo e passa a un modello di frontiera solo quando l'output del modello piccolo non supera la validazione.
Dove è definito: Non esiste una norma formale. Una definizione molto citata nella ricerca è in RouteLLM: Learning to Route LLMs with Preference Data (Ong et al., 2024, in inglese), che descrive modelli router che scelgono dinamicamente, durante l'inferenza, tra un LLM più forte e uno più debole.
Cosa fa Standard Compute
Un'unica API vi dà modelli di frontiera e modelli open source, e invia ogni passaggio al modello più economico in grado di svolgerlo, servito dal provider più economico abbastanza veloce da farlo.
Se un provider va giù, la richiesta passa automaticamente a un altro provider approvato dello stesso modello, senza uscire dalle vostre regole di regione e di provider.
Domande frequenti delle aziende
- Un router LLM peggiora la qualità delle risposte?
- Può succedere, se manda una richiesta difficile a un modello troppo debole. I router si tarano su un obiettivo di qualità: gli autori di RouteLLM riportano costi ridotti di oltre 2 volte in alcuni casi senza calo della qualità delle risposte. I risultati dipendono dal carico di lavoro, quindi provate il routing sui vostri prompt prima di affidarvici.
- Che differenza c'è tra un router LLM e un gateway IA?
- Un router prende una sola decisione: quale modello e quale provider rispondono a quella richiesta. Un gateway è il punto di controllo più ampio, che applica accesso, regole sui dati, budget e log a ogni richiesta. Molti gateway includono un router.
- Un router può passare a un altro provider quando uno va giù?
- Sì, se lo stesso modello è offerto da più provider o se è impostato un modello di riserva. Verificate che i fallback seguano le stesse regole sui dati e sui provider della prima scelta; altrimenti un failover può mandare i dati dove non li avete autorizzati.