Routing dei modelli
Il routing dei modelli (instradamento dei modelli) consiste nell'inviare ogni richiesta di IA a un modello scelto per quella richiesta, invece di mandare tutto a un unico modello. La scelta avviene con regole, per esempio in base al tipo di attività, al team o alla classe di dati, oppure automaticamente con un classificatore.
Perché conta per le aziende
I prezzi per token variano molto da un modello all'altro. Affidare il lavoro di routine a modelli più economici è una delle leve principali sulla fattura dell'IA.
Il routing avviene su due livelli. Lo stesso modello è spesso servito da più provider, con prezzi, velocità, ubicazioni e contratti diversi, quindi scegliere il provider conta quanto scegliere il modello.
Esempio
Lo smistamento dei ticket di un team di assistenza va a un modello veloce ed economico, le bozze di risposta ai clienti a un modello di frontiera, e tutto ciò che è contrassegnato come dato personale solo a modelli serviti da endpoint europei.
Cosa significa per un'azienda che usa API di IA
Per un'azienda il routing dei modelli comincia con poche regole scritte: quali attività possono usare quali modelli e quali dati possono andare dove. Le prime regole tipiche sono un modello economico per la classificazione, un modello di frontiera per i testi rivolti ai clienti ed endpoint europei per tutto ciò che contiene dati personali. Il routing automatico va oltre: il router modello di Microsoft Foundry, nella modalità predefinita Balanced, considera i modelli entro un piccolo margine di qualità rispetto al migliore per quel prompt, per esempio dall'1% al 2%, e sceglie il più conveniente.
Dove è definito: Nessuna legge o norma lo definisce. La documentazione dei fornitori descrive le implementazioni, per esempio il router modello di Microsoft Foundry, un modello linguistico addestrato che instrada ogni prompt in tempo reale verso il modello linguistico di grandi dimensioni più adatto.
Cosa fa Standard Compute
Un'unica API vi dà modelli di frontiera e modelli open source, e invia ogni passaggio al modello più economico in grado di svolgerlo, servito dal provider più economico abbastanza veloce da farlo.
Decidete quali modelli può usare ogni chiave, così ogni applicazione e ogni persona del team ha esattamente i modelli che approvate.
Domande frequenti delle aziende
- Come funziona il routing intelligente dei modelli?
- Un classificatore, spesso un piccolo modello linguistico, legge ogni prompt e stima quanto è difficile e di che tipo di attività si tratta. Poi sceglie il modello meno costoso che dovrebbe raggiungere una soglia di qualità, oppure il modello più potente se preferite la qualità al costo. Il router modello di Microsoft Foundry, per esempio, analizza i prompt per complessità, ragionamento e tipo di attività e offre le modalità Balanced, Cost e Quality.
- Il routing può mandare i nostri dati a un modello che non abbiamo approvato?
- Solo se quel modello è nel pool di routing, quindi limitate il pool ai modelli approvati. Il router modello di Microsoft, per esempio, permette di scegliere un sottoinsieme di modelli e usa lo stesso sottoinsieme come insieme di fallback, così i prompt non vengono elaborati da modelli non approvati.
- Il routing dei modelli è la stessa cosa del bilanciamento del carico?
- No. Il bilanciamento del carico distribuisce le richieste tra copie dello stesso modello o endpoint. Il routing sceglie un modello o un provider diverso per ogni richiesta, in base al contenuto o a regole.