Glossario dell'IA per le aziende
Definizioni brevi dei termini che emergono quando un'azienda acquista, protegge e governa l'IA: gateway e instradamento, protezione dei dati, identità, controllo della spesa e regolamentazione.
Ogni voce parte dalla definizione, poi spiega perché conta, dà un esempio concreto e descrive cosa fa Standard Compute.
Gateway, instradamento e capacità
- Gateway IA
- Un gateway IA (AI gateway) è un unico servizio posto tra le applicazioni di un'azienda e i provider di modelli di IA che usa.
- Router LLM
- Un router LLM è un software che decide, per ogni richiesta, quale modello linguistico di grandi dimensioni e quale provider devono rispondere.
- Routing dei modelli
- Il routing dei modelli (instradamento dei modelli) consiste nell'inviare ogni richiesta di IA a un modello scelto per quella richiesta, invece di mandare tutto a un unico modello.
- Token al secondo
- I token al secondo (TPS) indicano la velocità con cui un modello genera la risposta, misurata in token di output al secondo per una richiesta.
- Rate limit e quota
- Un rate limit (limite di frequenza) limita la velocità con cui potete chiamare un modello di IA, per esempio in richieste o token al minuto.
- Throughput con provisioning (PTU)
- Il throughput con provisioning (provisioned throughput) è capacità di modello riservata: pagate una quantità fissa di elaborazione all'ora, che la usiate o no, in cambio di throughput e latenza prevedibili.
Protezione e ubicazione dei dati
- Conservazione zero dei dati (zero data retention)
- La conservazione zero dei dati (zero data retention, ZDR) significa che il provider di IA non conserva alcuna copia dei prompt né delle risposte dopo aver restituito la risposta.
- Garanzia di non addestramento
- Una garanzia di non addestramento (no-training guarantee) è l'impegno contrattuale di un provider di IA a non usare i vostri prompt, i vostri file o le risposte per addestrare o migliorare i suoi modelli.
- Residenza dei dati
- La residenza dei dati (data residency) è il requisito che i dati siano archiviati, e spesso elaborati, in un paese o in una regione precisi.
- Elaborazione regionale (regola Europa)
- L'elaborazione regionale è una regola di instradamento che lascia servire le richieste di IA solo da endpoint di inferenza situati in una regione approvata.
- BYOK (bring your own key)
- Il BYOK (bring your own key, «porta la tua chiave») consiste nel fornire le proprie chiavi a uno strumento di terzi.
- IA sovrana
- L'IA sovrana significa che un'azienda o un ente pubblico può usare l'IA sotto la propria giurisdizione e il proprio controllo.
Identità e accesso
- SSO, SAML e Microsoft Entra per gli strumenti di IA
- Il single sign-on (SSO) per gli strumenti di IA permette alle persone di accedere ai servizi di IA con la propria identità aziendale, per esempio un account di lavoro Microsoft Entra ID, invece che con una password separata.
- SCIM
- SCIM (System for Cross-domain Identity Management) è uno standard aperto per creare, modificare e rimuovere automaticamente gli account utente e i gruppi di un'applicazione, sotto il controllo dell'identity provider.
- Elenco di provider consentiti
- Un elenco di provider consentiti (provider allow-list) è l'elenco dei provider di inferenza, come l'API diretta di un produttore di modelli o un cloud specifico, che possono servire le richieste di IA di un'azienda.
- Elenco di modelli consentiti
- Un elenco di modelli consentiti (model allow-list) definisce quali modelli di IA può chiamare una persona, un team o un'applicazione.
Controllo della spesa
- Budget per chiave
- Un budget per chiave è un limite di spesa legato a una singola chiave API, così la persona o l'applicazione che usa quella chiave non può mai spendere più della propria dotazione in un periodo.
- Tetto di spesa
- Un tetto di spesa (spend cap) è un limite superiore rigido alla spesa per l'IA di un account, una chiave o un periodo.
Governance e regolamentazione
- Registro di audit dell'IA
- Un registro di audit dell'IA è una traccia di chi ha cambiato le impostazioni di IA e di come è stata usata l'IA: le modifiche degli amministratori a persone, chiavi e regole e, per ogni richiesta, il modello e il provider che l'hanno servita e la regola in vigore.
- Policy sull'uso dell'IA
- Una policy sull'uso dell'IA raccoglie le regole scritte di un'azienda per l'uso degli strumenti di IA sul lavoro: quali strumenti sono approvati, quali dati possono entrare nei prompt, come si rivedono i risultati e chi avvisare quando qualcosa va storto.
- Deployer ai sensi dell'AI Act
- Secondo il regolamento europeo sull'intelligenza artificiale (AI Act), il deployer è «una persona fisica o giuridica, un'autorità pubblica, un'agenzia o un altro organismo che utilizza un sistema di IA sotto la propria autorità, tranne nel caso in cui il sistema di IA sia utilizzato nel corso di un'attività personale non professionale» (articolo 3, punto 4).
Standard Compute è un gateway IA per le aziende, con modelli di frontiera e open source tramite un'unica API. I vostri amministratori decidono dove sono elaborate le richieste, quali provider e modelli sono consentiti e quanto può spendere ogni persona e ogni applicazione.
Crea un account aziendaleoppure scrivete a contact@standardcompute.com