Nell’era delle interfacce intelligenti, gli utenti si abituati a interazioni immediate: un clic per fare login, un tap per pubblicare un post: dietro queste esperienze fluide si nascondono tecnologie che esistono da decenni. Quando entra in gioco l’intelligenza artificiale generativa - e in particolare gli LLM (Large Language Models) - la rapidità non è più scontata: ogni risposta può richiedere miliardi di operazioni computazionali in pochi secondi. E il grosso del carico si manifesta ancora prima, durante le complesse fasi di addestramento.

A questa complessità, però, si sta affiancando una nuova generazione di modelli linguistici: gli SLM (Small Language Models): meno noti al grande pubblico, sono sempre più centrali per un’AI più efficiente, veloce e customizzata su esigenze specifiche e task di dettaglio.

I limiti degli LLM: potenza sì, ma a quale prezzo?

I Large Language Models come GPT o PaLM hanno cambiato il panorama dell’AI ma portano con sé alcune criticità rilevanti, soprattutto in contesti aziendali o industriali:

• Lentezza: i modelli più noti generano solo 40-60 token al secondo. Una singola risposta può richiedere fino a 20 secondi;

• Costo computazionale elevato: gli LLM sono altamente energivori. Ogni interazione richiede un’enorme potenza di calcolo, traducendosi in costi e consumo energetico significativi;.

• Difficoltà di controllo: gli LLM sono spesso considerati “black box", con comportamenti difficili da prevedere e gestire, con possibili pain a livello di liability. Per molte aziende, soprattutto in ambito sanitario, finanziario o governativo, questo rappresenta un rischio non accettabile.

• Problemi di privacy e hosting: ospitare un LLM internamente è molto costoso, perché servono personale specializzato per i deployment, costi di mantenimento software e di infrastruttura.

La risposta degli SLM: precisione mirata, costi ridotti

Gli Small Language Models nascono come risposta a queste sfide: non sono pensati per rispondere a tutto, ma per eseguire task mirati, in ambiti specifici. Ecco perché stanno diventando la scelta preferita per chi cerca una soluzione AI verticale, con la possibilità di ospitarla in locale.

Come funzionano gli SLM

Gli SLM si basano su due processi chiave:

• Specializzazione supervisionata, ossia si parte da un set limitato di risposte, curate da esperti umani, per insegnare al modello come comportarsi in un contesto preciso;

• Distillazione, che implica che il modello "impara" da un LLM più grande, acquisendo le sue capacità su un ambito specifico. Gli vengono fornite domande reali e risposte generate dal modello maggiore, di cui creare varianti. Così, l’SLM ne assimila logiche, probabilità e incertezze.

Fondamentale in questo processo è la gestione dei dati: più un modello è piccolo, più è sensibile alla qualità del training. Serve quindi grande competenza di data augmentation, una notevole varietà di esempi e un accurato lavoro di post-processing, per mettere dei paletti ai modelli, così da evitare allucinazioni o comportamenti errati.

Perché scegliere gli SLM? Vantaggi concreti

Perché un’azienda, specialmente una PMI o un’organizzazione molto verticale su un ambito, dovrebbe scegliere gli SLM al posto dei più mainstream LLM?

Abbiamo mappato 5 aree di vantaggio competitivo da non sottovalutare.

• Efficienza e costi ridotti: gli SLM sono fino a 7 volte più economici rispetto all’uso di LLM tramite API. Richiedono meno risorse e consumano meno energia.

• Velocità: rispondono fino a 10 volte più rapidamente rispetto agli LLM commerciali. Questo è essenziale per applicazioni in tempo reale o customer service automatizzati.

• Precisione: in ambiti verticali, un SLM ben allenato è spesso 3 volte più preciso di un LLM generalista. Meno risposte vaghe, più soluzioni affidabili.

• Controllabilità e scalabilità: essendo più piccoli, gli SLM sono più facili da monitorare, aggiornare e gestire. Inoltre, possono essere scalati per casi d’uso specifici, senza dover ricorrere ogni volta a un modello generalista mastodontico.

• Privacy e hosting locale: gli SLM possono essere ospitati on-premise, garantendo pieno controllo dei dati. Per aziende soggette a normative rigide - come banche, enti pubblici o realtà sanitarie - questo è un vantaggio strategico notevole. Non solo, c’è anche un forte tema di regolamentazione territoriale: per le imprese svizzere è essenziale che i dati restino sul territorio, hostando il modello in locale e, ovviamente, anche in questo senso hostare un SLM è più semplice.

Come Artificialy utilizza gli SLM

In Artificialy crediamo in un’AI sostenibile, mirata ed efficace. Abbiamo utilizzato gli Small Language Models, ad esempio, per realizzare la soluzione voice-based Abaclik, per:

• Automatizzare risposte su domini verticali, con modelli progettati ad hoc per clienti specifici;

• Creare esperienze utente rapide e fluide, anche su dispositivi con risorse limitate;

• Garantire privacy by design, offrendo soluzioni che restano interamente sotto il controllo del cliente, senza inviare dati a servizi esterni;

• Aumentare la precisione dei chatbot aziendali, riducendo i falsi positivi e migliorando il tasso di risposte corrette.

Il nostro approccio unisce l’efficienza dei modelli piccoli con l’intelligenza dei modelli grandi, ma solo dove serve. L’esperienza ci consente di discriminare dove è più efficiente un LLM e su quale progetto è, invece, più utile un SML. Inoltre, abbiamo competenza sull’inferenza: sappiamo renderla veloce, efficiente e scalabile.

I Large Language Models hanno aperto ad un uso dell’intelligenza artificiale massivo e “democratico”. Ma oggi, la vera innovazione è trovare soluzioni su misura e, in questo senso, gli Small Language Models rappresentano un cambio di paradigma: da modelli onniscienti a modelli specialistici, efficienti e controllabili.