Small Language Models: una guida con esempi

Cosa sono i Small Language Models?

I small language models sono le versioni compatte e altamente efficienti dei giganteschi large language models di cui si parla tanto. Gli LLM come GPT-4o hanno centinaia di miliardi di parametri, mentre gli SLM ne usano molti meno—tipicamente da qualche milione a pochi miliardi.

Le caratteristiche chiave degli SLM sono:

1. Efficienza: gli SLM non richiedono la potenza di calcolo massiccia degli LLM. Questo li rende ideali su dispositivi con risorse limitate, come smartphone, tablet o dispositivi IoT—scopri di più in questo post su edge AI.
2. Accessibilità: chi ha budget limitati può implementare gli SLM senza infrastrutture di fascia alta. Sono anche adatti a deployment on-premise, dove privacy e sicurezza dei dati sono molto importanti, perché non dipendono sempre da infrastrutture cloud.
3. Personalizzazione: gli SLM sono facili da mettere a punto. Le dimensioni ridotte consentono di adattarli rapidamente a compiti di nicchia e domini specializzati. Questo li rende adatti ad applicazioni specifiche come assistenza clienti, sanità o istruzione (ne parleremo più in dettaglio tra poco!). 
4. Inferenza più rapida: gli SLM hanno tempi di risposta più rapidi perché hanno meno parametri da elaborare. Sono perfetti per applicazioni in tempo reale come chatbot, assistenti virtuali o qualsiasi sistema in cui sono essenziali decisioni rapide. Non devi aspettare le risposte, una grande cosa in contesti dove la bassa latenza è fondamentale.

Esempi di Small Language Models

Lo sviluppo degli SLM dal 2019 al 2024 è stato rapido, con molti nuovi modelli creati per rispondere al bisogno di un’AI più efficiente. Si è partiti con GPT-2 nel 2019 e, negli anni, i modelli sono diventati più mirati e veloci. Nel 2022, modelli come Bloom e Galactica gestivano più lingue e dati scientifici e, nel 2023, modelli come Pythia e Cerebras-GPT sono stati progettati per compiti come il coding e il ragionamento logico.

Nel 2024 sono usciti ancora più SLM, come LaMini-GPT, MobileLLaMA e TinyLlama, pensati per funzionare bene su dispositivi mobili e altri sistemi a bassa potenza. Aziende come Meta, Google e Microsoft guidano lo sviluppo di questi modelli, alcuni aperti al pubblico e altri proprietari.

Fonte: Lu et al., 2024

Gli SLM sono usati in molti settori perché sono leggeri, veloci e non richiedono molte risorse per l’esecuzione. Ecco alcuni di questi modelli con i loro parametri e le caratteristiche principali:

*Con restrizioni d’uso

**Solo per scopi di ricerca

Scopri di più su questi modelli in questo articolo dedicato che ho scritto sui migliori small language models.

Come funzionano gli SLM

Vediamo come funzionano i small language models.

Predizione della parola successiva

Come gli LLM, anche gli SLM funzionano predicendo la parola successiva in una sequenza di testo. Gli SLM usano i pattern del testo su cui sono stati addestrati per indovinare cosa viene dopo. È un concetto semplice ma potente alla base di tutti i modelli linguistici.

Per esempio, dato l’input: "Nella serie di Harry Potter, il migliore amico del protagonista si chiama Ron..." Uno SLM analizzerebbe questo contesto e predirebbe la parola più probabile—in questo caso, "Weasley".

Architettura transformer

L’architettura transformer è la chiave di come LLM e SLM comprendono e generano linguaggio. I transformer possono essere intesi come il cervello dei modelli linguistici. Usano il meccanismo di self-attention per capire quali parole in una frase sono più rilevanti tra loro. Questo aiuta il modello a comprendere il contesto—per esempio, a riconoscere se “Paris” si riferisce alla città o alla persona che conosci dal lavoro.

Equilibrio tra dimensioni e prestazioni

La forza degli SLM sta nella capacità di bilanciare dimensioni e prestazioni. Usano molti meno parametri rispetto agli LLM, in genere da milioni a pochi miliardi, contro le centinaia di miliardi degli LLM.

Con meno parametri, gli SLM richiedono meno potenza di calcolo e meno dati per l’addestramento, il che li rende più accessibili se hai risorse limitate. Le dimensioni compatte fanno sì che elaborino input e generino output più velocemente, cosa molto importante per applicazioni in tempo reale come tastiere mobili o assistenti vocali.

Gli SLM potrebbero non essere versatili o profondi quanto i modelli grandi, ma gestiscono bene compiti specifici. Per esempio, uno SLM addestrato ad analizzare testi legali può fare meglio di un LLM generale in quell’ambito.

Come si creano gli SLM: tecniche e approcci

Gli SLM usano tecniche come distillazione, pruning e quantizzazione per diventare più piccoli, veloci ed efficienti.

Distillazione

È una tecnica per creare SLM trasferendo conoscenza da un modello grande "insegnante" a un modello più piccolo "studente". L’obiettivo è comprimere nello studente ciò che il modello insegnante ha imparato, senza perdere troppo in prestazioni.

Questo processo fa sì che gli SLM mantengano gran parte dell’accuratezza dei modelli più grandi pur essendo molto più gestibili in termini di dimensioni e calcolo. Con questa tecnica, il modello piccolo impara non solo le predizioni finali dell’insegnante, ma anche pattern e sfumature sottostanti.

Esistono diversi metodi di knowledge distillation:

• Basata sulla risposta: il modello studente impara a replicare lo strato di output finale del modello insegnante, spesso usando "soft target" per informazioni più sfumate.
• Basata sulle feature: si concentra sulla replica degli strati intermedi del modello insegnante, aiutando lo studente a estrarre pattern simili dai dati.
• Basata sulle relazioni: addestra lo studente a comprendere le relazioni tra diverse parti del modello insegnante, emulando processi di ragionamento complessi.

Pruning

Il pruning è un po’ come potare ciò che non serve. Durante il pruning, si rimuovono parti del modello meno importanti—come neuroni o parametri che contribuiscono poco alle prestazioni complessive. Questa tecnica aiuta a ridurre il modello senza incidere in modo significativo sull’accuratezza. Tuttavia, può essere delicato: se si esagera, si rischia di tagliare troppo e danneggiare le prestazioni.

Il pruning può ridurre significativamente le dimensioni del modello mantenendo gran parte delle prestazioni originali, rendendolo una tecnica efficace per creare SLM.

Quantizzazione

La quantizzazione consiste nell’usare meno bit per memorizzare i numeri del modello. Normalmente, un modello può usare numeri a 32 bit, ma con questo metodo si riducono a valori a 8 bit, molto più piccoli. Così il modello occupa meno spazio e gira più veloce. La cosa migliore è che, anche se i numeri sono meno precisi, il modello funziona comunque bene, con un impatto minimo sull’accuratezza.

Immagina di archiviare valori di temperatura in un’app meteo. Li salveresti con alta precisione (come numeri a 32 bit), più del necessario. Riducendo la precisione a 8 bit, potresti perdere qualche dettaglio, ma l’app resterà utile funzionando più velocemente e usando meno memoria.

È particolarmente utile per distribuire l’AI su dispositivi con memoria e potenza di calcolo limitate, come smartphone o dispositivi edge.

La quantizzazione è particolarmente efficace per distribuire modelli su dispositivi con risorse limitate perché riduce i requisiti di memoria e migliora la velocità di inferenza.

Applicazioni dei Small Language Models

Il bello degli SLM è che offrono potenti funzionalità di AI senza richiedere enormi infrastrutture o connettività internet continua, aprendo così tantissime applicazioni.

AI on-device

Pensa agli assistenti mobili—quegli assistenti vocali sul telefono che ti aiutano nella giornata. Gli SLM rendono possibile tutto questo. Consentono predizione del testo in tempo reale, comandi vocali e persino traduzioni senza dover inviare dati al cloud. Tutto avviene in locale, con risposte più rapide e interazioni più rispettose della privacy.

Per esempio, SwiftKey e Gboard utilizzano SLM per fornire suggerimenti testuali contestuali e accurati, migliorando velocità e precisione di digitazione.

Questo si estende anche alle applicazioni offline, dove l’AI può funzionare senza connessione internet, risultando utile in aree con connettività limitata. 

Google Translate, ad esempio, offre funzionalità di traduzione offline alimentate da SLM, facilitando la comunicazione in zone con scarso accesso a internet.

AI personalizzata

Uno dei grandi vantaggi degli SLM è che possono essere personalizzati per compiti specifici o preferenze dell’utente. Immagina un chatbot messo a punto appositamente per il customer service della tua azienda o un’AI che sa esattamente come aiutarti in base alle interazioni precedenti. Poiché questi modelli sono più piccoli, sono molto più facili da ottimizzare e distribuire in settori diversi.

Ecco alcuni esempi:

• Sanità: gli SLM possono essere personalizzati per l’analisi di testi medici, offrendo monitoraggio in tempo reale e consigli su wearable intelligenti. Operano senza dipendere da una connettività cloud continua.
• Dispositivi smart home: SLM integrati nei sistemi domestici intelligenti possono apprendere preferenze individuali per temperatura e illuminazione, regolando automaticamente le impostazioni in base ai momenti della giornata o alle occasioni.
• Istruzione: le app educative che usano SLM possono adattarsi a stili e ritmi di apprendimento individuali, offrendo guida e supporto personalizzati agli studenti.

Internet of Things

Gli SLM lavorano silenziosamente in background su dispositivi quotidiani come il tuo sistema smart home o altri gadget. Aiutano questi dispositivi a comprenderti e risponderti direttamente senza bisogno di connessione a internet, rendendoli più veloci e intelligenti.

Altre applicazioni

Gli SLM trovano applicazione in numerosi altri ambiti:

• Traduzione linguistica in tempo reale: gli SLM rendono possibile la traduzione istantanea, fondamentale per la comunicazione globale. Alcune app di viaggio ora usano SLM per tradurre in tempo reale cartelli, menu o indicazioni vocali, aiutando a orientarsi in lingue straniere.
• Sistemi automobilistici: nelle auto, gli SLM forniscono navigazione intelligente, con aggiornamenti sul traffico in tempo reale e suggerimenti sui percorsi migliori. Migliorano anche i comandi vocali, permettendo di controllare musica, fare chiamate o inviare messaggi senza usare le mani.
• Sistemi di intrattenimento: smart TV e console di gioco usano SLM per il controllo vocale e per suggerire contenuti o giochi in base a ciò che hai visto o giocato in passato.
• Assistenza clienti: gli SLM aiutano le aziende a gestire le richieste dei clienti in modo più efficiente. I negozi al dettaglio usano SLM per rispondere su prodotti, stato degli ordini o politiche di reso, riducendo il bisogno di supporto umano.

LLM vs. SLM

Vediamo quando conviene puntare su LLM e quando gli SLM sono la scelta migliore.

Complessità del compito

Per compiti molto complessi come comprensione profonda, creazione di contenuti lunghi o risoluzione di problemi difficili, modelli grandi come GPT-4o di solito rendono meglio degli SLM. Possono gestire questi compiti perché attingono a enormi quantità di dati per fornire risposte più dettagliate. Il rovescio della medaglia è che questo livello di sofisticazione richiede molta potenza di calcolo e tempo.

Per esempio, se stai sviluppando un chatbot generico che deve gestire argomenti diversi e query complesse, un LLM è più indicato. Tuttavia, per un bot di assistenza clienti specializzato su una specifica linea di prodotti, uno SLM può essere più che sufficiente e persino superare un LLM grazie all’addestramento mirato.

Vincoli di risorse

Quando hai vincoli di risorse, qui gli SLM vincono. Richiedono molta meno potenza computazionale per l’addestramento e il deployment. Sono un’ottima opzione se lavori in ambienti con risorse limitate. 

In situazioni con potenza di calcolo limitata, come su dispositivi mobili o edge computing, gli SLM sono spesso l’opzione migliore perché offrono un buon mix di prestazioni ed efficienza.

Ambiente di deployment

Se distribuisci l’AI su un server cloud dove le risorse non sono un problema, un LLM può essere la scelta giusta, soprattutto se ti servono alta accuratezza e fluidità nelle risposte. Ma se lavori su dispositivi con CPU o GPU limitate, come dispositivi IoT o applicazioni mobili, gli SLM sono perfetti.

Quando valuti l’ambiente di deployment, è essenziale considerare fattori come connettività internet, requisiti di latenza e questioni di privacy. Per applicazioni che devono funzionare offline o con latenza minima, gli SLM distribuiti on-device o all’edge sono spesso la scelta migliore.

La scelta tra LLM e SLM dipende dalla complessità del compito, dalle risorse a disposizione e dall’ambiente di deployment. Gli LLM sono ottimi per compiti complessi che richiedono alta accuratezza, mentre gli SLM sono efficienti e funzionano in più contesti.

Conclusione

Gli SLM stanno rendendo l’AI molto più accessibile. A differenza dei large language models che richiedono enormi risorse di calcolo, gli SLM funzionano con meno. Questo significa che aziende più piccole, sviluppatori individuali e persino startup possono usarli senza server mastodontici o budget esagerati.

Per approfondire i small language models, ti consiglio queste due risorse:

• Migliori Small Language Models
• Come eseguire Llama 3.2 1B su un telefono Android con Torchchat