Last chance! 50% off DataCamp Premium
Sale ends in
Per anni, scalare i modelli di IA ha significato soprattutto aggiungere più parametri e dati di addestramento.
Se da un lato questo approccio migliora le prestazioni, dall'altro aumenta sensibilmente i costi computazionali. Mixture of Experts (MoE) è emersa come una soluzione promettente a questa sfida, usando moduli di esperti attivati in modo sparso al posto dei tradizionali strati feed-forward densi.
La MoE funziona delegando i compiti a diversi esperti in base alla loro competenza sull'argomento. Ogni esperto è addestrato in modo intensivo su un dataset specifico per svolgere un certo ruolo, e un altro componente, la rete di gating, si occupa di smistare questi compiti.
Sebbene i modelli MoE superino quelli tradizionali con strati Feed-Forward, la loro efficienza può appiattirsi man mano che le dimensioni del modello crescono, a causa dei limiti legati all'uso di un numero fisso di token di addestramento.
Per affrontare questo problema servono architetture ad alta granularità con un gran numero di esperti. Tuttavia, l'unica architettura esistente che supporta oltre diecimila esperti, la Mixture of Word Experts (MoWE), è specifica per la lingua e si basa su uno schema di instradamento fisso.
La Mixture of A Million Experts (MoME), introdotta in questo articolo, affronta la sfida introducendo l'architettura Parameter Efficient Expert Retrieval (PEER), che impiega il product key retrieval per instradare in modo efficiente verso un numero enorme di esperti.
Capire PEER: la potenza degli esperti in parallelo
Una delle principali sfide nello scalare gli LLM risiede nelle richieste computazionali e di memoria degli strati feedforward all'interno dei blocchi transformer. La MoE affronta questo problema sostituendo questi strati con moduli di esperti attivati in modo sparso, ognuno specializzato in aspetti diversi del compito. Questo approccio aumenta l'efficienza attivando solo gli esperti pertinenti per un determinato input, riducendo l'overhead computazionale.
Gli approcci attuali alla MoE presentano limiti, come router fissi che vanno riadattati quando si aggiungono nuovi esperti. Perciò viene introdotto un nuovo approccio all'instradamento, che sostituisce il router fisso con un indice appreso.
Parameter Efficient Expert Retrieval (PEER) riduce il numero di parametri attivi nello strato MoE, con impatto sul calcolo e sul consumo di memoria per le attivazioni durante il pre-training e l'inferenza.
PEER dimostra che, applicando i giusti meccanismi di retrieval e routing, la MoE può essere scalata fino a milioni di esperti, riducendo costi e complessità nell'addestramento e nel serving di modelli linguistici molto grandi.
Nel diagramma sopra, la query in input inizialmente subisce il product key retrieval per identificare i migliori k esperti. Questi esperti selezionati poi elaborano l'input in base alle loro conoscenze specialistiche e, in fase di inferenza, i loro output vengono combinati per generare l'output finale del modello.
Mixture of Million Experts: i dettagli tecnici
L'innovazione centrale di PEER è l'uso del product key retrieval. L'obiettivo resta quello della MoE tradizionale: trovare i migliori k esperti più adatti al compito dato. Tuttavia, con un numero enorme di esperti (potenzialmente superiore al milione), le tecniche precedenti diventano costose o inefficienti dal punto di vista computazionale.
Considera uno scenario con N esperti, ciascuno rappresentato da un vettore di dimensione d. Calcolare direttamente i migliori k esperti comporterebbe il calcolo della similarità tra la query in input e tutte le N chiavi degli esperti, con una complessità temporale di O(Nd). Quando N è molto grande (ad es., N ≥ 10^6), questo diventa proibitivo.
PEER affronta il problema con una strategia ingegnosa: invece di usare N chiavi di esperti d-dimensionali indipendenti, suddivide ciascuna chiave in due sottoinsiemi indipendenti, ciascuno di dimensionalità d/2. Analogamente, il vettore di query è diviso in due sotto-query. L'operazione di top-k viene quindi applicata ai prodotti interni tra queste sotto-query e le sotto-chiavi.
Questa struttura a prodotto cartesiano delle chiavi riduce drasticamente la complessità computazionale da O(Nd) a O((N^.5+ k2)d), rendendo praticabile l'identificazione efficiente dei migliori k esperti anche con un numero enorme di esperti.
Architettura dello strato PEER
Il livello Parameter-Efficient Expert Retrieval (PEER) è un'architettura MoE che usa product key nel router e MLP a singolo neurone come esperti.
Uno strato PEER è composto da tre componenti:
- Un pool di N esperti E
- Un insieme corrispondente di N product key K
- Una rete di query q
Ecco come funziona:
- Data una query in input x, recupera un sottoinsieme di k esperti le cui product key corrispondenti hanno i prodotti interni più alti con la query q(x).
- Applica una funzione di attivazione come sigmoid o softmax per ottenere gli score del router per questi top k esperti recuperati.
- Calcola l'output combinando linearmente gli output degli esperti pesati dagli score del router.
In sostanza, lo strato PEER identifica in modo efficiente gli esperti più rilevanti per un dato input, permettendo di sfruttare efficacemente un numero enorme di esperti mantenendo la trattabilità computazionale. Questa innovazione è un fattore chiave per scalare i modelli MoE a milioni di esperti, aprendo la strada a LLM più potenti ed efficienti.
Vantaggi dell'approccio PEER
PEER, insieme all'architettura MoME, offre diversi vantaggi convincenti rispetto agli approcci MoE tradizionali, spingendo oltre i confini delle capacità degli LLM:
- Maggiore efficienza: Sfruttando un numero enorme di esperti specializzati, PEER consente un recupero più accurato ed efficiente delle informazioni pertinenti, portando a un miglioramento complessivo delle prestazioni del modello.
- Apprendimento continuo: PEER facilita l'apprendimento continuo e la crescita del modello. Nuovi esperti possono essere aggiunti in modo incrementale, espandendo la base di conoscenze del modello senza doverlo riaddestrare completamente, preservando così le conoscenze già acquisite.
- Scalabilità: PEER affronta i limiti di scalabilità delle architetture MoE tradizionali, rendendo possibile lo sviluppo di modelli con trilioni di parametri come GPT-MoE-1.8T. Questo apre nuove possibilità per creare LLM ancora più potenti e capaci.
Applicazioni potenziali di MoME
La Mixture-of-Experts è già un paradigma di modello ampiamente utilizzato nel settore, con aziende come YouTube che l'hanno integrata nel loro sistema di raccomandazione. Il futuro di MoME sembra simile, e se ne è già accennato al GTC 2024 di Nvidia, quando si è parlato del modello da 1,8 trilioni di parametri di GPT.
La Mixture of Million Experts (MoME), con la sua architettura PEER, mostra un potenziale particolare per compiti NLP complessi che richiedono un'ampia base di conoscenze e un recupero rapido delle risposte. Affronta le sfide di scalabilità insite nell'addestramento e nel serving di modelli linguistici molto grandi, aprendo nuove possibilità d'uso in ambiti come computer vision, generazione di contenuti, sistemi di raccomandazione e smart computing.
Sfide e limitazioni
Scalare un modello fino a un milione di esperti è promettente in termini di efficienza, ma gestire una rete così grande comporta diverse sfide. Vediamone alcune:
- Complessità computazionale ed efficienza:
- Costo del recupero degli esperti: calcolare i migliori k esperti da un pool di un milione può essere costoso. Anche con ottimizzazioni come il product-key retrieval, gestire in modo efficiente il processo di recupero resta impegnativo.
- Overhead di addestramento: addestrare un modello così grande con un numero enorme di esperti richiede notevoli risorse computazionali, non sempre alla portata di tutti i laboratori di ricerca o aziende.
- Vincoli di memoria:
- Memoria per le attivazioni: al crescere del numero di esperti, la memoria necessaria per archiviare attivazioni e risultati intermedi durante addestramento e inferenza può diventare proibitiva.
- Memorizzazione dei parametri: archiviare un milione di esperti richiede una notevole capacità di memoria, il che può limitare il deployment su dispositivi con risorse limitate.
- Regolarizzazione e stabilità:
- Overfitting: con un numero così grande di parametri, c'è il rischio di overfitting ai dati di addestramento. Tecniche efficaci di regolarizzazione sono cruciali ma possono essere difficili da progettare e implementare.
- Stabilità: la stabilità dell'addestramento può essere problematica, perché gestire gradienti e aggiornamenti per un milione di esperti può portare a instabilità numeriche e problemi di convergenza.
Conclusione
In questo articolo abbiamo esplorato la tecnica Mixture of Million Experts (MoME), un approccio scalabile per i large language model.
MoME sfrutta reti di esperti specializzati e il meccanismo di routing PEER per migliorare efficienza e prestazioni.
Abbiamo discusso i suoi componenti principali, i vantaggi e le potenziali applicazioni. Per approfondire, consulta l'articolo di ricerca per i dettagli tecnici e i risultati dei benchmark.
Per ulteriori informazioni, fai riferimento all'articolo di ricerca per i dettagli tecnici e i risultati dei benchmark.
