Mixture of A Million Experts (MoME): Zentrale Konzepte verständlich erklärt

PEER verstehen: Die Stärke paralleler Expert:innen

Eine der größten Hürden beim Skalieren von LLMs liegt im Rechen- und Speicherbedarf der Feedforward-Schichten innerhalb der Transformer-Blöcke. MoE ersetzt diese Schichten durch spärlich aktivierte Expertenmodule, die sich auf unterschiedliche Teilaspekte spezialisieren. Dadurch werden nur die relevanten Expert:innen für eine Eingabe aktiviert, was den Rechenaufwand deutlich reduziert.

Aktuelle MoE-Ansätze haben Einschränkungen, etwa feste Router, die bei neuen Expert:innen neu abgestimmt werden müssen. Daher wird ein neuer Routing-Ansatz eingeführt, der den fixen Router durch einen gelernten Index ersetzt.

Parameter Efficient Expert Retrieval (PEER) verringert die Zahl aktiver Parameter in der MoE-Schicht und beeinflusst so Rechenaufwand und Aktivierungsspeicher sowohl beim Pretraining als auch bei der Inferenz.

PEER zeigt, dass sich mit geeigneten Retrieval- und Routing-Mechanismen MoE auf Millionen von Expert:innen skalieren lässt und damit Kosten und Komplexität beim Trainieren und Bereitstellen sehr großer Sprachmodelle sinken.

Quelle

Im Diagramm oben durchläuft die Eingabeanfrage zunächst ein Product-Key-Retrieval, um die Top-k-Expert:innen zu identifizieren. Diese verarbeiten die Eingabe basierend auf ihrem Spezialwissen; während der Inferenz werden ihre Ausgaben kombiniert, um das finale Modellergebnis zu erzeugen.

Mixture of Million Experts: Die technischen Details

Der Kern von PEER ist Product-Key-Retrieval. Das Ziel bleibt wie beim klassischen MoE: die Top-k-Expert:innen zu finden, die für die Aufgabe am besten geeignet sind. Bei einer riesigen Zahl an Expert:innen (potenziell über eine Million) werden frühere Techniken jedoch zu teuer oder ineffizient.

Angenommen, es gibt N Expert:innen, jeweils dargestellt durch einen d-dimensionalen Vektor. Die Top-k-Expert:innen direkt zu bestimmen, erfordert die Ähnlichkeit zwischen Anfrage und allen N Experten-Schlüsseln zu berechnen, mit einer Zeitkomplexität von O(Nd). Ist N sehr groß (z. B. N ≥ 10^6), wird das untragbar teuer.

PEER nutzt dafür einen cleveren Trick: Anstatt N unabhängige d-dimensionale Schlüssel zu verwenden, teilt PEER jeden Schlüssel in zwei unabhängige Teilmengen mit Dimension d/2. Auch der Anfragevektor wird in zwei Sub-Queries aufgeteilt. Die Top-k-Operation erfolgt dann auf den Skalarprodukten zwischen diesen Sub-Queries und Sub-Keys.

Durch diese kartesische Produktstruktur der Schlüssel sinkt die Rechenkomplexität drastisch von O(Nd) auf O((N^.5 + k2)d). So lassen sich die Top-k-Expert:innen auch bei extrem großer Expertenzahl effizient finden.

PEER-Schichtarchitektur

Die Parameter-Efficient-Expert-Retrieval-(PEER)-Schicht ist eine MoE-Architektur, die Product-Keys im Router und Ein-Neuron-MLPs als Expert:innen verwendet.

Eine PEER-Schicht besteht aus drei Komponenten:

1. Ein Pool aus N Expert:innen E
2. Ein entsprechender Satz von N Product-Keys K
3. Ein Query-Netzwerk q 

So funktioniert es: 

1. Für eine Eingabeanfrage x wird eine Teilmenge von k Expert:innen abgerufen, deren zugehörige Product-Keys die höchsten Skalarprodukte mit der Anfrage q(x) aufweisen.
2. Eine Aktivierungsfunktion wie Sigmoid oder Softmax liefert die Router-Scores für diese Top-k-Expert:innen. 
3. Der Output entsteht durch lineare Kombination der Expertenausgaben, gewichtet mit den Router-Scores.

Kurz gesagt: Die PEER-Schicht findet effizient die relevantesten Expert:innen für eine Eingabe und ermöglicht so die effektive Nutzung einer enormen Zahl an Expert:innen bei beherrschbarer Rechenlast. Diese Innovation ist ein Schlüssel, um MoE-Modelle auf Millionen Expert:innen zu skalieren und den Weg für noch leistungsfähigere, effizientere LLMs zu ebnen.

Vorteile des PEER-Ansatzes

PEER bietet in Kombination mit der MoME-Architektur mehrere starke Vorteile gegenüber klassischen MoE-Ansätzen und verschiebt die Grenzen dessen, was LLMs leisten können:

• Höhere Effizienz: Dank einer großen Zahl spezialisierter Expert:innen gelingt die präzise und effiziente Auswahl relevanter Informationen, was die Gesamtleistung des Modells verbessert.
• Lebenslanges Lernen: PEER erleichtert kontinuierliches Lernen und Wachstum des Modells. Neue Expert:innen lassen sich schrittweise hinzufügen, die Wissensbasis erweitern, ohne das gesamte Modell neu zu trainieren, und bereits erworbenes Wissen bleibt erhalten.
• Skalierbarkeit: PEER überwindet die Skalierungsgrenzen klassischer MoE-Architekturen und ermöglicht Billionen-Parameter-Modelle wie GPT-MoE-1.8T. Damit eröffnen sich neue Möglichkeiten für noch leistungsfähigere LLMs.

Potenzielle Anwendungsfälle von MoME

Mixture-of-Experts ist in der Industrie bereits weit verbreitet; Unternehmen wie YouTube setzen es in ihren Empfehlungssystemen ein. Ähnliches zeichnet sich für MoME ab und wurde bereits auf Nvidias GTC 2024 angedeutet, als von GPTs 1,8-Billionen-Modell die Rede war.

Quelle

Mixture of Million Experts (MoME) mit seiner PEER-Architektur ist besonders vielversprechend für komplexe NLP-Aufgaben, die eine breite Wissensbasis und schnelle Antwortsuche erfordern. Es adressiert die Skalierungsprobleme beim Training und beim Serving sehr großer Sprachmodelle und eröffnet neue Einsatzfelder, etwa in Computer Vision, Content-Generierung, Empfehlungssystemen und Smart Computing.

Herausforderungen und Grenzen

Ein Modell auf eine Million Expert:innen zu skalieren, klingt aus Effizienzsicht vielversprechend, doch das Management eines so großen Netzwerks bringt eigene Hürden mit sich. Hier einige davon: 

1. Rechenkomplexität und Effizienz:
• Kosten der Expertenauswahl: Die Top-k-Expert:innen aus einem Pool von einer Million zu bestimmen, ist rechenintensiv. Selbst mit Optimierungen wie Product-Key-Retrieval bleibt die effiziente Steuerung des Abrufs eine Herausforderung.
• Trainingsaufwand: Das Training eines derart großen Modells mit extrem vielen Expert:innen erfordert enorme Rechenressourcen, die nicht jedem Forschungslabor oder Unternehmen zur Verfügung stehen.
2. Speichergrenzen:
• Aktivierungsspeicher: Mit wachsender Expertenzahl steigt der Speicherbedarf für Aktivierungen und Zwischenergebnisse in Training und Inferenz stark an.
• Parameterspeicher: Das Vorhalten einer Million Expert:innen beansprucht erhebliche Speicherkapazität und erschwert den Einsatz auf ressourcenbeschränkten Geräten.
3. Regularisierung und Stabilität:
• Overfitting: Bei so vielen Parametern droht Überanpassung an die Trainingsdaten. Wirksame Regularisierung ist essenziell, aber nicht trivial zu entwerfen und umzusetzen.
• Stabilität: Die Trainingsstabilität kann leiden, da das Management von Gradienten und Updates für eine Million Expert:innen numerische Instabilitäten und Konvergenzprobleme verursachen kann.

Fazit

In diesem Artikel haben wir die Mixture of Million Experts (MoME) als skalierbaren Ansatz für große Sprachmodelle betrachtet.

MoME nutzt spezialisierte Expertennetzwerke und den PEER-Routing-Mechanismus, um Effizienz und Leistung zu steigern. 

Wir haben die Kernkomponenten, Vorteile und potenziellen Anwendungen diskutiert. Für einen tieferen Einblick empfehlen wir das Forschungspapier mit technischen Details und Benchmarks.

Weitere Informationen findest du im Forschungspapier mit technischen Details und Benchmark-Ergebnissen.