Kleine Sprachmodelle: Ein Leitfaden mit Beispielen

Was sind kleine Sprachmodelle?

Kleine Sprachmodelle sind die kompakten, hocheffizienten Versionen der großen Sprachmodelle, von denen wir schon so viel gehört haben. LLMs wie GPT-4o haben Hunderte von Milliarden von Parametern, aber SMLs verwenden viel weniger - in der Regel Millionen bis ein paar Milliarden.

Die wichtigsten Merkmale von SLMs sind:

1. Effizienz: SLMs brauchen nicht die enorme Rechenleistung, die LLMs erfordern. Dadurch eignen sie sich hervorragend für Geräte mit begrenzten Ressourcen, wie Smartphones, Tablets oder IoT-Geräte - mehr darüber erfährst du in diesem Blog über Edge-KI.
2. Zugänglichkeit: Menschen mit begrenztem Budget können SLMs implementieren, ohne eine High-End-Infrastruktur zu benötigen. Sie eignen sich auch gut für den Einsatz vor Ort, wo Datenschutz und Datensicherheit sehr wichtig sind, da sie nicht immer auf eine cloudbasierte Infrastruktur angewiesen sind.
3. Personalisierung: SLMs lassen sich leicht feinjustieren. Dank ihrer geringen Größe können sie sich schnell an Nischenaufgaben und spezialisierte Bereiche anpassen. Dadurch eignen sie sich gut für bestimmte Anwendungen wie den Kundendienst, das Gesundheitswesen oder das Bildungswesen (darauf gehen wir später noch genauer ein!). 
4. Schnellere Schlussfolgerungen: SLMs haben schnellere Reaktionszeiten, weil sie weniger Parameter verarbeiten müssen. Das macht sie perfekt für Echtzeitanwendungen wie Chatbots, virtuelle Assistenten oder jedes System, bei dem schnelle Entscheidungen wichtig sind. Du musst nicht auf Antworten warten, was für Umgebungen, in denen niedrige Latenzzeiten ein Muss sind, ideal ist.

Beispiele für kleine Sprachmodelle

Die Entwicklung der SLMs von 2019 bis 2024 ist rasant, und es werden viele neue Modelle entwickelt, um den Bedarf an effizienterer KI zu decken. Es begann mit der GPT-2 im Jahr 2019, und im Laufe der Jahre wurden die Modelle immer zielgerichteter und schneller. Bis 2022 konnten Modelle wie Bloom und Galactica mehrere Sprachen und wissenschaftliche Daten verarbeiten, und 2023 wurden Modelle wie Pythia und Cerebras-GPT für Aufgaben wie Codieren und logisches Denken entwickelt.

Im Jahr 2024 wurden noch mehr SLMs veröffentlicht, wie LaMini-GPT, MobileLLaMA und TinyLlama, die für den Einsatz auf mobilen Geräten und anderen Systemen mit geringem Stromverbrauch konzipiert sind. Unternehmen wie Meta, Google und Microsoft sind führend in der Entwicklung dieser Modelle, von denen einige öffentlich zugänglich sind und andere privat bleiben.

Quelle: Lu et al., 2024

Praktiker/innen setzen SLMs in vielen Branchen ein, weil sie leicht und schnell sind und nicht viele Ressourcen benötigen, um zu funktionieren. Hier sind einige dieser Modelle mit ihren Parametern und wichtigsten Merkmalen:

*Mit Nutzungseinschränkungen

**Nur für Forschungszwecke

Mehr über diese Modelle erfährst du in diesem separaten Artikel, den ich über die besten kleinen Sprachmodelle.

Wie SLMs funktionieren

Wir wollen uns ansehen, wie kleine Sprachmodelle funktionieren.

Nächste Wortvorhersage

Genau wie LLMs funktionieren SLMs, indem sie das nächste Wort in einer Textsequenzvorhersagen. SLMs verwenden Muster aus dem Text, auf den sie trainiert wurden, um zu erraten, was als nächstes kommt. Es ist ein einfaches, aber wirkungsvolles Konzept, das allen Sprachmodellen zugrunde liegt.

Zum Beispiel, wenn die Eingabe: "In der Harry Potter-Reihe heißt der beste Freund der Hauptfigur Ron..." Ein SLM würde diesen Kontext analysieren und das wahrscheinlichste nächste Wort vorhersagen - in diesem Fall "Weasley".

Transformator-Architektur

Die Transformer-Architektur ist der Schlüssel dazu, wie LLMs und SLMs Sprache verstehen und erzeugen. Transformatoren können als das Gehirn hinter den Sprachmodellen verstanden werden. Sie nutzen Selbstaufmerksamkeit um herauszufinden, welche Wörter in einem Satz am besten zueinander passen. Das hilft dem Modell, den Kontext zu verstehen - zum Beispiel zu erkennen, dass "Paris" sich auf die Stadt oder die Person bezieht, die du von der Arbeit kennst.

Gleichgewicht zwischen Größe und Leistung

Die Stärke der SLMs liegt in ihrer Fähigkeit, Größe und Leistung in Einklang zu bringen. Sie verwenden deutlich weniger Parameter als LLMs, in der Regel zwischen Millionen und einigen Milliarden, im Vergleich zu Hunderten von Milliarden bei LLMs.

Mit weniger Parametern benötigen SLMs weniger Rechenleistung und Daten zum Trainieren, was sie zugänglicher macht, wenn du nur begrenzte Ressourcen hast. Durch ihre kompakte Größe können SLMs Eingaben schneller verarbeiten und Ausgaben erzeugen, was für Echtzeitanwendungen wie mobile Tastaturen oder Sprachassistenten sehr wichtig ist.

SLMs sind vielleicht nicht so vielseitig und verständnisvoll wie große Modelle, aber sie erledigen bestimmte Aufgaben gut. Ein SLM, der für die Analyse von Rechtstexten ausgebildet ist, könnte zum Beispiel bessere Arbeit leisten als ein allgemeiner LLM in diesem Bereich.

Wie SLMs erstellt werden: Techniken und Herangehensweisen

SLMs verwenden Techniken wie Destillation, Pruning und Quantisierung um kleiner, schneller und effizienter zu werden.

Destillation

Dies ist eine Technik zur Erstellung von SLMs, indem Wissen von einem größeren "Lehrer"-Modell auf ein kleineres "Schüler"-Modell übertragen wird. Das Ziel ist es, das, was das Lehrermodell gelernt hat, auf das Schülermodell zu übertragen, ohne zu viel von seiner Leistung zu verlieren.

Durch dieses Verfahren behalten SLMs einen Großteil der Genauigkeit größerer Modelle bei, sind aber in Bezug auf Größe und Rechenaufwand viel handlicher. Mit dieser Technik lernt das kleinere Modell nicht nur die endgültigen Vorhersagen der Lehrkraft, sondern auch die zugrunde liegenden Muster und Nuancen.

Es gibt verschiedene Methoden der Wissensdestillation:

• Reaktionsbasiert: Das Schülermodell lernt, die letzte Ausgabeschicht des Lehrermodells zu replizieren, wobei es oft "weiche Ziele" für differenziertere Informationen verwendet.
• Merkmalbasiert: Konzentriert sich darauf, die Zwischenschichten des Lehrermodells zu replizieren, um den Schüler/innen zu helfen, ähnliche Muster aus den Daten zu extrahieren.
• Beziehungsorientiert: Der Schüler/die Schülerin lernt, die Beziehungen zwischen den verschiedenen Teilen des Lehrermodells zu verstehen und komplexe Denkprozesse nachzuahmen.

Beschneiden

Beschneiden ist so etwas wie das Beschneiden dessen, was nicht gebraucht wird. Beim Pruning werden Teile des Modells, die nicht so wichtig sind, wie Neuronen oder Parameter, die nicht viel zur Gesamtleistung beitragen, entfernt. Diese Technik hilft dabei, das Modell zu verkleinern, ohne seine Genauigkeit wesentlich zu beeinträchtigen. Das Beschneiden kann jedoch etwas knifflig sein, denn wenn du zu aggressiv vorgehst, läufst du Gefahr, zu viel herauszuschneiden und die Leistung des Modells zu beeinträchtigen.

Durch Pruning kann die Modellgröße erheblich reduziert werden, während ein Großteil der ursprünglichen Leistung erhalten bleibt, was es zu einer effektiven Technik für die Erstellung von SLMs macht.

Quantisierung

Bei der Quantisierung werden weniger Bits verwendet, um die Zahlen des Modells zu speichern. Normalerweise verwendet ein Modell 32-Bit-Zahlen, aber mit dieser Methode werden diese Zahlen auf 8-Bit-Werte reduziert, die viel kleiner sind. Dadurch nimmt das Modell weniger Platz ein und kann schneller laufen. Das Beste daran ist, dass das Modell trotz der weniger präzisen Zahlen immer noch gut funktioniert und seine Genauigkeit nur geringfügig beeinträchtigt.

Stell dir vor, du speicherst die Temperaturwerte in einer Wetter-App. Du würdest sie mit hoher Genauigkeit (wie 32-Bit-Zahlen) speichern, was mehr ist, als du brauchst. Wenn du die Genauigkeit auf 8-Bit reduzierst, verlierst du zwar Details, aber die App ist immer noch nützlich, läuft schneller und verbraucht weniger Speicher.

Dies ist besonders nützlich für den Einsatz von KI auf Geräten mit begrenztem Speicher und begrenzter Rechenleistung, wie Smartphones oder Edge-Geräten.

Die Quantisierung ist besonders effektiv für den Einsatz von Modellen auf Geräten mit begrenzten Ressourcen, da sie den Speicherbedarf reduziert und die Inferenzgeschwindigkeit erhöht.

Anwendungen von Small Language Models

Das Schöne an SLMs ist, dass sie leistungsstarke KI liefern können, ohne dass eine große Infrastruktur oder eine ständige Internetverbindung erforderlich ist, was viele Anwendungsmöglichkeiten eröffnet.

On-Device-KI

Denken wir an die mobilen Assistenten - die Sprachassistenten auf deinem Telefon, die dir helfen, deinen Tag zu meistern. SLMs machen dies möglich. Sie ermöglichen Textvorhersagen in Echtzeit, Sprachbefehle und sogar Übersetzungen, ohne dass Daten in die Cloud gesendet werden müssen. Alles wird lokal erledigt, was schnellere Antworten und mehr Schutz der Privatsphäre bedeutet.

SwiftKey und Gboard zum Beispiel nutzen SLMs, um kontextgenaue Textvorschläge zu liefern, was die Tippgeschwindigkeit und -genauigkeit verbessert.

Das gilt auch für Offline-Anwendungen, bei denen die KI auch ohne Internetverbindung funktioniert, was sie in Gebieten mit eingeschränkter Konnektivität nützlich macht. 

Google Translate zum Beispiel bietet Offline-Übersetzungsfunktionen, die von SLMs unterstützt werden und die Kommunikation in Gebieten mit begrenztem Internetzugang erleichtern.

Personalisierte KI

Einer der großen Vorteile von SLMs ist, dass sie für bestimmte Aufgaben oder Benutzerpräferenzen angepasst werden können. Stell dir vor, du hättest einen Chatbot, der speziell auf den Kundenservice in deinem Unternehmen abgestimmt ist, oder eine KI, die aufgrund deiner bisherigen Interaktionen genau weiß, wie sie dir helfen kann. Weil diese Modelle kleiner sind, lassen sie sich viel leichter anpassen und in verschiedenen Branchen einsetzen.

Schauen wir uns einige Beispiele an:

• Gesundheitswesen: SLMs können für die medizinische Textanalyse angepasst werden, um Echtzeit-Gesundheitsüberwachung und -beratung auf Smart Wearables zu ermöglichen. Sie funktionieren unabhängig von einer kontinuierlichen Cloud-Konnektivität.
• Smart Home Geräte: SLMs, die in Smart-Home-Systeme eingebettet sind, können individuelle Vorlieben für Temperatur und Beleuchtung lernen und die Einstellungen automatisch für verschiedene Tageszeiten oder bestimmte Anlässe anpassen.
• Bildung: Bildungsapps, die SLMs verwenden, können sich an individuelle Lernstile und -tempi anpassen, was den Schüler/innen eine persönliche Anleitung und Unterstützung bietet.

Internet der Dinge

SLMs laufen unauffällig im Hintergrund auf alltäglichen Geräten wie deinem Smart Home System oder anderen Gadgets. Sie helfen diesen Geräten, dich zu verstehen und direkt auf dich zu reagieren, ohne dass sie mit dem Internet verbunden sein müssen, was sie schneller und intelligenter macht.

Andere Anwendungen

SLMs finden auch in zahlreichen anderen Bereichen Anwendung:

• Sprachübersetzung in Echtzeit: SLMs ermöglichen eine sofortige Übersetzung, was für die globale Kommunikation wichtig ist. Einige Reise-Apps nutzen jetzt SLMs, um Schilder, Menüs oder gesprochene Wegbeschreibungen in Echtzeit zu übersetzen. Das hilft den Nutzern bei der Navigation in fremden Sprachen.
• Fahrzeugsysteme: In Autos sorgen SLMs für eine intelligente Navigation, indem sie Verkehrsmeldungen in Echtzeit liefern und die besten Routen vorschlagen. Sie verbessern auch die Sprachsteuerung, so dass der Fahrer Musik steuern, telefonieren oder Nachrichten verschicken kann, ohne die Hände zu benutzen.
• Unterhaltungssysteme: Smart TVs und Spielkonsolen nutzen SLMs zur Sprachsteuerung und um Sendungen oder Spiele vorzuschlagen, die auf dem basieren, was du zuvor gesehen oder gespielt hast.
• Kundenbetreuung: SLMs helfen Unternehmen, Kundenfragen effizienter zu bearbeiten. Einzelhandelsgeschäfte nutzen SLM, um Fragen zu Produkten, zum Bestellstatus oder zu Rückgabebedingungen zu beantworten. Dadurch verringert sich der Bedarf an menschlichem Kundensupport.

LLMs vs. SLMs

Jetzt lass uns darüber reden, wann ein LLM die bessere Wahl ist und wann ein SLM die bessere Wahl ist.

Komplexität der Aufgabe

Für hochkomplexe Aufgaben wie Deep Understanding, die Erstellung langer Inhalte oder das Lösen kniffliger Probleme sind große Modelle wie GPT-4o in der Regel besser ab als SLMs. Sie können diese Aufgaben bewältigen, weil sie aus einer riesigen Menge von Daten schöpfen, um detailliertere Antworten zu geben. Der Nachteil ist jedoch, dass dieses Maß an Raffinesse viel Rechenleistung und Zeit erfordert.

Wenn du zum Beispiel einen Allzweck-Chatbot entwickelst, der verschiedene Themen und komplexe Anfragen bearbeiten muss, wäre ein LLM besser geeignet. Für einen spezialisierten Kundenbetreuer, der sich auf eine bestimmte Produktlinie konzentriert, könnte ein SLM jedoch mehr als ausreichend sein und aufgrund seiner gezielten Ausbildung sogar einen LLM übertreffen.

Ressourcenbeschränkungen

Wenn die Ressourcen begrenzt sind, sind die SLMs die Gewinner. Sie benötigen viel weniger Rechenleistung für die Ausbildung und den Einsatz. Sie sind eine gute Option, wenn du in einer ressourcenbeschränkten Umgebung arbeitest. 

In Situationen, in denen die Rechenleistung begrenzt ist, wie bei mobilen Geräten oder Edge Computing, sind SLMs oft die bessere Option, da sie eine gute Mischung aus Leistung und Effizienz bieten.

Einsatzumgebung

Wenn du KI auf einem Cloud-Server einsetzt, bei dem die Ressourcen keine Rolle spielen, könnte ein LLM die richtige Wahl sein, vor allem, wenn du eine hohe Genauigkeit und flüssige Antworten brauchst. Aber wenn du an Geräten mit begrenzter CPU- oder GPU-Leistung arbeitest, wie IoT-Geräte oder mobile Anwendungen, sind SLMs die perfekte Lösung.

Bei der Auswahl der Einsatzumgebung ist es wichtig, Faktoren wie Internetverbindungen, Latenzzeiten und Datenschutz zu berücksichtigen. Für Anwendungen, die offline oder mit minimaler Latenz funktionieren müssen, sind SLMs, die auf dem Gerät oder am Rand eingesetzt werden, oft die bessere Wahl.

Die Entscheidung zwischen LLMs und SLMs hängt von der Komplexität der Aufgabe, den vorhandenen Ressourcen und dem Ort ab, an dem du sie einsetzen willst. LLMs eignen sich hervorragend für komplexe Aufgaben, die eine hohe Genauigkeit erfordern, während SLMs effizient sind und an mehr Stellen arbeiten können.

Fazit

SLMs machen KI viel leichter zugänglich. Im Gegensatz zu großen Sprachmodellen, die viel Rechenleistung benötigen, kommen SLMs mit weniger Ressourcen aus. Das bedeutet, dass kleinere Unternehmen, einzelne Entwickler und sogar Startups sie nutzen können, ohne riesige Server oder große Budgets zu benötigen.

Um mehr über kleine Sprachmodelle zu erfahren, empfehle ich diese beiden Ressourcen:

• Top Small Language Models
• Wie man Llama 3.2 1B auf einem Android-Handy mit Torchchat ausführt