Ich brauche Schatten auf dem Weg
Wenn ich gehen will, muss ich
Jeden Schritt langsam und allein setzen
Damit er bereit ist
Und ich muss in Grautönen denken
Damit blasse Gedanken mich leiten
Muss Blaues und Grünes sehen
Und nie mein Auge vergessen lassen
Dass Farbe mein Freund ist
Und Violett mich ebenso umgeben muss
Das Gelb der Sonne ist nicht mehr
Aufdringlich als der bläuliche Schnee
Der auf uns alle fällt. Ich muss
Graue und blaue Gedanken bei mir haben
Wenn ich überhaupt fortgehen soll.
A poem generated by GPT-3, OpenAI's latest language model
Große Sprachmodelle haben die Welt mit ihren sprachlichen Fähigkeiten verblüfft. Ohne spezifisches Training konnten sie eine Vielzahl von Aufgaben auf Spitzenniveau lösen.
Zum Glück sind diese großen Sprachmodelle nicht nur Big Tech vorbehalten. Der Zugang erweitert sich dank einer wachsenden Open-Source-NLP-Community und der zunehmenden Verfügbarkeit von Modell-APIs. Es war noch nie so einfach, die Power großer Sprachmodelle zu nutzen.
Das Wachstum von NLP hat Unternehmen wie Investorinnen und Investoren gleichermaßen neugierig gemacht. Laut einer Umfrage von John Snow Labs und Gradient Flow gaben 60% der Tech-Führungskräfte an, dass ihre NLP-Budgets im Vergleich zu 2020 um mindestens 10% gestiegen sind. Parallel dazu sehen wir ein beeindruckendes Wachstum an NLP-Start-ups, die um Marktanteile konkurrieren. Während NLP mit atemberaubender Geschwindigkeit voranschreitet, weist die KI-Community zu Recht auf die Risiken großer Sprachmodelle hin. Bevor diese Modelle breit eingesetzt werden, müssen wir sicherstellen, dass sie fair und sicher sind.
In diesem Beitrag betrachten wir verschiedene Aspekte von NLP und großen Sprachmodellen – was sie sind, wie sie eingesetzt werden und wie wir sie sicher nutzen können.
Der Fortschritt von NLP – Von Word2Vec zum Transformer
Einen der ersten großen Durchbrüche der vergangenen Dekade markierte Word2Vec. Die Autorinnen und Autoren um Mikolov zeigten, dass ein Modell, das Wortbeziehungen lernt, nicht nur deutlich besser abschneidet als die damals gängigen N-Gramm-Modelle, sondern auch effizienter und schneller ist.
Allerdings nutzt Word2Vec die Wortreihenfolge nicht als Information. Mit dem Aufkommen von Recurrent Neural Networks (RNN) wurde dieses Problem adressiert. Im Gegensatz zu Word2Vec beziehen RNNs Informationen aus vorherigen Eingaben ein, um aktuelle Eingaben und Ausgaben zu beeinflussen. Dadurch erhalten RNNs eine Art „Gedächtnis“ und eignen sich besonders gut, um Beziehungen in Texten zu lernen.
Dieses Gedächtnis ist jedoch aufgrund des „vanishing gradient“-Problems kurzlebig. RNNs funktionieren bei kurzen Sätzen ordentlich, versagen aber bei langen Absätzen. Long Short Term Memory (LSTM), ein spezieller RNN-Typ mit „Gates“, kann Informationen deutlich länger behalten.
LSTMs galten als De-facto-Standard für NLP, bis der Aufsatz „Attention is All You Need“ die Bühne betrat. Der darin vorgestellte Aufmerksamkeitsmechanismus verleiht RNNs die Fähigkeit, sich bei der Ausgabe auf einen relevanten Teil der Information zu konzentrieren. Ein spezieller auf Attention basierender Netzwerktyp, das Transformer-Netzwerk, erwies sich als äußerst simpel, effizient und leistungsfähig.
Besonders das BERT (Bidirectional Encoder Representations from Transformer)-Modell wurde als Meilenstein im NLP gefeiert (dieses NLP-Tutorial liefert einen Überblick zu BERT). Anders als sequenziell lesende, gerichtete Modelle verarbeitet BERT die gesamte Wortfolge gleichzeitig. Am beeindruckendsten: Ein vortrainiertes BERT lässt sich mit nur einer zusätzlichen Ausgabeschicht feinabstimmen und erreicht so in vielen Aufgaben Spitzenleistungen. Seither haben mehrere Attention-Architekturen BERT übertroffen, darunter XLNet, Baidus ERNIE und RoBERTa. Diese Modelle sind bis heute in zahlreichen NLP-Aufgaben im Einsatz.
Der Aufstieg großer Sprachmodelle
Tech-Enthusiastinnen und -Enthusiasten kennen große Sprachmodelle wie Megatron-LM, GPT-3 und T5. Mit ihrer enormen Parameterzahl dominieren sie die Schlagzeilen durch herausragende Leistungen bei Sprachaufgaben.
Das bekannteste Beispiel ist wohl OpenAIs Generative Pre-trained Transformer 3 (GPT-3). GPT-3 verfügt über mehr als 175 Milliarden Parameter und wurde auf 570 Gigabyte Text trainiert – 100-mal größer als sein Vorgänger GPT-2.
Mit der Größe kam eine unerwartete Fähigkeit: Aufgaben zu lösen, für die das Modell nicht explizit trainiert wurde. So konnte GPT-3 etwa Sätze von Englisch nach Deutsch mit wenigen oder ganz ohne Trainingsbeispiele übersetzen. Es beantwortete Fragen, schrieb Aufsätze, fasste lange Texte zusammen und konnte sogar Computer-Code generieren. Überraschenderweise übertraf es dabei teils eigens für diese Aufgaben trainierte Spitzenmodelle.
Mit anderen Worten: Große Sprachmodelle sind „Few-Shot“-Lerner. Sie benötigen nur wenige, domänenspezifische Trainingsbeispiele, um bei einer konkreten Aufgabe gut abzuschneiden. Für einige Aufgaben funktionieren sie sogar „Zero-Shot“, also ohne jegliche Demonstration.
Demonstration von Few-Shot-, One-Shot- und Zero-Shot-Lernen (Quelle)
Das Wettrennen um immer größere Modelle läuft weiter. 2021 veröffentlichten Microsoft und Nvidia Megatron-Turing NLG 530B mit 530 Milliarden Parametern. Im Mai 2022 teilte Meta sein Open Pretrained Transformer (OPT-175B) mit der KI-Forschungsgemeinschaft. DeepMind kündigte zudem sein 7‑Milliarden‑Parameter-Modell Retrieval Enhanced Transformer (RETRO) an, das ähnlich gut performen soll wie Netze, die 25‑mal größer sind.
Große Sprachmodelle wachsen von Jahr zu Jahr (Quelle)
Die Demokratisierung großer Sprachmodelle
Bis vor kurzem waren große Sprachmodelle das Terrain kapitalstarker Big-Tech-Unternehmen mit eigenen Supercomputern. Die Parameterzahl ist so gewaltig, dass nicht einmal die größte Consumer‑GPU ein solches Modell fassen kann. Selbst wenn das Speicherproblem gelöst ist, dauert das Training ohne Parallelisierung unrealistisch lange. Nvidia schätzte etwa, dass es 36 Jahre dauern würde, GPT‑3 auf acht V100‑GPUs zu trainieren. Lambda Labs veranschlagt die Einstiegskosten zur Entwicklung von GPT‑3 auf mindestens 11,5 bis 27,6 Millionen US‑Dollar und die jährlichen Betriebskosten in der Cloud auf mindestens 87.000 US‑Dollar.
Für Start-ups mit knappen Budgets ist das unerschwinglich. Dank APIs großer Sprachmodelle können sie die Power von GPT‑3 jedoch nutzen, ohne teure Rechenressourcen zu kaufen oder in High-End-Hardware zu investieren. Gründerinnen und Gründer integrieren Modelle wie GPT‑3 einfach über APIs von OpenAI, Cohere und AI21 in ihre Produkte.
Im März 2021 meldete OpenAI, dass über 300 Apps täglich 4,5 Milliarden Wörter über die GPT‑3‑API ausliefern. Dank der API ist die Entwicklung leistungsfähiger NLP‑Anwendungen schneller und skalierbarer denn je.
Die Verbreitung von NLP‑Start-ups
Mit dem breiteren Zugang zu großen Sprachmodellen überrascht es wenig, dass in den letzten Jahren immer mehr Start-ups mit unterschiedlichsten Services entstanden sind.
Praktiker staunten über GPT‑3s Fähigkeit, kohärente Langtexte zu erzeugen – etwa beim immersiven Erlebnis von AI Dungeon, einem textbasierten Fantasy‑Abenteuerspiel, das GPT‑3 für Inhalte nutzt. Ein weiteres Start-up, Fable Studio, schuf mit GPT‑3 ein neues Genre interaktiver Geschichten und erweckte „Virtual Beings“ zum Leben.
Ein Screenshot von AI Dungeon. Was tust du als Nächstes?
Inzwischen erzeugt GPT‑3 nicht nur fiktionale Erzählungen, sondern auch Marketing-Content für Unternehmen. Mit einem kurzen Prompt lassen sich Blogartikel, Social‑Posts, Werbetexte und E‑Mails generieren. Zu den bekannten Start-ups zählen copy.ai (heute mit 13,9 Mio. US‑Dollar bewertet), CopySmith (10 Mio. US‑Dollar) und Rtyr. Wer solche Angebote belächelt mit dem Argument, Bot‑Texte sofort zu erkennen, dürfte nachdenklich werden angesichts eines von GPT‑3 verfassten Blogposts, der es an die Spitze von Hacker News schaffte.
Auch im Suchbereich sorgen NLP‑Start-ups für Bewegung. Ein viel diskutierter Beitrag „Google Search is Dying“ prangerte Probleme heutiger Suchmaschinen an und entfachte Debatten über Disruption durch Start-ups. Eines davon, you.com, geführt von einem ehemaligen Salesforce‑Chief Scientist, sammelte rund 20 Mio. US‑Dollar ein. Um Google frontal herauszufordern, nutzt es NLP, um Suchanfragen semantisch zu verstehen und Ergebnisse aus dem Web zu verdichten. Ein weiteres Start-up, Zir AI, gegründet von einem ehemaligen Cloudera‑CTO, bietet Unternehmen interne Suchmaschinen, die Intention und Semantik verstehen.
Der Aufstieg von HuggingFace🤗 zum NLP‑Powerhouse
Ein weiteres bemerkenswertes NLP‑Start-up ist HuggingFace. Es bietet Tools, um moderne, transformerbasierte NLP‑Modelle einfach zu entwickeln, zu trainieren und bereitzustellen. Als „AI community building the future“ positioniert, vereint HuggingFace eine aktive Open‑Source‑Community, die neueste Modelle und Datensätze teilt. Die einfache Bedienung stärkt seinen Status als Vorreiter für NLP‑Werkzeuge.
Die Oberfläche von HuggingFace
Seit 2016 sorgt HuggingFace für Schlagzeilen und enorme Popularität in der KI‑Community. Über 5.000 Organisationen nutzen es, darunter Schwergewichte wie Google AI, Facebook AI, Microsoft und das Allen Institute for AI. Das GitHub‑Repository zählt rund 60.000 Stars und gehört damit zu den beliebtesten Repositories. All das trägt zu einer Bewertung von 61,3 Mio. US‑Dollar (Stand März 2021) bei. Laut Business Insider könnte frisches Kapital die Bewertung auf bis zu 2 Mrd. US‑Dollar heben.
Die Demokratisierung von KI wird eine der größten gesellschaftlichen Errungenschaften sein, sagt CTO Julien Chaumond. Entsprechend engagiert ist HuggingFace, den Zugang zu NLP zu verbreitern. Die Modell‑Bibliothek listet rund 42.000 Modelle aus diversen Frameworks wie PyTorch, TensorFlow und Keras. Das populärste Modell, der transformerbasierte gpt2, wurde über 100 Millionen Mal heruntergeladen.
Anwendungen, die HuggingFace ermöglicht
Diese Modelle kommen in einer beeindruckenden Bandbreite von Aufgaben zum Einsatz. Neben typischen NLP‑Use‑Cases wie Übersetzung, Zusammenfassung und Textgenerierung gibt es auch Modelle für Computer Vision (Bildklassifikation, Bildsegmentierung) und Audiobearbeitung (Audioklassifikation, Text‑to‑Speech).
Jüngst hat HuggingFace seine Bemühungen intensiviert, NLP für Profis, Einsteigerinnen und Einsteiger sowie alle dazwischen zugänglich zu machen. Studierende ohne Vorerfahrung profitieren vom kostenlosen HuggingFace‑NLP‑Kurs mit praxisnahen Tutorials zu Transformer‑Modellen. Wer ML‑Projekte bauen und deployen will, kann die kostenlosen Rechenressourcen auf HuggingFace Spaces nutzen.
NLP‑Fans können mit der Datasets-Bibliothek große Textkorpora erkunden. Datenwissenschaftlerinnen und -wissenschaftler sowie ML‑Engineers freuen sich über das neue Open‑Source‑Projekt Optimum zur skalierbaren Optimierung von Transformern.
Die Datasets‑Bibliothek von HuggingFace umfasst über 4.500 einzigartige Datensätze in 467 Sprachen und Dialekten – alle mit wenigen Zeilen Code herunterladbar.
Das kommende BigScience Large Language Model ist der vorläufige Höhepunkt dieser Demokratisierungsarbeit. BigScience ist ein mehrsprachiges Sprachmodell mit 176 Milliarden Parametern, kollaborativ entwickelt von über 1.000 Forschenden weltweit. Das Training soll bis Mitte 2022 abgeschlossen sein. Bis dahin bleibt die Vorfreude auf die Möglichkeiten, die BigScience eröffnen wird. Den Trainingsfortschritt kannst du auf Twitter verfolgen.
Nachdem wir die Leistungen von NLP‑Start-ups skizziert haben, schauen wir nun auf zwei konkrete Branchenbeispiele.
Die Zukunft von NLP im Gesundheitswesen
Das Gesundheitswesen ist eine 4‑Billionen‑US‑Dollar‑Industrie pro Jahr, beschäftigt jeden zehnten US‑Arbeitnehmenden und steht für 25% der staatlichen Ausgaben. Trotz seiner enormen Bedeutung leidet das amerikanische System unter Ineffizienzen. NLP könnte hier tiefgreifend transformieren.
Ein Hebel ist die Effizienz und Genauigkeit der Versorgung durch medizinisches Personal. Ärztinnen und Ärzte verbringen laut einer AMA‑Studie 2019 fast 6 Stunden pro Tag – rund 50% ihrer Arbeitszeit – mit elektronischen Gesundheitsakten (EHR). Neben dem Zeitaufwand führen manuelle Eingaben unweigerlich zu vermeidbaren Fehlern.
NLP kann hier ansetzen, indem Erstellung und Analyse von EHRs automatisiert werden. Mit Spracherkennung lassen sich Arzt‑Patient‑Gespräche automatisch verschriftlichen. Mit Textzusammenfassung können Besuchsberichte schnell generiert werden. Mit auf großen EHR‑Daten trainierten Modellen lassen sich Diagnosen und Behandlungen vorhersagen.
Auch die Patientenerfahrung kann profitieren. Mit NLP lassen sich Chatbots entwickeln, die relevante Infos zu Terminen liefern, erinnern und Fragen von Patientinnen und Patienten beantworten.
Beispiel für die Beantwortung einer Patientenfrage per NLP (Quelle)
In einer Studie berichteten Brustkrebspatientinnen von knapp 94% Zufriedenheit mit einem medizinischen Chatbot, mit dem sie über ein Jahr interagiert hatten. Kein Wunder also, dass Unternehmen wie Babylon Health und AdaHealth diese Chance nutzen und weltweit Chatbot‑Services anbieten. Das Potenzial von NLP im Gesundheitswesen bringt Neal Khosla, CEO von Curai, einem MedTech‑Start‑up, auf den Punkt: „KI und NLP können hochwertige, hausärztliche Versorgung massiv skalieren – zugänglich für mehr Menschen zu geringeren Kosten.“
Die Zukunft von NLP in der Bildung
Ein weiteres spannendes Feld ist die Bildung. Hochwertige Bildung in großem Maßstab bereitzustellen, ist ökonomisch herausfordernd. Daher erforscht man skalierbare, rechnergestützte Ansätze, die Lehrkräfte entlasten und ihre Wirksamkeit erhöhen. Die leistungsfähigsten NLP‑Modelle lassen sich zu Fachexpertinnen und -experten für bestimmte Disziplinen trainieren. Solche Modelle können beim Korrigieren, Feedbackgeben und sogar beim Erstellen von Fragen unterstützen.
Ein konkretes Beispiel ist der ProtoTransformer, ein Modell, das eine offene Informatik‑Zwischenprüfung an der Stanford University bewertet hat. Dank der Fähigkeit, unterschiedliche Informationsarten wie Aufgabenstellung, Diagramme und Bewertungsraster zu verarbeiten, war ProtoTransformer so effektiv wie menschliche Tutorinnen und Tutoren.
NLP kann zudem personalisiertes Feedback liefern – in großen Klassen logistisch kaum machbar. Das ändert sich, wenn NLP den Feedbackprozess automatisiert. Ein Beispiel ist MathBERT, ein auf einem großen mathematischen Korpus (von Vorschule bis Master‑Niveau) trainiertes BERT‑Modell.
Auch die Fragenproduktion lässt sich automatisieren. Forschende der Stanford University zeigten, dass moderne Sprachmodelle neuartige Rückübersetzungsfragen in gezielter Schwierigkeit erzeugen können.
Sprachmodelle generierten Englisch‑→Spanisch‑Übersetzungsfragen unterschiedlicher Schwierigkeit. Kursiv gesetzte Fragen sind neu und existieren nicht im ursprünglichen Datensatz.
Studien von McKinsey legen nahe, dass sich 20 bis 40 Prozent der aktuellen Lehrerarbeitszeit durch bestehende Technologie automatisieren lassen. Edtech‑Start-ups wie Noodle Factory gehen bereits in diese Richtung. Werden Lehrkräfte von manuellen, repetitiven Aufgaben entlastet, bleibt mehr Zeit für Coaching und Mentoring – Dinge, die KI nicht nachahmen kann.
Die Risiken großer Sprachmodelle
Bis hierhin haben wir gesehen, wie große Sprachmodelle zuvor Unmögliches möglich machen. Doch Forschende warnen vor blindem Optimismus ohne Blick auf Risiken. Große Sprachmodelle werden Wissenschaft, Gesellschaft und KI verändern, betont ein Team der Stanford University. Ob zum Guten oder zum Schlechten, hängt davon ab, wie wir Risiken steuern.
Ein Risiko sind Verzerrungen und schädliche Inhalte. Heutige Sprachmodelle werden auf unkuratierten Webdaten trainiert. Darunter können Falschinhalte oder toxische Inhalte sein. Das führt dazu, dass Modelle unsere Sprache – mit all ihren Makeln – erlernen und bestehende Vorurteile verstärken.
Ein Lehrbuchbeispiel für Schaden gegenüber Minderheiten ist Microsofts Chatbot Tay (2016), der rassistische und sexualisierte Tweets absetzte. Jüngst zeigten Wallace et al. erschreckend, dass ein einzelner Trigger in der Eingabe GPT‑2 dazu bringen kann, rassistische Ausgaben zu produzieren – selbst bei nicht‑rassistischen Kontexten. Im selben Experiment veranlasste ein anderer Trigger das SQuAD‑Modell dazu, alle „Warum“-Fragen mit „to kill American people“ zu beantworten.
Ähnlich können Trainingsdaten vergiftet werden, wodurch nachgelagerte Anwendungen gefährdet sind. Alarmierend zeigten Schuster et al., dass sich ein Code‑Completion‑System durch das Einschleusen weniger bösartiger Dateien dazu bringen lässt, unsicheren Code zu erzeugen. Denkbar ist, dass andere generative Modelle durch gezielte Injektionen ebenfalls zu schädlichen Ausgaben verleitet werden.
Auch die Anbieter können ein Risiko darstellen. Aktuell verlangt GPT‑3, dass Daten für Inferenzen zu OpenAI hochgeladen werden. Ein Leak solcher potenziell sensiblen Daten wäre ein Datenschutzvorfall. Viele Modelle werden zudem direkt über die Infrastruktur von HuggingFace bereitgestellt. Ein Angriff auf diese gemeinsame Infrastruktur könnte zahlreiche produktive Modelle gleichzeitig beeinträchtigen.
Solche Risiken verstärken sich, wenn einzelne vortrainierte Modelle übermäßig populär sind. Findet ein Angreifer eine Schwachstelle in einem weit verbreiteten Modell, kann er zahlreiche darauf aufbauende Anwendungen ausnutzen.
Der Mangel an Interpretierbarkeit
Interpretierbarkeit ist der Grad, zu dem ein Mensch die Ursache einer Entscheidung nachvollziehen kann. Viele heutige NLP‑Modelle sind davon weit entfernt.
Große Sprachmodelle sind Black Boxes, die kaum Einblick in ihre Entscheidungsfindung geben. Es ist wenig ratsam, weitreichende Entscheidungen zu treffen, ohne den Prozess zu verstehen. Ein NLP‑System, das über Haftentlassungen entscheidet, muss seine Entscheidungen faktenbasiert erklären können. Solche Erklärungen ermöglichen es, Fairness und Konsistenz zu prüfen.
Es gibt zwar erklärbare KI‑Methoden, die Modellverhalten erläutern sollen. Das sind separate Modelle, die Black‑Box‑Modelle erklären – etwa Googles Language Interpretability Tool (LIT) oder LIME.
Eine Demo von Googles LIT (Quelle)
Allerdings können solche Erklärungen untreu sein und den tatsächlichen Entscheidungsweg verfehlen. Sie können unzuverlässig, irreführend und gefährlich sein. Plausible, aber unzutreffende Erklärungen wiegen Praktiker in falscher Sicherheit und verleiten dazu, fehlerhafte Modelle zu vertrauen – so die Kernaussage des wegweisenden Papiers „Stop Explaining Black‑Box Machine Learning Models for High Stake Decisions and Use Interpretable Models Instead“.
Große Sprachmodelle werden die Zukunft der KI prägen
„Das ist erst der Anfang eines Paradigmenwechsels: Große Sprachmodelle beginnen gerade erst, die Art und Weise zu verändern, wie KI‑Systeme gebaut und eingesetzt werden“, resümiert ein Team namhafter KI‑Forschender zu den Chancen und Risiken großer Sprachmodelle.
Die Use Cases großer Sprachmodelle sind schlicht beeindruckend. Doch es ist nicht alles Gold, was glänzt. Als KI‑Praktikerinnen und -Praktiker müssen wir die Schattenseiten kennen und Modelle verantwortungsvoll einsetzen. Nur so heben wir ihr volles Potenzial.
Erfahre hier mehr über Natural Language Processing:
