Was sind Foundation Models?

BERT, GPT-3, DALL-E 2, LLaMA, BLOOM – diese Modelle sind einige der Stars der KI-Revolution, die wir seit der Veröffentlichung von ChatGPT erleben. Was haben sie gemeinsam? Genau: Es sind alles Foundation Models.

Foundation Models sind eine jüngere Entwicklung in der KI. Diese Modelle werden mit Algorithmen entwickelt, die auf Allgemeingültigkeit und vielseitige Ausgaben optimiert sind. Sie beruhen auf großskaligen neuronalen Netzen, die häufig mit einer breiten Palette an Datenquellen und sehr großen Datenmengen trainiert werden, um eine Vielzahl nachgelagerter Aufgaben zu bewältigen – darunter auch solche, für die sie nicht gezielt entwickelt oder trainiert wurden.

Die Popularität von Foundation Models befeuert die klassische Debatte zwischen Narrow AI und Artificial General Intelligence (AGI), auch Starke KI genannt. Narrow AI bezeichnet KI-Systeme, die für klar umrissene Aufgaben entwickelt wurden und außerhalb dieses Rahmens nicht arbeiten können. AGI hingegen ist ein hypothetisches KI-System, das Wissen ähnlich wie ein Mensch verstehen, lernen und auf eine breite Palette von Aufgaben anwenden kann.

Auch wenn Foundation Models noch nicht wie Menschen denken, liefern sie bahnbrechende Ergebnisse, die uns der Schwelle zur AGI näherbringen. Deshalb sollten Datenprofis und Nicht‑Expertinnen und -Experten diese Modelle kennen.

Für alle, die neu im Thema sind, bietet unser AI Essentials Skill Track einen fundierten Überblick über KI-Modelle der nächsten Generation. Wer bereits Vorkenntnisse mitbringt, kann mit unserem Artikel zu generativen KI-Projekten sein Wissen direkt anwenden.

Schauen wir uns Foundation Models genauer an!

Was sind Foundation Models? Zentrale Konzepte verständlich erklärt

Der Begriff Foundation Model ist relativ neu und überschneidet sich mit anderen populären Konzepten wie Generative KI, Transformer und Large Language Models (LLMs).

Die KI-Terminologie ist allerdings weiterhin umkämpft. Hier sind Definitionen, die dir helfen, dich im rasant entwickelnden Feld der KI zurechtzufinden:

• Generative KI. Ein Oberbegriff für KI-Systeme, deren Hauptfunktion das Erzeugen von Inhalten ist – im Gegensatz zu Systemen, die z. B. für Klassifikation oder Vorhersagen entwickelt wurden.
• Transformer. Transformer haben das Deep Learning revolutioniert. Sie stellen eine neue Architektur bereit, um sequenzielle Daten effizient zu verarbeiten. Besonders für Text sind sie hervorragend geeignet und bilden daher das Rückgrat der Verarbeitung und Generierung natürlicher Sprache (NLP/NLG). Transformer kommen jedoch auch bei anderen Datentypen wie Bildern erfolgreich zum Einsatz.
• Large Language Model. LLMs sind KI-Systeme zur Modellierung und Verarbeitung menschlicher Sprache. Transformer sind die zugrunde liegende Technologie. „Large“ sind sie, weil sie Hunderte Millionen bis Milliarden Parameter besitzen und mit riesigen Textkorpora vortrainiert werden.
• Foundation Model. Ein weiter Begriff für KI-Modelle, die auf eine breite, allgemeine Vielfalt von Ausgaben ausgelegt sind. Sie können zahlreiche Aufgaben und Anwendungen abdecken, etwa die Erzeugung von Text, Video, Bild oder Audio. Ein besonderes Merkmal: Sie können als eigenständige Systeme laufen oder als „Fundament“ für andere Anwendungen dienen. So fungiert das LLM GPT als Foundation Model für ChatGPT.

Wie funktionieren Foundation Models?

Die Basistechnologie von Foundation Models – unabhängig von Aufgabe und Trainingsdaten – ist der Transformer.

Von Google-Forschenden im Jahr 2017 entwickelt, bieten Transformer eine Alternative zu klassischen rekurrenten neuronalen Netzen (RNNs) und Convolutional Neural Networks (CNNs) für sequenzielle Daten – insbesondere Text.

Transformer sagen das nächste Wort in einer Sequenz voraus, um eine kohärente Antwort zu bilden. Dabei nutzen sie den sogenannten Attention‑Mechanismus, der den Einfluss verschiedener Wörter beim Generieren einer Antwort gewichtet.

Das Training von Transformern umfasst zwei Schritte: Pretraining und Feintuning.

Pretraining

In dieser Phase werden Transformer mit großen Mengen unstrukturierter (Text‑)Daten trainiert, vorwiegend aus dem Internet.

Das Training erfolgt per Self‑Supervised Learning – einer innovativen Methode, die keine manuelle Datenlabelung erfordert.

Ziel des Pretrainings ist es, statistische Sprachmuster zu erlernen. Da die gängige Strategie für bessere Leistungen darin besteht, die Modellgröße (also die Anzahl der Parameter) und die Datenmenge im Pretraining zu erhöhen, ist diese Phase meist zeit- und kostenintensiv.

Feintuning

Das Pretraining vermittelt ein grundlegendes Sprachverständnis, reicht aber für spezifische Praxisaufgaben nicht aus. Daher folgt das Feintuning: Das Modell wird auf einem schmaleren, domänenspezifischen Datensatz trainiert, der mit Hilfe menschlicher Reviewer nach klaren Richtlinien erstellt wurde.

Modalität

Ein weiteres wichtiges Merkmal von Foundation Models ist die Modalität. Je nach Art der Eingabedaten sind sie unimodal oder multimodal. Unimodale Modelle verarbeiten nur eine Datenart und erzeugen denselben Typ Ausgabe. Multimodale Modelle können mehrere Eingabemodalitäten verarbeiten und verschiedene Ausgabetypen erzeugen (zum Beispiel kann GPT‑4 sowohl Bild‑ als auch Texteingaben verarbeiten und Text ausgeben).

Das Innenleben von Transformern ist komplex und sprengt den Rahmen dieses Artikels. Für eine detailliertere Erklärung lies unseren Beitrag What is ChatGPT und vertiefe dich in Transformer und Hugging Face für eine technischere Perspektive.

Wenn du verstehen willst, wie LLMs im Detail funktionieren, ist unser Large Language Models (LLMs) Concepts Course ein idealer Startpunkt.

Anwendungsfelder von Foundation Models

Foundation Models können als eigenständige Systeme eingesetzt oder als Basis für unzählige nachgelagerte KI‑Systeme und Anwendungen genutzt werden. Während viele moderne Foundation‑Systeme auf Text‑ oder Codegenerierung und NLP‑Aufgaben ausgerichtet sind, wächst die Anzahl der Systeme, die andere Ausgaben wie Bilder oder Musik erzeugen können.

Unten findest du eine Tabelle mit einigen der bekanntesten Foundation Models.