Kurs
Prompt-Engineering mit der OpenAI-API
4 Std.
53.5K
Die Veröffentlichung von GPT-4 markierte einen wichtigen Meilenstein in der KI, insbesondere in der Verarbeitung natürlicher Sprache. In diesem Artikel analysieren wir seine fortgeschrittenen Fähigkeiten, blicken auf die Geschichte und Entwicklung der Generative Pre-trained Transformers (GPT) und zeigen auf, welche neuen Möglichkeiten GPT-4 eröffnet.
Sieh dir auch unseren Artikel zu GPT-4o, der neuesten GPT-Generation, an. Außerdem erfährst du in unserem AI Fundamentals Track mehr über Large Language Models wie GPT-4.
Was sind Generative Pre-trained Transformers?
Generative Pre-trained Transformers (GPT) sind eine Klasse von Deep-Learning-Modellen, die menschenähnliche Texte erzeugen. Häufige Anwendungsfälle sind
- Fragen beantworten
- Texte zusammenfassen
- Texte in andere Sprachen übersetzen
- Code generieren
- Blogposts, Geschichten, Dialoge und weitere Inhalte erstellen.
Die Einsatzmöglichkeiten von GPT-Modellen sind praktisch endlos. Du kannst sie zudem auf spezifischen Daten feinabstimmen, um noch bessere Ergebnisse zu erzielen. Durch den Einsatz von Transformern sparst du Rechenkosten, Zeit und weitere Ressourcen.
Vor GPT
Der aktuelle Durchbruch bei natürlicher Sprache wurde erst mit der Erfindung von Transformer-Modellen möglich, beginnend mit Googles BERT im Jahr 2017. Davor setzten Forschende für Textgenerierung auf andere Deep-Learning-Ansätze wie rekurrente neuronale Netze (RNNs) und Long Short-Term Memory-Netze (LSTMs). Diese lieferten gute Ergebnisse bei einzelnen Wörtern oder kurzen Phrasen, konnten jedoch keine realistisch klingenden längeren Inhalte erzeugen.
Der Transformer-Ansatz von BERT war ein Durchbruch, da er nicht auf überwachtem Lernen basiert. Es war also kein teures, manuell annotiertes Datenset zum Training nötig. BERT wurde von Google zur Interpretation natürlicher Sprachsuchen eingesetzt, allerdings kann es keine Texte aus Prompts generieren.
GPT-1
Transformer-Architektur | GPT-1 Paper
2018 veröffentlichte OpenAI ein Paper (Improving Language Understanding by Generative Pre-Training) über natürliches Sprachverständnis mit dem Sprachmodell GPT-1. Das Modell war ein Machbarkeitsnachweis und wurde nicht öffentlich bereitgestellt.
GPT-2
Modellleistung bei verschiedenen Aufgaben | GPT-2 Paper
Im Jahr darauf folgte ein weiteres Paper von OpenAI (Language Models are Unsupervised Multitask Learners) zum neuesten Modell GPT-2. Diesmal wurde das Modell der ML-Community zugänglich gemacht und fand erste Anwendung bei Textgenerationsaufgaben. GPT-2 konnte häufig ein paar Sätze sinnvoll erzeugen, bevor die Qualität nachließ. Das war 2019 der Stand der Technik.
GPT-3
Ergebnisse bei drei Open-Domain-QA-Aufgaben | GPT-3 Paper
2020 veröffentlichte OpenAI ein weiteres Paper (Language Models are Few-Shot Learners) zu GPT-3. Das Modell hatte hundertmal mehr Parameter als GPT-2 und wurde auf einem noch größeren Textdatensatz trainiert, was die Leistung weiter verbesserte. Es wurde anschließend in verschiedenen Iterationen als GPT-3.5-Reihe weiter verfeinert, darunter das dialogfokussierte ChatGPT.
Diese Version sorgte weltweit für Aufsehen, weil sie seitenweise menschenähnlichen Text erzeugen konnte. ChatGPT wurde zur am schnellsten wachsenden Webanwendung überhaupt und erreichte in nur zwei Monaten 100 Millionen Nutzer.
Du kannst in einem separaten Artikel mehr über GPT-3, seine Einsatzfelder und die praktische Nutzung erfahren.
Einführung in den ChatGPT-Kurs
Beginne mit ChatGPT
Was ist GPT-4?
GPT-4 wurde entwickelt, um das Modell besser zu "alignen" – also Benutzerabsichten zuverlässiger zu befolgen, wahrheitsgetreuer zu antworten und weniger anstößige oder gefährliche Inhalte zu erzeugen.
Um bei den neuesten Modellen auf dem Laufenden zu bleiben, sieh dir unsere Guides zu GPT-4 Turbo sowie unsere Artikel zu GPT-4o an.
Leistungsverbesserungen von GPT-4
Wie zu erwarten, verbessert GPT-4 gegenüber GPT-3.5 die faktische Korrektheit der Antworten. Die Zahl der "Halluzinationen", also sachlicher oder logischer Fehler, ist geringer – GPT-4 erzielt auf OpenAIs internem Fact-Checking-Benchmark 40% bessere Werte als GPT-3.5.
Auch die "Steerability" ist besser – also die Fähigkeit, das Verhalten gemäß Nutzerwünschen anzupassen. Du kannst es beispielsweise anweisen, in einem anderen Stil, Ton oder einer anderen Stimme zu schreiben. Starte Prompts etwa mit "You are a garrulous data expert" oder "You are a terse data expert" und lass dir ein Konzept aus der Data Science erklären. Mehr Tipps für starke Prompts für GPT-Modelle findest du hier.
Ein weiterer Fortschritt ist die strengere Einhaltung von Sicherheitsleitplanken. Bei illegalen oder fragwürdigen Anfragen lehnt das Modell solche Bitten zuverlässiger ab.
Visuelle Eingaben in GPT-4
Eine große Neuerung ist, dass GPT-4 neben Text auch Bildeingaben verarbeiten kann (zunächst als Research Preview, noch nicht allgemein verfügbar). Nutzende können Vision- oder Sprachaufgaben formulieren, indem sie Text und Bilder kombinieren.
Gezeigte Beispiele belegen, dass GPT-4 komplexe Darstellungen wie Diagramme, Memes oder Screenshots aus wissenschaftlichen Arbeiten korrekt interpretieren kann.
Seit Juni 2024 steht die Bildfunktionalität von GPT-4 einer breiteren Nutzergruppe zur Verfügung. Ich habe zum Beispiel GPT-4o gebeten, ein Foto einer meiner Pflanzen zu analysieren. Und obwohl ich noch keinen Zugriff auf die integrierten Vision-Funktionen wie in GPT-4o habe, habe ich ein Foto gemacht und ChatGPT gefragt, um welche Pflanze es sich handelt:
Das ist gar nicht schlecht, auch wenn es nicht ganz stimmt. Es ist zwar ein Bonsai, aber kein Carmona retusa, sondern ein Ilex crenata. Da die beiden sich recht ähneln, ist der Irrtum nachvollziehbar – und die zusätzlichen Pflegetipps fand ich hilfreich.
Unten siehst du außerdem ein Beispiel für visuelles Schlussfolgern anhand eines Diagramms:
Leistungsbenchmarks von GPT-4
OpenAI bewertete GPT-4, indem Prüfungen für Menschen simuliert wurden – etwa die Uniform Bar Examination und LSAT für Juristen sowie den SAT für Studienbewerbungen. GPT-4 erreichte dabei in verschiedenen professionellen und akademischen Benchmarks menschenähnliche Leistungen.
OpenAI prüfte GPT-4 außerdem auf klassischen Benchmarks für Machine Learning-Modelle. Dort übertraf es bestehende Large Language Models und die meisten Modelle auf dem aktuellen Stand der Technik, auch wenn diese speziell für Benchmarks optimiert oder zusätzlich trainiert wurden. Dazu gehörten Multiple-Choice-Fragen in 57 Fächern, Alltags-Schlussfolgern, Multiple-Choice-Fragen auf Grundschulniveau in Naturwissenschaften und mehr.
OpenAI testete GPT-4 in weiteren Sprachen, indem der MMLU-Benchmark – ein Set aus 14.000 Multiple-Choice-Aufgaben in 57 Disziplinen – mit Azure Translate in verschiedene Sprachen übersetzt wurde. In 24 von 26 getesteten Sprachen übertraf GPT-4 die englischsprachige Leistung von GPT-3.5 und anderer große Sprachmodelle.
Aktuelle Tests zeigen, dass GPT-4 weiterhin bei Mehrsprachigkeit führt – insbesondere in unterrepräsentierten Sprachen – und in 28 von 30 Sprachen bessere Ergebnisse als die neuesten Modelle erzielt.
Insgesamt deuten die belastbareren Ergebnisse von GPT-4 auf deutliche Fortschritte in OpenAIs Bestreben hin, KI-Modelle mit immer weiterentwickelten Fähigkeiten zu bauen.
So erhältst du Zugang zu GPT-4 und seinen Varianten
Du willst die Power von GPT-4, GPT-4 Turbo, GPT-4o und GPT-4o mini nutzen? So geht's:
Mit ChatGPT
- Free-Tarif:
- Zugriff standardmäßig auf GPT-4o mit begrenzten Nachrichtenkontingenten.
- Erweiterte Tools wie Datenanalyse und Vision-Funktionen sind ebenfalls verfügbar.
- ChatGPT Plus und Team:
- Abonniere Plus oder nutze ein Team für höhere Kontingente.
- Bis zu 80 Nachrichten alle 3 Stunden mit GPT-4o und bis zu 40 mit GPT-4.
- ChatGPT Enterprise:
- Für große Unternehmen mit unbegrenztem Zugriff auf GPT-4o und GPT-4.
- Enthält zusätzliche Features wie Enterprise-Sicherheit und erweiterte Tools.
Über die OpenAI API
- API-Zugang:
- Erstelle ein OpenAI-API-Konto.
- Leiste eine Zahlung von 5 $ für den Zugriff auf GPT-4 und GPT-4 Turbo.
- GPT-4o und GPT-4o mini stehen allen API-Nutzern zur Verfügung.
- Preise und Limits:
- GPT-4o ist günstiger und schneller als GPT-4 Turbo.
- Details findest du auf der Preisseite der OpenAI-API.
- Datenverarbeitung:
- Deine Daten sind sicher und werden nur zum Training genutzt, wenn du ausdrücklich zustimmst.
Modellfähigkeiten: Alle Modelle unterstützen Text-, Bild- und Audio-Ein- und -Ausgaben.
OpenAI hat OpenAI Evals als Open Source bereitgestellt – ein Framework zur automatisierten Bewertung der KI-Modellleistung. So kann jede Person Schwachstellen melden und künftige Verbesserungen anstoßen.
Geh den nächsten Schritt
In der Zwischenzeit kannst du KI lernen und mehr zu Themen wie GPT-4 und ChatGPT in folgenden Ressourcen lesen:
- Kurs: Lerne, wie du ChatGPT effektiv einsetzt
- Lerne, eigene Deep-Learning-Textgeneratoren im Kurs Natural Language Generation in Python zu entwickeln.
- Lade dir dieses praktische Cheat Sheet mit ChatGPT-Prompts für Data Science herunter.
- Hör dir diese Podcast-Folge an: How ChatGPT and GPT-3 Are Augmenting Workflows – so profitierst du im Business von ChatGPT.
- Entdecke alle KI-Kurse von DataCamp