Kurs
Arbeiten mit der OpenAI-API
3 Std.
172.6K
OpenAI hat sein neuestes Large Language Model vorgestellt: GPT-4o, den Nachfolger von GPT-4 Turbo. Lies weiter und entdecke, was es kann, wie es performt und wofür du es einsetzen willst.
Was ist OpenAIs GPT-4o?
GPT-4o ist OpenAIs neuestes LLM. Das „o“ in GPT-4o steht für „omni“—lateinisch für „alles“—und verweist darauf, dass dieses Modell Prompts annehmen kann, die Text, Audio, Bilder und Video kombinieren. Bisher nutzte die ChatGPT-Oberfläche separate Modelle für unterschiedliche Inhaltstypen.
Beispielsweise wurde bei Gesprächen mit ChatGPT im Voice Mode deine Sprache mit Whisper in Text umgewandelt, eine Textantwort mit GPT-4 Turbo erzeugt und diese anschließend mit TTS wieder in Sprache konvertiert.
Ein Vergleich, wie GPT-4 Turbo und GPT-4o Spracheingaben verarbeiten
Ähnlich war die Bildarbeit in ChatGPT eine Mischung aus GPT-4 Turbo und DALL-E 3.
Ein einzelnes Modell für verschiedene Medien verspricht mehr Geschwindigkeit und bessere Ergebnisse, eine einfachere Bedienung und neue Anwendungsfälle.
Was ist GPT-4o mini?
GPT-4o Mini ist eine schlankere, schnellere Variante von GPT-4o, optimiert auf Tempo und Effizienz. Es wird aus dem größeren GPT-4o durch einen Prozess namens Distillation abgeleitet.
Es behält große Teile der Multimodalität des Ursprungsmodells—Text, Audio, Bilder—bei, ist aber auf leichte Anwendungen mit besonders kurzen Reaktionszeiten ausgelegt.
Es eignet sich besonders für Entwickler, die eine kostengünstige Lösung für Coding, Debugging und Echtzeitinteraktionen brauchen, bei denen nicht die volle Rechenleistung von GPT-4o gefragt ist.
Mehr Details findest du in diesem Artikel zu GPT-4o mini.
Worin unterscheidet sich GPT-4o von GPT-4 Turbo?
Der All-in-One-Ansatz bedeutet, dass GPT-4o mehrere Einschränkungen der bisherigen Sprachinteraktion überwindet.
1. Der Tonfall wird berücksichtigt und ermöglicht emotionale Antworten
Im bisherigen OpenAI-System mit Whisper, GPT-4 Turbo und TTS in einer Pipeline hatte die Denk-Engine GPT-4 nur Zugriff auf die gesprochenen Worte. Tonfall, Hintergrundgeräusche oder die Erkennung mehrerer Sprecher gingen verloren. Entsprechend konnte GPT-4 Turbo kaum in unterschiedlichen Sprechstilen oder mit Emotionen antworten.
Mit einem einzelnen Modell, das Text und Audio gemeinsam verarbeitet, kann diese reichhaltige Audioinformation genutzt werden, um bessere Antworten mit mehr Varianz im Sprechstil zu liefern.
Im folgenden Beispiel von OpenAI liefert GPT-4o eine sarkastische Antwort.
4. Bessere Tokenisierung für nicht-lateinische Schriften sorgt für mehr Tempo und geringere Kosten
Ein Schritt im LLM-Workflow ist die Umwandlung des Prompt-Texts in Tokens, also Einheiten, die das Modell versteht.
Im Englischen entspricht ein Token typischerweise einem Wort oder Satzzeichen, manche Wörter zerfallen in mehrere Tokens. Im Schnitt ergeben drei englische Wörter etwa vier Tokens.
Kann Sprache im Modell mit weniger Tokens dargestellt werden, sind weniger Berechnungen nötig und die Textgenerierung wird schneller.
Außerdem rechnet OpenAI seine API pro Ein- und Ausgabetoken ab, daher bedeuten weniger Tokens geringere Kosten für Nutzer.
GPT-4o hat ein verbessertes Tokenisierungsmodell, das den Tokenbedarf pro Text verringert. Besonders stark fällt das bei Sprachen ohne lateinisches Alphabet auf.
Indische Sprachen profitieren besonders: Hindi, Marathi, Tamil, Telugu und Gujarati benötigen 2,9- bis 4,4-mal weniger Tokens. Arabisch kommt auf eine Halbierung, ostasiatische Sprachen wie Chinesisch, Japanisch, Koreanisch und Vietnamesisch brauchen 1,4- bis 1,7-mal weniger Tokens.
5. Rollout in den Free-Plan
Bisher mussten ChatGPT-Nutzer für das beste Modell zahlen: GPT-4 Turbo gab es nur in den Plus- und Enterprise-Plänen.
Das ändert sich: OpenAI will GPT-4o auch im kostenlosen Plan verfügbar machen. Plus-Nutzer erhalten fünfmal so viele Nachrichten wie Gratisnutzer.
Der Rollout erfolgt schrittweise: Red Teams (Tester, die gezielt Schwachstellen suchen) starten sofort, danach folgen weitere Nutzergruppen.
6. Start der ChatGPT-Desktop-App
Zwar nicht exklusiv für GPT-4o, doch OpenAI hat auch die ChatGPT-Desktop-App angekündigt. Zusammen mit der niedrigeren Latenz und Multimodalität dürfte sich unsere Arbeitsweise mit ChatGPT verändern. OpenAI zeigte z. B. einen erweiterten Coding-Workflow mit Spracheingabe und der Desktop-App. Scrolle im Abschnitt zu den Use Cases nach unten, um das Beispiel in Aktion zu sehen!
Wie funktioniert GPT-4o?
Viele Inhaltstypen, ein neuronales Netz
Details zur Funktionsweise sind noch rar. OpenAI verriet lediglich, dass GPT-4o ein einzelnes neuronales Netz ist, das auf Text-, Bild- und Audioeingaben trainiert wurde.
Dieser Ansatz unterscheidet sich von der bisherigen Technik, separate Modelle für unterschiedliche Datentypen zu trainieren.
GPT-4o ist jedoch nicht das erste Modell mit multimodalem Ansatz. 2022 entwickelte TenCent Lab SkillNet, das LLM-Transformer und Computer-Vision-Techniken kombinierte, um chinesische Schriftzeichen besser zu erkennen.
2023 entwickelte ein Team von ETH Zürich, MIT und Stanford WhisBERT, eine Variante der BERT-Reihe. GPT-4o ist zwar nicht das erste, aber deutlich ambitionierter und leistungsfähiger als diese frühen Versuche.
Ist GPT-4o ein radikaler Bruch mit GPT-4 Turbo?
Wie groß der Sprung in der Architektur ist, hängt davon ab, ob du OpenAIs Engineering- oder Marketingteam fragst. Im April tauchte im LMSYS Chatbot Arena, dem Leaderboard für generative AIs, ein Bot namens „im-also-a-good-gpt2-chatbot“ auf. Er wurde inzwischen als GPT-4o enttarnt.
Der „gpt2“-Teil des Namens ist wichtig. Nicht zu verwechseln mit GPT-2, dem Vorgänger von GPT-3.5 und GPT-4, wurde die „2“-Endung weithin als Hinweis auf eine komplett neue GPT-Architektur gewertet.
Offenbar hält jemand im Forschungs- oder Engineeringteam die Vereinigung von Text, Bild und Audio in einem Modell für eine so große Änderung, dass sie den ersten Versionssprung seit sechs Jahren rechtfertigt.
Das Marketing hingegen blieb beim eher zurückhaltenden Namensschema „GPT-4“.
GPT-4o Performance im Vergleich
OpenAI hat Benchmark-Werte von GPT-4o im Vergleich zu mehreren High-End-Modellen veröffentlicht.
- GPT-4 Turbo
- GPT-4 (erste Version)
- Claude 3 Opus
- Gemini Pro 1.5
- Gemini Ultra 1.0
- Llama 3 400B
Für den Vergleich sind im Kern drei Modelle relevant. GPT-4 Turbo, Claude 3 Opus und Gemini Pro 1.5 ringen seit Monaten um die Spitze im LMSYS Chatbot Arena Leaderboard.
Llama 3 400B könnte künftig mitmischen, ist aber noch nicht fertig. Daher zeigen wir hier nur die Ergebnisse dieser drei Modelle und GPT-4o.
Die Ergebnisse basieren auf sechs Benchmarks.
- Massive Multitask Language Understanding (MMLU). Aufgaben zu Mathematik, US-Geschichte, Informatik, Recht und mehr. Für hohe Genauigkeit braucht es Weltwissen und Problemlösekompetenz.
- Graduate-Level Google-Proof Q&A (GPQA). Multiple-Choice-Fragen von Fachexperten in Biologie, Physik und Chemie. Sehr anspruchsvoll: Expert:innen mit oder auf dem Weg zum PhD erreichen 74 % Genauigkeit.
- MATH. Matheaufgaben für Mittel- und Oberstufe.
- HumanEval. Test der funktionalen Korrektheit von Code, genutzt für Codegenerierung.
- Multilingual Grade School Math (MSGM). Grundschulmathe in zehn Sprachen, inkl. unterrepräsentierter Sprachen wie Bengali und Swahili.
- Discrete Reasoning Over Paragraphs (DROP). Fragen, die das Verständnis ganzer Absätze erfordern, z. B. Summieren, Zählen oder Sortieren über mehrere Sätze hinweg.
Performance von GPT-4o, GPT-4 Turbo, Gemini Pro 1.5 und Claude 3 Opus in sechs LLM-Benchmarks. Scores je Benchmark von 0 bis 100. Nachgebildet aus Daten von OpenAI. Für Gemini Pro 1.5 gab es keine GPQA-Daten.
GPT-4o erzielt in vier Benchmarks die Bestwerte, wird jedoch im MSGM-Benchmark von Claude 3 Opus und im DROP-Benchmark von GPT-4 Turbo übertroffen. Insgesamt ist das stark und spricht für den neuen multimodalen Trainingsansatz.
Schaut man genau hin, liegen die Zuwächse gegenüber GPT-4 Turbo nur bei wenigen Prozentpunkten.
Ein beachtlicher Sprung nach einem Jahr, aber weit entfernt von den großen Leistungsexplosionen von GPT-1 zu GPT-2 oder GPT-2 zu GPT-3.
Rund 10 % bessere Textreasoning-Leistung pro Jahr dürfte das neue Normal sein. Die einfachen Gewinne sind gehoben, große Sprünge werden schwieriger.
Was diese Benchmarks nicht abbilden, ist die Leistung bei multimodalen Aufgaben. Das Feld ist so neu, dass es kaum gute Messmethoden über Text, Audio und Vision hinweg gibt.
Unterm Strich überzeugt GPT-4o und macht Hoffnung für den multimodalen Ansatz.
Wofür lässt sich GPT-4o einsetzen?
1. GPT-4o für Datenanalyse und Coding
Aktuelle GPT-Modelle und Ableger wie GitHub Copilot unterstützen bereits beim Coden, Erklären und Debuggen. Die Multimodalität von GPT-4o eröffnet zusätzliche Möglichkeiten.
In einem Promo-Video mit OpenAI-CTO Mira Murati zeigten die Forscher Mark Chen und Barret Zoph, wie sie mit GPT-4o an Python-Code arbeiten.
Der Code wird als Text geteilt, per Sprache lässt man sich den Code erklären. Nach dem Ausführen erklärt GPT-4o mithilfe seiner Vision-Fähigkeiten das entstandene Diagramm.
In Summe kann es einfacher sein, ChatGPT deinen Bildschirm zu zeigen und eine Frage zu sprechen, statt ein Bild zu speichern, hochzuladen und dann zu tippen.
4. GPT-4o zur Unterstützung sehbehinderter Menschen
Die Fähigkeit von GPT-4o, Videoeingaben zu verstehen und Szenen verbal zu beschreiben, könnte für sehbehinderte Personen ein Gamechanger sein. Im Prinzip ist es die Audiodeskriptionsfunktion aus dem TV—nur für die echte Welt.
Praxis: Erste Erfahrungen mit GPT-4o
Ich habe seit kurz nach der Ankündigung Zugriff auf einige neue Funktionen von GPT-4o (leider noch ohne Voice-Chat) und bin von vielen Ergebnissen beeindruckt. Antworten wirken schneller und konsistenter, und es versteht meine Anforderungen besser als zuvor. Perfekt ist es aber nicht.
Hier ein paar Beispiele meiner Interaktionen mit ChatGPT-4o:
Datenanalyse-Aufgabe
Per Sprachchat habe ich zunächst gefragt, wie man die Leistung meines Fußballteams, der ruhmreichen Leeds United, analysieren könnte. Neben mehreren Ansätzen lieferte es Beispielcode in Python:
import pandas as pd
# Sample data for Leeds United's match results
data = {
'Match': ['Match1', 'Match2', 'Match3', 'Match4', 'Match5'],
'Result': ['Win', 'Draw', 'Loss', 'Win', 'Win'],
'Goals Scored': [2, 1, 0, 3, 2]
}
# Create a DataFrame
df = pd.DataFrame(data)
# Summarize match results
summary = df['Result'].value_counts()
total_goals = df['Goals Scored'].sum()
average_goals = df['Goals Scored'].mean()
# Display summary
print("Match Results Summary:")
print(summary)
print("\nTotal Goals Scored:", total_goals)
print("Average Goals Per Match:", round(average_goals, 2))
Als ich tiefer nachhakte, wurde es holprig. Ich bat um echte Daten—es fand zwei gute Quellen, gab die Zahlen aber falsch wieder. Leeds spielte in der regulären Saison 46 Spiele, erzielte 81 Tore und hatte +38 Tordifferenz, nicht die 40 Spiele aus der Antwort.
Dann bat ich ChatGPT, die erzielten Tore pro Gegner zu visualisieren:
Wieder nur halb gelungen. Es hat wie gewünscht eine Visualisierung erstellt, die auf den ersten Blick okay wirkt. In Wahrheit sind jedoch viele Daten frei erfunden oder ungenau (Teams doppelt, Tore fehlen, Teams aus anderer Liga).
Vermutlich wäre es besser gelaufen, hätte ich einen vollständigen Datensatz geliefert. Ich wünschte mir aber, es würde das klar sagen statt selbstbewusst zu halluzinieren.
Bildanalyse
Als Nächstes sollte GPT-4o ein Foto einer meiner Pflanzen analysieren. Da ich noch keinen integrierten Vision-Zugriff habe, knipste ich ein Foto und fragte ChatGPT, um welche Pflanze es sich handelt:
Kein schlechtes Ergebnis, aber nicht ganz korrekt. Es ist zwar ein Bonsai, allerdings ein Ilex crenata statt einer Carmona retusa. Die beiden sehen sich jedoch ähnlich, und die Pflegehinweise waren hilfreich.
Bildgenerierung
Zum Schluss wollte ich die Bildfähigkeiten testen. Ich zeigte ein Foto meiner Schildkröte Darwin und bat um Infos zu meinem Freund:
Wieder nah dran, aber nicht perfekt. Darwin ist eine Steppenschildkröte (Horsefield), nicht eine Griechische Landschildkröte—sie ähneln sich jedoch stark. Danach bat ich ChatGPT-4o, das Original im Stil von Hokusai neu zu interpretieren. Hier das Ergebnis:
Ziemlich gelungen, auch wenn die Ähnlichkeit zum Original gering ist—das ist aber okay. Die Generierung dauerte etwas länger.
Insgesamt hat mich die Reaktionsfreude des neuen Modells und das Verständnis meiner Anfragen überzeugt. Fehlerfrei ist es nicht, und es halluziniert bisweilen, aber ich freue mich auf die verbesserten Sprach- und Vision-Funktionen.
Einschränkungen und Risiken
Die Regulierung generativer KI steckt noch in den Kinderschuhen; der EU AI Act ist bislang das einzige nennenswerte Rechtswerk. Unternehmen müssen daher selbst definieren, was „sichere KI“ bedeutet.
OpenAI nutzt ein Preparedness Framework, um zu beurteilen, ob ein neues Modell reif für die Veröffentlichung ist.
Das Framework prüft vier Risikobereiche.
- Cybersecurity. Kann KI Cyberkriminelle produktiver machen oder Exploits erleichtern?
- BCRN. Kann die KI Expert:innen bei biologischen, chemischen, radiologischen oder nuklearen Bedrohungen assistieren?
- Persuasion. Kann die KI (interaktive) Inhalte erzeugen, die Menschen in ihren Überzeugungen beeinflussen?
- Model Autonomy. Kann die KI als Agent handeln und Aktionen in anderer Software ausführen?
Jeder Bereich wird mit Niedrig, Mittel, Hoch oder Kritisch bewertet; die Modellwertung ist die höchste dieser Stufen.
OpenAI verspricht, kein Modell mit „kritischer“ Einstufung zu veröffentlichen—eine relativ niedrige Sicherheitslatte, denn kritisch hieße laut Definition, die menschliche Zivilisation zu erschüttern. GPT-4o liegt deutlich darunter und landet bei „Mittel“.
Unvollkommene Ergebnisse
Wie alle generativen KIs verhält sich das Modell nicht immer wie beabsichtigt. Computer Vision ist nicht perfekt, daher sind Bild- und Videointerpretationen nicht garantiert korrekt.
Auch Spracherkennung ist selten zu 100 % fehlerfrei, insbesondere bei starken Akzenten oder Fachtermini.
OpenAI hat ein Outtake-Video veröffentlicht, in dem GPT-4o nicht wie gewünscht funktioniert.
Bemerkenswert: Die Übersetzung zwischen zwei Nicht-Englisch-Sprachen gehörte zu den Fällen, in denen es scheiterte. Weitere Probleme: unangemessener Tonfall (herablassend) und falsche Sprache.
