Kurs
ChatGPT verstehen
1 Std.
434.5K
KI-Anwendungen entwickeln
Lerne, wie man KI-Anwendungen mit der OpenAI API erstellt.
Was ist GPT-4 Vision?
GPT-4 Vision (GPT-4V) ist ein multimodales Modell, mit dem du ein Bild als Eingabe hochladen und mit dem Modell ins Gespräch gehen kannst. Das Gespräch kann Fragen oder Anweisungen als Prompt enthalten, die das Modell anleiten, auf Basis des Bildes Aufgaben auszuführen.
GPT-4V baut auf den bestehenden Fähigkeiten von GPT-4 auf und bietet neben der Textinteraktion eine visuelle Analyse. Eine einsteigerfreundliche Einführung in die OpenAI API haben wir bereits behandelt – ideal, um vor dem Start mit GPT-4V auf Stand zu kommen.
Wichtige Fähigkeiten von GPT-4 Vision
- Visuelle Eingaben: Das Kernfeature des neuen GPT-4 Vision ist die Unterstützung visueller Inhalte wie Fotos, Screenshots und Dokumente – und die Fähigkeit, darauf verschiedene Aufgaben auszuführen.
- Objekterkennung und -analyse: Das Modell kann Objekte in Bildern identifizieren und Informationen dazu liefern.
- Datenanalyse: GPT-4 Vision interpretiert und analysiert Daten in visuellen Formaten wie Diagrammen, Charts und anderen Visualisierungen.
- Texterkennung: Das Modell kann handschriftliche Notizen und Text in Bildern lesen und verstehen.
Jetzt, da wir einen Überblick über die Fähigkeiten haben, gehen wir hands-on und probieren es selbst aus.
Hands-on: Loslegen mit GPT-4 Vision
GPT-4 Vision ist aktuell (Stand Oktober 2023) nur für ChatGPT Plus- und Enterprise-Nutzer verfügbar. ChatGPT Plus kostet 20 $ pro Monat und kann vom kostenlosen ChatGPT-Konto aus gebucht werden.
Falls du ganz neu bei ChatGPT bist, so greifst du auf GPT-4 Vision zu:
- Besuche die Website von OpenAI ChatGPT und registriere dich.
- Melde dich an und wähle die Option „Upgrade to Plus“.
- Schließe das Upgrade ab, um Zugriff auf ChatGPT Plus zu erhalten (Hinweis: monatliches Abo über 20 $).
- Wähle im Chatfenster das Modell „GPT-4“, wie unten gezeigt.
- Klicke auf das Bildsymbol, lade ein Bild hoch und formuliere einen Prompt mit deiner Anweisung an GPT-4.
Hier erkennt GPT-4 Vision ziemlich gut, dass die Kinder Cricket gespielt haben – anhand des Schlägers in der Hand eines Kindes. In der KI-Welt wird diese Aufgabe als Objekterkennung bezeichnet; identifizierte Objekte sind hier die Kinder und der Schläger. Lies dazu unser Tutorial zu YOLO-Objekterkennung.
Je nach Anwendungsfall kannst du so weitere Aufgaben effizient umsetzen.
Praxisbeispiele: Reale Use Cases für GPT-4 Vision
Jetzt übertragen wir die Fähigkeiten auf praktische Anwendungen in der Industrie:
1. Akademische Forschung
Die Kombination aus fortgeschrittenem Sprachmodell und visuellen Fähigkeiten eröffnet neue Möglichkeiten in der Forschung, insbesondere beim Entziffern historischer Manuskripte – eine traditionell mühsame, zeitintensive Arbeit von Paläografen und Historikern.
Zuerst geben wir ein Bild, das wie ein Ausschnitt aus einer alten Zeitungsseite wirkt:
GPT-4 Vision liest die Inhalte und interpretiert sie erstaunlich gut:
Das Modell konnte den Text lesen, entschlüsseln und analysieren – und zugleich realistisch einordnen, dass Teile des Bildes abgeschnitten oder verdeckt sind.
Zu beachten ist jedoch, dass das Modell bei komplexen Manuskripten, vor allem in anderen Sprachen (dazu später mehr), an Grenzen stößt, wie hier zu sehen:
2. Webentwicklung
GPT-4 Vision kann Quellcode für eine Website schreiben, wenn es ein visuelles Design als Vorlage erhält. Es übersetzt eine visuelle Gestaltung in den Quellcode für eine Website. Diese Fähigkeit kann die Entwicklungszeit drastisch verkürzen.
Wir geben GPT-4 Vision ein handgezeichnetes, einfaches Design für eine Blog-Website.
Sobald der Quellcode erstellt ist, kopieren wir ihn einfach und legen die HTML- und CSS-Dateien wie beschrieben an. So sah die Website aus:
Sieht schon verblüffend ähnlich aus, oder? Klar, unser Beispiel ist simpel – aber von hier aus kannst du eine komplexere, passgenaue Website in einem Bruchteil der Zeit entwickeln, dank GPT-4 Vision.
3. Dateninterpretation
Das Modell kann Datenvisualisierungen analysieren, die zugrunde liegenden Daten interpretieren und daraus auf Basis der Visualisierung Kernerkenntnisse ableiten. Zum Testen geben wir einfach ein Diagramm und fragen nach Insights.
Es versteht den Kontext und den linearen Trend gut, macht aber Fehler – etwa, dass das Startjahr 1950 sei, obwohl die Daten erst 1960 beginnen. Zudem leitet es Faktoren wie Bevölkerungswachstum und wirtschaftliche Entwicklung ab – möglich, aber aus diesem einen Diagramm nicht belegbar.
Mit mehreren Rückfragen lässt sich die erste Antwort verfeinern. Nach unseren Tests bleibt ein Mensch in der Schleife wichtig, um Erkenntnisse zu prüfen – das Modell kann die Produktivität in solchen Use Cases aber deutlich steigern.
4. Kreative Content-Erstellung
Seit ChatGPT kursieren in sozialen Medien unzählige Prompt-Tricks, und viele nutzen die generative Technologie kreativ für sich.
Hier kombinieren wir DALL-E-3 (ebenfalls in ChatGPT Plus verfügbar) mit GPT-4 Vision, um einen Social-Media-Post zu gestalten.
Schritt 1: Bitte GPT-4 um einen Prompt für die Bildgenerierung. Angenommen, du willst einen Post über die Unterschiede zwischen der Rolle eines Data Scientists im Startup vs. im Konzern erstellen.
Schritt 2: Verwende den Prompt in DALL-E und generiere ein Bild. Feile am Prompt, bis das Ergebnis passt.
Schritt 3: Nutze das Bild und lass GPT-4 Vision einen passenden Beitrag dazu schreiben.
Mit einem präziseren Prompt bekommst du bessere Ergebnisse und kannst die kreative Content-Erstellung weiter ausloten. Beachte: Das Netz mit KI-Content zu fluten, ist nicht ratsam – solche Inhalte haben Grenzen. Prüfe Fakten und ergänze sie um deine eigenen Erfahrungen.
Natürlich ist das keine abschließende Liste von Use Cases – GPT-4 Vision kann weit mehr. Nimm dies als Inspiration und Startpunkt, um die Technologie in deinem Fachgebiet auszuprobieren.
Einschränkungen und Risikominimierung bei GPT-4 Vision
Bevor du GPT-4 Vision einsetzt, solltest du die Grenzen und Risiken kennen.
Das ist wichtig, weil OpenAI selbst seit dem GPT-4-Launch im März 2023 mehrere Monate zusätzlich in interne und externe „Red-Teaming“-Tests investiert hat, um Schwachstellen dieser Technologie zu identifizieren – dokumentiert in der Systemkarte.
1. Genauigkeit und Zuverlässigkeit
Auch wenn GPT-4 deutliche Fortschritte bei Zuverlässigkeit und Genauigkeit zeigt, liegt es nicht immer richtig. Laut OpenAI kann GPT-4 Vision in internen Tests weiterhin unzuverlässig und ungenau sein. Nicht ohne Grund steht unter der Chatleiste: „ChatGPT kann Fehler machen. Wichtige Informationen bitte prüfen.“
Daher ist es essenziell, die Ausgaben kritisch zu prüfen und wachsam zu bleiben.
2. Datenschutz und Bias
Laut OpenAI verstärkt GPT-4 Vision ähnlich wie frühere Modelle bestehende gesellschaftliche Verzerrungen und Weltbilder, inklusive schädlicher Stereotype über marginalisierte Gruppen. Verlass dich also nicht darauf, dass das Modell Bias behebt, sondern triff im Use Case geeignete Maßnahmen.
Zusätzlich gilt: Geteilte Daten können zum Training genutzt werden, sofern man dem nicht widerspricht. Teile daher keine vertraulichen Informationen. In den „Data Controls“ unter „Settings & Beta“ kannst du das Teilen zur Modellverbesserung deaktivieren.
3. Beschränkt für riskante Aufgaben
GPT-4 Vision beantwortet keine Anfragen, die bestimmte Personen auf einem Bild identifizieren sollen – eine gewollte Verweigerung. Zudem rät OpenAI vom Einsatz bei Hochrisikoaufgaben ab, darunter:
- Wissenschaftliche Präzision: Das Modell kann Text oder Zeichen übersehen, mathematische Symbole in wissenschaftlichen Abbildungen verfehlen sowie räumliche Positionen und Farbcodierungen nicht korrekt erkennen.
- Medizinische Beratung: Mitunter sind Antworten auf Basis medizinischer Bildgebung korrekt, teils aber auch nicht. Aufgrund der Inkonsistenzen dürfen die Ausgaben nicht als Ersatz für professionelle medizinische Beratung dienen.
- Desinformation: Aussagen wirken mit Bildern glaubwürdiger – unabhängig von ihrem Wahrheitsgehalt. Das Modell kann zu einem Bild passende, realistisch klingende Texte erzeugen und so für Desinformation missbraucht werden.
- Hassinhalte: Das Modell verweigert bei Hasssymbolen und Extremismus teils die Antwort, aber nicht immer. Das bleibt eine Herausforderung für OpenAI.
Wir müssen GPT-4 Vision also verantwortungsvoll einsetzen – besonders in sensiblen Kontexten und bei genannten Hochrisikoaufgaben.
Fazit
Dieses Tutorial bietet dir eine umfassende Einführung in das neue GPT-4 Vision-Modell. Du kennst nun auch seine Grenzen und Risiken und weißt, wie und wann du es sinnvoll nutzt.
Am besten lernst du die Technologie, indem du selbst experimentierst: Probiere verschiedene Prompts aus, teste die Fähigkeiten und gewinn mit der Zeit Sicherheit im Umgang.
Auch wenn das Tool noch neu ist, basiert es auf den Prinzipien großer Sprachmodelle und von GPT-4. Wenn du tiefer in die Grundlagen und verwandten Konzepte von GPT-4 Vision einsteigen möchtest, helfen dir diese Ressourcen weiter:
Verdiene eine Top-KI-Zertifizierung
Zeige, dass du KI effektiv und verantwortungsbewusst einsetzen kannst.
Themen