OpenAI kündigt GPT-4 Turbo mit Vision an: Das wissen wir bisher

Beim jüngsten OpenAI DevDay gab es eine mit Spannung erwartete Ankündigung: GPT-4 Turbo, ein Upgrade des wegweisenden KI-Modells. Hier werfen wir einen umfassenden Blick darauf, was GPT-4 Turbo ist, welche Kernfunktionen es bietet und wie Entwicklerinnen, Entwickler und Nutzer davon profitieren.

In separaten Artikeln findest du mehr zu GPTs und dem ChatGPT Store sowie zur Assistants API, die ebenfalls am Dev Day angekündigt wurden.

Was ist GPT-4 Turbo?

GPT-4 Turbo ist ein Update des bestehenden großen Sprachmodells GPT-4. Es bringt mehrere Verbesserungen, darunter ein stark erweitertes Kontextfenster und aktuellere Kenntnisse. OpenAI hat die Fähigkeiten von GPT-4 in ChatGPT schrittweise ausgebaut, etwa mit benutzerdefinierten Anweisungen, ChatGPT-Plugins, DALL-E 3 und Advanced Data Analytics. Dieses Update bringt nun eine ganze Reihe spannender neuer Funktionen.

Was ist GPT-4 Turbo mit Vision?

GPT-4 Turbo mit Vision ist eine Variante von GPT-4 Turbo, die eine optische Zeichenerkennung (OCR) beherrscht. Du kannst also ein Bild übergeben und erhältst den darin enthaltenen Text zurück. Du kannst etwa ein Foto einer Speisekarte eingeben und bekommst die darauf aufgeführten Gerichte zurück. Genauso lässt sich aus einem Rechnungsfoto automatisch der Anbietername und die Positionen auslesen.

Die Funktionen „mit Vision“ stehen in ChatGPT standardmäßig zur Verfügung und lassen sich für Entwicklerinnen und Entwickler über das „gpt-4-vision“-Modell in der OpenAI API nutzen.

Die wichtigsten Features von GPT-4 Turbo

GPT-4 Turbo bringt gegenüber früheren Modellen mehrere Verbesserungen, die seine Leistungsfähigkeit erhöhen. Hier sind die Highlights:

Aktuellerer Wissensstand

Sam Altman verspricht, dass ChatGPT aktuell bleibt

Die bisherigen Versionen von GPT-3.5 und GPT-4 hatten einen Wissensstand bis September 2021. Das heißt, ohne externe Datenquellen konnten sie keine Fragen zu späteren Ereignissen beantworten.

GPT-4 erweitert diesen Wissensstand um neunzehn Monate bis April 2023. Damit hat GPT-4 Turbo Zugriff auf Informationen und Ereignisse bis zu diesem Datum und ist als Informationsquelle fundierter und verlässlicher. Außerdem versprach OpenAI-CEO Sam Altman, dass „[OpenAI] versuchen wird, [GPT] nie wieder so veralten zu lassen“.

128K-Kontextfenster

Das Kontextfenster eines großen Sprachmodells (LLM) gibt an, wie lange sich das Modell an die Unterhaltung „erinnert“. Hat ein Modell ein Kontextfenster von 4.000 Token (etwa 3.000 Wörter), wird alles, was darüber hinausgeht, ignoriert. Antworten können dann ungenauer werden oder im Widerspruch zu früheren Aussagen stehen. Das ist problematisch bei längeren Dokumenten oder ausgedehnten Chats.

GPT-4 unterstützt maximal 32k (32.000) Token. GPT-4 Turbo erhöht dies auf 128k Token (etwa 240 Seiten bei 400 Wörtern pro Seite). Das übertrifft das 100k-Maximum von Anthropic's Claude 2 und liegt auf Augenhöhe mit dem YARN-MISTRAL-7b-128k-Modell von Nous Research.

Ob das längere Kontextfenster über die gesamte Länge hinweg zu zufriedenstellenden Antworten führt, bleibt abzuwarten. Aktuelle Forschung der Stanford University zeigte, dass bestehende Langkontext-Modelle Informationen vor allem am Anfang oder Ende eines Dokuments zuverlässig wiederfinden.

Bemerkenswert ist auch, dass 128k nur ein Zwischenschritt auf dem Weg zum Traum vom „unendlichen Kontext“ zu sein scheint. Frühe Forschung von Microsoft und der Xi'an Jiaotong University zielt darauf ab, LLMs auf eine Milliarde Kontext-Token zu skalieren.

GPT wird günstiger

OpenAI reagiert auf den wachsenden Wettbewerb im LLM-Markt und senkt die Preise von GPT-4 Turbo, damit Entwicklerinnen und Entwickler budgetfreundlich arbeiten können. Bei Nutzung der OpenAI API kosten Eingabetoken für GPT-4 Turbo nun nur noch ein Drittel des bisherigen Preises: statt 3 US-Cent jetzt 1 US-Cent pro 1.000 Token. Ausgabetoken kosten nur noch die Hälfte: statt 6 US-Cent jetzt 3 US-Cent pro 1.000 Token.

Ähnlich sieht es bei GPT-3.5 Turbo aus: Eingabetoken sind 3× günstiger und kosten 0,1 US-Cent pro 1.000 Token, Ausgabetoken sind 2× günstiger und kosten 0,2 US-Cent pro 1.000 Token.

Zudem sind Eingabetoken des feinabgestimmten GPT-3.5 Turbo 4K jetzt viermal günstiger: von 1,2 US-Cent auf 0,3 US-Cent pro 1.000 Token. Ausgabetoken sind 2,7× günstiger und kosten statt 1,6 US-Cent nun 0,6 US-Cent pro 1.000 Token. Der Trainingspreis bleibt bei 0,8 US-Cent pro 1.000 Token.

Diese Anpassungen sollen fortgeschrittene KI-Modelle für Entwicklerinnen und Entwickler kosteneffizienter machen.

GPT wird multimodal: Bildprompts & Text-zu-Sprache

„GPT-4 Turbo mit Vision“ wurde als „bald verfügbar“ angekündigt. Schon bald wirst du GPT-4 Turbo direkt mit Bildern als Prompt im Chatfenster füttern können. Das Tool kann dann Bildunterschriften erzeugen oder den Bildinhalt beschreiben. Außerdem unterstützt es Text-zu-Sprache.

Updates beim Function Calling

Function Calling ist ein Feature für Developer, die generative KI in ihre Anwendungen integrieren. Damit lassen sich Funktionen der eigenen App oder externer APIs für GPT-4 Turbo beschreiben. Da nun mehrere Funktionen in einer einzigen Nachricht aufgerufen werden können, wird die Interaktion verschlankt. Nutzerinnen und Nutzer können so eine Nachricht mit mehreren gewünschten Aktionen schicken, statt mehrfach hin und her zu kommunizieren.

So bekommst du Zugriff auf GPT-4 Turbo

Zugriff auf GPT-4 Turbo haben „alle zahlenden Developer“. Wenn du API-Zugang hast, kannst du einfach „gpt-4-1106-preview“ als Modellnamen in der OpenAI API angeben. Für GPT-4 Turbo mit Vision verwendest du „gpt-4-vision-preview“.

Beachte, dass diese Preview-Modelle noch nicht für den Produktionseinsatz gedacht sind. Im Rahmen der Ankündigung versprach Altman jedoch auch eine produktionsreife Version in den kommenden Wochen.

Für Nicht-Developer wird GPT-4 Turbo voraussichtlich in den nächsten Wochen für ChatGPT Plus und ChatGPT Enterprise verfügbar.

Rate Limits

Der Zugriff auf GPT-Modelle über die OpenAI API ist ratebegrenzt. Das heißt, du kannst nur eine begrenzte Anzahl von Anfragen pro Monat stellen. OpenAI hat nun klarere Richtlinien veröffentlicht, wie die Rate Limits funktionieren, damit deine Anwendung nicht unerwartet ausgebremst wird.

Außerdem wurden die Rate Limits für GPT-4 verdoppelt.

Da sich GPT-4 Turbo derzeit in der Preview-Phase befindet, liegen die Limits bei 20 Anfragen pro Minute und 100 pro Tag. OpenAI hat angegeben, die Limits für dieses Modell aktuell nicht zu erhöhen. Sobald eine öffentliche Version verfügbar ist, dürfte sich das ändern.

Fazit

Die Ankündigung von GPT-4 Turbo gibt einen spannenden Ausblick auf die Zukunft generativer KI, und wir können es kaum erwarten, damit zu arbeiten. Wenn du gerade erst in die GPT-Welt einsteigst, schau dir unseren Introduction to ChatGPT-Kurs an. Für einen tieferen Einstieg bietet unser Tutorial zur Nutzung von GPT-3.5 und GPT-4 über die OpenAI API in Python jede Menge Stoff.