Einsteigerleitfaden zu GPT-3

Natural Language Processing (NLP) ist ein Teilgebiet der Linguistik, der Informatik, der Künstlichen Intelligenz und der Informationstechnik. Es befasst sich mit der Interaktion zwischen Computern und menschlicher (natürlicher) Sprache – insbesondere damit, wie Computer so programmiert werden, dass sie große Mengen natürlicher Sprachdaten verarbeiten und analysieren.

Klingt spannend? Was würdest du sagen, wenn wir dir verraten, dass ein Algorithmus namens GPT-3 diesen gesamten Absatz auf Anhieb geschrieben hat? Kein Scherz! Sieh dir das an…

GPT-3 in Aktion

Schon beeindruckend, oder? Zurück zu NLP: Es ermöglicht Computern, menschliche Sprache als Text- oder Sprachdaten zu verarbeiten und ihre Bedeutung zu „verstehen“ – inklusive Intention und Stimmung von Sprecherin oder Autor. NLP war in den letzten zehn Jahren Schauplatz einiger der spannendsten KI-Durchbrüche und Anwendungen. Der aktuell produktivste Trend in diesem Feld sind große Sprachmodelle, zu denen auch GPT-3 gehört.

Manche sehen GPT-3 als ersten Schritt auf dem Weg zur allgemeinen Künstlichen Intelligenz. Kaum ein anderes KI-Modell hat so viel Aufmerksamkeit auf sich gezogen. Die große Flexibilität, mit der es unterschiedlichste Aufgaben mit nahezu menschlicher Effizienz und Genauigkeit löst, macht es so faszinierend. Es wurde als API veröffentlicht, um Datenwissenschaftlerinnen, Entwicklern und Menschen aus allen Bereichen weltweit beispiellosen Zugriff auf eines der leistungsfähigsten Sprachmodelle zu geben.

Entwickelt wurde das Modell von OpenAI, einem Unternehmen an der Spitze der KI-Forschung. Seit der Erstveröffentlichung im Juli 2020 haben Entwicklerinnen und Entwickler weltweit Hunderte spannender Anwendungen für GPT-3 gefunden, die unsere Art zu kommunizieren, zu lernen und zu spielen auf ein neues Niveau heben. Es löst allgemeine sprachbasierte Aufgaben mühelos und wechselt flexibel zwischen verschiedenen Textstilen und -zwecken.

Vor GPT-3 wurden Sprachmodelle für jeweils eine spezifische NLP-Aufgabe konzipiert – etwa Textgenerierung, Zusammenfassung oder Klassifikation. GPT-3 ist das erste generalisierte Sprachmodell in der Geschichte des Natural Language Processing, das auf eine Vielzahl von NLP-Aufgaben gleichermaßen gut performt. GPT-3 steht für „Generative Pre-trained Transformer“ und ist die dritte Iteration von OpenAI. Schauen wir uns die drei Begriffe an:

• Generativ: Generative Modelle sind statistische Modelle, die neue Datenpunkte erzeugen. Sie lernen die zugrunde liegenden Zusammenhänge zwischen Variablen in einem Datensatz, um neue, ähnlich gelagerte Datenpunkte zu erzeugen.
• Vortrainiert: Vortrainierte Modelle wurden bereits auf großen Datensätzen trainiert. So lassen sie sich für Aufgaben nutzen, bei denen ein Training von Grund auf schwierig oder teuer wäre. Sie sind nicht immer zu 100 % exakt, ersparen dir aber das Rad neu zu erfinden – das spart Zeit und verbessert die Performance.
• Transformer: Ein Transformer ist ein 2017 vorgestelltes neuronales Netz. Dieser Deep-Learning-Ansatz ist für sequenzielle Daten wie Text ausgelegt und wird häufig für maschinelle Übersetzung oder Textklassifikation eingesetzt.

Im nächsten Abschnitt betrachten wir den größeren Kontext von Sprachmodellen: Was sie sind, wie sie funktionieren und wofür sie verwendet werden. Mehr zu unserem Wissensstand zu GPT-4 findest du in einem separaten Artikel. Du kannst hier mehr über KI lernen oder dich über die neuesten Entwicklungen bei OpenAI, Google AI und ihre Bedeutung für Data Science informieren.

Was sind Large Language Models?

In den letzten Jahren ist das Interesse im NLP-Bereich an großen Sprachmodellen (LLMs) enorm gestiegen. LLMs werden auf riesigen Textmengen trainiert und lassen sich für vielfältige sprachbasierte Aufgaben nutzen – von Textgenerierung über Übersetzung bis hin zu Frage-Antwort-Systemen.

Sprachmodellierung nutzt Wahrscheinlichkeiten, um zu verstehen, wie Sätze in einer Sprache aufgebaut sind. Einfache Modelle schauen sich ein Wort an und sagen das nächste wahrscheinlich folgende Wort voraus – basierend auf statistischer Analyse bestehender Textsequenzen. Der Satz „I love walking my …“ endet beispielsweise eher mit „dog“ als mit „refrigerator“. Je mehr Daten ein Sprachmodell sieht, desto präziser kann es Wortfolgen vorhersagen.

LLMs kannst du dir als statistische Vorhersagemaschinen vorstellen: Text rein, Vorhersage raus. Das kennst du wahrscheinlich von der Autovervollständigung auf deinem Smartphone. Tippst du „good“, schlägt sie etwa „morning“ oder „luck“ vor. Anwendungen wie Autovervollständigung basieren stark auf Sprachmodellen.

Sprachmodelle gibt es schon lange – ihren großen Durchbruch erleben sie erst seit Kurzem. Gründe sind unter anderem riesige verfügbare Trainingsdaten, bessere Trainingsalgorithmen und GPUs, die das Training beschleunigen. Mit mehr Daten lernen Modelle mehr über Wortbeziehungen und Kontexte, verstehen Inhalte besser und generieren genauere Vorhersagen.

Der Erfolg von LLMs beruht darauf, dass sie Abhängigkeiten zwischen Wörtern in Texten erfassen. Im Satz „The cat sat on the mat“ hängt „cat“ etwa von „the“ ab und „mat“ von „on“. Ein großes Sprachmodell bildet solche Abhängigkeiten in seinen Parametern ab. Mit dem Fortschritt der Modelle ist auch die Zahl der Parameter explodiert – wie die folgende Grafik von Microsoft Research zeigt.

Größentrend moderner NLP-Modelle im Zeitverlauf (logarithmische Skala)
Quelle: Microsoft Research Blog Post vom 11. Oktober 2021

Das Vortraining großer Sprachmodelle erfordert enorme Rechenleistung – das ist energieintensiv. Mit der steigenden Nachfrage wachsen die benötigten Ressourcen. Das hat ökologische Kosten, etwa hohen Energieverbrauch und CO₂-Emissionen.

Forscher der University of Massachusetts schätzten 2019, dass das Training eines großen Deep-Learning-Modells 626.000 Pfund CO₂ verursacht – so viel wie die Lebenszeitemissionen von fünf Autos. Da Modelle schneller wachsen als die Hardware effizienter wird, steigt der Bedarf weiter. Eine Studie von 2021 schätzt, dass das Training von GPT-3 rund 552 Tonnen CO₂ ausstieß – etwa so viel, wie 120 Autos in einem Jahr verursachen.

Das Green-AI-Papier von 2019 stellt jedoch fest, „dass der Trend, vortrainierte Modelle öffentlich bereitzustellen, ein grüner Erfolg ist“, und ermutigt Organisationen, „ihre Modelle weiterhin zu veröffentlichen, um anderen die Kosten für erneutes Training zu ersparen“. Unternehmen wie OpenAI, die vortrainierte LLMs bereitstellen, forschen fortlaufend an Techniken, um den CO₂-Fußabdruck des Trainings zu senken.

GPT-3 ist bei vielen NLP-Aufgaben äußerst präzise – dank der gewaltigen Trainingsdaten und seiner Architektur mit 175 Milliarden Parametern, die logische Zusammenhänge in den Daten abbilden. Vortrainiert wurde GPT-3 auf einem Korpus aus fünf großen Datensätzen: Common Crawl, WebText2, Books1, Books2 und Wikipedia. Zusammen umfasst dieser Korpus nahezu eine Billion Wörter. So kann GPT-3 überraschend viele NLP-Aufgaben im Zero-Shot-Setting bewältigen – also ohne Beispieldaten.

Im nächsten Abschnitt schauen wir uns Transformer an – die berühmte Architektur, die das Sprachmodellierungsfeld im Sturm erobert und die Möglichkeiten in NLP neu definiert hat.

Was sind Transformer-Modelle?

Der Transformer ist eine neuronale Netzwerkarchitektur, die sich besonders gut für Sprachmodellierung eignet. Er wurde 2017 im Paper „Attention is All You Need“ vorgestellt. Das Paper beschreibt Transformer als Architektur für effiziente Sequence-to-Sequence-Aufgaben, die Langzeitabhängigkeiten souverän handhabt. Transformer-Modelle sind heute die Standardarchitektur im NLP und dominieren das Feld.

Sequence-to-Sequence (auch Seq2Seq) ist der Mechanismus, der Transformer-Modelle trägt. Die Architektur verwandelt eine gegebene Sequenz von Elementen – etwa Wörter in einem Satz – in eine andere Sequenz, zum Beispiel in eine Übersetzung. Das macht sie besonders geeignet für Übersetzungsaufgaben. Google Translate nutzt seit Ende 2016 eine ähnliche Architektur in der Produktion.

Quelle: Blogpost „The Illustrated Transformer“ von Jay Alammar post

Seq2Seq-Modelle bestehen aus zwei Teilen: einem Encoder und einem Decoder. Man kann sie sich wie zwei Übersetzer vorstellen, die jeweils zwei Sprachen sprechen. Beide haben unterschiedliche Muttersprachen – sagen wir, der Encoder ist Muttersprachler Chinesisch, der Decoder Englisch. Als gemeinsame Zweitsprache beherrschen beide Japanisch. Um Chinesisch nach Englisch zu übersetzen, wandelt der Encoder den chinesischen Satz ins Japanische. Dieser japanische „Kontext“ wird an den Decoder übergeben. Da der Decoder Japanisch versteht, kann er nun ins Englische übersetzen.

Ein weiterer Schlüsselbaustein der Transformer-Architektur ist „Attention“. Diese Technik ahmt kognitive Aufmerksamkeit nach – so wie unser Gehirn sich auf die bedeutenden Teile eines Satzes fokussiert, um die Gesamtbedeutung zu erfassen. Während du diesen Satz liest, konzentrierst du dich stets auf das aktuelle Wort, hältst aber die wichtigsten Schlüsselwörter im Gedächtnis, um Kontext zu schaffen.

Der Attention-Mechanismus betrachtet eine Eingabesequenz Schritt für Schritt und entscheidet jeweils, welche anderen Teile wichtig sind. So filtert der Transformer Rauschen heraus und fokussiert Relevantes, indem er zusammengehörige Wörter verbindet, die für sich genommen keine offensichtlichen Hinweise aufeinander tragen.

Transformer-Modelle profitieren von größeren Architekturen und mehr Daten. Dadurch verstehen sie den Kontext von Wörtern im Satz besser als andere neuronale Netze – mit entsprechend großem Einfluss auf das maschinelle Lernen. Da sie sich rasant weiterentwickeln, wird ihr Impact in den kommenden Jahren noch zunehmen. Und du kannst mit LLMs in wenigen Schritten selbst experimentieren.

Erste Schritte mit GPT-3

Die OpenAI-API nutzen

Obwohl GPT-3 eines der komplexesten Sprachmodelle weltweit ist, erreichst du seine Fähigkeiten über eine einfache „Text-in-Text-out“-Schnittstelle. Der erste Schritt ist der Zugang zur OpenAI-API. Du kannst dich hier bewerben und dein Konto ist in wenigen Minuten eingerichtet.

Mit einem OpenAI-Developer-Account kannst du das Playground nutzen – eine private, webbasierte Sandbox, in der du mit der API experimentierst und verstehst, wie die Komponenten zusammenspielen.

Komponenten der OpenAI-API

Ein Überblick über die API-Komponenten und ihre Funktionen:

• Ausführungs-Engine: Legt fest, welches Sprachmodell zur Ausführung genutzt wird. Die richtige Engine ist entscheidend für die Fähigkeiten deines Modells – und damit für das Ergebnis.
• Antwortlänge: Begrenzt, wie viel Text die API in einer Completion zurückliefert. Da OpenAI pro erzeugtem Text abrechnet, ist die Antwortlänge ein zentraler Parameter – längere Antworten kosten mehr.
• Temperature: Steuert die Zufälligkeit der Antwort (0 bis 1). Niedrige Werte liefern deterministischere, hohe Werte kreativere Ausgaben, da mehr mögliche Fortsetzungen in Betracht gezogen werden.
• Top P: Begrenzt den Anteil zufälliger Ergebnisse, die für die Completion berücksichtigt werden (0 bis 1). Niedrige Werte dämpfen Kreativität, hohe erweitern sie.
• Frequency- und Presence-Penalty: Frequency-Penalty verringert Wortwiederholungen, Presence-Penalty erhöht die Wahrscheinlichkeit, neue Themen anzusprechen.
• Best of: Generiert serverseitig mehrere Completions (n) und liefert die beste zurück.
• Stop-Sequenz: Eine Zeichenfolge, bei der die API die Generierung beendet.
• Start- & Restart-Text injizieren: Erlaubt dir, Text am Anfang bzw. Ende der Completion einzufügen.
• Wahrscheinlichkeiten anzeigen: Hilft beim Debugging, indem die Token-Wahrscheinlichkeiten für einen Prompt angezeigt werden.

Die OpenAI-API bietet vier Ausführungs-Engines, die sich in Parameteranzahl, Leistung und Preis unterscheiden. Nach steigender Leistungsfähigkeit heißen sie: Ada (nach Ada Lovelace), Babbage (nach Charles Babbage), Curie (nach Marie Curie) und Davinci (nach Leonardo da Vinci).

Auf Basis dieser vier Primärmodelle hat OpenAI die InstructGPT-Reihe veröffentlicht. Diese Modelle verstehen Anweisungen besser und folgen ihnen genauer, um gewünschte Ergebnisse zu liefern. Du sagst dem Modell einfach, was es tun soll – es setzt es bestmöglich um. Das Formulieren solcher Anweisungen nennt man Prompt Engineering.

Prompt Engineering

GPT-3 ist aufgabenagnostisch konzipiert. Mit dem passenden Trainingsprompt kann es potenziell unzählige Aufgaben übernehmen. KI-Lösungen zu bauen war nie leicht – mit GPT-3 brauchst du vor allem einen sinnvollen Prompt in einfachem Englisch.

Quelle: Tweet von Andrej Karpathy am 18. Juni 2020

Das A und O bei einer GPT-3-Anwendung ist der Aufbau und Inhalt des Trainingsprompts. Das Prompt-Design ist entscheidend, um GPT-3 auf eine passende und kontextuelle Antwort einzustimmen.

Der Prompt ist der Texteingabekontext, den du dem Modell gibst, damit es die gewünschte Ausgabe erzeugt. Ein guter Prompt liefert genug Kontext zur Aufgabe. GPT-3 betrachtet die Eingabe und versucht, sie mit dem aus seiner Sicht passendsten Text zu vervollständigen.

Prompt-Design ist ein bisschen wie Scharade spielen!

Das Geheimnis guter Prompts ist zu verstehen, was GPT-3 über die Welt weiß – und wie man dieses Wissen für nützliche Ergebnisse anzapft. Wie bei Scharade gibst du gerade so viel Information, dass Mitspielende das richtige Wort erraten. Genauso liefern wir GPT-3 gerade genug Kontext im Trainingsprompt, damit es Muster erkennt und die Aufgabe erledigt. Zu viel stört den natürlichen Fluss der „Intelligenz“, zu wenig führt zu ungenauen Ergebnissen.

Als Faustregel gilt: Ziel ist eine Zero-Shot-Antwort. Wenn das nicht klappt, nutze ein paar Beispiele statt eines ganzen Korpus. Der Standardablauf fürs Prompt-Design:

Zero-Shot → Few-Shot → Korpusbasiertes Priming

Sieht das Modell im Input nur „Q“ und eine Frage, versucht es zwar zu antworten – aber nicht unbedingt so, wie du erwartest. Ohne Kontext könnte es annehmen, du erstellst eine Liste aus Fragen mit falschen Antworten. Für die beste Antwort musst du GPT-3 sagen, welche Art von Antworten du willst.

Statt GPT-3 mit diesem Input arbeiten zu lassen:

Q:
A:

Was bei uns zu folgender Completion führte:

Q:
A:

Q:
A:

Erzielst du für Fragen deutlich bessere Ergebnisse mit einem Prompt wie diesem (je nach gewünschter Fragengattung anpassbar):

Write a few trivia questions.

Q:
A:

Damit erhielten wir beim ersten Versuch folgende Completion:

What is the name of the longest river in Africa?
The Nile

What are the top 5 most spoken languages in the world?
Mandarin, Spanish, English, Hindi, Arabic

Solche einfachen Anweisungen reichen, damit GPT-3 versteht, welche Art von Antworten du suchst – hier: mehrere Quizfragen. Du kannst statt „A:“ auch „Factual answer:“ verwenden, um das Ergebnis zu verbessern.

Write a few trivia questions.

Question:
Factual answer:

Auf diesen Input bekamen wir folgende Completion:

1. What is the world’s largest desert?

The Sahara desert.

2. What is the world’s deepest Ocean?

The Pacific Ocean.

GPT-3-Sandbox – OpenAI-API mit Python nutzen

In diesem Abschnitt führen wir dich durch die GPT-3-Sandbox – ein Open-Source-Tool, mit dem du Ideen mit wenigen Zeilen Python in die Praxis bringst. Wir zeigen dir Nutzung und Anpassung für deinen Anwendungsfall. Ziel ist, dich zu befähigen, coole Webanwendungen zu bauen – unabhängig von deinem technischen Hintergrund.

Sieh dir diese interaktive Videoserie für eine Schritt-für-Schritt-Anleitung zum Erstellen und Deployen einer GPT-3-App an. Für die Sandbox brauchst du:

• Python 3.7+
• Eine IDE wie VS Code

Klonen den Code aus diesem Repository, indem du in deiner IDE ein neues Terminal öffnest und folgenden Befehl nutzt:

git clone https://github.com/Shubhamsaboo/kairos_gpt3

Alles zum Erstellen und Deployen einer Webanwendung ist enthalten. Du passt nur ein paar Dateien an, um die Sandbox für deinen Use Case zu konfigurieren. Erstelle nun eine virtuelle Python-Umgebung. Danach installierst du die Abhängigkeiten mit:

pip install -r requirements.txt

Jetzt kannst du den Sandbox-Code anpassen. Die erste Datei ist training_data.py. Öffne sie und ersetze den Standard-Prompt durch deinen Trainingsprompt. Nutze das GPT-3-Playground, um mit verschiedenen Prompts zu experimentieren (siehe Kapitel 2 des Buchs und dieses Video zur Anpassung der Sandbox).

Nun justierst du die API-Parameter (Maximum tokens, Execution Engine, Temperature, Top-p, Frequency Penalty, Stop Sequence). Probiere im Playground verschiedene Werte für deinen Prompt aus, um die beste Kombination zu finden. Wenn die Ergebnisse passen, übernimm die Werte in training_service.py.

Das war’s! Deine GPT-3-basierte Web-App ist bereit. Starte sie lokal mit:

streamlit run gpt_app.py

Über Streamlit sharing kannst du die App deployen und einem größeren Publikum zugänglich machen. Dieses Video führt dich durch den kompletten Deployment-Prozess.

Was kannst du mit GPT-3 bauen?

Vor GPT-3 beschränkte sich der Kontakt vieler Menschen mit KI auf spezifische Aufgaben – etwa Alexa einen Song abspielen lassen oder mit Google Translate kommunizieren. Mit LLMs erleben wir einen deutlichen Paradigmenwechsel. Sie zeigen, dass größere Modelle kreative und komplexe Aufgaben auf menschlichem Niveau übernehmen können.

GPT-3 befeuert die nächste Startup-Welle, indem es die Vorstellungskraft kreativer Unternehmerinnen und Unternehmer mit der passenden Technologie verbindet. Kurz nach Veröffentlichung der API entstanden zahlreiche Firmen, die damit Probleme lösen. Schauen wir auf einige der erfolgreichsten Startups, die GPT-3 im Kern ihres Produkts nutzen – in Bereichen wie Creative, Datenanalyse, Chatbots, Textproduktion und Entwicklertools.

1. Kreative Anwendungen von GPT-3: Fable Studio

Eine der spannendsten Fähigkeiten von GPT-3 ist Storytelling. Du gibst dem Modell ein Thema und lässt es im Zero-Shot-Modus eine Geschichte schreiben. Das eröffnet Autorinnen und Autoren neue Horizonte. So zeigt das Theaterstück AI unter der Regie von Jennifer Tang, entwickelt mit Chinonyerem Odimba und Nina Segal, eine besondere Kollaboration zwischen Mensch und Maschine mithilfe von GPT-3.

Fable Studio nutzt die erzählerischen Fähigkeiten des Modells. Sie haben Neil Gaimans und Dave McKeans Kinderbuch „Wolves in the Walls“ zu einem Emmy-prämierten VR-Filmerlebnis adaptiert. Lucy, die Protagonistin, kann dank GPT-3-generierter Dialoge natürlich mit Menschen sprechen. Das Unternehmen glaubt, dass mit kommenden Modellgenerationen ein KI-Erzähler möglich wird, der so versiert und kreativ ist wie die besten menschlichen Autorinnen und Autoren.

2. Datenanalyse mit GPT-3: Viable

Viable ist ein Tool zur Feedback-Aggregation. Es erkennt Themen, Emotionen und Stimmungen in Umfragen, Helpdesk-Tickets, Chat-Protokollen und Reviews – und fasst sie in Sekunden zusammen. Frägst du etwa: „Was frustriert unsere Kundschaft beim Checkout?“, könnte Viable antworten: „Kundinnen und Kunden sind vom Checkout-Flow genervt, weil das Laden zu lange dauert. Sie wollen zudem Adressen im Checkout bearbeiten und mehrere Zahlungsmittel speichern können.“

Wie es sich für Feedback-Profis gehört, hat Viable neben jeder generierten Antwort Daumen hoch/runter. Dieses Feedback fließt ins Retraining. Menschen sind Teil des Prozesses: Ein Annotationsteam erstellt Trainingsdatensätze – für interne Modelle und für GPT-3-Fine-Tuning. Die aktuelle, feinabgestimmte Version erzeugt Ausgaben, die anschließend qualitativ bewertet und bei Bedarf überarbeitet werden. Zufriedenstellende Outputs fließen in die nächste Trainingsiteration zurück.

3. Chatbots mit GPT-3: Quickchat

Emerson AI ist die Chatbot-Persona von Quickchat – bekannt für breites Weltwissen, Mehrsprachigkeit und dialogfähige Konversation. Emerson AI demonstriert, wozu GPT-3-gestützte Chatbots fähig sind, und motiviert Unternehmen, ähnliche Personas zu implementieren. Quickchat bietet eine allgemeine Konversations-KI, die über jedes Thema sprechen kann. Kundinnen und Kunden ergänzen produktspezifische Informationen zur Anpassung. Einsatzfelder reichen von automatisiertem Support bis zur KI-Persona, die interne Wissensbasen durchsuchbar macht.

Anders als typische Chatbot-Anbieter baut Quickchat keine starren Gesprächsbäume. Stattdessen kopierst du einfach den relevanten Informationstext in das System, klickst auf „Retrain“, wartest wenige Sekunden – fertig. Der Chatbot ist nun mit deinen Daten trainiert und bereit für Testgespräche.

4. Marketing mit GPT-3: Copysmith

Einer der beliebtesten Einsatzzwecke von GPT-3 ist die schnelle Generierung kreativer Inhalte. Copysmith ist eine solche Plattform. Sie nutzt GPT-3, um aus Prompts Texte für E-Commerce zu erstellen. Besonders im Marketing spielt das Modell seine Stärken aus: Inhalte werden schneller generiert, gemeinsam verfeinert und veröffentlicht. Kleine und mittelständische Onlineshops schreiben bessere CTAs und Produktbeschreibungen – und heben ihr Marketing auf das nächste Level.

5. Coding mit GPT-3: Stenography

Bram Adams, OpenAI Community Ambassador, entwickelte Stenography – ein Programm, das mit GPT-3 und Codex Code-Dokumentation automatisiert.

Stenography wurde sofort ein Erfolg und landete als #1 auf ProductHunt. Adams sieht Dokumentation als Brücke zu Teammitgliedern, zum zukünftigen Ich oder zu Menschen, die zufällig auf ein GitHub-Projekt stoßen. Ziel von Stenography ist, Projekte für andere verständlich zu machen.

Mehr über das wachsende GPT-3-Ökosystem findest du in Kapitel 4 (GPT-3 als Sprungbrett für Next-Gen-Startups) und Kapitel 5 (GPT-3 für Unternehmen) unseres kommenden O’Reilly-Buchs.

Fazit

• GPT-3 markiert einen wichtigen Meilenstein in der KI-Geschichte – und ist Teil eines größeren LLM-Trends, der weiter an Fahrt gewinnt. Der revolutionäre Schritt, API-Zugang bereitzustellen, hat das Modell-als-Service-Geschäftsmodell geprägt.
• Die allgemeinen sprachbasierten Fähigkeiten von GPT-3 eröffnen den Weg zu innovativen Produkten. Besonders stark ist es bei Aufgaben wie Textgenerierung, Zusammenfassung, Klassifikation und Konversation.
• Es gibt zahlreiche erfolgreiche Unternehmen, die weitgehend oder vollständig auf GPT-3 aufbauen. Unsere Favoriten: kreatives Storytelling, Datenanalyse, Chatbots, Marketing-Texten und Entwicklertools.