GPT‑3.5 feinabstimmen: So schöpfst du das volle Potenzial der KI aus

OpenAIs neuestes Sprachmodell, GPT‑3.5 Turbo, markiert einen großen Sprung in den Fähigkeiten großer Sprachmodelle. Aufbauend auf der GPT‑3-Familie erzeugt GPT‑3.5 Turbo verblüffend menschenähnliche Texte und ist zugleich günstiger und besser zugänglich als frühere Versionen. Die wahre Stärke von GPT‑3.5 Turbo liegt jedoch in der Möglichkeit, es durch sogenannte Feinabstimmung (Fine-Tuning) individuell anzupassen.

Mit Fine-Tuning können Entwicklerinnen und Entwickler eigene Daten einbringen, das Modell auf spezifische Anwendungsfälle zuschneiden und die Leistung bei spezialisierten Aufgaben deutlich steigern. So hat ein feinabgestimmtes GPT‑3.5 Turbo in manchen engen Einsatzszenarien sogar GPT‑4 erreicht oder übertroffen.

Dieses neue Maß an Individualisierung eröffnet Unternehmen und Developer-Teams die Chance, GPT‑3.5 Turbo für maßgeschneiderte, leistungsstarke KI-Anwendungen einzusetzen. Da Fine-Tuning für GPT‑3.5 Turbo und später in diesem Jahr auch für das noch stärkere GPT‑4 verfügbar wird, stehen wir an der Schwelle zu einer neuen Ära der angewandten KI.

Warum Sprachmodelle feinabstimmen?

Fine-Tuning ist zu einer Schlüsseltechnik geworden, um das Maximum aus großen Sprachmodellen wie GPT‑3.5 Turbo herauszuholen. Eine separate Anleitung zum Fine-Tuning von GPT‑3 haben wir ebenfalls.

Zwar liefern vortrainierte Modelle schon ohne Anpassung erstaunlich menschliche Texte, doch ihr volles Potenzial entfalten sie erst durch Feinabstimmung. Dabei wird das Modell mit domänenspezifischen Daten weitertrainiert und auf spezialisierte Anwendungsfälle ausgerichtet, die über das Allgemeintraining hinausgehen. Fine-Tuning verbessert Relevanz, Genauigkeit und Leistung für Nischenanwendungen.

Individualisierung für konkrete Use Cases

Fine-Tuning ermöglicht es, das Modell so zu personalisieren, dass einzigartige, differenzierte Experiences entstehen, die auf bestimmte Anforderungen und Domänen zugeschnitten sind. Trainiert man mit domänenspezifischen Daten, werden die Ausgaben für diese Nische relevanter und präziser. Dieses Maß an Anpassung erlaubt es Unternehmen, maßgeschneiderte KI-Anwendungen zu bauen.

Bessere Steuerbarkeit und Zuverlässigkeit

Durch Fine-Tuning folgt das Modell Anweisungen zuverlässiger und liefert konsistente Ausgabeformate. Über Training mit formatierten Daten lernt es gewünschte Struktur und Stil, was die Steuerbarkeit erhöht. Das Ergebnis sind vorhersagbarere und besser kontrollierbare Outputs.

Mehr Leistung

Fine-Tuning kann die Modellleistung deutlich steigern – bis hin dazu, dass ein feinabgestimmtes GPT‑3.5 Turbo bei bestimmten Spezialaufgaben mit GPT‑4 mithält oder es übertrifft. Wird das Modell auf eine enge Domäne optimiert, erzielt es in diesem Problemraum bessere Resultate als ein Generalist. Der Performance-Gewinn durch Fine-Tuning ist erheblich.

Sieh dir auch unseren Guide zu 12 Open-Source-Alternativen zu GPT‑4 an. Darin stellen wir Tools vor, die ähnliche Leistung bieten und mit weniger Rechenressourcen auskommen.

Auswirkungen des Fine-Tunings von GPT‑3.5 Turbo

In OpenAIs Betatests zeigte sich: Kundinnen und Kunden, die das Modell feinabstimmten, erzielten spürbare Verbesserungen bei verschiedenen Standardanwendungen. Hier die wichtigsten Erkenntnisse:

1. Bessere Steuerbarkeit

Per Fine-Tuning lassen sich Modelle besser auf bestimmte Leitlinien trimmen. Möchte ein Unternehmen etwa besonders knappe Antworten oder verlangt, dass das Modell stets in einer bestimmten Sprache antwortet, hilft Fine-Tuning. Ein Klassiker: Developer können das Modell so einstellen, dass es auf Wunsch konsequent auf Deutsch antwortet.

2. Konsistente Antwortstruktur

Ein großer Vorteil von Fine-Tuning ist die gleichmäßigere Ausgabe. Das ist besonders wertvoll für Aufgaben mit festem Antwortschema, etwa Code-Vorschläge oder die Generierung von API-Interaktionen. So können sich Entwickler darauf verlassen, dass das Modell Nutzeranfragen zuverlässig in sauberes, systemkompatibles JSON überführt.

3. Personalisierter Ton

Fine-Tuning kann den Stil der Antworten stärker an die individuelle Markenstimme anlehnen. Unternehmen mit klarer Brand Voice stellen so sicher, dass der Ton der Ausgaben zum Markenkern passt.

Voraussetzungen fürs Fine-Tuning

Beim Fine-Tuning wird ein vortrainiertes Sprachmodell wie GPT‑3.5 Turbo mit deinen eigenen Daten weitertrainiert. So passt es sich deinem Use Case an und verbessert seine Leistung deutlich.

Zum Start brauchst du Zugriff auf die OpenAI API. Nach der Registrierung auf der OpenAI-Website erhältst du einen API-Schlüssel, mit dem du auf die API und Modelle zugreifen kannst.

Als Nächstes bereitest du ein Datenset für das Fine-Tuning vor. Dazu kuratierst du Beispiele aus Eingabe-Prompts und den gewünschten Modellantworten. Die Daten sollten dem Format entsprechen, in dem dein Anwendungsfall das Modell nutzt. Wichtig ist auch das Säubern und Formatieren in die erforderliche JSONL-Struktur.

Die OpenAI CLI bietet nützliche Tools, um deine Trainingsdaten zu validieren und vorzuverarbeiten.

Nach der Validierung lädst du die Daten auf die OpenAI-Server hoch.

Abschließend startest du über die API einen Fine-Tuning-Job, wählst das Basismodell GPT‑3.5

Turbo und übergibst die Trainingsdatei. Je nach Datenmenge kann das Fine-Tuning Stunden bis Tage dauern. Den Trainingsfortschritt kannst du über die API verfolgen.

OpenAI GPT‑3.5 Turbo feinabstimmen: Schritt-für-Schritt-Anleitung

OpenAI hat kürzlich eine UI für das Fine-Tuning von Sprachmodellen veröffentlicht. In diesem Tutorial nutze ich die OpenAI UI, um ein feinabgestimmtes GPT-Modell zu erstellen. Um mitzumachen, brauchst du ein OpenAI-Konto und einen Schlüssel.

1. Bei platform.openai.com einloggen

2. Daten vorbereiten

Zur Demo habe ich ein kleines Datenset mit Fragen und Antworten zusammengestellt und aktuell als Pandas DataFrame gespeichert.

Zur Veranschaulichung habe ich 50 Machine-Learning-Fragen samt Antworten im Stil Shakespeares erstellt. Mit diesem Fine-Tuning-Job personalisiere ich Stil und Ton des Modells GPT‑3.5 Turbo.

Auch wenn das kein besonders praxisnaher Use Case ist – schließlich könntest du einfach \„Antworte im Shakespeare-Stil\“ in den Prompt schreiben –, kennt GPT‑3.5 Shakespeare natürlich und erzeugt Antworten im gewünschten Ton.

Für OpenAI müssen die Daten im jsonl-Format vorliegen. JSONL bedeutet: Jede Zeile ist ein gültiges JSON-Objekt, getrennt durch Zeilenumbrüche. Ich habe einen kurzen Code geschrieben, der pd.DataFrame in jsonl umwandelt.

import json\nimport pandas as pd\n\nDEFAULT_SYSTEM_PROMPT = 'You are a teaching assistant for Machine Learning. You should help the user to answer his question.'\n\ndef create_dataset(question, answer):\n    return {\n        \"messages\": [\n            {\"role\": \"system\", \"content\": DEFAULT_SYSTEM_PROMPT},\n            {\"role\": \"user\", \"content\": question},\n            {\"role\": \"assistant\", \"content\": answer},\n        ]\n    }\n\nif __name__ == \"__main__\":\n    df = pd.read_csv(\"path/to/file.csv\", encoding='cp1252')\n    with open(\"train.jsonl\", \"w\") as f:\n        for _, row in df.iterrows():\n            example_str = json.dumps(create_dataset(row[\"Question\"], row[\"Answer\"]))\n            f.write(example_str + \"\\n\")\n

So sieht meine jsonl-Datei aus:

3. Fine-Tuning-Job erstellen

Geh zu platform.openai.com, navigiere oben zu Fine-tuning und klicke auf Create New.

Wähle das Basismodell. Aktuell sind drei Modelle für Fine-Tuning verfügbar (babbage-002, davinci-002, gpt-3.5-turbo-0613).

Lade anschließend die jsonl-Datei hoch, gib dem Job einen Namen und klicke auf Create.

Je nach Datensatzgröße kann das Tuning mehrere Stunden oder Tage dauern. In meinem Beispiel waren es nur 5.500 Tokens, dennoch dauerte das Fine-Tuning über 6 Stunden. Die Kosten waren vernachlässigbar (<$1 = 5.500/1000 × $0.08).

In diesem Tutorial siehst du, wie du die UI zum Fine-Tuning von GPT-Modellen nutzt. Wenn du dasselbe per API umsetzen willst, lies das Tutorial Fine-Tuning GPT‑3 Using the OpenAI API and Python von Zoumana Keita auf DataCamp.

4. Das feinabgestimmte Modell nutzen

Sobald der Tuning-Job abgeschlossen ist, kannst du das feinabgestimmte Modell über die API oder den Playground auf platform.openai.com verwenden.

Unter der Model-Auswahl findest du jetzt eine persönliche 3.5‑turbo-Variante. Probieren wir es aus.

Achte auf Ton und Stil der Antworten.

Wenn du lernen willst, wie du mit dem OpenAI-Python-Paket programmgesteuert mit ChatGPT kommunizierst, lies den Blogbeitrag Using GPT‑3.5 and GPT‑4 via the OpenAI API in the Python auf DataCamp.

Sicherheit und Datenschutz

OpenAI nimmt Sicherheit ernst und setzt vor Veröffentlichungen strenge Prozesse ein – darunter Tests, Expertenfeedback, Techniken zur Verhaltensverbesserung und Monitoring-Systeme. Ziel ist es, leistungsfähige KI-Systeme zum Nutzen aller bereitzustellen und absehbare Risiken zu minimieren.

Fine-Tuning ermöglicht die Anpassung von Modellen wie GPT‑3.5 Turbo, ohne wichtige Sicherheitsmechanismen zu verlieren. OpenAI setzt auf mehreren Ebenen an – Messungen, Modelländerungen, Richtlinien, Monitoring –, um Risiken zu mindern und Modelle auszurichten.

OpenAI entfernt, wo möglich, personenbezogene Informationen aus Trainingsdaten und verbietet Inhalte, die private Daten Einzelner enthalten. So werden Datenschutzrisiken reduziert.

Für gängige Use Cases ohne sensible Daten lassen sich OpenAI-Modelle sicher einsetzen. Bei proprietären oder regulierten Daten können jedoch Optionen wie Datenmaskierung, private AI-Prozessoren oder Inhouse-Modelle sinnvoller sein.

Kosten des Fine-Tunings von GPT‑3.5 Turbo

Mit dem Fine-Tuning und der Nutzung des feinabgestimmten GPT‑3.5‑Turbo-Modells sind drei Kostenblöcke verbunden:

\n
1. Aufbereitung der Trainingsdaten. Dazu gehört das Kuratieren eines Datensatzes mit Prompts und gewünschten Antworten für deinen Use Case. Die Kosten hängen vom Aufwand für Beschaffung und Formatierung ab.
\n
2. Initiale Trainingskosten. Abrechnung pro Token der Trainingsdaten. Bei $0,008 pro 1.000 Tokens kostet ein Trainingsset mit 100.000 Tokens $800 für das initiale Fine-Tuning.
\n
3. Laufende Nutzungskosten. Abrechnung pro Token für Eingaben und Ausgaben. Bei $0,012 pro 1.000 Eingabetokens und $0,016 pro 1.000 Ausgabetokens können die Kosten je nach Nutzung schnell steigen.
\n

Beispiel für ein Nutzungsszenario:

\n
• Chatbot mit 4.000 Tokens pro Prompt/Antwort, 1.000 Interaktionen pro Tag:
  (4.000/1000) Eingabetokens × $0,012 × 1.000 Interaktionen = $48 pro Tag
  (4.000/1000) Ausgabetokens × $0,016 × 1.000 Interaktionen = $64 pro Tag
  Gesamt = $112 pro Tag bzw. $3.360 pro Monat
\n

\n
• Textzusammenfassungs-API mit 2.000 Eingabetokens, 500 Requests pro Tag:
  (2.000/1000) Eingabetokens × $0,012 × 500 Requests = $12 pro Tag
  (2.000/1000) Ausgabetokens × $0,016 × 500 Requests = $16 pro Tag
  Gesamt = $28 pro Tag bzw. $840 pro Monat
\n

Hinweis: Tokens werden durch 1000 geteilt, weil die OpenAI-Preise pro 1.000 Tokens angegeben sind.

Lerne, wie du ChatGPT in einem echten End-to-End-Data-Science-Projekt einsetzt. Schau dir A Guide to Using ChatGPT For Data Science Projects an und erfahre, wie du ChatGPT für Projektplanung, Datenanalyse, Datenvorverarbeitung, Modellauswahl, Hyperparameter-Tuning, die Entwicklung einer Web-App und das Deployment auf Spaces nutzt.

Fazit

Im Grenzbereich dessen, was große Sprachmodelle leisten, überzeugt GPT‑3.5 Turbo nicht nur durch menschenähnliche Textgenerierung, sondern vor allem durch das Potenzial, das Fine-Tuning freisetzt. Diese Anpassung erlaubt es, das Modell für Nischenanwendungen zu schärfen und so Ergebnisse zu erzielen, die in spezialisierten Domänen sogar mit Nachfolgern mithalten oder sie übertreffen.

Die Verbesserungen bei Steuerbarkeit, Antwortstruktur und Tonalität zeigen sich in Anwendungen, die auf klare Anforderungen getrimmt sind – und Unternehmen ermöglichen, einzigartige KI-Erlebnisse zu bieten. Mit dieser Stärke geht Verantwortung einher: Verstehe die entstehenden Kosten und beachte Sicherheits- sowie Datenschutzaspekte, wenn du Generative KI und Sprachmodelle einsetzt.

Erhalte Zugang zu über 60 ChatGPT-Prompts für Data-Science-Aufgaben mit dem ChatGPT Cheat Sheet for Data Science.