GPT-4o Vision Fine-Tuning: Ein Leitfaden mit Beispielen

Bis vor kurzem war die Feinabstimmung GPT-4o war nur mit Text möglich. Jetzt, mit OpenAIder neuesten Feinabstimmung API können wir GPT-4o auch mit Bildern anpassen. Das bedeutet, dass wir die Fähigkeiten des GPT-4o an unseren Anwendungsfall anpassen können.

Dieses Update eröffnet neue Möglichkeiten - stell dir vor, du kannst GPT-4o für eine genauere visuelle Suche, die Erkennung von Objekten oder sogar für die Analyse medizinischer Bilder feinjustieren.

In diesem Tutorial gebe ich dir eine Schritt-für-Schritt-Anleitung zur Feinabstimmung von GPT-4o mit Bildern. Insbesondere werden wir das Modell verfeinern, um georgisch-orthodoxe Kirchen korrekt zu identifizieren.

GPT-4o Visuelle Feinabstimmung Preisgestaltung

OpenAI bietet bis zum 31. Oktober täglich eine Million kostenlose Token an, um das GPT-4o-Modell mit Bildern zu verfeinern. Das ist eine gute Gelegenheit, die Möglichkeiten der visuellen Feinabstimmung von GPT-4o zu erkunden.

Nach dem 31. Oktober werden die Ausbildungskosten auf ein Umlageverfahren umgestellt, mit einer Gebühr von 25 Dollar pro Million Token. Außerdem fallen für jeden Input (3,75 $ pro Million Token) und Output (15 $ pro Million Token) Inferenzkosten an.

Es ist wichtig zu beachten, dass diese Informationen dem Stand vom 10. Oktober entsprechen, daher solltest du die OpenAIs Preisseite für die aktuellsten Details zu Preisen und Verfügbarkeit.

GPT-4o's Visual Problem Challenge

Lass uns zum interessanten Teil kommen. Wie machen wir eigentlich die visuelle Feinabstimmung für GPT-4o?

Beginnen wir damit, zu bewerten, wie gut GPT-4o diese georgische Kirche wiedererkennt:

Als das Modell gefragt wurde, dachte es, das Bild sei von der St. Nikolaus-Kirche in Georgien, obwohl es sich in Wirklichkeit um den Tempel der Heiligen Verkündigung in Kutaisi handelt.

Natürlich gibt es Raum für Verbesserungen, und hier kommt die Feinabstimmung ins Spiel.

Bereite die JSONL-Datei vor

Zuerst müssen wir unseren Trainingsdatensatz vorbereiten, um mit der Feinabstimmung zu beginnen. Laut der offiziellen Dokumentation brauchen wir eine JSONL-Datei, die wie folgt aufgebaut ist:

{
  "messages": [
    {
      "role": "system",
      "content": "You are an assistant that identifies Georgian orthodox churches."
    },
    {
      "role": "user",
      "content": "What is this church called?"
    },
    {
      "role": "user",
      "content": [
        {
          "type": "image_url",
          "image_url": {
            "url": "https://upload.wikimedia.org/wikipedia/commons/e/e8/Khareba_church.jpg"
          }
        }
      ]
    },
    {
      "role": "assistant",
      "content": "Kutaisi Holy Annunciation temple"
    }
  ]
}

//second example

{
  "messages": [
    {
      "role": "system",
      "content": "You are an assistant that identifies Georgian orthodox churches."
    },
    {
      "role": "user",
      "content": "What is this church called?"
    },
    {
      "role": "user",
      "content": [
        {
          "type": "image_url",
          "image_url": {
            "url": "https://upload.wikimedia.org/wikipedia/en/a/af/Holy_Trinity_Cathedral_of_Tbilisi.jpg"
          }
        }
      ]
    },
    {
      "role": "assistant",
      "content": "Holy trinity cathedral"
    }
  ]
}

//other examples below

Aus Gründen der Lesbarkeit und des Platzes habe ich nur einen Ausschnitt meiner Trainings-JSONL mit zwei Einträgen eingefügt; die anderen Trainingsbeispiele sollten in einer separaten Zeile hinzugefügt werden.

Beachte, dass wir mindestens 10 Beispiele brauchen, um die Feinabstimmung durchzuführen. Jede Zeile stellt ein unabhängiges JSON-Objekt mit einem messages Array dar.

Beachte auch, dass JSONL keine Kommentare unterstützt, deshalb habe ich mich entschieden, der Anleitung zuliebe Kommentare nach der // hinzuzufügen. Stelle sicher, dass du sie vor dem Training entfernst.

Du kannst einen normalen Texteditor wie Notepad verwenden. Wenn du mit vielen Beispielen arbeitest, ist es eine gute Idee, die Erstellung dieser Datei mithilfe eines Skripts zu automatisieren. Sobald deine JSONL-Datei fertig ist, kannst du mit der Feinabstimmung beginnen.