GPT-4o Vision Fine-Tuning: een gids met voorbeelden

Tot voor kort was fine-tunen van GPT-4o alleen mogelijk met tekst. Nu kunnen we met de nieuwste OpenAI-fine-tuning-API GPT-4o ook met afbeeldingen aanpassen. Dit betekent dat we GPT-4o’s mogelijkheden kunnen afstemmen op onze usecase.

Deze update opent nieuwe mogelijkheden—denk aan het fine-tunen van GPT-4o voor accuratere visuele zoekopdrachten, objectdetectie of zelfs medische beeldanalyse.

In deze tutorial geef ik stapsgewijze uitleg over het fine-tunen van GPT-4o met afbeeldingen. We gaan het model specifiek fine-tunen om Georgisch-orthodoxe kerken correct te identificeren.

Prijzen voor visueel fine-tunen van GPT-4o

OpenAI biedt tot en met 31 oktober dagelijks één miljoen gratis tokens aan om het GPT-4o-model met afbeeldingen te fine-tunen. Een mooie kans om de mogelijkheden van visueel fine-tunen met GPT-4o te verkennen.

Na 31 oktober worden de trainingskosten pay-as-you-go: $25 per miljoen tokens. Daarnaast betaal je inferentiekosten voor elke input ($3,75 per miljoen tokens) en output ($15 per miljoen tokens).

Let op: deze informatie is actueel per 10 oktober. Raadpleeg daarom OpenAI’s prijspagina voor de meest recente details over prijzen en beschikbaarheid.

De visuele uitdaging van GPT-4o

Laten we naar het interessante deel gaan. Hoe doen we visueel fine-tunen voor GPT-4o in de praktijk?

We beginnen met het beoordelen hoe goed GPT-4o deze Georgische kerk herkent:

Gevraagd naar de afbeelding dacht het model dat dit de St. Nicolaaskerk in Georgië was, terwijl het in werkelijkheid de Kutaisi Holy Annunciation-tempel is.

Er is dus duidelijk ruimte voor verbetering—en daar komt fine-tunen om de hoek kijken.

Het JSONL-bestand voorbereiden

We moeten eerst onze trainingsdataset voorbereiden om met fine-tunen te beginnen. Volgens de officiële documentatie hebben we een JSONL-bestand nodig met de volgende structuur:

{
  "messages": [
    {
      "role": "system",
      "content": "You are an assistant that identifies Georgian orthodox churches."
    },
    {
      "role": "user",
      "content": "What is this church called?"
    },
    {
      "role": "user",
      "content": [
        {
          "type": "image_url",
          "image_url": {
            "url": "https://upload.wikimedia.org/wikipedia/commons/e/e8/Khareba_church.jpg"
          }
        }
      ]
    },
    {
      "role": "assistant",
      "content": "Kutaisi Holy Annunciation temple"
    }
  ]
}

//second example

{
  "messages": [
    {
      "role": "system",
      "content": "You are an assistant that identifies Georgian orthodox churches."
    },
    {
      "role": "user",
      "content": "What is this church called?"
    },
    {
      "role": "user",
      "content": [
        {
          "type": "image_url",
          "image_url": {
            "url": "https://upload.wikimedia.org/wikipedia/en/a/af/Holy_Trinity_Cathedral_of_Tbilisi.jpg"
          }
        }
      ]
    },
    {
      "role": "assistant",
      "content": "Holy trinity cathedral"
    }
  ]
}

//other examples below

Voor de leesbaarheid en de ruimte heb ik alleen een fragment van mijn trainings-JSONL met twee items opgenomen; de andere trainingsvoorbeelden voeg je elk op een aparte regel toe.

Let op dat we minimaal 10 voorbeelden nodig hebben om het fine-tunen uit te voeren. Elke regel is een zelfstandig JSON-object met een messages-array.

Let ook op dat JSONL geen opmerkingen ondersteunt, dus heb ik voor de gids comments na // toegevoegd. Verwijder deze vóór het trainen.

Je kunt een gewone teksteditor zoals Kladblok gebruiken, of—als je met veel voorbeelden werkt—is het handig om het maken van dit bestand te automatiseren met een script. Zodra je JSONL-bestand klaar is, kun je beginnen met het fine-tuneproces.