Fine-Tuning di GPT-4o Vision: guida con esempi

Fino a poco tempo fa, il fine-tuning di GPT-4o era possibile solo con il testo. Ora, con la più recente API di OpenAI per il fine-tuning, possiamo personalizzare GPT-4o anche con le immagini. Questo significa che possiamo adattare le capacità di GPT-4o al nostro caso d’uso.

Questo aggiornamento apre nuove possibilità: immagina di fare fine-tuning su GPT-4o per ricerche visive più accurate, rilevamento di oggetti o persino analisi di immagini mediche.

In questo tutorial ti guiderò passo dopo passo nel fine-tuning di GPT-4o con le immagini. In particolare, ottimizzeremo il modello per identificare correttamente le chiese ortodosse georgiane.

Prezzi del fine-tuning visivo di GPT-4o

OpenAI offre un milione di token gratuiti al giorno fino al 31 ottobre per fare fine-tuning del modello GPT-4o con immagini: un’ottima occasione per esplorare le capacità del fine-tuning visivo di GPT-4o.

Dopo il 31 ottobre, i costi di training passeranno a un modello a consumo, con un prezzo di 25 $ per milione di token. Inoltre, ci saranno costi di inferenza per ogni input (3,75 $ per milione di token) e output (15 $ per milione di token).

È importante notare che queste informazioni sono aggiornate al 10 ottobre; assicurati quindi di consultare la pagina dei prezzi di OpenAI per i dettagli più recenti su prezzi e disponibilità.

La sfida visiva di GPT-4o

Passiamo alla parte interessante. Come si fa concretamente il fine-tuning visivo per GPT-4o?

Cominciamo valutando quanto bene GPT-4o riconosce questa chiesa georgiana:

Alla domanda, il modello ha pensato che l’immagine raffigurasse la chiesa di San Nicola in Georgia, mentre in realtà si tratta del tempio dell’Annunciazione di Kutaisi.

È chiaro che c’è margine di miglioramento, ed è qui che entra in gioco il fine-tuning.

Prepara il file JSONL

Per iniziare con il fine-tuning, dobbiamo prima preparare il dataset di training. Secondo la documentazione ufficiale, ci serve un file JSONL strutturato così:

{
  "messages": [
    {
      "role": "system",
      "content": "You are an assistant that identifies Georgian orthodox churches."
    },
    {
      "role": "user",
      "content": "What is this church called?"
    },
    {
      "role": "user",
      "content": [
        {
          "type": "image_url",
          "image_url": {
            "url": "https://upload.wikimedia.org/wikipedia/commons/e/e8/Khareba_church.jpg"
          }
        }
      ]
    },
    {
      "role": "assistant",
      "content": "Kutaisi Holy Annunciation temple"
    }
  ]
}

//second example

{
  "messages": [
    {
      "role": "system",
      "content": "You are an assistant that identifies Georgian orthodox churches."
    },
    {
      "role": "user",
      "content": "What is this church called?"
    },
    {
      "role": "user",
      "content": [
        {
          "type": "image_url",
          "image_url": {
            "url": "https://upload.wikimedia.org/wikipedia/en/a/af/Holy_Trinity_Cathedral_of_Tbilisi.jpg"
          }
        }
      ]
    },
    {
      "role": "assistant",
      "content": "Holy trinity cathedral"
    }
  ]
}

//other examples below

Per leggibilità e spazio, ho incluso solo un estratto del mio JSONL di training con due voci; gli altri esempi di training andrebbero aggiunti su una riga separata.

Nota che servono almeno 10 esempi per eseguire il fine-tuning. Ogni riga rappresenta un oggetto JSON indipendente con un array di messages.

Nota anche che JSONL non supporta i commenti, quindi ho deciso di aggiungerli dopo // per la guida. Assicurati di rimuoverli prima del training.

Puoi usare un normale editor di testo come Notepad oppure, se stai lavorando con molti esempi, conviene automatizzare la creazione di questo file con uno script. Una volta pronto il file JSONL, puoi iniziare il processo di fine-tuning.