Ajuste fino de la visión GPT-4o: Una guía con ejemplos

Hasta hace poco, el ajuste fino GPT-4o sólo era posible con texto. Ahora, con OpenAIde OpenAI ajuste fino podemos personalizar GPT-4o también con imágenes. Esto significa que podemos adaptar las capacidades de GPT-4o a nuestro caso de uso.

Esta actualización abre nuevas posibilidades: imagina afinar la GPT-4o para realizar búsquedas visuales más precisas, detectar objetos o incluso analizar imágenes médicas.

En este tutorial, te guiaré paso a paso para ajustar GPT-4o con imágenes. Concretamente, afinaremos el modelo para identificar correctamente las iglesias ortodoxas georgianas.

GPT-4o Ajuste Visual de Precios

OpenAI está ofreciendo un millón de tokens gratuitos al día hasta el 31 de octubre para afinar el modelo GPT-4o con imágenes, lo que constituye una buena oportunidad para explorar las capacidades de afinamiento visual de GPT-4o.

Después del 31 de octubre, los costes de formación pasarán a un modelo de pago por uso, con una tarifa de 25 $ por millón de tokens. Además, se incurrirá en costes de inferencia por cada entrada (3,75 $ por millón de fichas) y salida (15 $ por millón de fichas).

Es importante tener en cuenta que esta información es exacta a fecha de 10 de octubre, así que asegúrate de consultar la página de precios de OpenAI para conocer los detalles más actualizados sobre precios y disponibilidad.

Reto del Problema Visual de GPT-4o

Pasemos a la parte interesante. ¿Cómo hacemos realmente el ajuste visual para GPT-4o?

Empecemos por evaluar lo bien que GPT-4o reconoce a esta iglesia georgiana:

Cuando se le preguntó, la modelo pensó que la imagen era de la iglesia de San Nicolás de Georgia, cuando en realidad se trata del templo de la Santa Anunciación de Kutaisi.

Está claro que se puede mejorar, y aquí es donde entra en juego el ajuste fino.

Prepara el archivo JSONL

Primero tenemos que preparar nuestro conjunto de datos de entrenamiento para empezar con el ajuste fino. Según la documentación oficial, necesitamos un archivo JSONL estructurado así:

{
  "messages": [
    {
      "role": "system",
      "content": "You are an assistant that identifies Georgian orthodox churches."
    },
    {
      "role": "user",
      "content": "What is this church called?"
    },
    {
      "role": "user",
      "content": [
        {
          "type": "image_url",
          "image_url": {
            "url": "https://upload.wikimedia.org/wikipedia/commons/e/e8/Khareba_church.jpg"
          }
        }
      ]
    },
    {
      "role": "assistant",
      "content": "Kutaisi Holy Annunciation temple"
    }
  ]
}

//second example

{
  "messages": [
    {
      "role": "system",
      "content": "You are an assistant that identifies Georgian orthodox churches."
    },
    {
      "role": "user",
      "content": "What is this church called?"
    },
    {
      "role": "user",
      "content": [
        {
          "type": "image_url",
          "image_url": {
            "url": "https://upload.wikimedia.org/wikipedia/en/a/af/Holy_Trinity_Cathedral_of_Tbilisi.jpg"
          }
        }
      ]
    },
    {
      "role": "assistant",
      "content": "Holy trinity cathedral"
    }
  ]
}

//other examples below

En aras de la legibilidad y el espacio, sólo he incluido un fragmento de mi JSONL de entrenamiento con dos entradas; los demás ejemplos de entrenamiento deben añadirse en una línea aparte.

Ten en cuenta que necesitamos al menos 10 ejemplos para realizar el ajuste fino. Cada línea representa un objeto JSON independiente con una matriz messages.

Ten en cuenta también que JSONL no admite comentarios, así que decidí añadir comentarios después de // por el bien de la guía. Asegúrate de quitártelos antes de entrenar.

Puedes utilizar un editor de texto normal como el Bloc de notas, o si trabajas con muchos ejemplos, es buena idea automatizar la creación de este archivo utilizando un script. Una vez que tu archivo JSONL esté listo, puedes empezar el proceso de ajuste.