Tutorial de la API GPT-4o: primeros pasos con la API de OpenAI

¿Qué es GPT-4o?

GPT-4o, abreviatura de "omni", representa un avance significativo en la IA. A diferencia de GPT-4, que solo maneja texto, GPT-4o es un modelo multimodal que procesa y genera datos de texto, audio e imágenes.

Al incorporar datos de audio e imágenes junto al texto, GPT-4o se libera de las limitaciones de los modelos tradicionales de solo texto y crea interacciones más naturales e intuitivas.

GPT-4o tiene un tiempo de respuesta más rápido, es un 50% más barato que GPT-4 Turbo, y es mejor en comprensión de audio e imagen que los modelos existentes.

Casos prácticos de GPT-4o

Además de interactuar con GPT-4o a través de la interfaz ChatGPT, los desarrolladores pueden interactuar con GPT-4o a través de la API OpenAI, lo que les permite integrar las capacidades de GPT-4o en sus aplicaciones y sistemas.

La API GPT-4o abre un amplio abanico de posibles casos de uso al aprovechar sus capacidades multimodales:

GPT-4o API: cómo conectarse a la API de OpenAI

Exploremos ahora cómo utilizar GPT-4o a través de la API OpenAI.

Paso 1: Generar una clave API

Antes de utilizar la API GPT-4o, debemos registrarnos en una cuenta OpenAI y obtener una clave API. Podemos crear una cuenta en el sitio web de la API de OpenAI.

Una vez que tenemos una cuenta, podemos navegar a la página de claves API:

Ahora podemos generar una clave API. Tenemos que mantenerla a salvo, ya que no podremos volver a verla. Pero siempre podemos generar una nueva si la perdemos o la necesitamos para un proyecto diferente.

Paso 2: Importar la API de OpenAI a Python

Para interactuar con la API GPT-4o mediante programación, necesitaremos instalar la biblioteca OpenAI Python. Podemos hacerlo ejecutando el siguiente comando:

Una vez instalado, podemos importar los módulos necesarios en nuestro script Python:

from openai import OpenAI

Paso 3: Llamar a la API

Antes de poder hacer peticiones a la API, tendremos que autenticarnos con nuestra clave de API:

## Set the API keyclient = OpenAI(api_key="your_api_key_here")

Sustituye "your_api_key_here" por tu clave API real.

Tras completar la conexión con el cliente, podemos empezar a generar texto utilizando GPT-4o:

MODEL="gpt-4o"completion = client.chat.completions.create(  model=MODEL,  messages=[    {"role": "system", "content": "You are a helpful assistant that helps me with my math homework!"},    {"role": "user", "content": "Hello! Could you solve 20 x 5?"}  ])print("Assistant: " + completion.choices[0].message.content)

Este fragmento de código utiliza la API de finalización de chat con el modelo GPT-4o, que acepta preguntas relacionadas con las matemáticas como entrada y genera una respuesta:

GPT-4o API: Casos prácticos de audio

La transcripción y el resumen de audio se han convertido en herramientas esenciales en diversas aplicaciones, desde mejorar la accesibilidad hasta aumentar la productividad. Con la API GPT-4o, podemos gestionar eficazmente tareas como transcribir y resumir contenidos de audio.

Aunque GPT-4o tiene potencial para manejar audio directamente, la función de entrada directa de audio aún no está disponible a través de la API. Por ahora, podemos utilizar un proceso de dos pasos con la API GPT-4o para transcribir y luego resumir el contenido de audio.

Paso 1: Transcribir audio a texto

Para transcribir un archivo de audio con GPT-4o, debemos proporcionar los datos de audio a la API. Aquí tienes un ejemplo:

# Transcribe the audioaudio_path = "path/to/audio.mp3"transcription = client.audio.transcriptions.create(    model="whisper-1",    file=open(audio_path, "rb"),)

Sustituye "path/to/audio.mp3" por la ruta real de tu archivo de audio. Este ejemplo utiliza el modelo whisper-1 para la transcripción.

Paso 2: Resumir texto de audio

response = client.chat.completions.create(    model=MODEL,    messages=[    {"role": "system", "content":"""You are generating a transcript summary. Create a summary of the provided transcription. Respond in Markdown."""},    {"role": "user", "content": [        {"type": "text", "text": f"The audio transcription is: {transcription.text}"}        ],    }    ],    temperature=0,)print(response.choices[0].message.content)

GPT-4o API: casos prácticos de imágenes

El análisis visual de datos es crucial en diversos ámbitos, desde la sanidad a la seguridad y más allá. Con la API GPT-4o, puedes analizar imágenes a la perfección, participar en conversaciones sobre contenido visual y extraer información valiosa de las imágenes.

Paso 1: Añadir datos de imagen a la API

Para analizar una imagen con GPT-4o, primero debemos proporcionar los datos de la imagen a la API. Podemos hacerlo codificando una imagen local como una cadena base64 o proporcionando una URL a una imagen en línea:

import base64IMAGE_PATH = "image_path"# Open the image file and encode it as a base64 stringdef encode_image(image_path):    with open(image_path, "rb") as image_file:        return base64.b64encode(image_file.read()).decode("utf-8")base64_image = encode_image(IMAGE_PATH)

 "url": "<https://images.saymedia-content.com/.image/c_limit%2Ccs_srgb%2Cq_auto:eco%2Cw_538/MTczOTQ5NDQyMzQ3NTc0NTc5/compound-shapes-how-to-find-the-area-of-a-l-shape.webp>"

Paso 2: Analizar los datos de la imagen

Una vez que hemos procesado la entrada de la imagen, podemos pasar los datos de la imagen a la API para su análisis.

Intentemos analizar una imagen para determinar el área de una forma. Utilicemos primero la imagen de abajo:

Ahora pediremos a GPT-4o que nos pregunte el área de esta forma; fíjate en que estamos utilizando una entrada de imagen base64:

response = client.chat.completions.create(    model=MODEL,    messages=[        {"role": "system", "content": "You are a helpful assistant that responds in Markdown. Help me with my math homework!"},        {"role": "user", "content": [            {"type": "text", "text": "What's the area of the shape in this image?"},            {"type": "image_url", "image_url": {                "url": f"data:image/png;base64,{base64_image}"}            }        ]}    ],    temperature=0.0,)print(response.choices[0].message.content)

Consideremos ahora esta forma:

Pasaremos la URL de la imagen a GPT-4o para encontrar el área de la forma:

response = client.chat.completions.create(    model=MODEL,    messages=[        {"role": "system", "content": "You are a helpful assistant that responds in Markdown. Help me with my math homework!"},        {"role": "user", "content": [            {"type": "text", "text": "What's the area of the shape in the image?"},            {"type": "image_url", "image_url": {                "url": "<https://images.saymedia-content.com/.image/c_limit%2Ccs_srgb%2Cq_auto:eco%2Cw_538/MTczOTQ5NDQyMzQ3NTc0NTc5/compound-shapes-how-to-find-the-area-of-a-l-shape.webp>"}            }        ]}    ],    temperature=0.0,)print(response.choices[0].message.content)

Observa que GPT-4o midió incorrectamente la anchura del rectángulo vertical: debería ser de cuatro centímetros, no de dos. Esta discrepancia se debe al desajuste entre las etiquetas de medida y las proporciones reales del rectángulo. En todo caso, esto pone de relieve una vez más la importancia de la supervisión y la validación humanas.

Precio de la API GPT-4o

OpenAI ha introducido una estructura de precios competitiva para la API GPT-4o, que la hace más accesible y rentable que los modelos anteriores.

Aquí tienes un resumen de los precios junto a los modelos Claude de Antropic y Gemini de Google (los precios están en dólares estadounidenses):

Como puedes ver, GPT-4o tiene un precio significativamente más bajo que GPT-4 Turbo y GPT-4. También tiene un precio competitivo en comparación con otros modelos de idiomas de última generación, como Claude Opus y Gemini 1.5 Pro.

GPT-4o API: Consideraciones clave

Cuando trabajes con la API GPT-4o, es importante recordar algunas consideraciones clave para garantizar un rendimiento óptimo, rentabilidad y alineación con cada caso de uso específico. Aquí tienes tres factores cruciales que debes tener en cuenta:

Fijación de precios y gestión de costes

La API de OpenAI sigue un modelo de pago por uso, en el que los costes se basan en el número de tokens procesados.

Aunque GPT-4o es más barato que GPT-4 Turbo, planificar nuestro uso en consecuencia es crucial para estimar y gestionar los costes.

Para minimizar los costes, puedes considerar técnicas como la agrupación por lotes y la optimización de los avisos para reducir el número de llamadas a la API y de tokens procesados.

Latencia y rendimiento

Aunque GPT-4o ofrece un rendimiento impresionante y una baja latencia, sigue siendo un modelo lingüístico grande, lo que significa que el procesamiento de las peticiones puede ser intensivo desde el punto de vista computacional, lo que provoca una latencia relativamente alta.

Tenemos que optimizar nuestro código y utilizar técnicas como el almacenamiento en caché y el procesamiento asíncrono para mitigar los problemas de latencia.

Además, podemos explorar el uso de las instancias dedicadas de OpenAI o ajustar el modelo a nuestro caso de uso específico, lo que puede mejorar el rendimiento y reducir la latencia.

Alineación de casos de uso

GPT-4o es un potente modelo general con una amplia gama de capacidades, pero tenemos que asegurarnos de que nuestro caso de uso específico se ajusta a los puntos fuertes del modelo.

Antes de confiar únicamente en GPT-4o, debemos evaluar cuidadosamente nuestro caso de uso y considerar si las capacidades del modelo se adaptan a nuestras necesidades.

Si fuera necesario, podríamos afinar modelos más pequeños o explorar otros modelos que pudieran ser más adecuados para nuestra tarea concreta.

Conclusión

Las capacidades multimodales de GPT-4o abordan las limitaciones de los modelos anteriores, que tenían dificultades para integrar y procesar sin problemas distintos tipos de datos.

Si aprovechan la API GPT-4o, los desarrolladores pueden crear soluciones innovadoras que integren a la perfección datos de texto, audio e imágenes.

Si quieres adquirir más práctica con GPT-4o, te recomiendo este code-along sobre la creación de asistentes de IA con GPT-4o. Del mismo modo, si quieres aprender más sobre cómo trabajar con API, te recomiendo estos recursos:

• Trabajo con la API de OpenAI
• OpenAI Cookbook
• Hoja de trucos de la API de OpenAI