Curso
Trabajar con la API de OpenAI
3 h
172.6K
OpenAI ha anunciado su último gran modelo de lenguaje, GPT-4o, sucesor de GPT-4 Turbo. Sigue leyendo para conocer sus capacidades, su rendimiento y cómo puedes empezar a usarlo.
¿Qué es GPT-4o de OpenAI?
GPT-4o es el último LLM de OpenAI. La "o" en GPT-4o viene de "omni"—del latín "todo"—porque este nuevo modelo acepta indicaciones que mezclan texto, audio, imágenes y vídeo. Antes, la interfaz de ChatGPT usaba modelos separados para cada tipo de contenido.
Por ejemplo, al hablar con ChatGPT en Voice Mode, tu voz se convertía a texto con Whisper, se generaba una respuesta en texto con GPT-4 Turbo y esa respuesta se pasaba a voz con TTS.
Comparativa de cómo procesan entrada de voz GPT-4 Turbo y GPT-4o
De forma parecida, trabajar con imágenes en ChatGPT implicaba combinar GPT-4 Turbo y DALL-E 3.
Contar con un único modelo para distintos medios promete más velocidad y mejor calidad de resultados, una interfaz más simple y nuevos casos de uso.
¿Qué es GPT-4o mini?
GPT-4o Mini es una versión más ligera y rápida de GPT-4o, pensada para tareas donde prima la agilidad y la eficiencia. Deriva del modelo mayor GPT-4o mediante un proceso de destilación.
Aunque conserva gran parte de la capacidad original para procesar entradas multimodales—texto, audio e imágenes—, GPT-4o mini está optimizado para aplicaciones ligeras donde importa mucho el tiempo de respuesta.
Es especialmente útil para desarrolladores que necesitan una solución económica para programar, depurar e interacciones en tiempo real que no requieren toda la potencia de GPT-4o.
Puedes leer más detalles en este artículo sobre GPT-4o mini.
¿En qué se diferencia GPT-4o de GPT-4 Turbo?
El enfoque de modelo todo en uno permite a GPT-4o superar varias limitaciones de las anteriores capacidades de voz.
1. Ahora tiene en cuenta el tono de voz, lo que facilita respuestas con emoción
Con el sistema anterior de OpenAI que encadenaba Whisper, GPT-4 Turbo y TTS, el motor de razonamiento, GPT-4, solo veía las palabras pronunciadas. Esto implicaba descartar el tono de voz, ruidos de fondo o la identificación de múltiples interlocutores. Por tanto, GPT-4 Turbo no podía realmente expresar respuestas con diferentes emociones o estilos de habla.
Al tener un único modelo que razona sobre texto y audio, se aprovecha esa riqueza de información sonora para ofrecer respuestas de mayor calidad y con más variedad de estilos.
En el siguiente ejemplo de OpenAI, GPT-4o responde con sarcasmo.
4. Mejor tokenización para alfabetos no latinos: más velocidad y ahorro
Un paso del flujo de trabajo de un LLM es convertir el texto de la indicación en tokens, unidades de texto que el modelo entiende.
En inglés, un token suele ser una palabra o un signo de puntuación, aunque algunas palabras se dividen en varios tokens. De media, tres palabras en inglés ocupan unos cuatro tokens.
Si un idioma se representa con menos tokens, se hacen menos cálculos y aumenta la velocidad de generación de texto.
Además, como OpenAI cobra su API por token de entrada o salida, menos tokens implican menor coste para quien usa la API.
GPT-4o incluye un modelo de tokenización mejorado que reduce los tokens necesarios por texto. La mejora se nota especialmente en idiomas que no usan el alfabeto latino.
Por ejemplo, varias lenguas de India se han beneficiado notablemente: hindi, maratí, tamil, telugu y guyaratí muestran reducciones de 2,9 a 4,4 veces. El árabe reduce a la mitad, y lenguas de Asia oriental como chino, japonés, coreano y vietnamita muestran reducciones entre 1,4 y 1,7 veces.
5. Despliegue en el plan gratuito
Con la estrategia de precios actual de ChatGPT, había que pagar para acceder al mejor modelo: GPT-4 Turbo solo estaba en los planes de pago Plus y Enterprise.
Esto cambia: OpenAI promete llevar GPT-4o también al plan gratuito. Los usuarios de Plus tendrán cinco veces más mensajes que los del plan gratis.
El despliegue será gradual: el acceso del red team (probadores que intentan romper el modelo) empieza de inmediato y el resto de usuarios lo irán recibiendo con el tiempo.
6. Lanzamiento de la app de escritorio de ChatGPT
Aunque no es un cambio exclusivo de GPT-4o, OpenAI también anunció la app de escritorio de ChatGPT. Las mejoras de latencia y multimodalidad, junto con la app, probablemente cambien cómo trabajamos con ChatGPT. Por ejemplo, OpenAI enseñó una demo de un flujo de trabajo de programación aumentado usando la voz y la app de escritorio. Más abajo, en la sección de casos de uso, puedes verla en acción.
¿Cómo funciona GPT-4o?
Muchos tipos de contenido, una sola red neuronal
Aún hay pocos detalles sobre su funcionamiento. OpenAI solo explicó que GPT-4o es una única red neuronal entrenada con entradas de texto, visión y audio.
Este enfoque es distinto al anterior, con modelos separados entrenados en distintos tipos de datos.
Aun así, GPT-4o no es el primer modelo multimodal. En 2022, TenCent Lab creó SkillNet, que combinaba transformadores tipo LLM con técnicas de visión por computador para reconocer caracteres chinos.
En 2023, un equipo de ETH Zurich, MIT y Stanford creó WhisBERT, una variante de la serie BERT. Aunque no es el primero, GPT-4o es mucho más ambicioso y potente que esos intentos.
¿Es GPT-4o un cambio radical respecto a GPT-4 Turbo?
Lo radical del cambio arquitectónico depende de si preguntas al equipo de ingeniería o al de marketing. En abril apareció un bot llamado "im-also-a-good-gpt2-chatbot" en el Chatbot Arena de LMSYS, un ranking de las mejores IAs generativas. Esa IA misteriosa resultó ser GPT-4o.
La parte "gpt2" del nombre es relevante. Sin confundirlo con GPT-2 (predecesor de GPT-3.5 y GPT-4), el sufijo "2" se interpretó como un salto a una arquitectura completamente nueva en la serie GPT.
Alguien del equipo de investigación o ingeniería de OpenAI considera que unir texto, visión y audio en un solo modelo es un cambio lo bastante grande como para justificar el primer aumento de versión en seis años.
Por otro lado, el equipo de marketing ha optado por un cambio de nombre moderado, manteniendo la convención "GPT-4".
Rendimiento de GPT-4o frente a otros modelos
OpenAI publicó cifras de benchmarks comparando GPT-4o con otros modelos de gama alta.
- GPT-4 Turbo
- GPT-4 (versión inicial)
- Claude 3 Opus
- Gemini Pro 1.5
- Gemini Ultra 1.0
- Llama 3 400B
De estos, solo tres importan realmente para la comparación. GPT-4 Turbo, Claude 3 Opus y Gemini Pro 1.5 llevan meses peleando por el primer puesto en el ranking de LMSYS Chatbot Arena.
Llama 3 400B puede ser candidato en el futuro, pero aún no está listo. Así que aquí mostramos solo los resultados de esos tres y GPT-4o.
Se usaron seis benchmarks:
- Massive Multitask Language Understanding (MMLU). Tareas de matemáticas básicas, historia de EE. UU., informática, derecho y más. Para puntuar alto, los modelos necesitan mucho conocimiento del mundo y capacidad de resolución de problemas.
- Graduate-Level Google-Proof Q&A (GPQA). Preguntas tipo test redactadas por expertos en biología, física y química. Son de gran calidad y muy difíciles: doctorandos alcanzan un 74% de acierto.
- MATH. Problemas de matemáticas de secundaria y bachillerato.
- HumanEval. Prueba de corrección funcional de código, usada para evaluar generación de código.
- Multilingual Grade School Math (MSGM). Problemas de primaria traducidos a diez idiomas, incluidos bengalí y suajili.
- Discrete Reasoning Over Paragraphs (DROP). Preguntas que requieren entender párrafos completos, por ejemplo sumando, contando u ordenando valores repartidos por varias frases.
Rendimiento de GPT-4o, GPT-4 Turbo, Gemini Pro 1.5 y Claude 3 Opus en seis benchmarks de LLM. Las puntuaciones van de 0 a 100. Recreado con datos de OpenAI. No hay datos de Gemini Pro 1.5 para GPQA.
GPT-4o logra la mejor puntuación en cuatro benchmarks, aunque Claude 3 Opus lo supera en MSGM y GPT-4 Turbo en DROP. En conjunto, el resultado es notable y avala el nuevo enfoque de entrenamiento multimodal.
Si miras de cerca los números de GPT-4o frente a GPT-4 Turbo, verás que las mejoras son de unos pocos puntos porcentuales.
Es un avance sólido para un año, pero lejos de los saltos dramáticos de GPT-1 a GPT-2 o de GPT-2 a GPT-3.
Ser un 10% mejor en razonamiento sobre texto año tras año probablemente sea la nueva normalidad. La fruta más accesible ya se recogió y es difícil mantener grandes saltos en razonamiento textual.
Por otro lado, estos benchmarks no capturan el rendimiento en problemas multimodales. El concepto es tan reciente que aún no tenemos buenas formas de medir la competencia conjunta en texto, audio y visión.
En resumen, el rendimiento de GPT-4o es impresionante y apunta a que el nuevo enfoque multimodal merece la pena.
¿Cuáles son los casos de uso de GPT-4o?
1. GPT-4o para análisis de datos y tareas de código
Los modelos GPT recientes y sus derivados, como GitHub Copilot, ya ayudan a programar: escriben código, explican errores y proponen correcciones. Las capacidades multimodales de GPT-4o abren nuevas oportunidades.
En un vídeo presentado por la CTO de OpenAI, Mira Murati, dos investigadores, Mark Chen y Barret Zoph, mostraron cómo usar GPT-4o con código en Python.
Compartieron el código como texto y usaron la interacción por voz para que GPT explicara el código. Después de ejecutarlo, aprovecharon la visión de GPT-4o para explicar la gráfica.
En general, mostrarle tu pantalla a ChatGPT y preguntar de viva voz puede ser un flujo más sencillo que guardar una imagen, subirla y luego escribir la pregunta.
4. GPT-4o para asistir a personas con discapacidad visual
La capacidad de GPT-4o para entender vídeo de una cámara y describir la escena por voz puede ser imprescindible para personas con discapacidad visual. Es como la audiodescripción de la TV, pero en la vida real.
Prueba práctica con GPT-4o
He tenido acceso a algunas de las nuevas funciones de GPT-4o desde poco después del anuncio (por desgracia, aún sin chat por voz) y me han sorprendido muchas de sus respuestas. Son más rápidas y consistentes, y parece entender mejor mis peticiones. Ahora bien, no es perfecto.
Aquí tienes algunos ejemplos de mis interacciones con ChatGPT-4o:
Tarea de análisis de datos
Primero, usando chat por voz, le pedí ideas para analizar el rendimiento del equipo de fútbol al que sigo, el todopoderoso Leeds United. Además de varias opciones, me dio código de ejemplo en Python:
import pandas as pd
# Sample data for Leeds United's match results
data = {
'Match': ['Match1', 'Match2', 'Match3', 'Match4', 'Match5'],
'Result': ['Win', 'Draw', 'Loss', 'Win', 'Win'],
'Goals Scored': [2, 1, 0, 3, 2]
}
# Create a DataFrame
df = pd.DataFrame(data)
# Summarize match results
summary = df['Result'].value_counts()
total_goals = df['Goals Scored'].sum()
average_goals = df['Goals Scored'].mean()
# Display summary
print("Match Results Summary:")
print(summary)
print("\nTotal Goals Scored:", total_goals)
print("Average Goals Per Match:", round(average_goals, 2))
Sin embargo, al profundizar, se torció un poco. Pedí datos reales: buscó en la web y encontró dos buenas fuentes, pero informó mal las estadísticas. Leeds jugó 46 partidos en la temporada regular, marcó 81 y tuvo una diferencia de +38, no los 40 partidos que indicaba.
Luego le pedí a ChatGPT que visualizara los goles marcados contra cada equipo:
De nuevo, tarea a medias. Creó la visualización, que a simple vista está bien. Pero en realidad muchos datos están inventados o son inexactos (equipos repetidos, goles mal contados y equipos de otra división).
Seguramente habría rendido mejor si yo mismo hubiese aportado un conjunto de datos completo, pero preferiría que lo dijera en vez de inventar respuestas con tanta seguridad.
Análisis de imágenes
Después, le pedí que analizara la foto de una de mis plantas. Aún no tengo acceso a la visión integrada, así que hice una foto y le pregunté qué planta era:
No está mal, aunque no acierta del todo. Es un bonsái, sí, pero un Ilex crenata, no una Carmona retusa. Aun así, se parecen y valoré el contexto extra sobre sus cuidados.
Generación de imágenes
Por último, quise probar las capacidades de imagen del nuevo modelo. Le enseñé una foto de mi tortuga, Darwin, y le pedí que me hablara de mi amiga:
Otra vez, cerca pero no perfecto. Darwin es una tortuga de Horsfield, no de Hermann, aunque se parecen. Luego le pedí a ChatGPT-4o que tomara la imagen original y la recreara al estilo de Hokusai. Este fue el resultado:
Un resultado bastante bueno, aunque no se parece mucho a la foto original, algo comprensible. Tardó un poco en generarla.
En general, me impresionó la capacidad de respuesta del nuevo modelo y lo bien que entendía mis peticiones. Está lejos de ser perfecto y a veces alucina con demasiada seguridad, pero tengo muchas ganas de probar la voz mejorada y la visión integrada.
Limitaciones y riesgos de GPT-4o
La regulación de la IA generativa aún está en pañales; la Ley de IA de la UE es el único marco legal destacable por ahora. Eso significa que las empresas creadoras de IA deben decidir qué consideran IA segura.
OpenAI cuenta con un marco de preparación para determinar si un modelo está listo para lanzarse al público.
Evalúa cuatro áreas de preocupación:
- Ciberseguridad. ¿Puede la IA aumentar la productividad de ciberdelincuentes y ayudar a crear exploits?
- BCRN. ¿Puede ayudar a expertos a crear amenazas biológicas, químicas, radiológicas o nucleares?
- Persuasión. ¿Puede crear contenido (incluso interactivo) que persuada a cambiar creencias?
- Autonomía del modelo. ¿Puede actuar como agente, realizando acciones con otro software?
Cada área se califica como baja, media, alta o crítica, y la puntuación del modelo es la más alta entre las cuatro.
OpenAI promete no lanzar un modelo con preocupación crítica, aunque es un listón de seguridad bajo: según su definición, sería algo que pondría patas arriba la civilización humana. GPT-4o queda ampliamente fuera de eso, con preocupación media.
Salida imperfecta
Como toda IA generativa, el modelo no siempre se comporta como se espera. La visión por computador no es perfecta y la interpretación de imágenes o vídeos no está garantizada.
Igualmente, las transcripciones de voz rara vez son 100% correctas, sobre todo con acentos marcados o vocabulario técnico.
OpenAI compartió un vídeo con tomas falsas donde GPT-4o no funcionó como debía.
Llama la atención que falló al traducir entre dos idiomas no ingleses. Otros problemas fueron un tono inadecuado (condescendiente) y hablar en el idioma equivocado.