OpenAI anuncia GPT-4 Turbo con visión: lo que sabemos hasta ahora

En el reciente OpenAI DevDay, la organización hizo un anuncio muy esperado: la presentación de GPT-4 Turbo, una mejora de su revolucionario modelo de IA. Aquí repasamos en detalle qué es GPT-4 Turbo, sus funciones clave y cómo puede beneficiar a desarrolladores y usuarios.

En artículos aparte, puedes leer más sobre los GPTs y la tienda de ChatGPT, y la API de Assistants, que también se anunciaron en el Dev Day.

¿Qué es GPT-4 Turbo?

GPT-4 Turbo es una actualización del modelo de lenguaje grande GPT-4 existente. Aporta varias mejoras, entre ellas una ventana de contexto mucho mayor y acceso a conocimiento más actualizado. OpenAI ha ido mejorando gradualmente las capacidades de GPT-4 en ChatGPT con la incorporación de instrucciones personalizadas, plugins de ChatGPT, DALL-E 3 y Advanced Data Analytics. Esta última actualización trae un buen número de novedades interesantes.

¿Qué es GPT-4 Turbo con visión?

GPT-4 Turbo con visión es una variante de GPT-4 Turbo que incorpora capacidad de reconocimiento óptico de caracteres (OCR). Es decir, puedes proporcionarle una imagen y devolverá el texto contenido en ella. Por ejemplo, puedes subir la foto de un menú y te devolverá las opciones de comida que aparecen en la imagen. Del mismo modo, puedes proporcionar la foto de una factura y extraer automáticamente el nombre del proveedor y el detalle de los artículos.

Las funciones "con visión" estarán disponibles por defecto en ChatGPT y, para desarrolladores, seleccionando el modelo "gpt-4-vision" en la API de OpenAI.

Funciones clave de GPT-4 Turbo

GPT-4 Turbo incorpora varias mejoras respecto a modelos anteriores que potencian sus capacidades. Estas son algunas de las funciones que lo hacen destacar:

Corte de conocimiento más reciente

Sam Altman promete mantener ChatGPT actualizado

Las versiones existentes de GPT-3.5 y GPT-4 tenían un corte de conocimiento en septiembre de 2021. Esto significa que no podían responder sobre eventos reales posteriores a esa fecha, a menos que tuvieran acceso a fuentes de datos externas.

GPT-4 amplía ese corte de conocimiento diecinueve meses, hasta abril de 2023. Esto implica que GPT-4 Turbo dispone de información y eventos hasta esa fecha, lo que lo convierte en una fuente más informada y fiable. Además, el CEO de OpenAI, Sam Altman, prometió que "[OpenAI] intentará que [GPT] no vuelva a quedarse tan desactualizado".

Ventana de contexto de 128K

La ventana de contexto de un modelo de lenguaje grande (LLM) mide cuánto dura su memoria de la conversación. Si un modelo tiene una ventana de 4.000 tokens (unas 3.000 palabras), todo lo que quede más allá de esos 4.000 tokens se ignora y las respuestas pueden volverse menos precisas o incluso contradictorias con mensajes anteriores. Esto complica trabajar con documentos largos o que un chatbot mantenga conversaciones extendidas.

GPT-4 tiene una longitud máxima de contexto de 32k (32.000) tokens. GPT-4 Turbo la aumenta a 128k tokens (unas 240 páginas a 400 palabras por página). Supera el máximo de 100k de contexto de Claude 2 de Anthropic y lo pone a la altura del modelo YARN-MISTRAL-7b-128k de Nous Research.

Está por ver si la ventana de contexto más larga se traduce en un rendimiento satisfactorio en toda la ventana. Investigación reciente de la Universidad de Stanford mostró que los modelos de contexto largo existentes solo ofrecían respuestas precisas al recuperar información cerca del inicio o del final del documento.

También conviene señalar que 128k parece ser solo un paso hacia el sueño de un "contexto infinito". Investigación temprana de Microsoft y la Universidad Jiaotong de Xi'an pretende escalar los LLM a mil millones de tokens de contexto.

GPT se pone en oferta

OpenAI ha respondido al aumento de la competencia en el mercado de LLM y ha reducido el precio de GPT-4 Turbo para ajustarlo a los presupuestos de los desarrolladores. Al usar la API de OpenAI, el precio de los tokens de entrada de GPT-4 Turbo es ahora un tercio del anterior: de 3 centavos de dólar a 1 centavo por cada 1.000 tokens. Los tokens de salida cuestan ahora la mitad: de 6 a 3 centavos de dólar por cada 1.000 tokens.

La misma tendencia continúa con los modelos GPT-3.5 Turbo, que ofrecen tokens de entrada 3 veces más baratos a 0,1 centavos de dólar por 1.000 tokens y tokens de salida 2 veces más baratos a 0,2 centavos por 1.000 tokens.

Además, los tokens de entrada del modelo GPT-3.5 Turbo 4K ajustado fino son ahora 4 veces más asequibles, con una bajada de 1,2 a 0,3 centavos de dólar por 1.000 tokens, y los tokens de salida son 2,7 veces más baratos, de 1,6 a 0,6 centavos por 1.000 tokens. El precio de entrenamiento se mantiene en 0,8 centavos por 1.000 tokens.

Estos ajustes buscan que los modelos avanzados de IA resulten más rentables para los desarrolladores.

GPT se vuelve multimodal: imágenes como prompt y texto a voz

Se anunció que "GPT-4 Turbo con visión" llegará en breve. Pronto podrás dar indicaciones a GPT-4 Turbo usando imágenes como prompts, introduciéndolas directamente en el cuadro de chat. La herramienta podrá generar subtítulos o describir lo que aparece en la imagen. También gestionará solicitudes de texto a voz.

Actualizaciones de function calling

Function calling es una función para desarrolladores que integran IA generativa en sus aplicaciones. Les permite describir funciones de su app o de APIs externas a GPT-4 Turbo. Con la capacidad de llamar a varias funciones en un solo mensaje, esta característica agiliza la interacción con el modelo. Por ejemplo, los usuarios pueden enviar un único mensaje solicitando múltiples acciones, sin necesidad de varios intercambios ida y vuelta con el modelo.

Cómo acceder a GPT-4 Turbo

El acceso a GPT-4 Turbo está disponible para "todos los desarrolladores de pago"; es decir, si tienes acceso a la API, puedes pasar simplemente "gpt-4-1106-preview" como nombre de modelo en la API de OpenAI. Del mismo modo, para GPT-4 Turbo con visión, puedes pasar "gpt-4-vision-preview" como nombre de modelo.

Ten en cuenta que estos modelos en vista previa aún no se consideran aptos para producción. No obstante, como parte del anuncio, Altman también prometió que habrá una versión para producción en las próximas semanas.

Para quienes no son desarrolladores, es probable que GPT-4 Turbo esté disponible para usuarios de ChatGPT Plus y ChatGPT Enterprise en las próximas semanas.

Límites de uso

El acceso a los modelos GPT a través de la API de OpenAI está sujeto a límites de tasa. Es decir, solo puedes realizar un número limitado de solicitudes a la API por mes. OpenAI ha publicado ahora directrices más claras sobre cómo funcionan estos límites, para que tu aplicación no se quede cortada por sorpresa.

Además, los límites de tasa para GPT-4 se han duplicado.

Como GPT-4 Turbo está actualmente en fase de vista previa, los límites de uso para GPT-4 Turbo se establecen en 20 solicitudes por minuto y 100 por día. OpenAI ha indicado que por ahora no aumentará estos límites para este modelo, aunque probablemente lo hará cuando haya una versión pública.

Reflexión final

El anuncio de GPT-4 Turbo ofrece un avance emocionante del futuro de la IA generativa, y tenemos muchas ganas de ponerle las manos encima. Si estás empezando con todo lo relacionado con GPT, echa un vistazo a nuestro curso Introduction to ChatGPT. Si buscas profundizar más, nuestro tutorial sobre el uso de GPT-3.5 y GPT-4 a través de la API de OpenAI en Python tiene mucho que explorar.