Guía para principiantes sobre GPT-3

El procesamiento del lenguaje natural (NLP) es una subrama de la lingüística, la informática, la inteligencia artificial y la ingeniería de la información que estudia la interacción entre los ordenadores y los lenguajes humanos (naturales), en particular cómo programar ordenadores para procesar y analizar grandes volúmenes de datos en lenguaje natural.

¿Suena interesante? ¿Y si te dijéramos que le pedimos a un algoritmo llamado GPT-3 que escribiera este párrafo entero y lo hizo a la primera? ¡No es broma! Mira esto…

GPT-3 en acción

Impresionante, ¿verdad? Volvamos al NLP. Permite a los ordenadores procesar el lenguaje humano en forma de texto o voz y “entender” su significado completo, incluida la intención y el sentimiento de quien habla o escribe. El NLP ha sido el escenario de algunos de los avances e implementaciones más emocionantes de la IA en la última década. En estos años, la tendencia más llamativa y prolífica han sido los grandes modelos de lenguaje, a los que pertenece GPT-3.

Algunos consideran GPT-3 como el primer paso en la búsqueda de una inteligencia artificial general. Ha despertado más atención que cualquier otro modelo de IA. Su enorme flexibilidad para realizar una serie de tareas generalistas con una eficiencia y precisión casi humanas es lo que lo hace tan emocionante. Se lanzó en forma de API con la intención de dar a científicos de datos, desarrolladores y profesionales de todo el mundo un acceso sin precedentes a uno de los modelos de lenguaje más potentes del mundo. 

El modelo fue creado por OpenAI, una empresa a la vanguardia de la I+D en inteligencia artificial. Desde su lanzamiento inicial en julio de 2020, desarrolladores de todo el mundo han encontrado ya cientos de aplicaciones prometedoras para GPT-3 con potencial para mejorar cómo nos comunicamos, aprendemos y nos entretenemos. Es capaz de resolver con soltura tareas generales basadas en lenguaje y moverse con libertad entre distintos estilos y propósitos de texto. 

Antes de GPT-3, los modelos de lenguaje se diseñaban para una tarea específica de NLP, como generación, resumen o clasificación de texto. GPT-3 es el primer modelo de lenguaje realmente generalista en la historia del procesamiento del lenguaje natural que puede rendir igual de bien en un abanico de tareas. GPT-3 significa “Generative Pre-trained Transformer” y es la tercera iteración del modelo de OpenAI. Veamos estos tres términos: 

• Generative (generativo): Los modelos generativos son un tipo de modelo estadístico que se usa para crear nuevos puntos de datos. Aprenden las relaciones subyacentes entre variables en un conjunto de datos para generar ejemplos nuevos similares a los del conjunto original.  
• Pre-trained (preentrenado): Son modelos que ya han sido entrenados con un conjunto de datos muy grande. Así pueden reutilizarse en tareas donde sería difícil entrenar desde cero. Puede que un modelo preentrenado no sea perfecto, pero te evita reinventar la rueda, ahorra tiempo y mejora el rendimiento.
• Transformer: Un transformer es una conocida red neuronal artificial inventada en 2017. Es un modelo de deep learning diseñado para manejar datos secuenciales, como el texto. Suele usarse en tareas como la traducción automática o la clasificación de texto. 

En la siguiente sección veremos el contexto más amplio de los modelos de lenguaje: qué son, cómo funcionan y para qué se usan. Puedes descubrir más sobre lo que sabemos de GPT-4 en otro artículo, aprender más sobre IA aquí o ponerte al día con las novedades de OpenAI, Google AI y su impacto en data science.

¿Qué son los grandes modelos de lenguaje?

En los últimos años ha crecido enormemente el interés por construir grandes modelos de lenguaje, o LLMs. Entrenados con cantidades masivas de texto, los LLMs pueden emplearse en multitud de tareas basadas en lenguaje, como generación de texto, traducción automática o respuesta a preguntas.

El modelado del lenguaje consiste en usar probabilidad para entender cómo se construyen las oraciones en un idioma. Los modelos sencillos pueden mirar una palabra y predecir la siguiente (o siguientes) más probables según el análisis estadístico de secuencias existentes. Por ejemplo, la frase «I love walking my ...» es más probable que termine con «dog» que con «refrigerator». Es clave entrenar el modelo con muchos datos para que acierte al predecir secuencias.

Puede verse a los LLMs como máquinas de predicción estadística: entra texto y salen predicciones. Seguramente esto te resulte familiar por el autocompletado del móvil. Si escribes “good”, puede sugerirte “morning” o “luck”. Aplicaciones de NLP como el autocompletado dependen en gran medida de modelos de lenguaje. 

Aunque los modelos de lenguaje existen desde hace tiempo, su éxito reciente se debe a varios factores: disponibilidad de grandes cantidades de datos de entrenamiento, mejores algoritmos y el uso de GPUs para acelerar el entrenamiento. Con más datos, los modelos aprenden mejor las relaciones entre palabras y el contexto en que se usan. Esto les permite comprender mejor el significado del texto y generar predicciones más precisas.

El éxito de los LLMs radica en su capacidad para capturar dependencias entre palabras en un texto. Por ejemplo, en «The cat sat on the mat», “cat” depende de “the”, y “mat” depende de “on”. En un gran modelo de lenguaje, estas dependencias se reflejan en sus parámetros. A medida que han avanzado, el número de parámetros se ha disparado, como muestra el siguiente gráfico publicado por Microsoft Research.

Tendencia del tamaño de los modelos de NLP de última generación a lo largo del tiempo en escala logarítmica
Fuente: entrada en el blog de Microsoft Research del 11 de octubre de 2021

El preentrenamiento de grandes modelos de lenguaje requiere enormes cantidades de computación, con un alto consumo energético. La demanda creciente de estos modelos exige más y más recursos, con costes medioambientales significativos, como consumo insostenible de energía y emisiones de carbono.

En 2019, investigadores de la Universidad de Massachusetts estimaron que entrenar un gran modelo de deep learning produce 626.000 libras de CO₂, equivalente a las emisiones de por vida de cinco coches. A medida que los modelos crecen, sus necesidades de cómputo superan las mejoras en eficiencia del hardware. Un estudio de 2021 estima que el entrenamiento de GPT-3 generó unas 552 toneladas métricas de CO₂, aproximadamente lo que emiten 120 coches en un año de conducción.

Sin embargo, el artículo de 2019 sobre Green AI señala «que la tendencia de publicar modelos preentrenados es un éxito desde la perspectiva ecológica», y anima a las organizaciones «a seguir publicando sus modelos para ahorrar a otros el coste de reentrenarlos». Empresas como OpenAI, que publican grandes modelos de lenguaje preentrenados, investigan y desarrollan continuamente técnicas para reducir la huella de carbono del entrenamiento. 

GPT-3 ofrece una gran precisión en distintas tareas de NLP gracias al enorme tamaño del conjunto de datos con el que se ha entrenado y a su amplia arquitectura de 175.000 millones de parámetros, que le permite captar relaciones lógicas en esos datos. Se ha preentrenado con un corpus de cinco grandes conjuntos: Common Crawl, WebText2, Books1, Books2 y Wikipedia. En conjunto, este corpus incluye cerca de un billón de palabras, lo que permite a GPT-3 resolver con éxito un sorprendente número de tareas de NLP en un escenario zero-shot, es decir, sin aportar ejemplos previos. 

En la siguiente sección, exploraremos los transformers, la famosa arquitectura que ha revolucionado el modelado del lenguaje y ha cambiado lo que es posible hacer en NLP.

¿Qué son los modelos transformer?

El transformer es un tipo de arquitectura de red neuronal especialmente adecuada para tareas de modelado del lenguaje. Se presentó por primera vez en el artículo «Attention is All You Need» en 2017.  El artículo describe los transformers como una arquitectura diseñada para realizar de forma eficiente tareas de secuencia a secuencia mientras maneja con facilidad las dependencias de largo alcance. Hoy dominan el espacio de NLP. 

Sequence-to-Sequence es el mecanismo que sustenta los transformers. También conocida como Seq2Seq, esta arquitectura transforma una secuencia de elementos, como las palabras de una oración, en otra secuencia, como una frase en otro idioma, lo que la hace especialmente adecuada para la traducción. Google Translate empezó a usar una arquitectura similar en producción a finales de 2016.

Fuente: entrada «The Illustrated Transformer» en el blog de Jay Alammar

Los modelos Seq2Seq constan de dos partes: un codificador (encoder) y un decodificador (decoder). Puede pensarse en ellos como traductores humanos que solo hablan dos idiomas. Cada uno tiene una lengua materna distinta; en nuestro ejemplo, el codificador es nativo de chino y el decodificador de inglés. Comparten un segundo idioma, digamos japonés. Para traducir del chino al inglés, el codificador convierte la frase china a japonés. Esa frase en japonés, llamada contexto, se pasa al decodificador. Como el decodificador entiende japonés, puede traducirla al inglés.

Otro componente clave de los transformers es el mecanismo de “atención”. Es una técnica que imita la atención cognitiva: cómo nuestro cerebro se centra en las partes significativas de una oración para ayudarnos a entender su sentido global. Por ejemplo, mientras lees esta frase te concentras en la palabra actual, pero tu memoria retiene las palabras clave para dar contexto.

El mecanismo de atención recorre la secuencia de entrada por partes y decide en cada paso qué otras partes son importantes. Esto ayuda al transformer a filtrar ruido y centrarse en lo relevante conectando palabras relacionadas que, por sí solas, no muestran marcadores evidentes entre ellas. 

Los transformers mejoran con arquitecturas más grandes y con más datos. Esto los hace mejores que cualquier otra red neuronal a la hora de entender el contexto de las palabras en una frase, lo que explica su enorme impacto en el aprendizaje automático. A medida que evolucionen, su influencia será aún mayor, y tú puedes empezar a experimentar con LLMs en unos pocos pasos.

Primeros pasos con GPT-3

Cómo moverte por la API de OpenAI

Aunque GPT-3 es, probablemente, uno de los modelos de lenguaje más sofisticados y complejos del mundo, sus capacidades están disponibles mediante una sencilla interfaz de «texto de entrada, texto de salida». Lo primero para empezar es obtener acceso a la API de OpenAI. Puedes solicitarlo aquí y, en cuestión de minutos, tendrás tu cuenta lista.

Una vez tengas tu cuenta de desarrollador de OpenAI, veremos el Playground, un entorno privado basado en web que te permite experimentar con la API y aprender cómo encajan sus distintos componentes.

Componentes de la API de OpenAI

A continuación tienes un resumen de los distintos componentes de la API y sus funciones:

• Motor de ejecución: Determina el modelo de lenguaje que se usa para la inferencia. Elegir el motor adecuado es clave para fijar las capacidades del modelo y, en consecuencia, obtener la salida correcta. 
• Longitud de la respuesta: Limita cuánto texto incluye la API en su completado. Como OpenAI cobra por longitud de texto generado por llamada, es un parámetro crucial si tienes presupuesto ajustado. A mayor longitud, mayor coste.
• Temperature (temperatura): Controla la aleatoriedad de la respuesta, en un rango de 0 a 1. Un valor bajo hace que la API responda con lo primero que el modelo ve; un valor alto hace que evalúe posibles respuestas que encajen en el contexto antes de devolver el resultado.
• Top P: Controla cuántos resultados aleatorios debe considerar el modelo para completar, según su temperatura, y determina el alcance de la aleatoriedad. Su rango es de 0 a 1. Un valor bajo limita la creatividad; uno alto la amplía.
• Penalización por frecuencia y presencia: La penalización por frecuencia reduce la probabilidad de que el modelo repita la misma línea literalmente “castigándola”. La penalización por presencia incrementa la probabilidad de que hable de temas nuevos.
• Best of (mejor de): Permite especificar el número de completados (n) que se generan en el servidor y devuelve el mejor de esos “n”.
• Secuencia de parada: Es un conjunto de caracteres que indica a la API que deje de generar texto.
• Texto de inicio y reinicio inyectado: Estos parámetros te permiten insertar texto al principio o al final del completado, respectivamente.
• Mostrar probabilidades: Sirve para depurar el prompt mostrando la probabilidad de los tokens que el modelo puede generar para una entrada dada.

La API de OpenAI ofrece cuatro motores de ejecución, que difieren en número de parámetros, rendimiento y precio. Los principales, de menor a mayor capacidad y tamaño, son Ada (por Ada Lovelace), Babbage (por Charles Babbage), Curie (por Marie Curie) y Davinci (por Leonardo da Vinci). 

Basándose en estos cuatro modelos principales, OpenAI lanzó una serie de modelos mejorados llamados InstructGPT, que entienden y siguen mejor las instrucciones para producir la salida específica que necesitas. Solo tienes que decirle al modelo lo que quieres que haga y se esforzará por cumplirlo. Al proceso de dar instrucciones al modelo GPT-3 se le llama prompt engineering. 

Prompt engineering

GPT-3 está diseñado para no estar ligado a una tarea concreta. Esto significa que puede realizar potencialmente muchas tareas distintas, siempre que reciba el prompt de entrenamiento adecuado. Crear soluciones de IA nunca ha sido fácil, pero con GPT-3 lo esencial es un prompt sensato en inglés sencillo.

Fuente: tuit de Andrej Karpathy del 18 de junio de 2020

Lo primero y más importante al crear una aplicación con GPT-3 es el diseño y el contenido del prompt de entrenamiento. El diseño del prompt es el proceso más decisivo para preparar el modelo y obtener una respuesta favorable y contextual. 

El prompt es el texto que le das al modelo para que genere la salida que buscas. Diseñar un buen prompt consiste en darle suficiente contexto sobre la tarea. GPT-3 analiza la entrada e intenta responder con el texto que, a su juicio, mejor completa esa entrada. 

En cierto modo, diseñar prompts es como jugar a las películas (charades).

El truco para escribir buenos prompts es entender qué sabe GPT-3 sobre el mundo y cómo conseguir que use esa información para producir resultados útiles. En el juego, nuestro objetivo es dar a los jugadores la información justa para que adivinen la palabra con su inteligencia. Del mismo modo, debemos dar a GPT-3 el contexto justo en forma de prompt para que identifique los patrones y realice la tarea. No queremos interrumpir su flujo “natural” sobrecargándolo de información, pero si le damos muy poca, los resultados pueden ser inexactos.

Como regla general, al diseñar el prompt intenta obtener una respuesta zero-shot. Si no es posible, pasa a unos pocos ejemplos en lugar de aportar un corpus completo. El flujo estándar debería ser: 

Zero-shot → Pocos ejemplos → Preparación basada en corpus

Si en tu entrada el modelo ve la letra “Q” y una pregunta, intentará escribir una respuesta, pero no necesariamente la que esperas. Sin el contexto suficiente, puede asumir, por ejemplo, que estás escribiendo una lista de preguntas y respuestas incorrectas. Si quieres la mejor respuesta, debes indicar a GPT-3 qué tipo de respuestas esperas.

En lugar de pedir a GPT-3 que complete esta entrada:

Q:
A:

En cuyo caso nuestra primera salida fue:

Q:
A:

Q:
A:

Mejorarás enormemente el resultado usando un prompt como este (o alguna variación, según el tipo de preguntas que quieras que genere):

Write a few trivia questions.

Q:
A:

Con el que obtuvimos a la primera el siguiente completado:

What is the name of the longest river in Africa?
The Nile

What are the top 5 most spoken languages in the world?
Mandarin, Spanish, English, Hindi, Arabic

Instrucciones tan simples bastan para que GPT-3 entienda que debe dar respuestas más alineadas con lo que buscas; en este caso, varias preguntas de trivial. También puedes usar una frase como “Factual answer:” en lugar de “A:” para mejorar el resultado.

Write a few trivia questions.

Question:
Factual answer:

Para esta entrada obtuvimos el siguiente completado:

1. What is the world’s largest desert?

The Sahara desert.

2. What is the world’s deepest Ocean?

The Pacific Ocean.

GPT-3 Sandbox: usar la API de OpenAI con Python

En esta sección te guiaremos por GPT-3 Sandbox, una herramienta de código abierto para convertir tus ideas en realidad con solo unas líneas de Python. Te mostraremos cómo usarla y personalizarla para tu caso concreto. El objetivo es que puedas crear aplicaciones web potentes, vengas del perfil técnico que vengas. 

Sigue esta serie de vídeos interactiva para un paso a paso sobre cómo crear y desplegar una aplicación con GPT-3. Necesitarás este stack técnico para usar el sandbox:

• Python 3.7+
• Un IDE, como VS Code

Clona el código de este repositorio abriendo un terminal en tu IDE y usando el siguiente comando:

git clone https://github.com/Shubhamsaboo/kairos_gpt3

Tienes todo lo necesario para crear y desplegar una aplicación web en el propio código. Solo necesitas retocar unos archivos para adaptar el sandbox a tu caso de uso. Ahora crea un entorno virtual de Python para empezar. Tras crearlo, instala las dependencias con el siguiente comando: 

pip install -r requirements.txt

Ya puedes empezar a personalizar el código del sandbox. El primer archivo que debes revisar es training_data.py. Ábrelo y sustituye el prompt por defecto por el prompt de entrenamiento que quieras usar. Puedes usar el Playground de GPT-3 para experimentar con distintos prompts (consulta el capítulo 2 del libro y este vídeo para más detalles).

Ahora ya puedes ajustar los parámetros de la API (Maximum tokens, Execution Engine, Temperature, Top-p, Frequency Penalty, Stop Sequence). Te recomendamos probar distintos valores para un mismo prompt en el Playground para determinar qué funciona mejor en tu caso. Cuando obtengas resultados satisfactorios, cambia los valores en el archivo training_service.py.

¡Listo! Tu aplicación web basada en GPT-3 ya está preparada. Puedes ejecutarla en local con el siguiente comando:

streamlit run gpt_app.py

Puedes usar Streamlit sharing para desplegar la aplicación y compartirla con un público más amplio. Sigue este vídeo para un recorrido completo del despliegue.

¿Qué puedes construir con GPT-3? 

Antes de GPT-3, la mayoría de interacciones con la IA se limitaban a tareas concretas, como pedirle a Alexa que ponga tu canción favorita o usar Google Translate para conversar en otros idiomas. Con el desarrollo de los LLMs, estamos ante un cambio de paradigma. Han demostrado que, al aumentar el tamaño de los modelos, las aplicaciones de IA pueden realizar tareas creativas y complejas similares a las humanas. 

GPT-3 está impulsando la próxima ola de startups al poner la tecnología adecuada en manos de emprendedores creativos. Poco después de que OpenAI lanzara la API, el panorama se llenó de empresas que la usan para resolver problemas. Exploremos este ecosistema analizando algunas de las startups de mayor rendimiento que usan GPT-3 en el núcleo de su producto en áreas como artes creativas, análisis de datos, chatbots, redacción de copys y herramientas para desarrolladores. 

1. Aplicaciones creativas de GPT-3: Fable Studio

Una de las capacidades más emocionantes de GPT-3 es la narración. Puedes darle al modelo un tema y pedirle que escriba una historia en un escenario zero-shot. Las posibilidades están expandiendo la imaginación de autores y dando lugar a obras extraordinarias. Por ejemplo, la obra AI, dirigida por Jennifer Tang y desarrollada con Chinonyerem Odimba y Nina Segal, muestra una colaboración única entre mentes humanas y computacionales con la ayuda de GPT-3. 

Fable Studio es una empresa que aprovecha estas capacidades narrativas. Adaptaron el libro infantil de Neil Gaiman y Dave McKean, Wolves in the Walls, en una experiencia de realidad virtual ganadora de un Emmy. Lucy, la protagonista, puede mantener conversaciones naturales gracias a los diálogos generados por GPT-3. La compañía cree que, con futuras iteraciones del modelo, será posible desarrollar un narrador de IA tan hábil y creativo como los mejores escritores humanos.

2. Aplicaciones de análisis de datos con GPT-3: Viable

Viable es una herramienta de agregación de feedback que identifica temas, emociones y sentimientos en encuestas, tickets de soporte, chats y reseñas de clientes. Después, ofrece un resumen de los resultados en cuestión de segundos. Por ejemplo, si preguntas: «¿Qué frustra a nuestros clientes en el proceso de pago?», Viable podría responder: «A los clientes les frustra el flujo de pago porque tarda demasiado en cargar. También quieren poder editar su dirección en el checkout y guardar varios métodos de pago.»

Como cabría esperar de especialistas en feedback, Viable incluye botones de pulgar arriba y abajo junto a cada respuesta generada. Usan estas valoraciones para reentrenar. Las personas también son parte del proceso: Viable tiene un equipo de anotación encargado de crear conjuntos de datos de entrenamiento, tanto para modelos internos como para el ajuste fino de GPT-3. Usan la versión actual de ese modelo ajustado para generar salidas que luego se evalúan manualmente. Si la salida no tiene sentido o no es precisa, la reescriben. Y cuando tienen una lista con la que están satisfechos, la incorporan a la siguiente iteración del conjunto de entrenamiento.

3. Aplicaciones de chatbot con GPT-3: Quickchat

Emerson AI es la personalidad de chatbot de Quickchat y destaca por su conocimiento general del mundo, el soporte multilingüe y su capacidad para mantener una conversación. Emerson AI sirve para mostrar de lo que son capaces los chatbots con GPT-3 y animar a los usuarios a colaborar con Quickchat para implantar una personalidad similar en sus compañías. La propuesta de Quickchat es una IA conversacional de propósito general que puede hablar de cualquier tema. Los clientes pueden personalizar el chatbot añadiendo información específica de su producto. Han visto usos muy diversos, desde automatizar el soporte al cliente hasta implementar una persona de IA que ayude a buscar en la base de conocimiento interna.

A diferencia de los proveedores típicos, Quickchat no construye árboles de conversación ni guiones rígidos, ni necesita “enseñar” al chatbot a responder de una forma concreta. En su lugar, los clientes siguen un proceso simple: copian y pegan el texto con toda la información que quieren que la IA use y hacen clic en el botón de reentrenar, que tarda unos segundos en absorber el conocimiento, y listo. Con tus datos, el chatbot ya está preparado para una conversación de prueba. 

4. Aplicaciones de marketing con GPT-3: Copysmith

Una de las aplicaciones más populares de GPT-3 es generar contenido creativo al vuelo. Copysmith es un ejemplo: una plataforma de generación de contenidos. Usa GPT-3 para generar prompts que luego se convierten en copys para e-commerce. GPT-3 brilla especialmente en marketing, donde ayuda a idear, colaborar y lanzar contenidos de calidad a gran velocidad. Gracias al modelo, las pymes online pueden escribir mejores llamadas a la acción y descripciones de producto, y llevar su marketing a otro nivel.

5. Aplicaciones de código con GPT-3: Stenography

Bram Adams, OpenAI Community Ambassador, creó Stenography, un programa que usa GPT-3 y Codex para automatizar la documentación de código. 

Stenography fue un éxito inmediato, lanzándose como el producto n.º 1 en ProductHunt. Adams ve la documentación como una forma de que las personas se comuniquen con su equipo, con su “yo” futuro o con cualquiera que descubra un proyecto en GitHub. El objetivo de Stenography es hacer que un proyecto sea comprensible para otros.

Para conocer más sobre el ecosistema en torno a GPT-3, consulta el capítulo 4 (GPT-3 como trampolín para startups de nueva generación) y el capítulo 5 (GPT-3 para empresas) de nuestro próximo libro con O’Reilly.

Conclusión

• GPT-3 marca un hito importante en la historia de la IA. También forma parte de una tendencia mayor en LLMs que seguirá creciendo. El paso revolucionario de ofrecer acceso por API ha dado lugar al modelo de negocio “modelo-como-servicio”.
• Las capacidades generales de GPT-3 basadas en lenguaje abren la puerta a productos innovadores. Es especialmente bueno resolviendo tareas como generación y resumen de texto, clasificación y conversación.
• Ya existen muchas empresas exitosas construidas en gran medida o por completo sobre GPT-3. Nuestros casos favoritos son la narración creativa, el análisis de datos, los chatbots, la redacción de marketing y las herramientas para desarrolladores.