Debo tener sombras en el camino
Si he de andar, debo tener
Cada paso dado lento y en soledad
Para tenerlo todo preparado
Y debo pensar en tonos grises
Para que pensamientos tenues me guíen
Debo mirar el azul y el verde
Y no dejar que mis ojos olviden
Que el color es mi amigo
Y el púrpura debe rodearme también
El amarillo del sol no es más
Intrusivo que la nevada azulada
Que cae sobre todos nosotros. Debo tener
Pensamientos grises y azules caminando a mi lado
Si es que he de marcharme alguna vez.
A poem generated by GPT-3, OpenAI's latest language model
Los grandes modelos de lenguaje dejaron al mundo boquiabierto con su destreza lingüística. Sin entrenamiento explícito para ello, podían realizar una gran variedad de tareas con resultados de primer nivel.
Por suerte, estos modelos no son patrimonio exclusivo de las Big Tech. El acceso se está ampliando gracias a una floreciente comunidad open source de PLN y a la creciente disponibilidad de APIs de modelos. Hoy cualquiera lo tiene más fácil que nunca para aprovechar la potencia de un gran modelo de lenguaje.
El auge de la PLN ha despertado el interés de empresas e inversores por igual. Un 60% de los líderes tecnológicos indicaron que sus presupuestos de PLN crecieron al menos un 10% respecto a 2020, según una encuesta de John Snow Labs y Gradient Flow. También hemos visto un crecimiento increíble de startups de PLN que compiten por cuota de mercado. A medida que la PLN avanza a un ritmo vertiginoso, la comunidad de IA ha alzado la voz, con razón, sobre los riesgos de los grandes modelos de lenguaje. Antes de su adopción masiva, debemos asegurarnos de que sean imparciales y seguros.
En esta entrada, exploraremos distintos aspectos de la PLN y los grandes modelos de lenguaje: qué son, cómo se usan y cómo podemos usarlos de forma segura.
El progreso de la PLN: de Word2Vec a Transformer
Uno de los primeros avances de la última década fue el hito de Word2Vec. Sus autores, Mikolov et al., descubrieron que, al aprender asociaciones de palabras, un modelo no solo superaba con creces a los modelos N-gram entonces populares, sino que además era más eficiente y rápido.
Sin embargo, Word2Vec no aprovecha el orden de las palabras como información útil. La llegada de las redes neuronales recurrentes (RNN) abordó ese problema. A diferencia de Word2Vec, una RNN incorpora información de entradas previas que influye en la entrada y salida actuales. Eso le da «memoria», lo que la hace idónea para aprender relaciones en textos.
Pero la memoria de una RNN es bastante efímera por el problema del gradiente que se desvanece. Funcionan bien en frases cortas, pero fallan en párrafos largos. La introducción de las Long Short Term Memory (LSTM), un tipo especial de RNN, añadió «puertas» que permiten recordar información durante mucho más tiempo.
Las LSTM fueron el modelo de facto en PLN hasta que el artículo «Attention is All You Need» acaparó el foco. El mecanismo de atención presentado daba a las RNN la capacidad de centrarse en un subconjunto de información al generar una salida. Un tipo especial de red basada en atención, la red Transformer, demostró ser extremadamente simple, eficiente y potente.
En concreto, el modelo BERT (Bidirectional Encoder Representations from Transformer) supuso un logro revolucionario en el ámbito del PLN (consulta este tutorial de PLN para un repaso de BERT en PLN). A diferencia de los modelos direccionales, que leen el texto secuencialmente, BERT lee toda la secuencia de palabras a la vez. Lo más llamativo es que un BERT preentrenado podía ajustarse con solo una capa de salida adicional para lograr resultados punteros en varias tareas. Desde entonces, múltiples arquitecturas basadas en atención han superado a BERT, como XLNet, ERNIE de Baidu y RoBERTa. Estos modelos siguen siendo muy usados hoy en muchas tareas de PLN.
El auge de los grandes modelos de lenguaje
Para cualquier entusiasta de la tecnología no sonarán extraños modelos como Megatron-LM, GPT-3 o T5. Famosos por su enorme número de parámetros, han copado titulares por su asombrosa capacidad en tareas de lenguaje natural.
El ejemplo más conocido quizá sea el Generative Pre-trained Transformer 3 (GPT-3) de OpenAI. GPT-3 tiene más de 175.000 millones de parámetros y fue entrenado con 570 gigabytes de texto, lo que lo hace 100 veces mayor que su predecesor GPT-2.
El aumento de tamaño otorgó a estos modelos un regalo inesperado: realizar tareas para las que no habían sido entrenados explícitamente. Por ejemplo, GPT-3 podía traducir frases del inglés al alemán con muy pocos o ningún ejemplo de entrenamiento. También podía responder preguntas, escribir ensayos, resumir textos largos e incluso generar código. Sorprendentemente, superó a algunos modelos de vanguardia entrenados específicamente para esas tareas.
En otras palabras, los grandes modelos de lenguaje son aprendices «few-shot». Necesitan muy pocos datos de entrenamiento adaptados al dominio para rendir bien en una tarea concreta. Incluso pueden ser aprendices «zero-shot» en algunas tareas, donde consiguen realizarlas sin demostración previa.
Demostración de aprendizaje few-shot, one-shot y zero-shot (Fuente)
Las empresas siguen compitiendo por construir modelos cada vez más grandes. En 2021, Microsoft y Nvidia lanzaron Megatron-Turing NLG 530B, con 530.000 millones de parámetros. En mayo de 2022, Meta compartió con la comunidad investigadora de IA su Open Pretrained Transformer (OPT-175B) con 175.000 millones de parámetros. DeepMind también anunció que publicaría su modelo de 7.000 millones de parámetros, Retrieval Enhanced Transformer (RETRO), que se espera que rinda al nivel de redes neuronales 25 veces más grandes.
Los grandes modelos de lenguaje crecen año tras año (Fuente)
La democratización de los grandes modelos de lenguaje
Hasta hace poco, los grandes modelos de lenguaje estaban monopolizados por las Big Tech con bolsillos profundos y superordenadores propios. Su número de parámetros es tan alto que ni la GPU doméstica más potente podría alojarlos. Y, aunque se superase ese límite, el tiempo de entrenamiento sería inviable sin paralelización. Nvidia, por ejemplo, predijo que entrenar GPT-3 llevaría 36 años en ocho GPUs V100. Lambda Labs estima el coste inicial de desarrollar GPT-3 en al menos 11,5 a 27,6 millones de dólares, y calcula un coste anual recurrente mínimo de 87.000 dólares para ejecutarlo en la nube.
Las startups con presupuestos ajustados ni tienen ese tiempo ni ese dinero, pero gracias a las APIs, pueden aprovechar la potencia de GPT-3 sin comprar recursos de cómputo desorbitados ni invertir en hardware de alto rendimiento. Por ejemplo, es posible integrar modelos como GPT-3 en productos mediante las APIs de OpenAI, Cohere y AI21.
En marzo de 2021, OpenAI afirmó que más de 300 aplicaciones generaban 4.500 millones de palabras al día a través de su API de GPT-3. Gracias a estas APIs, crear aplicaciones de PLN potentes es ahora más rápido y escalable que nunca.
La proliferación de startups de PLN
A medida que se amplía el acceso, no sorprende que surjan startups que ofrecen una gran variedad de servicios a un ritmo creciente en los últimos años.
Profesionales de la disciplina alucinaron con la capacidad de GPT-3 para generar textos largos coherentes, como la experiencia inmersiva de AI Dungeon, un juego de aventuras de fantasía basado en texto que usa GPT-3 para crear contenido. Otra startup, Fable Studio, utilizó GPT-3 para crear un nuevo género de historias interactivas que dan vida a «seres virtuales».
Una captura de AI Dungeon. ¿Qué harás ahora?
Desde entonces, GPT-3 se ha usado no solo para historias de ficción, sino también para generar contenido de marketing. Con un breve prompt se pueden crear entradas de blog atractivas, publicaciones para redes sociales, anuncios y emails. Entre las startups destacadas están copy.ai (valorada hoy en 13,9 millones de dólares), CopySmith (10 millones) y Rtyr. Aunque haya quien menosprecie estas propuestas diciendo que distingue fácilmente lo escrito por un bot, quizá cambie de opinión al saber que una entrada generada por GPT-3 llegó a lo más alto de Hacker News.
Las startups de PLN también están agitando el terreno de la búsqueda. Una entrada reciente titulada «Google Search is Dying» señaló problemas de los buscadores actuales y encendió el debate sobre cómo pueden irrumpir las startups. Una de ellas, you.com, liderada por un ex científico jefe de Salesforce, ha obtenido unos 20 millones de dólares de financiación. Para plantar cara a Google, usa PLN para entender las consultas de forma semántica y resumir resultados de toda la web. Otra, Zir AI, fundada por un ex CTO de Cloudera, ofrece a las empresas buscadores internos que comprenden la intención y la semántica.
El ascenso de HuggingFace🤗 como potencia de la PLN
Otra startup destacada es HuggingFace, que proporciona herramientas para crear, entrenar y desplegar fácilmente modelos de PLN de última generación basados en transformers. Bajo el lema de «comunidad de IA que construye el futuro», HuggingFace reúne una activa comunidad open source que comparte modelos y datasets punteros. Su facilidad de uso la consolida como referente en herramientas de PLN.
La interfaz de HuggingFace
Desde su creación en 2016, HuggingFace ha generado gran expectación y popularidad en la comunidad de IA. La usan más de 5.000 organizaciones, entre ellas pesos pesados como Google AI, Facebook AI, Microsoft y el Allen Institute for AI. Su repositorio de Github acumula unas 60.000 estrellas, situándolo entre los más populares. Todo ello contribuye a su impresionante valoración de 61,3 millones de dólares en marzo de 2021. Nueva financiación podría elevarla hasta los 2.000 millones, informó Business Insider en abril de 2022.
La democratización de la IA será uno de los mayores logros para la sociedad, según Julien Chaumond, CTO de HuggingFace. No extraña que la compañía esté comprometida con ampliar el acceso a aplicaciones de PLN. Su biblioteca de modelos reúne unos 42.000 modelos de distintos frameworks, como PyTorch, TensorFlow y Keras. Su modelo más popular, el gpt2 basado en transformers, supera los 100 millones de descargas.
Aplicaciones habilitadas por HuggingFace
Estos modelos se aplican a un abanico deslumbrante de tareas. Además de casos de PLN como traducción, resumen y generación de texto, el repositorio incluye modelos de visión por computador (clasificación y segmentación de imágenes) y de audio (clasificación de audio, texto a voz).
HuggingFace ha redoblado esfuerzos para democratizar la PLN para expertos, principiantes y todo lo que hay entre medias. Quienes empiezan pueden beneficiarse del curso gratuito de PLN de HuggingFace, con tutoriales prácticos sobre modelos basados en transformers. Quienes quieran crear y desplegar proyectos de ML pueden aprovechar los recursos de cómputo gratuitos en Spaces.
Los entusiastas de la PLN también pueden explorar grandes corpus de texto con la biblioteca de Datasets. Científicos de datos e ingenieros de machine learning celebrarán el lanzamiento de Optimum, open source, para optimizar transformers a escala.
La librería Datasets de HuggingFace reúne más de 4.500 conjuntos de datos únicos en 467 idiomas y dialectos, todos descargables con unas pocas líneas de código.
El próximo BigScience Large Language Model es la culminación de sus esfuerzos de democratización. BigScience es un modelo multilingüe de 176.000 millones de parámetros construido de forma colaborativa por más de 1.000 investigadores de todo el mundo. Su entrenamiento finalizará a mediados de 2022. Hasta entonces, solo nos queda esperar con ganas la tecnología que permitirá. Puedes seguir su entrenamiento en Twitter.
Ahora que hemos visto qué servicios ofrecen las startups de PLN, veamos cómo pueden aplicarse en dos sectores concretos.
El futuro de la PLN en sanidad
La sanidad mueve 4 billones de dólares al año, emplea a uno de cada diez trabajadores en EE. UU. y supone el 25% del gasto público. Pese a su importancia, las ineficiencias lastran el sistema sanitario estadounidense. La PLN podría transformar el sector en profundidad.
Una vía es mejorar la eficiencia y la precisión de la atención. Los médicos pasan cerca de 6 horas al día, el 50% de su jornada, con los historiales médicos electrónicos (EHR), según un estudio de 2019 de la American Medical Association. Además de consumir tiempo, las entradas manuales en los EHR inevitablemente causan errores médicos evitables.
La PLN puede cambiar esto automatizando la creación y el análisis de EHR. Con modelos de voz a texto, las conversaciones médico‑paciente pueden transcribirse automáticamente. Con modelos de resumen, se pueden generar resúmenes de cada visita de forma ágil. Y con modelos entrenados sobre EHR a gran escala, es posible predecir diagnósticos y tratamientos.
La PLN también puede mejorar la experiencia del paciente. Se pueden crear chatbots que proporcionen información sobre citas, envíen recordatorios y respondan preguntas de los pacientes sobre su salud.
Ejemplo de una pregunta de un paciente respondida con PLN (Fuente)
En un estudio, pacientes con cáncer de mama reportaron cerca de un 94% de satisfacción con un chatbot médico con el que interactuaron durante más de un año. No sorprende que empresas como Babylon Health y AdaHealth hayan aprovechado esta oportunidad y ofrezcan chatbots a servicios sanitarios de todo el mundo. El potencial de la PLN para cambiar la sanidad lo resume bien Neal Khosla, CEO de Curai, una startup de MedTech: «La IA y la PLN ofrecen la posibilidad de escalar masivamente la atención primaria de calidad, haciéndola accesible a más personas y a menor coste.»
El futuro de la PLN en educación
Otro ámbito interesante es la educación. Ofrecer educación de alta calidad a escala plantea importantes retos económicos. Por ello, la investigación explora enfoques computacionales escalables que ayuden al profesorado a enseñar mejor y de forma más eficiente. Los modelos de PLN más potentes pueden entrenarse como expertos en materias específicas. Así, pueden convertirse en asistentes del profesorado para corregir, dar feedback e incluso generar preguntas.
Un ejemplo concreto es ProtoTransformer, un modelo que corrigió un examen de mitad de curso abierto de Introducción a la Informática en Stanford. Fue tan eficaz como los ayudantes de docencia humanos gracias a su capacidad para procesar múltiples modos de información: el enunciado de la tarea, el diagrama de la pregunta y la rúbrica de evaluación.
La PLN también podría ofrecer feedback personalizado, algo logísticamente inviable en clases multitudinarias. Esto podría cambiar si la PLN automatiza ese proceso. Un ejemplo es MathBERT, un BERT entrenado sobre un gran corpus matemático desde preescolar hasta posgrado.
La PLN también puede automatizar el proceso de generación de preguntas. En particular, investigadores de Stanford hallaron que los modelos modernos pueden generar preguntas de retrotraducción novedosas y con una dificultad objetivo.
Los modelos generaron preguntas de traducción del inglés al español con distintos niveles de dificultad. Las preguntas en cursiva son nuevas y no existen en el conjunto original.
Según McKinsey, entre el 20% y el 40% de las horas actuales del profesorado podrían automatizarse con tecnología existente. Startups de edtech como Noodle Factory ya van en esa dirección. Si el profesorado se libera de tareas manuales y repetitivas, podrá dedicar más tiempo a orientar y mentorar al alumnado, tareas que la IA no puede emular.
Los riesgos de los grandes modelos de lenguaje
Hasta ahora hemos visto cómo estos modelos han desbloqueado capacidades antes impensables. Aun así, voces críticas advierten contra el optimismo sin tener en cuenta los riesgos. Los grandes modelos de lenguaje transformarán la ciencia, la sociedad y la IA, afirman investigadores de Stanford. Que esa transformación sea para bien o para mal dependerá de cómo gestionemos los riesgos.
Uno de ellos es la existencia de sesgos y contenidos dañinos. Hoy los modelos se entrenan con datos no curados extraídos de la web. Esa información puede ser falsa o perjudicial. Eso implica que aprenden del lenguaje —con sus defectos— y amplifican los sesgos del mundo real.
Un ejemplo de un modelo que perpetúa daño contra minorías es el chatbot Tay de Microsoft (2016), que tuiteó mensajes racistas y de contenido sexual. Más recientemente, Wallace et al. descubrieron con sorpresa que un único disparador añadido a cualquier entrada puede hacer que GPT-2 escupa salidas racistas incluso en contextos no raciales. En el mismo experimento, otro disparador hizo que el modelo SQuAD respondiera a todas las preguntas «por qué» con «para matar a los estadounidenses».
En la misma línea, los datos de entrenamiento pueden envenenarse, poniendo en riesgo las aplicaciones derivadas. De forma alarmante, Schuster et al. demostraron que un sistema de autocompletado de código puede aprender a producir código inseguro con solo inyectar unos pocos archivos maliciosos. Es concebible que otros modelos generativos puedan aprender a producir contenido dañino con inyecciones similares.
También pueden fallar los proveedores de los modelos. Actualmente, GPT-3 exige subir a OpenAI los datos usados para inferencia. Una brecha de esos datos, potencialmente sensibles, sería una violación de la privacidad. Muchos modelos hoy se sirven directamente desde la infraestructura de HuggingFace. Un ataque a esa infraestructura común podría interrumpir numerosos modelos en producción.
Estos riesgos se amplifican cuando los modelos preentrenados subyacentes son abrumadoramente populares. Si un adversario encuentra una grieta en un modelo muy usado, puede explotarla en otras aplicaciones que comparten la misma base.
La falta de interpretabilidad
La interpretabilidad se define como el grado en que una persona puede entender la causa de una decisión. Por desgracia, muchos modelos de PLN están lejos del ideal en este aspecto.
Los grandes modelos de lenguaje son cajas negras que apenas ofrecen pistas sobre cómo toman decisiones. No parece sensato usarlos para decisiones de alto impacto sin entender bien su proceso. Por ejemplo, un sistema de PLN que conceda o deniegue la libertad condicional debe poder explicar sus decisiones en base a hechos. Esas explicaciones permiten auditar la equidad y consistencia de sus resoluciones.
Es cierto que existen métodos de IA explicable que aportan interpretaciones del comportamiento del modelo. Son modelos distintos, diseñados para explicar a la caja negra. Ejemplos: la Language Interpretability Tool (LIT) de Google y LIME.
Demo de LIT de Google (Fuente)
Aun así, estas explicaciones pueden ser infieles y no reflejar realmente el razonamiento detrás de la predicción. Pueden resultar poco fiables, engañosas y peligrosas. Explicaciones verosímiles pero infieles pueden dar falsa sensación de seguridad e inducir a confiar en modelos defectuosos, como explica el influyente artículo «Stop Explaining Black-Box Machine Learning Models for High Stake Decisions and Use Interpretable Models Instead».
Los grandes modelos de lenguaje transformarán el futuro de la IA
«Esto es solo el principio de un cambio de paradigma: los grandes modelos de lenguaje acaban de empezar a transformar cómo se construyen y despliegan los sistemas de IA en el mundo», concluyó un grupo de destacados investigadores al analizar las oportunidades y riesgos de estos modelos.
Los casos de uso que habilitan son realmente impresionantes. Pero no todo lo que brilla es oro. Como profesionales de la IA, debemos conocer sus puntos débiles y utilizarlos con responsabilidad y cuidado. Solo así podremos aprovechar todo su potencial.
Aprende más sobre procesamiento del lenguaje natural aquí:
