Modelos de grandes conceptos: Una guía con ejemplos

LLMs vs LCMs

Los LLM y los LCM comparten muchos de los mismos objetivos: ambos generan texto, resumen información y traducen entre idiomas. Pero la forma en que realizan estas tareas es fundamentalmente diferente.

Los LLM predicen el texto de un token cada vez, lo que les permite producir frases fluidas. Sin embargo, esto suele dar lugar a incoherencias o redundancias en los resultados más largos. Los LCM, en cambio, procesan el lenguaje a nivel de frase, lo que les permite mantener la fluidez lógica en pasajes extensos.

Otra distinción es cómo gestionan el tratamiento multilingüe. Los LLM se basan en gran medida en datos de entrenamiento de lenguas con muchos recursos, o lenguas que tienen mucho contenido de entrenamiento, como el inglés. Como resultado, a menudo tienen dificultades con las lenguas de pocos recursos que carecen de grandes conjuntos de datos.

Sin embargo, los LCM operan en el espacio de incrustación SONAR. Este espacio de incrustación les permite procesar textos en muchas lenguas sin necesidad de reentrenamiento. Trabajar con conceptos abstractos los hace mucho más adaptables.

Componentes básicos de los MCL

Los grandes modelos conceptuales consiguen sus capacidades únicas mediante un sistema de tres partes:

1. Codificador de conceptos: convierte la entrada en un espacio de incrustación semántica
2. Núcleo LCM: realiza razonamientos y predicciones
3. Descodificador de conceptos: traduce la salida del modelo a un lenguaje legible por humanos

El diagrama anterior es una explicación simplificada del funcionamiento de cada uno de los tres componentes modulares de un LCM. El codificador convierte el lenguaje en conceptos abstractos. Aquí, estos conceptos abstractos se representan como imágenes. En el modelo, estos conceptos se representan matemáticamente. El núcleo realiza inferencias sobre esos conceptos. Luego, el descodificador convierte esas abstracciones en lenguaje legible por humanos. Para esta figura, Copilot proporcionó el primer borrador de los dibujos de los animales.

Codificador de conceptos: Transformar una entrada en un concepto

El primer paso en la cadena de procesamiento de un LCM es codificar la entrada en una representación semántica de alta dimensión. Esencialmente, esto convierte el lenguaje en representaciones matemáticas de conceptos. Este codificador de conceptos mapea grandes segmentos de texto, como frases enteras.

Los LCM utilizan SONAR, un potente espacio de incrustación para el lenguaje. Es este espacio de incrustación el que admite diferentes idiomas para el texto y la voz. SONAR permite al codificador procesar tanto el lenguaje escrito como el hablado, destilando los conceptos en algo que el modelo pueda entender.

Núcleo LCM: Razonamiento y predicción

Una vez codificados los conceptos, el núcleo LCM los procesa para generar otros nuevos basados en el contexto. Aquí es donde se produce la inferencia. A diferencia de los LLM, que predicen el texto token a token, el núcleo LCM predice frases o conceptos enteros.

Hay tres tipos de núcleos LCM, cada uno con un enfoque distinto de los conceptos de modelado:

1. Base-LCM: Un transformador transformador que predice conceptos futuros a partir de los precedentes utilizando la pérdida de Error Cuadrático Medio.
2. LCM basado en la difusión: Un modelo generativo que refina las oraciones ruidosas incrustaciones mediante difusión autorregresiva, de forma similar a como los generadores de imágenes de IA refinan iterativamente sus resultados.
3. LCM cuantificado: Convierte las incrustaciones de frases continuas en unidades discretas antes de modelarlas, lo que lo hace similar a los LLM, pero con tamaños de token mucho mayores.

Entre ellos, los MCL basados en la difusión han demostrado el mejor poder predictivo, generando los resultados más precisos y coherentes contextualmente.

Descodificador de conceptos: Volver al lenguaje legible por humanos

Una vez que el Núcleo LCM ha procesado y predicho los nuevos conceptos, hay que volver a convertirlos en forma legible para el ser humano. Éste es el trabajo del descodificador de conceptos. Traduce las representaciones matemáticas de los conceptos en salidas de texto o voz.

Como los conceptos subyacentes se almacenan en un espacio de incrustación compartido, pueden descodificarse en cualquier lenguaje compatible sin necesidad de reprocesarlos. Esto es increíblemente potente porque significa que los resultados son independientes del idioma. Todo el "pensamiento" ocurre con las matemáticas. Así, un LCM entrenado principalmente en inglés y español podría leer entradas en alemán, "pensar" en matemáticas y generar contenidos en japonés.

Esto significa también que nuevos lenguajes y modalidades sin necesidad de volver a entrenar todo el modelo. Si se desarrolla un nuevo sistema de voz a texto, puede integrarse en un LCM existente sin necesidad de recursos informáticos masivos.

Imagina que alguien hiciera un codificador y descodificador para el lenguaje de signos. Podrían añadirlo a un núcleo LCM existente, sin necesidad de volver a formarse, y comunicar las ideas en un formato totalmente distinto. Esta flexibilidad hace de los LCM una solución escalable y adaptable para aplicaciones de IA multilingües y multiformato.

Como cada parte del LCM es modular, cada una de ellas puede intercambiarse independientemente. En el diagrama anterior, hemos sustituido el codificador y decodificador de lengua inglesa anteriores por un codificador de lengua griega y un decodificador de lengua armenia.

Estos codificadores y descodificadores también pueden cambiarse por otros que manejen distintas modalidades de lenguaje, como el habla verbal en lugar del texto. Para esta figura, Google Translate proporcionó las traducciones del inglés, y Copilot proporcionó el primer borrador de los dibujos de los animales.

Aplicaciones LCM

Las aplicaciones de los LCM se solapan con las de los LLM, pero debido a que se centran en los conceptos y en una comprensión más profunda, tienen el potencial de crear un impacto más profundo en las industrias que requieren un pensamiento más profundo.

Comunicación multilingüe

Los LCM simplifican la traducción y mejoran la comprensión interlingüística al operar en un espacio de incrustación agnóstico de la lengua. Esto las hace especialmente eficaces para tareas como el resumen multilingüe o la traducción de documentos complejos. 

Por ejemplo, un LCM puede procesar un documento jurídico complejo en una lengua y generar un resumen coherente en otra. Esta capacidad tiene un valor incalculable para las organizaciones globales, la comunicación internacional y las traducciones en lenguas de escasos recursos.

Generación de contenidos

Los LCM destacan en la producción de resultados coherentes y contextualmente relevantes, lo que los convierte en la opción ideal para tareas como la redacción de informes, la redacción de artículos y la creación de resúmenes. Al mantener la coherencia lógica en los contenidos de formato largo, los LCM pueden producir resultados que requieren bastante menos edición que los LLM, lo que ahorra tiempo y esfuerzo a los profesionales del periodismo, el marketing y la investigación.

Herramientas educativas

Creo que la aplicabilidad de los LCM a la educación es lo más impresionante. Imagina un sistema de tutoría inteligente impulsado por un LCM que pueda generar contenidos explicativos e interactivos adaptados a cada alumno.

Un tutor LCM podría resumir un tema complejo en segmentos más sencillos y conceptualmente digeribles para estudiantes con distintos niveles de experiencia. Su adaptabilidad a las distintas lenguas podría permitir a un profesor enseñar a sus alumnos cientos de lenguas a la vez.

Escritura creativa y apoyo a la investigación

Los LCM también son adecuados para ayudar en la investigación y la escritura creativa. Pueden redactar escritos estructurados y coherentes, como ensayos, trabajos de investigación o narraciones de ficción, proporcionando borradores iniciales que los escritores pueden perfeccionar.

Los investigadores también pueden utilizar LCM para organizar ideas, ampliar resúmenes o incluso generar hipótesis basadas en datos existentes. Resuelven muchos de los problemas que los investigadores encuentran frustrantes en los LLM actuales.

Chatbots de atención al cliente mejorados

Estoy seguro de que no soy el único que ha tenido la frustrante experiencia de interactuar con uno de estos nuevos robots de atención al cliente con tecnología LLM, sólo para que no entendiera mi problema. Con los LCM impulsándolos, los chatbots de atención al cliente pueden ofrecer una mejor comprensión de situaciones complejas y quizá incluso soluciones más creativas. Esto puede mejorar la satisfacción y retención de los clientes.

En la actualidad, los LLM se utilizan en varias de estas funciones, pero su eficacia es limitada. Los LCM tienen potencial para elevar el nivel de estas aplicaciones. Pronto, nuestros asistentes de IA podrían parecerse más a tener verdaderos asistentes humanos, capaces de seguir ideas y conversaciones más complejas, sólo que pueden comunicarse mucho más rápido que nosotros.

Retos de los grandes modelos conceptuales

Aunque los MCL ofrecen posibilidades apasionantes, también plantean retos en cuanto a requisitos de datos, complejidad y costes computacionales. Repasemos algunos de los mayores retos actuales.

Mayores necesidades de datos y recursos

Entrenar cualquier modelo de IA requiere grandes cantidades de datos, pero los LCM tienen pasos de procesamiento adicionales en comparación con los LLM. En lugar de utilizar texto en bruto, se basan en representaciones a nivel de frase, lo que significa que primero hay que dividir el texto en frases y luego convertirlas en incrustaciones. Esto añade una capa de preprocesamiento y exigencias de almacenamiento.

Además, el entrenamiento con cientos de miles de millones de frases requiere una inmensa potencia de cálculo.

Mayor complejidad y depuración

Los LCM procesan frases enteras como unidades únicas, lo que ayuda a mantener el flujo lógico, pero dificulta la resolución de problemas.

Los LLM generan el texto palabra a palabra, lo que nos permite rastrear los errores hasta las palabras individuales. En cambio, los LCM operan en un espacio de incrustación de alta dimensión, donde las decisiones se basan en relaciones abstractas.

Mayores costes computacionales

Los LCM, especialmente los modelos basados en la difusión, requieren mucha más potencia de procesamiento que los LLM. Mientras que los LLM generan texto en una sola pasada hacia delante, los LCM basados en la difusión refinan sus resultados paso a paso, lo que aumenta tanto el tiempo de cálculo como el coste. Aunque los LCM pueden ser más eficientes para los documentos largos, suelen ser menos eficientes para las tareas de formato corto, como las respuestas rápidas o las interacciones basadas en el chat.

Limitaciones estructurales

Definir los conceptos a nivel de frase crea sus propios retos. Las frases más largas pueden contener varias ideas, lo que dificulta captarlas como una sola unidad. Y las frases más cortas podrían no proporcionar suficiente contexto para una representación significativa.

Los LCM también se enfrentan a problemas de escasez de datos. Como las frases individuales son mucho más únicas que las palabras, el modelo tiene menos patrones repetidos de los que aprender.

Esta tecnología se está desarrollando rápidamente y estos retos se están abordando activamente. Como esta tecnología es de código abierto, puedes añadir tus propias soluciones para ayudar a afrontar estos retos y hacer avanzar esta tecnología.

Primeros pasos con los LCM

¿Te interesa probar a trabajar con un LCM? Gran parte del código es de código abierto, ¡así que puedes hacerlo!

Un buen punto de partida es el código de entrenamiento LCM y el espacio de incrustación SONAR. Estas herramientas de código abierto permiten a los desarrolladores experimentar con esta nueva tecnología e introducir sus propias mejoras.

Para saber más sobre la teoría de los MCL, consulta este artículo de Meta.

Conclusión

La capacidad de los MCL para operar a nivel conceptual tiene el potencial de refinar las interacciones de la IA con el lenguaje. Al ir más allá de las limitaciones del análisis basado en tokens, los LCM abren el camino a aplicaciones más matizadas, conscientes del contexto y multilingües.

Te animo a que compruebes el código por ti mismo y añadas tu propio toque. ¿Qué mejoras puedes introducir en esta tecnología? ¿Qué productos puedes crear con él?