Pequeños modelos lingüísticos: Una guía con ejemplos

¿Qué son los modelos de lenguas pequeñas?

Los modelos lingüísticos pequeños son las versiones compactas y muy eficientes de los modelos lingüísticos grandes y masivos de los que tanto hemos oído hablar. Los LLM como el GPT-4o tienen cientos de miles de millones de parámetros, pero los SML utilizan muchos menos, normalmente entre millones y unos pocos miles de millones.

Las características clave de los SLM son

1. Eficacia: Los SLM no necesitan la enorme potencia de cálculo que exigen los LLM. Esto los hace ideales para su uso en dispositivos con recursos limitados, como teléfonos inteligentes, tabletas o dispositivos IoT; obtén más información en este blog sobre IA de borde.
2. Accesibilidad: Las personas con presupuestos limitados pueden implantar SLM sin necesidad de una infraestructura de gama alta. También son muy adecuadas para implantaciones locales en las que la privacidad y la seguridad de los datos son muy importantes, ya que no siempre dependen de la infraestructura basada en la nube.
3. Personalización: Los SLM son fáciles de ajustar. Su menor tamaño significa que pueden adaptarse rápidamente a tareas de nicho y dominios especializados. Esto los hace muy adecuados para aplicaciones específicas como la atención al cliente, la sanidad o la educación (¡más adelante hablaremos de esto con más detalle!). 
4. Inferencia más rápida: Los SLM tienen tiempos de respuesta más rápidos porque tienen menos parámetros que procesar. Esto los hace perfectos para aplicaciones en tiempo real como chatbots, asistentes virtuales o cualquier sistema en el que sea esencial tomar decisiones rápidas. No tienes que esperar respuestas, lo que es estupendo para entornos en los que la baja latencia es imprescindible.

Ejemplos de pequeños modelos lingüísticos

El desarrollo de las SLM de 2019 a 2024 ha sido rápido, y se han creado muchos modelos nuevos para satisfacer la necesidad de una IA más eficiente. Comenzó con la GPT-2 en 2019, y con los años, los modelos se han vuelto más centrados y rápidos. En 2022, modelos como Bloom y Galactica podían manejar múltiples lenguajes y datos científicos, y en 2023, modelos como Pythia y Cerebras-GPT estaban diseñados para tareas como la codificación y el pensamiento lógico.

En 2024, se lanzaron aún más SLM, como LaMini-GPT, MobileLLaMA y TinyLlama, que están hechos para funcionar bien en dispositivos móviles y otros sistemas de bajo consumo. Empresas como Meta, Google y Microsoft lideran el desarrollo de estos modelos, algunos abiertos al público y otros privados.

Fuente: Lu et al., 2024

Los profesionales utilizan los SLM en muchas industrias porque son ligeros, rápidos y no necesitan muchos recursos para funcionar. Aquí tienes algunos de estos modelos con sus parámetros y características clave:

*Con restricciones de uso

**Sólo con fines de investigación

Obtén más información sobre estos modelos en este otro artículo que escribí sobre los mejores modelos lingüísticos pequeños.

Cómo funcionan los SLM

Entremos en cómo funcionan los modelos lingüísticos pequeños.

Siguiente palabra predicción

Al igual que los LLM, los SLM funcionan prediciendo la siguiente palabra en una secuencia de texto. Los SLM utilizan patrones del texto en el que han sido entrenados para adivinar lo que viene a continuación. Es un concepto sencillo pero poderoso que se encuentra en el corazón de todos los modelos lingüísticos.

Por ejemplo, dada la entrada "En la serie de Harry Potter, el mejor amigo del protagonista se llama Ron...". Un SLM analizaría este contexto y predeciría la siguiente palabra más probable: en este caso, "Weasley".

Arquitectura del transformador

El sitio arquitectura del transformador es clave para que los LLM y los SLM comprendan y generen lenguaje. Los transformadores pueden entenderse como el cerebro de los modelos lingüísticos. Utilizan autoatención para averiguar qué palabras de una frase son más relevantes entre sí. Esto ayuda al modelo a comprender el contexto; por ejemplo, reconocer que "París" se refiere a la ciudad o a la persona que conoces del trabajo.

Equilibrio entre tamaño y prestaciones

La potencia de los SLM reside en su capacidad para equilibrar tamaño y rendimiento. Utilizan muchos menos parámetros que los LLM, normalmente entre millones y unos pocos miles de millones, frente a los cientos de miles de millones de los LLM.

Con menos parámetros, los SLM requieren menos potencia de cálculo y datos para entrenarse, lo que los hace más accesibles si tienes recursos limitados. El tamaño compacto de los SLM hace que procesen la entrada y generen la salida más rápidamente, lo que es superimportante para aplicaciones en tiempo real como teclados móviles o asistentes de voz.

Puede que los SLM no sean tan versátiles ni tengan una comprensión tan profunda como los modelos grandes, pero realizan bien tareas específicas. Por ejemplo, un SLM formado para analizar textos jurídicos podría hacer un mejor trabajo que un LLM general en esa área.

Cómo se crean los SLM: Técnicas y enfoques

Los SLM utilizan técnicas como destilaciónla poda y la cuantificación para ser más pequeños, rápidos y eficientes.

Destilación

Se trata de una técnica para crear SLM transfiriendo conocimientos de un modelo "profesor" más grande a un modelo "alumno" más pequeño. El objetivo aquí es tomar lo que el modelo del profesor ha aprendido y comprimirlo en el modelo del alumno sin perder demasiado de su rendimiento.

Este proceso hace que los SLM conserven gran parte de la precisión de los modelos más grandes, al tiempo que son mucho más manejables en tamaño y necesidad computacional. Con esta técnica, el modelo más pequeño aprende no sólo las predicciones finales del profesor, sino también los patrones y matices subyacentes.

Existen varios métodos de destilación del conocimiento:

• Basado en la respuesta: El modelo del alumno aprende a replicar la capa de salida final del modelo del profesor, utilizando a menudo "objetivos blandos" para obtener información más matizada.
• Basado en características: Se centra en reproducir las capas intermedias del modelo del profesor, ayudando al alumno a extraer patrones similares de los datos.
• Basado en las relaciones: Entrena al alumno para que comprenda las relaciones entre las distintas partes del modelo del profesor, emulando procesos de razonamiento complejos.

Poda

Podar es como recortar lo que no se necesita. Durante la poda, se eliminan partes del modelo que no son tan importantes, como neuronas o parámetros que no contribuyen mucho al rendimiento global. Esta técnica ayuda a reducir el modelo sin afectar significativamente a su precisión. Sin embargo, la poda puede ser un poco delicada, porque si eres demasiado agresivo, corres el riesgo de recortar demasiado y perjudicar el rendimiento del modelo.

La poda puede reducir significativamente el tamaño del modelo manteniendo gran parte del rendimiento original, lo que la convierte en una técnica eficaz para crear SLM.

Cuantización

La cuantización consiste en utilizar menos bits para almacenar los números del modelo. Normalmente, un modelo puede utilizar números de 32 bits, pero con este método, esos números se reducen a valores de 8 bits, que son mucho más pequeños. Esto hace que el modelo ocupe menos espacio y permite que funcione más rápido. Lo mejor es que, aunque los números sean menos precisos, el modelo sigue funcionando bien con sólo un pequeño impacto en su precisión.

Imagina que almacenas valores de temperatura en una aplicación meteorológica. Los almacenarías con alta precisión (como números de 32 bits), que es más de lo que necesitas. Al reducir la precisión a 8 bits, puede que pierdas detalles, pero la aplicación seguirá siendo útil al tiempo que se ejecuta más rápido y utiliza menos memoria.

Esto es especialmente útil para desplegar la IA en dispositivos con memoria y potencia de cálculo limitadas, como los smartphones o los dispositivos periféricos.

La cuantificación es especialmente eficaz para desplegar modelos en dispositivos con recursos limitados, porque reduce los requisitos de memoria y mejora la velocidad de inferencia.

Aplicaciones de los pequeños modelos lingüísticos

La belleza de los SLM reside en su capacidad para ofrecer una IA potente sin necesidad de una infraestructura masiva o una conectividad constante a Internet, lo que abre muchísimas aplicaciones.

IA en el dispositivo

Pensemos en los asistentes móviles, esos asistentes de voz de tu teléfono que te ayudan a desenvolverte a lo largo del día. Los SLM lo hacen posible. Permiten la predicción de texto en tiempo real, los comandos de voz e incluso la traducción sin necesidad de enviar datos a la nube. Todo se hace localmente, lo que significa respuestas más rápidas e interacciones que preservan más la privacidad.

Por ejemplo, SwiftKey y Gboard utilizan SLM para proporcionar sugerencias de texto contextualmente precisas, lo que mejora la velocidad y la precisión de la escritura.

Esto también se extiende a las aplicaciones offline, en las que la IA puede seguir funcionando sin conexión a Internet, lo que la hace útil en zonas con conectividad limitada. 

Google Translate, por ejemplo, ofrece funciones de traducción offline basadas en SLM, lo que facilita la comunicación en zonas con acceso limitado a Internet.

IA personalizada

Una de las grandes ventajas de los SLM es que pueden personalizarse para tareas específicas o preferencias del usuario. Imagina tener en tu empresa un chatbot perfeccionado específicamente para la atención al cliente o una IA que sepa exactamente cómo atenderte basándose en tus interacciones anteriores. Como estos modelos son más pequeños, son mucho más fáciles de ajustar e implantar en distintos sectores.

Veamos algunos ejemplos:

• Sanidad: Los SLM pueden personalizarse para el análisis de textos médicos con el fin de proporcionar seguimiento y asesoramiento sanitario en tiempo real en wearables inteligentes. Funcionan independientemente de la conectividad continua a la nube.
• Dispositivos domésticos inteligentes: Los SLM integrados en sistemas domésticos inteligentes pueden aprender las preferencias individuales de temperatura e iluminación, ajustando automáticamente la configuración para distintas horas del día u ocasiones concretas.
• Educación: Las apps educativas que utilizan SLM pueden adaptarse a los estilos y ritmos de aprendizaje individuales, lo que proporciona orientación y apoyo personalizados a los alumnos.

Internet de las cosas

Los SLM se ejecutan silenciosamente en segundo plano en dispositivos cotidianos como tu sistema doméstico inteligente u otros gadgets. Ayudan a estos dispositivos a entenderte y responderte directamente sin necesidad de conectarse a Internet, haciéndolos más rápidos e inteligentes.

Otras aplicaciones

Los SLM están encontrando aplicaciones en muchos otros ámbitos:

• Traducción de idiomas en tiempo real: Los SLM hacen posible la traducción instantánea, que es importante para la comunicación global. Algunas aplicaciones de viajes utilizan ahora SLM para traducir señales, menús o indicaciones habladas en tiempo real. Esto ayuda a los usuarios a navegar en lenguas extranjeras.
• Sistemas de automoción: En los coches, los SLM proporcionan navegación inteligente, dando actualizaciones del tráfico en tiempo real y sugiriendo las mejores rutas. También mejoran los comandos de voz, permitiendo a los conductores controlar la música, hacer llamadas o enviar mensajes sin usar las manos.
• Sistemas de entretenimiento: Los televisores inteligentes y las consolas de videojuegos utilizan los SLM para el control por voz y para sugerirte programas o juegos basándose en lo que has visto o jugado antes.
• Atención al cliente: Los SLM ayudan a las empresas a gestionar las preguntas de los clientes de forma más eficaz. Las tiendas minoristas utilizan el SLM para responder a preguntas sobre productos, el estado de los pedidos o las políticas de devolución. Esto lleva a reducir la necesidad de asistencia humana al cliente.

LLMs vs. SLMs

Ahora, hablemos de cuándo hay que ir a lo grande con los LLM y cuándo los SLM son la mejor opción.

Complejidad de la tarea

Para tareas muy complejas como la comprensión profunda, la creación de contenidos largos o la resolución de problemas complicados, los modelos grandes como GPT-4o suelen funcionar mejor que los SLM. Pueden encargarse de estas tareas porque extraen una gran cantidad de datos para dar respuestas más detalladas. Sin embargo, el inconveniente es que este nivel de sofisticación requiere mucha potencia de cálculo y mucho tiempo.

Por ejemplo, si estás desarrollando un chatbot de propósito general que necesita manejar diferentes temas y consultas complejas, un LLM sería más adecuado. Sin embargo, para un bot especializado en atención al cliente centrado en una línea de productos específica, un SLM podría ser más que suficiente e incluso superar a un LLM debido a su formación centrada.

Limitación de recursos

Ahora bien, cuando tienes limitaciones de recursos, ahí es donde ganan los SLM. Requieren mucha menos potencia de cálculo para entrenarse y desplegarse. Son una gran opción si trabajas en un entorno de recursos limitados. 

En situaciones en las que la potencia de cálculo es limitada, como en los dispositivos móviles o la informática de borde, los SLM suelen ser la mejor opción, ya que ofrecen una buena combinación de rendimiento y eficiencia.

Entorno de despliegue

Si vas a desplegar la IA en un servidor en la nube donde los recursos no son un problema, un LLM puede ser el camino a seguir, especialmente si necesitas una gran precisión y fluidez en las respuestas. Pero si trabajas en dispositivos con una potencia de CPU o GPU limitada, como dispositivos IoT o aplicaciones móviles, los SLM son la solución perfecta.

Al considerar el entorno de despliegue, es esencial evaluar factores como la conectividad a Internet, los requisitos de latencia y los problemas de privacidad. Para las aplicaciones que necesitan funcionar sin conexión o con una latencia mínima, los SLM desplegados en el dispositivo o en el borde suelen ser la mejor opción.

Elegir entre LLM y SLM depende de la complejidad de la tarea, de los recursos de que dispongas y de dónde quieras desplegarlos. Las LLM son estupendas para tareas complejas que requieren gran precisión, mientras que las SLM son eficientes y pueden trabajar en más lugares.

Conclusión

Los SLM están haciendo que la IA sea mucho más accesible. A diferencia de los grandes modelos lingüísticos que necesitan toneladas de potencia de cálculo, los SLM funcionan con menos recursos. Esto significa que las empresas más pequeñas, los desarrolladores individuales e incluso las startups pueden utilizarlos sin necesidad de servidores masivos ni presupuestos enormes.

Para saber más sobre los pequeños modelos lingüísticos, te recomiendo estos dos recursos:

• Los mejores modelos de lenguas pequeñas
• Cómo ejecutar Llama 3.2 1B en un teléfono Android con Torchchat