Clasificación zero-shot: cómo funciona y cuándo usarla

¿Qué pasa cuando necesitas clasificar texto en una categoría nueva y no tienes ni un solo ejemplo etiquetado para entrenar?

Pues que no puedes tirar por la vía de los clasificadores tradicionales. Esperan ejemplos etiquetados para cada categoría que quieras predecir, lo que implica semanas de anotación antes de empezar a entrenar. Y en cuanto aparece una categoría nueva, vuelta a etiquetar.

La clasificación zero-shot es justo lo que deberías considerar. Se salta por completo la fase de etiquetado y permite que un modelo asigne etiquetas que nunca ha visto durante el entrenamiento. En la práctica, esto significa que puedes ordenar comentarios de clientes en categorías como "billing complaint" o "feature request" sin preparar ni un solo ejemplo de entrenamiento para ninguna de ellas.

En este artículo te explico cómo funciona la clasificación zero-shot, cómo se compara con los enfoques tradicionales y few-shot, y cómo aplicarla a tareas reales de PLN con Hugging Face Transformers.

¿Qué es exactamente Hugging Face? Apúntate a nuestro itinerario Hugging Face Fundamentals para crear agentes de IA y ajustar LLMs.

¿Qué es la clasificación zero-shot?

La clasificación zero-shot es un enfoque de machine learning en el que un modelo asigna etiquetas a los datos sin haber sido entrenado específicamente en esas etiquetas.

La clave está en ese "zero-shot": el modelo ve cero ejemplos de entrenamiento para las categorías que quieres predecir. Le pasas un texto y una lista de posibles etiquetas, y elige la mejor en función de lo que ya sabe.

Todo ese conocimiento viene del preentrenamiento. Los modelos grandes adquieren una comprensión amplia del lenguaje y los conceptos a partir de enormes corpus de texto, y recurren a ese conocimiento general cuando les pides clasificar algo nuevo.

Cómo funciona la clasificación zero-shot

El flujo de trabajo es sencillo si lo divides en pasos. Solo necesitas cuatro:

1. Introduce el texto o los datos: Lo que quieras clasificar: una reseña, un ticket de soporte, un titular, un fragmento de documentación.

2. Proporciona las etiquetas candidatas: Le das al modelo una lista de categorías posibles. Son palabras o frases cortas, como "product question", "refund request", "technical issue" o "general inquiry".

3. El modelo evalúa la relación entre entrada y etiquetas: Analiza cada etiqueta y puntúa qué tal encaja con la entrada en función de su entendimiento previo del lenguaje.

4. Se selecciona la etiqueta más probable: Devuelve como predicción la etiqueta con mayor puntuación, normalmente con una confianza para cada candidata.

La gracia es que puedes cambiar las etiquetas candidatas cuando quieras sin reentrenar. Si mañana quieres añadir una categoría nueva, la añades a la lista y listo. Es bastante rompedor si solo has trabajado con aprendizaje supervisado.

Clasificación zero-shot vs. clasificación tradicional

Ambos enfoques resuelven el mismo problema (asignar etiquetas a datos), pero llegan por caminos distintos.

Clasificación tradicional

Los clasificadores tradicionales aprenden de ejemplos etiquetados. Reúnes un conjunto de datos con cada elemento asignado a su categoría correcta, entrenas un modelo y este aprende los patrones que separan una clase de otra.

Funciona bien desde hace décadas, pero tiene dos grandes limitaciones:

• Necesitas datos de entrenamiento etiquetados: A menudo, muchos. Recopilarlos y anotarlos lleva tiempo y dinero, recursos finitos muy valiosos.
• El conjunto de etiquetas es fijo: Una vez entrenado, el modelo solo puede predecir las categorías que vio durante el entrenamiento. Añadir una clase nueva implica volver atrás y reentrenar.

Clasificación zero-shot

Zero-shot funciona justo al contrario. No hay entrenamiento específico para la tarea. El modelo usa lo aprendido en el preentrenamiento para evaluar cualquier etiqueta que le propongas.

Eso te da dos ventajas:

• Sin entrenamiento específico para la tarea: Te saltas por completo la recopilación, anotación y el entrenamiento.
• Conjunto de etiquetas flexible: Puedes cambiar las categorías sobre la marcha. Añadir nuevas, quitar antiguas, renombrarlas: el modelo lo gestiona sin reentrenar.

Las contrapartidas

Esta flexibilidad no sale gratis. Un clasificador tradicional entrenado con un buen conjunto etiquetado suele superar a un modelo zero-shot en esa tarea concreta. Ha visto exactamente el tipo de ejemplos que te importan y se ha ajustado a ellos.

Los modelos zero-shot son generalistas. Son buenos en muchas cosas, pero rara vez los mejores en una sola. Así que la elección depende de lo que necesites.

Si tienes datos etiquetados y te importa la máxima precisión en un conjunto fijo de categorías, entrena un clasificador tradicional. Si no tienes datos etiquetados o tus categorías cambian a menudo, zero-shot es el camino más rápido hacia una solución funcional.

El papel de los foundation models y los LLMs

La clasificación zero-shot se ha popularizado porque los modelos grandes preentrenados han alcanzado el nivel necesario para manejarla bien.

Antes de los foundation models, no podías darle a un modelo una lista de etiquetas nunca vistas y esperar predicciones razonables. No sabía lo suficiente de lenguaje para conectar los puntos. El preentrenamiento en enormes corpus cambió eso. Un modelo que ha "leído" buena parte de internet ya se ha topado miles de veces con palabras como "refund" o "complaint", así que emparejarlas con entradas nuevas pasa a ser posible.

Hoy, varias familias de modelos están detrás de la mayoría de flujos zero-shot:

• BERT y sus variantes: Los modelos tipo BERT aprenden representaciones profundas del texto durante el preentrenamiento. Variantes como RoBERTa y DeBERTa lo llevaron más lejos con mejores métodos de entrenamiento y datasets más grandes.
• Modelos basados en NLI: Son modelos ajustados en tareas de inferencia de lenguaje natural. Están detrás de la mayoría de pipelines zero-shot listas para usar, y en la siguiente sección te explico por qué.
• LLMs modernos: Modelos de lenguaje grandes como la familia GPT o Claude pueden manejar clasificación zero-shot mediante prompting. Describes la tarea en lenguaje natural, listas las categorías y el modelo elige una.

El hilo común es la escala y la generalidad. Un modelo entrenado en una tarea estrecha solo puede hacer esa tarea. Uno entrenado en texto amplio se puede redirigir a muchas tareas sin ver ejemplos etiquetados de ellas.

Inferencia de lenguaje natural (NLI) y clasificación zero-shot

La mayoría de clasificadores zero-shot que verás en la práctica se basan en modelos NLI. Suele sorprender, así que vamos paso a paso.

La inferencia de lenguaje natural es una tarea en sí misma. Dados dos enunciados (una premisa y una hipótesis), el modelo decide la relación entre ambos. La salida es una de tres etiquetas:

• Implicación (entailment): la hipótesis se deduce de la premisa.
• Contradicción: la hipótesis contradice la premisa.
• Neutral: no están relacionadas o no hay información suficiente para decidir.

Por ejemplo, si la premisa es "The team finished the project two weeks early" y la hipótesis es "The team delivered on time", un modelo NLI debería predecir implicación. Si la hipótesis es "The team missed the deadline", debería predecir contradicción.

Este planteamiento encaja muy bien con la clasificación zero-shot. Si tratas tu entrada como la premisa, puedes convertir cada etiqueta candidata en una hipótesis.

Imagina que quieres clasificar la frase "My package never arrived" en una de tres categorías: problema de envío, problema de facturación o duda sobre el producto. El modelo no las ve como etiquetas, sino como hipótesis, normalmente envueltas en una plantilla simple como "This text is about {label}":

• Premisa: "My package never arrived" | Hipótesis: "This text is about a shipping issue"

• Premisa: "My package never arrived" | Hipótesis: "This text is about a billing issue"

• Premisa: "My package never arrived" | Hipótesis: "This text is about a product question"

El modelo NLI puntúa cada pareja. La hipótesis con mayor puntuación de implicación gana, y esa etiqueta se convierte en la predicción.

El modelo nunca tuvo que aprender qué significa "shipping issue" o "billing issue" como etiquetas. Solo tuvo que aprender qué es la implicación en general, y eso lo adquirió durante el ajuste fino en NLI.

Por eso los enfoques zero-shot basados en NLI funcionan tan bien. El modelo hace la tarea para la que fue entrenado (juzgar implicación) y tú enmarcas tu problema de clasificación como una serie de preguntas de implicación.

Zero-shot vs. few-shot vs. modelos ajustados

Zero-shot no es la única forma de conseguir que un modelo haga una tarea de clasificación sin un entrenamiento completo. Comparemos con las alternativas.

Zero-shot

Zero-shot significa sin ejemplos. Le das al modelo una entrada y una lista de etiquetas candidatas, y hace la predicción en base a lo aprendido durante el preentrenamiento.

El modelo no ha visto datos etiquetados para tu tarea concreta. Trabaja únicamente con conocimiento general.

Few-shot

Few-shot aporta un puñado de ejemplos, normalmente dentro del prompt. Le muestras dos, cinco, quizá diez ejemplos de entradas con sus etiquetas correctas y luego le pides clasificar una nueva del mismo modo.

Aquí no hay reentrenamiento. El modelo sigue usando sus pesos preentrenados. Los ejemplos sirven de referencia: un rápido "esto es a lo que me refiero con estas categorías" antes de pedir la predicción.

Fine-tuning

El ajuste fino es un proceso de entrenamiento dedicado. Tomas un modelo preentrenado, le das un dataset etiquetado para tu tarea y actualizas sus pesos hasta que acierta tus categorías específicas.

Es la opción más pesada. Necesitas datos etiquetados, infraestructura de entrenamiento y tiempo. A cambio, el modelo se especializa en tu tarea.

Comparación de los tres

Difieren en tres aspectos clave en la práctica: precisión, flexibilidad y coste.

Comparativa del aprendizaje zero-shot frente a alternativas

De esta tabla merece la pena destacar varias cosas.

La precisión no sigue un ranking lineal. El fine-tuning gana cuando tienes suficientes datos etiquetados y tu tarea es estable. Pero en una tarea nueva, sin ejemplos de los que aprender, el fine-tuning ni siquiera es una opción, y zero-shot se convierte en la única elección realista.

La flexibilidad va en sentido contrario. Zero-shot te permite cambiar categorías cuando quieras. Los modelos ajustados quedan atados al conjunto de etiquetas con el que se entrenaron.

El coste es el más evidente. Zero-shot cuesta casi nada ponerlo en marcha. Few-shot añade una pequeña fase de anotación. El fine-tuning es un proyecto en sí mismo y requiere infraestructura dedicada.

El flujo más habitual es empezar con zero-shot para ver si la tarea es viable. Si la precisión no basta, pasar a few-shot. Si aún no llega y la tarea importa, hacer fine-tuning.

Clasificación zero-shot en PLN

La clasificación zero-shot aparece en muchos flujos de PLN, sobre todo cuando escasean los datos etiquetados o las categorías cambian con frecuencia. Estas son las aplicaciones más comunes.

Análisis de sentimiento

El punto de partida clásico. Le pasas al modelo un texto y le pides elegir entre etiquetas como "positive", "negative" y "neutral".

Lo interesante es lo fácil que es ir más allá del trío estándar. Un clasificador de sentimiento tradicional está atado a lo que se entrenó. Con zero-shot, puedes usar etiquetas más específicas como "frustrated", "satisfied", "confused" o "excited" y el modelo las maneja sin reentrenar. Es ideal para feedback de producto o monitorización en redes, donde las emociones que te interesan dependen del contexto.

Clasificación por temas

La clasificación temática ordena documentos por áreas. Artículos de noticias en "politics", "sports", "technology", "finance". Tickets de soporte en "billing", "shipping", "account access", "feature request".

Con zero-shot, montarlo es trivial. No necesitas un dataset etiquetado para cada tema nuevo. Si tu producto lanza una función y quieres rastrear tickets sobre ella, basta con añadir "new feature feedback" a tu lista de etiquetas candidatas y ya está.

Detección de intención

La detección de intención identifica lo que el usuario quiere hacer. Es el motor de la mayoría de chatbots y asistentes de voz. Cuando alguien escribe "I need to change my password", el modelo debe reconocer la intención como "password reset" y no como, por ejemplo, "general security question".

Aquí es donde zero-shot brilla. Los productos reales no paran de añadir nuevas intenciones y reentrenar un clasificador cada vez que el equipo de producto añade algo es mucho trabajo. Zero-shot te permite mantener actualizada la lista de intenciones sin tocar el modelo.

Moderación de contenido

La moderación de contenido marca texto problemático: cosas como "hate speech", "spam", "harassment" o "misinformation". Las plataformas tienen que actualizar sus políticas y las categorías cambian conforme surgen nuevos abusos.

Zero-shot encaja de maravilla. Los equipos de moderación pueden ajustar definiciones o añadir categorías según evolucionen las políticas, sin pedir un ciclo de reentrenamiento al equipo de ingeniería. Suele combinarse con clasificadores tradicionales para los casos de gran volumen, pero zero-shot cubre la cola larga de categorías sin suficientes ejemplos etiquetados para entrenar.

Clasificación zero-shot con Hugging Face Transformers

La librería transformers de Hugging Face es la forma más sencilla de probar clasificación zero-shot en Python. La API pipeline oculta casi todo el manejo del modelo, así que puedes pasar de cero a predicciones en un par de líneas.

La primera vez que ejecutes este fragmento, se descargará el modelo, así que tardará un poco.

Aquí tienes un ejemplo completo que puedes ejecutar:

from transformers import pipeline
from pprint import pprint

# Load a zero-shot classification pipeline
classifier = pipeline(
    "zero-shot-classification",
    model="facebook/bart-large-mnli"
)

# The text you want to classify
text = "My package never arrived and customer support hasn't responded in three days."

# The labels you want the model to choose from
candidate_labels = [
    "shipping issue",
    "billing issue",
    "product question",
    "general inquiry"
]

# Run the classification
result = classifier(text, candidate_labels)

pprint(result)

La salida es un diccionario con tres campos: la entrada original, las etiquetas candidatas ordenadas de más a menos probables y la confianza para cada una.

Salida del pipeline

"shipping issue" gana con una confianza de 0,82. El modelo nunca vio ejemplos etiquetados de quejas de envío durante el entrenamiento, pero lo dedujo gracias al modelo preentrenado bart-large-mnli, ajustado con datos de NLI como explicamos antes.

Hay varios puntos a destacar de este flujo:

• El modelo es un modelo NLI: bart-large-mnli es BART ajustado sobre el dataset MultiNLI. Cuando llamas al pipeline, convierte tus etiquetas en hipótesis por debajo y las pasa por el modelo.

• Puedes cambiar etiquetas cuando quieras: No hay que cambiar nada del modelo. Sustituye la lista candidate_labels por otra y clasificarás en categorías distintas.

• Multi-etiqueta en un paso: Pon multi_label=True al llamar al pipeline y las etiquetas dejarán de competir entre sí. Cada una obtiene una probabilidad independiente, así que una entrada puede pertenecer a varias categorías.

result = classifier(text, candidate_labels, multi_label=True)
pprint(result)

Salida multi-etiqueta

Ese es todo el flujo. Carga el pipeline, define las etiquetas y llama al clasificador. Mucho más rápido y sencillo que construir un modelo de clasificación desde cero.

Errores comunes con la clasificación zero-shot

La clasificación zero-shot es fácil de montar, y por eso mismo es fácil usarla mal. Estos son los fallos más habituales en proyectos reales.

Elegir etiquetas vagas

Las etiquetas son cómo le explicas la tarea al modelo. Si son vagas, las predicciones también lo serán.

"good" y "bad" no dicen gran cosa al modelo. "customer is happy with the product" y "customer is reporting a problem with the product" le dan material con el que trabajar. Cuanto más se parezcan tus etiquetas a frases con sentido, mejor las puntuará frente a las entradas.

Además, evita etiquetas que se solapen. Si "complaint" y "negative feedback" aparecen ambas en tu lista, el modelo repartirá su confianza entre ellas y ninguna destacará con claridad.

Suponer que zero-shot iguala al fine-tuning

Este es el más común. Zero-shot es bueno, pero no hace milagros.

Un modelo ajustado con unos miles de ejemplos etiquetados para tu tarea casi siempre superará a uno zero-shot en esa misma tarea. Si ves un 85% con zero-shot y necesitas un 95% en producción, por mucho que ajustes etiquetas no cerrarás esa brecha. En ese punto, el fine-tuning es la respuesta.

Usa zero-shot cuando no tienes datos etiquetados, cuando tus categorías cambian a menudo o cuando "suficientemente bueno" es realmente suficiente. No lo elijas solo porque es más rápido de montar y te sorprendas luego si rinde por debajo en una tarea crítica.

Evaluar con datasets demasiado estrechos

Suele pasar así: montas un clasificador zero-shot, lo pruebas en 50 ejemplos escritos por ti y acierta todos. Lo lanzas y, al llegar a producción, todo el mundo se queja de lo mal que va.

Esos 50 ejemplos no representan lo que envían usuarios reales. Son más limpios, obvios y alineados con tu manera de pensar las categorías. Evalúa con datos parecidos a los que verá el modelo de verdad: texto generado por usuarios, con faltas, jerga y casos límite. Si aún no los tienes, toma unas cientos de entradas reales y etiquétalas a mano antes de fiarte de los números.

Ignorar el lenguaje específico del dominio

Los modelos zero-shot de propósito general conocen el lenguaje general. No conocen la jerga de tu sector.

Terminología médica, lenguaje legal, siglas financieras, especificaciones de ingeniería... todos tienen vocabularios estrechos que los modelos han visto, pero no en profundidad. Si pides a un modelo general que clasifique una frase llena de códigos ICD-10 o mensajes de error de SQL, espera resultados desiguales.

Tienes dos opciones: o reescribes tus etiquetas en lenguaje llano que el modelo entienda mejor, o pasas a un modelo preentrenado con texto de tu dominio. BioBERT para textos médicos, FinBERT para finanzas y otros modelos específicos suelen superar a los generales en tareas especializadas.

Por qué la clasificación zero-shot importa en la IA moderna

La clasificación zero-shot es una de las demostraciones más claras de cómo los foundation models han cambiado lo posible en IA.

Hace una década, toda tarea de clasificación empezaba igual: ¿tenemos datos etiquetados? y, si no, ¿cómo los conseguimos? Los proyectos de anotación duraban meses, requerían presupuesto, coordinación con proveedores y control de calidad. El modelo ni podía construirse hasta que existieran los datos.

Esa suposición ya no es cierta.

Un foundation model entrenado en texto amplio sabe lo suficiente de lenguaje como para abordar una tarea nueva en cuanto se la describes. Solo tienes que definir la lista de etiquetas.

Este cambio es importante por varias razones que conectan con tendencias más amplias en IA:

• Muestra para qué sirven realmente los foundation models: El objetivo del preentrenamiento a gran escala es crear un modelo lo bastante general como para redirigirlo a muchas tareas sin reentrenar. La clasificación zero-shot es uno de los ejemplos más claros de esa promesa en acción.
• Reduce la dependencia de datasets supervisados: Los datos etiquetados siguen siendo útiles, pero ya no son imprescindibles para crear un clasificador funcional. Los equipos sin presupuesto para anotación pueden desplegar funcionalidades de IA valiosas.
• Acelera el despliegue: Una funcionalidad de clasificación que antes tardaba un trimestre en lanzarse ahora puede prototiparse en una tarde. Esto influye en lo que los equipos deciden construir, porque el coste de probar ha caído casi a cero.

La tendencia de fondo es pasar de modelos específicos de tarea a modelos de propósito general. El fine-tuning sigue teniendo su lugar, y entrenar desde cero también cuando la tarea lo exige. Pero el punto de partida por defecto ha cambiado. Primero recurres a un modelo preentrenado y solo especializas cuando los datos lo justifican.