Guía introductoria para el ajuste preciso de los LLM

Ya sabemos que el ajuste preciso es el proceso de tomar un modelo preentrenado y actualizar sus parámetros entrenándolo en un conjunto de datos específico para tu tarea. Así pues, ejemplifiquemos este concepto ajustando un modelo real.

Imagina que estamos trabajando con GPT-2, pero detectamos que es bastante malo a la hora de inferir los sentimientos de los tuits.

Una pregunta natural que me viene a la mente es: ¿podemos hacer algo para mejorar su rendimiento?

Podemos aprovechar el ajuste entrenando nuestro modelo GPT-2 preentrenado a partir del modelo Hugging Face con un conjunto de datos que contenga tuits y sus correspondientes sentimientos, de modo que mejore el rendimiento. He aquí un ejemplo básico de ajuste preciso de un modelo de clasificación de secuencias:

Paso 1: Elegir un modelo preentrenado y un conjunto de datos

Para afinar un modelo, siempre necesitamos tener en mente un modelo preentrenado. En nuestro caso, vamos a realizar algunos ajustes precisos sencillos utilizando GPT-2.

Captura de pantalla de Hugging Face Datasets Hub. Se selecciona el modelo GPT2 de OpenAI.

Ten siempre presente seleccionar un modelo de arquitectura adecuado a tu tarea.

Paso 2: Cargar los datos a utilizar

Ahora que tenemos nuestro modelo, necesitamos datos de buena calidad con los que trabajar, y aquí es precisamente donde entra en juego la biblioteca datasets.

En mi caso, utilizaré la biblioteca de conjuntos de datos Hugging Face para importar un conjunto de datos que contenga tuits segmentados por su sentimiento (positivo, neutral o negativo).

from datasets import load_dataset

dataset = load_dataset("mteb/tweet_sentiment_extraction")
df = pd.DataFrame(dataset['train'])

Si comprobamos el conjunto de datos que acabamos de descargar, se trata de un conjunto de datos que contiene un subconjunto para entrenamiento y otro para pruebas. Si convertimos el subconjunto de entrenamiento en un marco de datos, tiene el siguiente aspecto.

El conjunto de datos que se va a utilizar.

Paso 3: Tokenizador

Ahora que ya tenemos nuestro conjunto de datos, necesitamos un tokenizador que lo prepare para que lo analice nuestro modelo.

Como los LLM trabajan con tokens, necesitamos un tokenizador para procesar el conjunto de datos. Para procesar tu conjunto de datos en un solo paso, utiliza el método de mapa de conjuntos de datos para aplicar una función de preprocesamiento sobre todo el conjunto de datos.

Por eso, el segundo paso consiste en cargar un Tokenizer preentrenado y tokenizar nuestro conjunto de datos para poder utilizarlo en el ajuste preciso.

from transformers import GPT2Tokenizer

# Loading the dataset to train our model
dataset = load_dataset("mteb/tweet_sentiment_extraction")

tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
tokenizer.pad_token = tokenizer.eos_token
def tokenize_function(examples):
   return tokenizer(examples["text"], padding="max_length", truncation=True)

tokenized_datasets = dataset.map(tokenize_function, batched=True)

CONSEJO EXTRA: Para mejorar nuestros requisitos de procesamiento, podemos crear un subconjunto más pequeño del conjunto de datos completo para afinar nuestro modelo. El conjunto de entrenamiento se utilizará para realizar un ajuste preciso nuestro modelo, mientras que el conjunto de pruebas se utilizará para evaluarlo.

small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(1000))
small_eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(1000))

Paso 4: Inicializar nuestro modelo base

Empieza cargando tu modelo y especifica el número de etiquetas previstas. Por la ficha del conjunto de datos de sentimiento del tuit, sabes que hay tres etiquetas:

from transformers import GPT2ForSequenceClassification

model = GPT2ForSequenceClassification.from_pretrained("gpt2", num_labels=3)

Paso 5: Evaluar el método

Transformers proporciona una clase de entrenador optimizada para el entrenamiento. Sin embargo, este método no incluye cómo evaluar el modelo. Por eso, antes de empezar nuestro entrenamiento, tendremos que pasar a un entrenador una función para evaluar el rendimiento de nuestro modelo.

import evaluate

metric = evaluate.load("accuracy")

def compute_metrics(eval_pred):
   logits, labels = eval_pred
   predictions = np.argmax(logits, axis=-1)
   return metric.compute(predictions=predictions, references=labels)

Paso 6: Ajuste preciso utilizando el método del entrenador

Nuestro último paso es configurar los argumentos de entrenamiento e iniciar el proceso de entrenamiento. La biblioteca de transformadores contiene la clase entrenador, que admite una amplia gama de opciones y funciones de entrenamiento, como el registro, la acumulación de gradientes y la precisión mixta. Primero definimos los argumentos de entrenamiento junto con la estrategia de evaluación. Una vez definido todo, podemos entrenar fácilmente el modelo utilizando simplemente el comando train().

from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(
   output_dir="test_trainer",
   #evaluation_strategy="epoch",
   per_device_train_batch_size=1,  # Reduce batch size here
   per_device_eval_batch_size=1,    # Optionally, reduce for evaluation as well
   gradient_accumulation_steps=4
   )


trainer = Trainer(
   model=model,
   args=training_args,
   train_dataset=small_train_dataset,
   eval_dataset=small_eval_dataset,
   compute_metrics=compute_metrics,

)

trainer.train()

Tras el entrenamiento, evalúa el rendimiento del modelo en un conjunto de validación o prueba. De nuevo, la clase Entrenador ya contiene un método de evaluación que se encarga de esto.

import evaluate

trainer.evaluate()

Estos son los pasos más básicos para realizar un ajuste preciso de cualquier LLM. Recuerda que afinar un LLM es muy exigente desde el punto de vista computacional, y puede que tu ordenador local no tenga potencia suficiente para hacerlo.

Puedes aprender a afinar LLM más potentes directamente en la interfaz de OpenAI siguiendo este tutorial sobre Cómo ajustar con precisión GPT 3.5.

Perfecciona las prácticas recomendadas

Para garantizar el éxito del ajuste preciso, ten en cuenta las siguientes buenas prácticas:

Calidad y cantidad de datos

La calidad de tu conjunto de datos de ajuste preciso influye significativamente en el rendimiento del modelo. Todos conocemos la frase:

“Garbage In, Garbage Out” (basura entra, basura sale)

Por tanto, asegúrate siempre de que los datos estén limpios, sean relevantes y suficientemente grandes.

Ajuste de hiperparámetros

El ajuste preciso suele ser un proceso largo que hay que repetir. Explora siempre varias configuraciones para los ritmos de aprendizaje, el tamaño de los lotes y el número de épocas de entrenamiento para identificar la mejor configuración para tu proyecto.

Unos ajustes precisos son fundamentales para garantizar que el modelo aprenda con eficacia y se adapte bien a los datos no vistos, para evitar el escollo del sobreajuste.

Evaluación periódica

Evalúa periódicamente el progreso del modelo durante el entrenamiento para hacer un seguimiento de su eficacia y aplicar las modificaciones necesarias. Esto implica evaluar el rendimiento del modelo utilizando un conjunto de datos de validación distinto a lo largo del periodo de entrenamiento.

Dicha evaluación es fundamental para determinar el rendimiento del modelo en la tarea en cuestión y su potencial de sobreajuste al conjunto de datos de entrenamiento. Según los resultados de la fase de validación, se pueden hacer los ajustes necesarios para optimizar el rendimiento.

Cómo evitar los escollos del ajuste preciso del LLM

El ajuste preciso a veces puede conducir a resultados subóptimos. Ten cuidado con las siguientes trampas:

Sobreajuste

Utilizar un conjunto de datos pequeño para el entrenamiento o ampliar excesivamente el número de épocas puede producir un sobreajuste. Esto suele caracterizarse porque el modelo muestra una gran precisión en nuestro conjunto de datos de entrenamiento, pero no consigue generalizarse a nuevos datos.

Subajuste

Por el contrario, un entrenamiento insuficiente o una tasa de aprendizaje baja pueden dar lugar a un ajuste insuficiente, en el que el modelo no consigue aprender la tarea adecuadamente.

Olvido catastrófico

En el proceso de ajuste para una tarea concreta, existe el riesgo de que el modelo pierda el amplio conocimiento que adquirió inicialmente. Este problema, denominado olvido catastrófico, puede disminuir la capacidad del modelo para rendir bien en diversas tareas de procesamiento del lenguaje natural.

Vulneración de datos

Asegúrate siempre de que los conjuntos de datos de entrenamiento y validación están separados y no se solapan, ya que esto puede dar lugar a métricas de alto rendimiento engañosas.

Ajuste preciso frente a RAG

RAG combina los puntos fuertes de los modelos basados en la recuperación y los modelos generativos. En el GAR, un componente recuperador busca en una gran base de datos o de conocimientos para encontrar información relevante en función de la consulta introducida. A continuación, un modelo generativo utiliza esta información recuperada para producir una respuesta más precisa y contextualmente relevante. Las principales ventajas del GAR son:

• Integración dinámica del conocimiento: Incorpora información en tiempo real de fuentes externas, lo que la hace adecuada para tareas que requieren conocimientos actualizados o específicos.
• Relevancia contextual: Mejora las respuestas del modelo generativo proporcionando contexto adicional a partir de los documentos recuperados.
• Versatilidad: Puede manejar una gama más amplia de consultas, incluidas las que requieren información específica o poco frecuente con la que el modelo puede no haber sido entrenado.

Elegir entre ajuste preciso y RAG

Cuando decidas si utilizar el ajuste preciso o el RAG, ten en cuenta los siguientes factores:

• Naturaleza de la tarea: Para las tareas que se benefician de modelos altamente especializados (por ejemplo, aplicaciones específicas del dominio), el ajuste preciso suele ser el enfoque preferido. RAG es ideal para tareas que requieren la integración de conocimientos externos o la recuperación de información en tiempo real.
• Disponibilidad de los datos: El ajuste preciso requiere una cantidad considerable de datos etiquetados específicos de la tarea. Si esos datos son escasos, el componente de recuperación de RAG puede compensarlo proporcionando información relevante de fuentes externas.
• Limitaciones de recursos: El ajuste preciso puede ser computacionalmente intensivo, mientras que el RAG aprovecha las bases de datos existentes para complementar el modelo generativo, lo cual reduce potencialmente la necesidad de un entrenamiento exhaustivo.

Conclusión

Embarcarse en el viaje del ajuste preciso grandes modelos lingüísticos abre un mundo de posibilidades para las aplicaciones de IA.

Al comprender y aplicar los conceptos, prácticas y precauciones expuestos, se pueden adaptar eficazmente estos poderosos modelos para satisfacer necesidades específicas, liberando todo su potencial en el proceso.

Para obtener más información sobre el ajuste preciso, te animo encarecidamente a que realices algunos ajustes precisos más avanzados. Puedes empezar con el curso Conceptos LLM de DataCamp, que abarca muchas de las metodologías de formación clave y las últimas investigaciones. Otros buenos recursos a seguir son:

• Guía paso a paso para utilizar y ajustar Mistral 7B.
• Ajuste preciso de LLaMA 2: Guía paso a paso para personalizar un gran modelo lingüístico
• Ajuste preciso de tu propio modelo Llama 2, code-along
• Ajuste preciso de Stable Diffusion XL con DreamBooth y LoRA