Ein einführender Leitfaden zur Feinabstimmung von LLMs

Wir wissen bereits, dass das Feintuning ein Prozess ist, bei dem man ein bereits trainiertes Modell nimmt und seine Parameter aktualisiert, indem man es auf einem für deine Aufgabe spezifischen Datensatz trainiert. Veranschaulichen wir uns dieses Konzept also anhand eines echten Modells.

Stell dir vor, wir arbeiten mit GPT-2, aber wir stellen fest, dass es ziemlich schlecht darin ist, die Stimmung von Tweets zu erkennen.

Eine Frage, die sich natürlich aufdrängt, ist: Können wir etwas tun, um seine Leistung zu verbessern?

Wir können uns die Feinabstimmung zunutze machen, indem wir unser vortrainiertes GPT-2-Modell aus dem Hugging Face-Modell mit einem Datensatz trainieren, der Tweets und die dazugehörigen Stimmungen enthält, damit sich die Leistung verbessert. Hier ist ein einfaches Beispiel für die Feinabstimmung eines Modells zur Sequenzklassifizierung:

Schritt 1: Wähle ein vortrainiertes Modell und einen Datensatz

Für die Feinabstimmung eines Modells müssen wir immer ein bereits trainiertes Modell im Kopf haben. In unserem Fall werden wir eine einfache Feinabstimmung mit GPT-2 durchführen.

Screenshot des Hugging Face Datasets Hub. Wähle das GPT2-Modell von OpenAI.

Denke immer daran, eine für deine Aufgabe geeignete Modellarchitektur auszuwählen.

Schritt 2: Lade die zu verwendenden Daten

Jetzt, wo wir unser Modell haben, brauchen wir Daten von guter Qualität, mit denen wir arbeiten können, und genau hier kommt die datasets Bibliothek ins Spiel.

In meinem Fall verwende ich die Hugging Face Datasets Library, um einen Datensatz mit Tweets zu importieren, die nach ihrer Stimmung (positiv, neutral oder negativ) segmentiert sind.

from datasets import load_dataset

dataset = load_dataset("mteb/tweet_sentiment_extraction")
df = pd.DataFrame(dataset['train'])

Wenn wir uns den Datensatz ansehen, den wir gerade heruntergeladen haben, ist es ein Datensatz, der eine Teilmenge zum Trainieren und eine Teilmenge zum Testen enthält. Wenn wir die Trainingsuntermenge in einen Datenrahmen umwandeln, sieht er wie folgt aus.

Der zu verwendende Datensatz.

Schritt 3: Tokenizer

Jetzt, wo wir unseren Datensatz haben, brauchen wir einen Tokenizer, um ihn für das Parsen durch unser Modell vorzubereiten.

Da LLMs mit Token arbeiten, benötigen wir einen Tokenizer, um den Datensatz zu verarbeiten. Um deinen Datensatz in einem Schritt zu verarbeiten, wendest du mit der Methode Datensätze zuordnen eine Vorverarbeitungsfunktion auf den gesamten Datensatz an.

Deshalb laden wir im zweiten Schritt einen vortrainierten Tokenizer und tokenisieren unseren Datensatz, damit er für die Feinabstimmung verwendet werden kann.

from transformers import GPT2Tokenizer

# Loading the dataset to train our model
dataset = load_dataset("mteb/tweet_sentiment_extraction")

tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
tokenizer.pad_token = tokenizer.eos_token
def tokenize_function(examples):
   return tokenizer(examples["text"], padding="max_length", truncation=True)

tokenized_datasets = dataset.map(tokenize_function, batched=True)

BONUS: Um unsere Anforderungen an die Verarbeitung zu verbessern, können wir eine kleinere Teilmenge des gesamten Datensatzes erstellen, um unser Modell fein abzustimmen. Die Trainingsmenge wird zur Feinabstimmung unseres Modells verwendet, während die Testmenge dazu dient, es zu bewerten.

small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(1000))
small_eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(1000))

Schritt 4: Unser Basismodell initialisieren

Lade zunächst dein Modell und gib die Anzahl der erwarteten Beschriftungen an. Aus der Karte des Tweet-Sentiment-Datensatzes weißt du, dass es drei Labels gibt:

from transformers import GPT2ForSequenceClassification

model = GPT2ForSequenceClassification.from_pretrained("gpt2", num_labels=3)

Schritt 5: Methode auswerten

Transformers bietet eine für die Ausbildung optimierte Trainerklasse. Diese Methode beinhaltet jedoch nicht, wie das Modell zu bewerten ist. Deshalb müssen wir vor Beginn des Trainings Trainer eine Funktion übergeben, um die Leistung unseres Modells zu bewerten.

import evaluate

metric = evaluate.load("accuracy")

def compute_metrics(eval_pred):
   logits, labels = eval_pred
   predictions = np.argmax(logits, axis=-1)
   return metric.compute(predictions=predictions, references=labels)

Schritt 6: Feinabstimmung mit der Trainer-Methode

Unser letzter Schritt besteht darin, die Trainingsargumente festzulegen und den Trainingsprozess zu starten. Die Transformers-Bibliothek enthält die Klasse Trainer, die eine Vielzahl von Trainingsoptionen und Funktionen wie Protokollierung, Gradientenakkumulation und gemischte Präzision unterstützt. Zuerst definieren wir die Trainingsargumente zusammen mit der Bewertungsstrategie. Sobald alles definiert ist, können wir das Modell ganz einfach mit dem Befehl train() trainieren.

from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(
   output_dir="test_trainer",
   #evaluation_strategy="epoch",
   per_device_train_batch_size=1,  # Reduce batch size here
   per_device_eval_batch_size=1,    # Optionally, reduce for evaluation as well
   gradient_accumulation_steps=4
   )


trainer = Trainer(
   model=model,
   args=training_args,
   train_dataset=small_train_dataset,
   eval_dataset=small_eval_dataset,
   compute_metrics=compute_metrics,

)

trainer.train()

Nach dem Training bewertest du die Leistung des Modells anhand eines Validierungs- oder Testsatzes. Auch hier enthält die Trainerklasse bereits eine Evaluierungsmethode, die sich um diese Aufgabe kümmert.

import evaluate

trainer.evaluate()

Dies sind die grundlegendsten Schritte, um eine Feinabstimmung eines LLM durchzuführen. Denk daran, dass die Feinabstimmung eines LLM sehr rechenintensiv ist und dein lokaler Computer dafür möglicherweise nicht genug Leistung hat.

Du kannst lernen, wie du leistungsstärkere LLMs direkt auf der OpenAI-Oberfläche feinabstimmen kannst, indem du diesem Tutorial über die Feinabstimmung von GPT 3.5 folgst .

Feinabstimmung der Best Practices

Um eine erfolgreiche Feinabstimmung zu gewährleisten, solltest du die folgenden Best Practices beachten:

Datenqualität und -quantität

Die Qualität deines Feinabstimmungsdatensatzes wirkt sich erheblich auf die Leistung des Modells aus. Wir alle kennen den Satz:

"Garbage In, Garbage Out"

Achte also immer darauf, dass die Daten sauber, relevant und ausreichend groß sind.

Hyperparameter-Abstimmung

Die Feinabstimmung ist in der Regel ein langer Prozess, der immer wieder wiederholt werden muss. Probiere immer verschiedene Einstellungen für Lernraten, Stapelgrößen und die Anzahl der Trainingsepochen aus, um die beste Einstellung für dein Projekt zu finden.

Präzise Anpassungen sind der Schlüssel, um sicherzustellen, dass das Modell effizient lernt und sich gut an die ungesehenen Daten anpasst, damit es nicht zu einer Überanpassung kommt.

Regelmäßige Bewertung

Überprüfe regelmäßig die Fortschritte des Modells während der Ausbildung, um seine Effektivität zu verfolgen und notwendige Änderungen vorzunehmen. Dabei wird die Leistung des Modells während des gesamten Trainingszeitraums anhand eines bestimmten Validierungsdatensatzes bewertet.

Eine solche Bewertung ist wichtig, um die Leistung des Modells für die jeweilige Aufgabe und seine mögliche Überanpassung an den Trainingsdatensatz zu bestimmen. Anhand der Ergebnisse aus der Validierungsphase können bei Bedarf Anpassungen vorgenommen werden, um die Leistung zu optimieren.

LLM-Feinschliff-Fallen vermeiden

Die Feinabstimmung kann manchmal zu suboptimalen Ergebnissen führen. Hüte dich vor den folgenden Fallstricken:

Überanpassung

Die Verwendung eines kleinen Datensatzes für das Training oder eine zu große Anzahl von Epochen kann zu einer Überanpassung führen. Dies ist in der Regel dadurch gekennzeichnet, dass das Modell in unserem Trainingsdatensatz eine hohe Genauigkeit aufweist, aber nicht auf neue Daten verallgemeinert werden kann.

Underfitting

Umgekehrt kann ein unzureichendes Training oder eine niedrige Lernrate zu einer Unteranpassung führen, bei der das Modell die Aufgabe nicht ausreichend lernt.

Katastrophisches Vergessen

Bei der Feinabstimmung für eine bestimmte Aufgabe besteht die Gefahr, dass das Modell das breite Wissen, das es ursprünglich erworben hat, verliert. Dieses Problem, das als katastrophales Vergessen bezeichnet wird, kann die Fähigkeit des Modells beeinträchtigen, bei einer Vielzahl von Aufgaben der natürlichen Sprachverarbeitung gut abzuschneiden.

Datenleck

Achte immer darauf, dass Trainings- und Validierungsdatensätze getrennt sind und sich nicht überschneiden, da dies zu irreführenden Leistungskennzahlen führen kann.

Feinabstimmung vs. RAG

RAG kombiniert die Stärken von Retrieval-basierten Modellen und generativen Modellen. In RAG durchsucht eine Retriever-Komponente eine große Datenbank oder Wissensbasis, um relevante Informationen auf der Grundlage der eingegebenen Anfrage zu finden. Diese abgerufenen Informationen werden dann von einem generativen Modell verwendet, um eine genauere und kontextbezogene Antwort zu geben. Die wichtigsten Vorteile der RAG sind:

• Dynamische Wissensintegration: Bezieht Echtzeitinformationen aus externen Quellen mit ein und eignet sich daher für Aufgaben, die aktuelles oder spezifisches Wissen erfordern.
• Kontextuelle Relevanz: Verbessert die Antworten des generativen Modells, indem es zusätzlichen Kontext aus den abgerufenen Dokumenten liefert.
• Vielseitigkeit: Kann eine größere Bandbreite an Abfragen bearbeiten, einschließlich solcher, die spezielle oder seltene Informationen erfordern, auf die das Modell möglicherweise nicht trainiert wurde.

Die Wahl zwischen Feinabstimmung und RAG

Wenn du entscheidest, ob du die Feinabstimmung oder die RAG nutzen willst, solltest du die folgenden Faktoren berücksichtigen:

• Art der Aufgabe: Bei Aufgaben, die von hochspezialisierten Modellen profitieren (z. B. bei domänenspezifischen Anwendungen), ist die Feinabstimmung oft der bevorzugte Ansatz. RAG ist ideal für Aufgaben, die die Integration von externem Wissen oder das Abrufen von Informationen in Echtzeit erfordern.
• Datenverfügbarkeit: Die Feinabstimmung erfordert eine beträchtliche Menge an beschrifteten Daten für die jeweilige Aufgabe. Wenn solche Daten knapp sind, kann die Abrufkomponente der RAG dies ausgleichen, indem sie relevante Informationen aus externen Quellen bereitstellt.
• Ressourcenbeschränkungen: Die Feinabstimmung kann sehr rechenintensiv sein, wohingegen RAG bestehende Datenbanken nutzt, um das generative Modell zu ergänzen, wodurch der Bedarf an umfangreichem Training reduziert werden kann.

Fazit

Der Einstieg in die Feinabstimmung großer Sprachmodelle eröffnet eine Welt voller Möglichkeiten für KI-Anwendungen.

Wenn du die beschriebenen Konzepte, Praktiken und Vorsichtsmaßnahmen verstehst und anwendest, kannst du diese leistungsstarken Modelle effektiv an deine spezifischen Bedürfnisse anpassen und dabei ihr volles Potenzial ausschöpfen.

Um mehr über die Feinabstimmung zu lernen, empfehle ich dir, einige fortgeschrittene Feinabstimmungen durchzuführen. Du kannst mit dem Kurs "LLM-Konzepte" von DataCamp beginnen, der viele der wichtigsten Schulungsmethoden und die neuesten Forschungsergebnisse abdeckt. Einige andere gute Quellen sind:

• Eine Schritt-für-Schritt-Anleitung für die Verwendung und Feinabstimmung von Mistral 7B.
• Fine-Tuning LLaMA 2: Eine Schritt-für-Schritt-Anleitung zur Anpassung des großen Sprachmodells
• Feinabstimmung deines eigenen Llama 2 Modells Code- Entlang
• Feinabstimmung von Stable Diffusion XL mit DreamBooth und LoRA