Nach diesen Kursen fühle ich mich sicher, professionelle Visualisierungen und Dashboards zu erstellen.
Shoebur RahmanBeschaffungsspezialist, Giz Bangladesh
Kursbeschreibung
Feinabstimmung des Llama-Modells
Dieser Kurs ist ein umfassender Leitfaden für die Vorbereitung und Arbeit mit Llama-Modellen. Mit praktischen Beispielen und Übungen lernst du, wie du verschiedene Llama-Feinabstimmungsaufgaben einrichtest.Datensätze für die Feinabstimmung vorbereiten
Schau dir erst mal die Techniken zur Vorbereitung von Datensätzen an, wie das Laden, Teilen und Speichern von Datensätzen mit der Hugging Face Datasets-Bibliothek, damit du hochwertige Daten für deine Llama-Projekte hast.Arbeite mit Feinabstimmungs-Frameworks
Probier mal aus, wie du mit coolen Bibliotheken wie TorchTune und SFTTrainer von Hugging Face deine Workflows optimieren kannst. Du lernst, wie du Feinabstimmungsrezepte konfigurierst, Trainingsargumente einrichtest und effiziente Techniken wie LoRA (Low-Rank Adaptation) und Quantisierung mit BitsAndBytes nutzt, um die Ressourcennutzung zu optimieren. Indem du die im Kurs erlernten Techniken kombinierst, kannst du Llama-Modelle effizient an die Anforderungen deiner Projekte anpassen.Voraussetzungen
Lernprogramm
Kursübersicht
1
Vorbereitung auf die Llama-Feinabstimmung
Erkunde Optionen zur Feinabstimmung von Llama-3-Modellen und tauche in TorchTune ein – eine Bibliothek, die Fine-Tuning vereinfacht. Dieses Kapitel führt dich durch die Datenaufbereitung, das rezeptbasierte System von TorchTune und die effiziente Aufgabenkonfiguration und zeigt dir die wichtigsten Schritte, um deine erste Fine-Tuning-Aufgabe zu starten.
- Die Llama-Bibliotheken zum Finetuning50 XP
- TorchTune-Rezepte auflisten50 XP
- Eine TorchTune-Task ausführen50 XP
- Daten für das Fine-Tuning vorverarbeiten50 XP
- Datensätze für die Evaluation filtern100 XP
- Trainingsbeispiele erstellen100 XP
- Vorverarbeitete Datensätze speichern100 XP
- Feinabstimmung mit TorchTune50 XP
- Eigene Rezepte definieren100 XP
- Eigene Rezepte speichern100 XP
- Eigenes Fine-Tuning ausführen50 XP
2
Feinabstimmung mit SFTTrainer auf Hugging Face
Erfahre, wie Fine-Tuning die Leistung kleinerer Modelle für spezifische Aufgaben deutlich verbessern kann. Starte mit der Feinabstimmung kleinerer Llama-Modelle, um ihre aufgabenspezifischen Fähigkeiten zu steigern. Entdecke anschließend parametereffiziente Fine-Tuning-Techniken wie LoRA und nutze Quantisierung, um noch größere Modelle zu laden und einzusetzen.
Feinabstimmung mit Llama 3
Kurs
abgeschlossen
