After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Opis kursu
Dostrajanie modelu Llama
Ten kurs stanowi kompleksowy przewodnik po przygotowywaniu i pracy z modelami Llama. Dzięki praktycznym przykładom i ćwiczeniom nauczysz się konfigurować różne zadania dostrajania modeli Llama.Przygotuj zbiory danych do fine-tuningu
Zacznij od poznania technik przygotowywania zbiorów danych, w tym wczytywania, dzielenia i zapisywania danych za pomocą biblioteki Hugging Face Datasets, aby zapewnić wysoką jakość danych dla swoich projektów Llama.Pracuj z frameworkami do fine-tuningu
Poznaj procesy fine-tuningu z wykorzystaniem nowoczesnych bibliotek, takich jak TorchTune i SFTTrainer od Hugging Face. Nauczysz się, jak konfigurować przepisy fine-tuningu, ustawiać argumenty treningowe oraz wykorzystywać wydajne techniki, takie jak LoRA (Low-Rank Adaptation) i kwantyzacja z użyciem BitsAndBytes, aby zoptymalizować wykorzystanie zasobów. Łącząc techniki poznane w trakcie kursu, będziesz w stanie dostosować modele Llama do potrzeb swoich projektów w efektywny sposób.Wymagania wstępne
Program kursu
Plan kursu
1
Przygotowanie do dostrajania modelu Llama
Poznaj możliwości dostrajania modeli Llama 3 i zapoznaj się z biblioteką TorchTune, stworzoną z myślą o uproszczeniu tego procesu. Ten rozdział przeprowadzi cię przez przygotowanie danych, system receptur TorchTune oraz efektywną konfigurację zadań – wszystko, czego potrzebujesz, by uruchomić swoje pierwsze zadanie dostrajania.
- Biblioteki do fine-tuningu modelu Llama50 XP
- Wyświetlanie przepisów TorchTune50 XP
- Uruchamianie zadania TorchTune50 XP
- Przygotowanie danych do dostrajania modelu50 XP
- Filtrowanie zbiorów danych do ewaluacji100 XP
- Tworzenie próbek treningowych100 XP
- Zapisywanie przetworzonych zbiorów danych100 XP
- Fine-tuning z TorchTune50 XP
- Definiowanie własnych receptur100 XP
- Zapisywanie niestandardowych przepisów100 XP
- Uruchamianie niestandardowego dostrajania50 XP
2
Dostrajanie z użyciem SFTTrainer na Hugging Face
Dowiedz się, jak dostrajanie może znacząco poprawić wydajność mniejszych modeli w konkretnych zadaniach. Zacznij od dostrajania mniejszych modeli Llama, aby wzmocnić ich możliwości w wybranych zastosowaniach. Następnie poznaj techniki efektywnego dostrajania parametrów, takie jak LoRA, i odkryj, jak kwantyzacja umożliwia wczytywanie i używanie jeszcze większych modeli.
Fine-Tuning z Llama 3
Kurs
ukończony
