After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Deskripsi Kursus
Menyesuaikan model Llama
Kursus ini memberikan panduan lengkap tentang cara menyiapkan dan bekerja dengan model Llama. Melalui contoh-contoh praktis dan latihan-latihan yang aplikatif, Anda akan belajar cara mengonfigurasi berbagai tugas penyempurnaan model Llama.Siapkan dataset untuk fine-tuning
Mulailah dengan mempelajari teknik persiapan dataset, termasuk memuat, membagi, dan menyimpan dataset menggunakan perpustakaan Hugging Face Datasets, untuk memastikan data berkualitas tinggi untuk proyek Llama Anda.Bekerja dengan kerangka kerja penyempurnaan
Jelajahi proses penyempurnaan model menggunakan perpustakaan canggih seperti TorchTune dan SFTTrainer dari Hugging Face. Anda akan belajar cara mengonfigurasi resep penyesuaian halus, menyiapkan argumen pelatihan, dan memanfaatkan teknik efisien seperti LoRA (Low-Rank Adaptation) dan kuantisasi menggunakan BitsAndBytes untuk mengoptimalkan penggunaan sumber daya. Dengan menggabungkan teknik-teknik yang dipelajari sepanjang kursus, Anda akan dapat menyesuaikan model Llama sesuai dengan kebutuhan proyek Anda secara efisien.Prasyarat
Kurikulum
Garis besar kursus
1
Persiapan untuk fine-tuning Llama
Jelajahi opsi untuk melakukan fine-tuning pada model Llama 3 dan pelajari TorchTune, sebuah pustaka yang dibangun untuk menyederhanakan fine-tuning. Bab ini memandu Anda melalui penyiapan data, sistem berbasis resep TorchTune, dan konfigurasi tugas yang efisien, menyajikan langkah-langkah kunci untuk meluncurkan tugas fine-tuning pertama Anda.
- Pustaka penyetelan-halus Llama50 XP
- Mendaftar resep TorchTune50 XP
- Menjalankan tugas TorchTune50 XP
- Prapemrosesan data untuk fine-tuning50 XP
- Memfilter himpunan data untuk evaluasi100 XP
- Membuat sampel pelatihan100 XP
- Menyimpan himpunan data yang telah dipraproses100 XP
- Fine-tuning dengan TorchTune50 XP
- Mendefinisikan resep kustom100 XP
- Menyimpan resep kustom100 XP
- Menjalankan fine-tuning kustom50 XP
2
Fine-tuning dengan SFTTrainer di Hugging Face
Pelajari bagaimana fine-tuning dapat secara signifikan meningkatkan performa model yang lebih kecil untuk tugas-tugas spesifik. Mulailah dengan fine-tuning model Llama yang lebih kecil untuk meningkatkan kemampuan spesifik tugasnya. Selanjutnya, temukan teknik fine-tuning yang hemat parameter seperti LoRA, dan jelajahi kuantisasi untuk memuat serta menggunakan model yang lebih besar lagi.
Fine-Tuning dengan Llama 3
Kursus
Selesai
