After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Deskripsi Kursus
Pelatihan terdistribusi adalah keterampilan penting dalam machine learning skala besar, membantu Anda mengurangi waktu yang diperlukan untuk melatih model bahasa besar dengan triliunan parameter. Dalam kursus ini, Anda akan mempelajari alat, teknik, dan strategi penting untuk pelatihan terdistribusi yang efisien menggunakan PyTorch, Accelerator, dan Trainer.
Mempersiapkan Data untuk Pelatihan Terdistribusi
Anda akan memulai dengan menyiapkan data untuk pelatihan terdistribusi dengan membagi dataset ke beberapa perangkat dan menerapkan salinan model ke setiap perangkat. Anda akan mendapatkan pengalaman langsung dalam melakukan preprocessing data untuk lingkungan terdistribusi, termasuk gambar, audio, dan teks.Menjelajahi Teknik Efisiensi
Setelah data Anda siap, Anda akan menjelajahi cara-cara untuk meningkatkan efisiensi dalam pelatihan dan penggunaan optimizer di berbagai antarmuka. Anda akan melihat cara mengatasi tantangan ini dengan meningkatkan penggunaan memori, komunikasi perangkat, dan efisiensi komputasi melalui teknik seperti gradient accumulation, gradient checkpointing, local stochastic gradient descent, dan mixed precision training. Anda akan memahami trade-off antara berbagai optimizer untuk membantu Anda mengurangi jejak memori model Anda.Di akhir kursus ini, Anda akan dibekali dengan pengetahuan dan alat untuk membangun layanan terdistribusi bertenaga AI.Prasyarat
Kurikulum
Garis besar kursus
1
Persiapan Data dengan Accelerator
Anda akan menyiapkan data untuk pelatihan terdistribusi dengan membagi data ke beberapa perangkat dan menyalin model pada setiap perangkat. Accelerator menyediakan antarmuka yang praktis untuk persiapan data, dan Anda akan mempelajari cara memproses awal gambar, audio, dan teks sebagai langkah pertama dalam pelatihan terdistribusi.
- Menyiapkan model dengan AutoModel dan Accelerator50 XP
- Memuat dan memeriksa model pralatih100 XP
- Penempatan perangkat otomatis dengan Accelerator100 XP
- Praproses gambar dan audio untuk pelatihan50 XP
- Praproses himpunan data gambar100 XP
- Praproses himpunan data audio100 XP
- Siapkan himpunan data untuk pelatihan terdistribusi100 XP
- Praproses teks untuk pelatihan50 XP
- Praproses teks dengan AutoTokenizer100 XP
- Menyimpan dan memuat status teks yang telah dipraproses100 XP
2
Pelatihan Terdistribusi dengan Accelerator dan Trainer
Dalam pelatihan terdistribusi, setiap perangkat melatih model pada datanya masing-masing secara paralel. Anda akan menyelidiki dua metode untuk pelatihan terdistribusi: Accelerator memungkinkan loop pelatihan kustom, dan Trainer menyederhanakan antarmuka untuk pelatihan.
3
Meningkatkan Efisiensi Pelatihan
Pelatihan terdistribusi membebani sumber daya saat menggunakan model dan himpunan data yang besar, tetapi Anda dapat mengatasinya dengan meningkatkan penggunaan memori, komunikasi antarperangkat, dan efisiensi komputasi. Anda akan mempelajari teknik gradient accumulation, gradient checkpointing, local stochastic gradient descent, dan mixed precision training.
4
Pelatihan dengan Optimizer yang Efisien
Anda akan berfokus pada optimizer sebagai tuas untuk meningkatkan efisiensi pelatihan terdistribusi, dengan menyoroti pertukaran (trade-off) antara AdamW, Adafactor, dan 8-bit Adam. Mengurangi jumlah parameter atau menggunakan presisi rendah membantu menurunkan jejak memori model.
Pelatihan Model AI Efisien dengan PyTorch
Kursus
Selesai
