After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Descrizione del corso
L'addestramento distribuito è una competenza essenziale nel Machine Learning su larga scala, aiutandoti a ridurre il tempo necessario per addestrare modelli linguistici di grandi dimensioni con trilioni di parametri. In questo corso, tu esplorerai gli strumenti, le tecniche e le strategie essenziali per un training distribuito efficiente usando PyTorch, Accelerator e Trainer.
Preparazione dei dati per l'addestramento distribuito
Inizierai preparando i dati per l'addestramento distribuito, suddividendo i dataset su più dispositivi e distribuendo copie del modello su ciascun dispositivo. Acquisirai esperienza pratica nella pre-elaborazione dei dati per ambienti distribuiti, inclusi immagini, audio e testo.Esplorare le tecniche di efficienza
Una volta che i tuoi dati sono pronti, esplorerai modi per migliorare l'efficienza nell'addestramento e nell'uso degli optimizer su più interfacce. Vedrai come affrontare queste sfide migliorando l’uso della memoria, la comunicazione tra dispositivi e l’efficienza computazionale con tecniche come gradient accumulation, gradient checkpointing, local stochastic gradient descent e mixed precision training. Capirai i compromessi tra diversi ottimizzatori per aiutarti a ridurre l’ingombro di memoria del tuo modello.Alla fine di questo corso, avrai le conoscenze e gli strumenti per creare servizi distribuiti basati sull'IA.Prerequisiti
Curriculum
Programma del corso
1
Preparazione dei dati con Accelerator
Preparerai i dati per il training distribuito suddividendoli tra più dispositivi e copiando il modello su ciascuno di essi. Accelerator offre un'interfaccia comoda per la preparazione dei dati e imparerai a preprocessare immagini, audio e testo come primo passo del training distribuito.
- Prepara i modelli con AutoModel e Accelerator50 XP
- Caricare e ispezionare modelli pre-addestrati100 XP
- Posizionamento automatico del dispositivo con Accelerator100 XP
- Preprocessa immagini e audio per l'addestramento50 XP
- Pre-elabora insiemi di dati di immagini100 XP
- Pre-elabora insiemi di dati audio100 XP
- Prepara gli insiemi di dati per l'addestramento distribuito100 XP
- Preelabora il testo per l'addestramento50 XP
- Pre-elabora il testo con AutoTokenizer100 XP
- Salva e carica lo stato del testo preprocessato100 XP
2
Training distribuito con Accelerator e Trainer
Nel training distribuito, ogni dispositivo addestra in parallelo sui propri dati. Esaminerai due metodi per il training distribuito: Accelerator abilita cicli di training personalizzati, mentre Trainer semplifica l'interfaccia per l'addestramento.
3
Migliorare l'efficienza del training
Il training distribuito mette sotto pressione le risorse con modelli e insiemi di dati di grandi dimensioni, ma puoi affrontare queste sfide migliorando l'uso della memoria, la comunicazione tra dispositivi e l'efficienza computazionale. Scoprirai le tecniche di accumulo del gradiente, gradient checkpointing, local stochastic gradient descent e training a precisione mista.
4
Training con ottimizzatori efficienti
Ti concentrerai sugli ottimizzatori come leve per migliorare l'efficienza del training distribuito, evidenziando i compromessi tra AdamW, Adafactor e Adam a 8 bit. Ridurre il numero di parametri o usare basse precisioni aiuta a diminuire l'impronta di memoria di un modello.
Efficient AI Model Training with PyTorch
Corso
completato
