After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Cursusbeschrijving
Gedistribueerde training is een essentiële vaardigheid in grootschalige machine learning en helpt je de tijd te verkorten die nodig is om grote taalmodellen met biljoenen parameters te trainen. In deze cursus verken je de tools, technieken en strategieën die essentieel zijn voor efficiënte gedistribueerde training met PyTorch, Accelerator en Trainer.
Data voorbereiden voor gedistribueerde training
Je begint met het voorbereiden van data voor gedistribueerde training door datasets over meerdere apparaten te verdelen en modelkopieën op elk apparaat te implementeren. Je doet praktische ervaring op met het voorbewerken van data voor gedistribueerde omgevingen, waaronder afbeeldingen, audio en tekst.Efficiëntietechnieken verkennen
Zodra je data klaar is, verken je manieren om de efficiëntie te verbeteren bij training en het gebruik van optimizers via meerdere interfaces. Je ziet hoe je deze uitdagingen aanpakt door het geheugengebruik, de communicatie tussen apparaten en de computationele efficiëntie te verbeteren met technieken zoals gradient accumulation, gradient checkpointing, local stochastic gradient descent en mixed precision training. Je begrijpt de afwegingen tussen verschillende optimalizers, zodat je het geheugengebruik van je model kunt verminderen.Aan het einde van deze cursus beschik je over de kennis en tools om gedistribueerde AI-gestuurde services te bouwen.Vereisten
Curriculum
Cursusoverzicht
1
Gegevens voorbereiden met Accelerator
Je bereidt gegevens voor op gedistribueerde training door de data over meerdere apparaten te verdelen en het model op elk apparaat te kopiëren. Accelerator biedt een handige interface voor datavoorbereiding. Je leert hoe je afbeeldingen, audio en tekst preprocesset als eerste stap in gedistribueerde training.
- Modellen voorbereiden met AutoModel en Accelerator50 XP
- Voorgetrainde modellen laden en inspecteren100 XP
- Automatische apparaatplaatsing met Accelerator100 XP
- Afbeeldingen en audio preprocessen voor training50 XP
- Afbeeldingsgegevenssets preprocessen100 XP
- Audiogegevenssets preprocessen100 XP
- Gegevenssets voorbereiden voor gedistribueerde training100 XP
- Tekst vooraf verwerken voor training50 XP
- Tekst preprocessen met AutoTokenizer100 XP
- De status van voorbewerkte tekst opslaan en laden100 XP
2
Gedistribueerde training met Accelerator en Trainer
Bij gedistribueerde training traint elk apparaat parallel op zijn eigen data. Je onderzoekt twee methoden voor gedistribueerde training: Accelerator maakt aangepaste trainingslussen mogelijk en Trainer vereenvoudigt de interface voor training.
3
Trainings efficiëntie verbeteren
Gedistribueerde training belast de resources bij grote modellen en gegevenssets, maar je kunt deze uitdagingen aanpakken door het geheugenverbruik, de communicatie tussen apparaten en de rekenefficiëntie te verbeteren. Je ontdekt de technieken gradient accumulation, gradient checkpointing, local stochastic gradient descent en mixed precision training.
4
Trainen met efficiënte optimizers
Je richt je op optimizers als hefbomen om de efficiëntie van gedistribueerde training te verbeteren en belicht de afwegingen tussen AdamW, Adafactor en 8-bit Adam. Het aantal parameters verminderen of lage precisie gebruiken helpt de geheugenvraag van een model te verlagen.
Efficiënt AI-modellen trainen met PyTorch
Cursus
voltooid
