After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Kursbeskrivning
Distribuerad träning är en viktig färdighet inom storskalig maskininlärning och hjälper dig att minska tiden som krävs för att träna stora språkmodeller med biljoner parametrar. I den här kursen kommer du att utforska de verktyg, tekniker och strategier som är avgörande för effektiv distribuerad träning med PyTorch, Accelerator och Trainer.
Förbereda data för distribuerad träning
Du börjar med att förbereda data för distribuerad träning genom att dela upp datamängder över flera enheter och distribuera modellkopior till varje enhet. Du får praktisk erfarenhet av att förbehandla data för distribuerade miljöer, inklusive bilder, ljud och text.Utforska effektivitetstekniker
När dina data är klara kommer du att utforska sätt att förbättra effektiviteten i träning och användning av optimerare över flera gränssnitt. Du kommer att se hur du kan hantera dessa utmaningar genom att förbättra minnesanvändning, enhetskommunikation och beräkningseffektivitet med tekniker som gradient accumulation, gradient checkpointing, lokal stokastisk gradient descent och mixed precision training. Du kommer att förstå avvägningarna mellan olika optimerare för att hjälpa dig att minska din modells minnesavtryck.I slutet av den här kursen kommer du att ha kunskapen och verktygen för att bygga distribuerade AI-drivna tjänster.Förkunskapskrav
Kursplan
Kursöversikt
1
Dataförberedelse med Accelerator
Du förbereder data för distribuerad träning genom att dela upp data över flera enheter och kopiera modellen på varje enhet. Accelerator erbjuder ett smidigt gränssnitt för dataförberedelse, och du lär dig att förbehandla bilder, ljud och text som ett första steg i distribuerad träning.
- Förbered modeller med AutoModel och Accelerator50 XP
- Läsa in och granska förtränade modeller100 XP
- Automatisk enhetsplacering med Accelerator100 XP
- Förbehandla bilder och ljud för träning50 XP
- Förbehandla bilddatamängder100 XP
- Förbehandla ljuddatamängder100 XP
- Förbered datamängder för distribuerad träning100 XP
- Förbehandla text för träning50 XP
- Förbehandla text med AutoTokenizer100 XP
- Spara och läs in tillståndet för förbehandlad text100 XP
2
Distribuerad träning med Accelerator och Trainer
Vid distribuerad träning tränar varje enhet på sin del av data parallellt. Du undersöker två metoder för distribuerad träning: Accelerator möjliggör anpassade träningsloopar, medan Trainer förenklar gränssnittet för träning.
3
Förbättra träningseffektiviteten
Distribuerad träning belastar resurser hårt med stora modeller och datamängder, men du kan hantera dessa utmaningar genom att förbättra minnesanvändning, enhetskommunikation och beräkningseffektivitet. Du lär dig teknikerna gradientackumulering, gradientkontrollpunkter, lokalt stokastiskt gradientnedsteg och träning med blandad precision.
4
Träning med effektiva optimerare
Här fokuserar du på optimerare som verktyg för att förbättra effektiviteten vid distribuerad träning, med fokus på avvägningarna mellan AdamW, Adafactor och 8-bit Adam. Att minska antalet parametrar eller använda lägre precision bidrar till att minska modellens minneskrav.
Effektiv AI-modellträning med PyTorch
Kurs
slutförd
