Nach diesen Kursen fühle ich mich sicher, professionelle Visualisierungen und Dashboards zu erstellen.
Shoebur RahmanBeschaffungsspezialist, Giz Bangladesh
Kursbeschreibung
Verteiltes Training ist eine wichtige Fähigkeit beim maschinellen Lernen in großem Maßstab. Es hilft dir, die Zeit zu verkürzen, die zum Trainieren großer Sprachmodelle mit Billionen von Parametern benötigt wird. In diesem Kurs lernst du die Werkzeuge, Techniken und Strategien kennen, die für ein effizientes verteiltes Training mit PyTorch, Accelerator und Trainer notwendig sind.
Daten für verteiltes Training vorbereiten
Du beginnst damit, die Daten für das verteilte Training vorzubereiten, indem du die Datensätze auf mehrere Geräte aufteilst und Modellkopien auf jedem Gerät bereitstellst. Du sammelst praktische Erfahrungen in der Vorverarbeitung von Daten für verteilte Umgebungen, einschließlich Bildern, Audio und Text.Erkundung von Effizienztechniken
Sobald deine Daten fertig sind, erkundest du, wie du die Effizienz der Ausbildung und die Nutzung der Optimierer über verschiedene Schnittstellen hinweg verbessern kannst. Du wirst sehen, wie du diese Herausforderungen meistern kannst, indem du die Speichernutzung, die Gerätekommunikation und die Recheneffizienz mit Techniken wie Gradientenakkumulation, Gradienten-Checkpointing, lokalem stochastischem Gradientenabstieg und Training mit gemischter Genauigkeit verbesserst. Du wirst die Kompromisse zwischen den verschiedenen Optimierern verstehen, die dir helfen, den Speicherbedarf deines Modells zu verringern.Am Ende dieses Kurses wirst du mit dem Wissen und den Werkzeugen ausgestattet sein, um verteilte KI-gestützte Dienste aufzubauen.Voraussetzungen
Lernprogramm
Kursübersicht
1
Datenvorbereitung mit Accelerator
Du bereitest Daten für verteiltes Training vor, indem du sie über mehrere Geräte verteilst und das Modell auf jedes Gerät kopierst. Accelerator bietet eine praktische Schnittstelle für die Datenvorbereitung, und du lernst, Bilder, Audio und Text als ersten Schritt für verteiltes Training vorzuverarbeiten.
- Modelle mit AutoModel und Accelerator vorbereiten50 XP
- Vortrainierte Modelle laden und inspizieren100 XP
- Automatische Gerätezuordnung mit Accelerator100 XP
- Bilder und Audio für das Training vorverarbeiten50 XP
- Bilddatensätze vorverarbeiten100 XP
- Audiodatensätze vorverarbeiten100 XP
- Datensätze für verteiltes Training vorbereiten100 XP
- Text für das Training vorverarbeiten50 XP
- Text mit AutoTokenizer vorverarbeiten100 XP
- Zustand vorverarbeiteter Texte speichern und laden100 XP
2
Verteiltes Training mit Accelerator und Trainer
Beim verteilten Training trainiert jedes Gerät parallel auf seinen Daten. Du untersuchst zwei Methoden für verteiltes Training: Accelerator ermöglicht individuelle Trainingsschleifen, und Trainer vereinfacht die Trainingsschnittstelle.
3
Trainingseffizienz verbessern
Verteiltes Training beansprucht Ressourcen bei großen Modellen und Datensätzen, aber durch bessere Speichernutzung, Gerätekommunikation und Recheneffizienz kannst du die Herausforderungen meistern. Du lernst die Techniken Gradient Accumulation, Gradient Checkpointing, Local Stochastic Gradient Descent und Mixed-Precision-Training kennen.
4
Training mit effizienten Optimierern
Du konzentrierst dich auf Optimierer als Hebel zur Verbesserung der Effizienz im verteilten Training und beleuchtest die Trade-offs zwischen AdamW, Adafactor und 8-Bit-Adam. Eine Reduktion der Parameterzahl oder der Einsatz niedriger Präzision hilft, den Speicherbedarf eines Modells zu verringern.
Effizientes KI-Modelltraining mit PyTorch
Kurs
abgeschlossen
