Nach diesen Kursen fühle ich mich sicher, professionelle Visualisierungen und Dashboards zu erstellen.
Shoebur RahmanBeschaffungsspezialist, Giz Bangladesh
Kursbeschreibung
Tief eintauchen in die Transformer-Architektur
Transformer-Modelle haben die Textmodellierung revolutioniert und den Boom der generativen KI ausgelöst, indem sie die heutigen Large Language Models (LLMs) ermöglicht haben. In diesem Kurs betrachten Sie die zentralen Komponenten dieser Architektur, darunter Positionskodierung, Aufmerksamkeitsmechanismen und Feed-Forward-Teilschichten. Du wirst diese Komponenten modular programmieren, um deinen eigenen Transformer Schritt für Schritt aufzubauen.Implementieren Sie Aufmerksamkeitsmechanismen mit PyTorch
Der Attention-Mechanismus ist eine zentrale Entwicklung, die dazu beigetragen hat, die Transformer-Architektur zu formalisieren. Self-Attention ermöglicht es Transformern, Beziehungen zwischen Tokens besser zu erkennen, wodurch die Qualität des generierten Textes verbessert wird. Lernen Sie, wie Sie eine Multi-Head-Attention-Mechanismus-Klasse erstellen, die zu einem zentralen Baustein Ihrer Transformer-Modelle wird.Entwickeln Sie Ihre eigenen Transformer-Modelle
Lernen Sie, Encoder-only-, Decoder-only- und Encoder-Decoder-Transformer-Modelle zu erstellen. Lernen Sie, wie Sie diese verschiedenen Transformer-Architekturen für unterschiedliche Sprachaufgaben auswählen und programmieren, darunter Textklassifizierung und Sentimentanalyse, Textgenerierung und -vervollständigung sowie Sequenz-zu-Sequenz-Übersetzung.Voraussetzungen
Lernprogramm
Kursübersicht
1
Die Bausteine von Transformer-Modellen
Finde heraus, was die angesagteste Deep-Learning-Architektur in der KI so leistungsfähig macht! Lerne die Komponenten kennen, aus denen Transformer-Modelle bestehen, darunter die berühmten Self-Attention-Mechanismen aus dem renommierten Paper "Attention is All You Need".
- Transformer mit PyTorch50 XP
- Den Transformer zerlegen50 XP
- PyTorch-Transformer100 XP
- Embedding und Positionskodierung50 XP
- Eingabe-Embeddings erstellen100 XP
- Positionale Encodings erstellen100 XP
- Multi-Head Self-Attention50 XP
- Multi-Head Attention implementieren100 XP
- Die MultiHeadAttentionClass starten100 XP
- Methoden zur Klasse MultiHeadAttention hinzufügen100 XP
2
Transformer-Architekturen aufbauen
Entwirf Transformer-Encoder- und -Decoder-Blöcke und kombiniere sie mit positional encoding, multi-headed attention und position-wise feed-forward networks, um deine ganz eigenen Transformer-Architekturen zu bauen. Dabei entwickelst du ein tiefes Verständnis und eine echte Wertschätzung dafür, wie Transformer unter der Haube funktionieren.
Transformer-Modelle mit PyTorch
Kurs
abgeschlossen
