After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Cursusbeschrijving
Duik diep in de Transformer-architectuur
Transformatiemodellen hebben tekstmodellering echt veranderd en hebben de generatieve AI-boom op gang gebracht door de huidige grote taalmodellen (LLM's) mogelijk te maken. In deze cursus ga je kijken naar de belangrijkste onderdelen van deze architectuur, zoals positionele codering, aandachtsmechanismen en feed-forward-sublagen. Je gaat deze onderdelen op een modulaire manier programmeren om stap voor stap je eigen transformator te bouwen.Implementeren van aandachtsmechanismen met PyTorch
Het aandachtsmechanisme is echt belangrijk geweest voor het vormgeven van de transformatorarchitectuur. Door zelfaandacht kunnen transformatoren de verbanden tussen tokens beter zien, wat de kwaliteit van de gegenereerde tekst verbetert. Leer hoe je een multi-head attention mechanism-klasse kunt maken die een belangrijke bouwsteen vormt in je transformatiemodellen.Bouw je eigen transformatormodellen
Leer hoe je modellen kunt maken met alleen een encoder, alleen een decoder en een encoder-decoder-transformator. Leer hoe je deze verschillende transformatorarchitecturen kunt kiezen en coderen voor verschillende taaltaken, zoals tekstclassificatie en sentimentanalyse, tekstgeneratie en -aanvulling, en sequentie-naar-sequentievertaling.Vereisten
Curriculum
Cursusoverzicht
1
De bouwstenen van transformermodellen
Ontdek waar de populairste deep learning-architectuur in AI op draait! Leer over de onderdelen waaruit transformermodellen bestaan, inclusief de beroemde self-attention-mechanismen uit het bekende paper "Attention is All You Need."
- Transformers met PyTorch50 XP
- De Transformer ontrafeld50 XP
- PyTorch Transformers100 XP
- Embedding en positionele codering50 XP
- Invoer-embeddings maken100 XP
- Positionele encodings maken100 XP
- Multi-head self-attention50 XP
- Multi-head attention implementeren100 XP
- De MultiHeadAttentionClass starten100 XP
- Methoden toevoegen aan de klasse MultiHeadAttention100 XP
2
Transformer-architecturen bouwen
Ontwerp transformer-encoder- en decoderblokken, en combineer ze met positionele codering, multi-head attention en position-wise feed-forward-netwerken om je eigen transformer-architecturen te bouwen. Onderweg krijg je een diep begrip en waardering voor hoe transformers onder de motorkap werken.
Transformermodels met PyTorch
Cursus
voltooid
