Build your ultimate AI agent
Kursbeskrivning
Fördjupa dig i Transformer-arkitekturen
Transformer-modeller har revolutionerat textmodellering och satt fart på generativ AI-boomen genom att möjliggöra dagens stora språkmodeller (LLM:er). I den här kursen kommer du att titta på de viktigaste komponenterna i denna arkitektur, inklusive positionskodning, uppmärksamhetsmekanismer och feed-forward-underlager. Du kommer att koda dessa komponenter på ett modulärt sätt för att bygga din egen transformer steg för steg.Implementera uppmärksamhetsmekanismer med PyTorch
Uppmärksamhetsmekanismen är en viktig utveckling som hjälpte till att formalisera transformerarkitekturen. Självuppmärksamhet gör det möjligt för transformers att bättre identifiera relationer mellan tokens, vilket förbättrar kvaliteten på genererad text. Lär dig hur du skapar en klass för en multi-head attention-mekanism som kommer att utgöra en viktig byggsten i dina transformer-modeller.Bygg dina egna Transformer-modeller
Lär dig att bygga transformer-modeller med endast encoder, endast decoder och encoder-decoder. Lär dig hur du väljer och kodar dessa olika transformerarkitekturer för olika språkuppgifter, inklusive textklassificering och sentimentanalys, textgenerering och komplettering samt sekvens-till-sekvens-översättning.Förkunskapskrav
Kursplan
Kursöversikt
1
Transformermodellernas byggstenar
Lär dig vad som driver den hetaste djupinlärningsarkitekturen inom AI! Utforska komponenterna som utgör transformermodeller, inklusive de välkända självuppmärksamhetsmekanismerna som beskrivs i den banbrytande artikeln "Attention is All You Need."
- Transformers med PyTorch50 XP
- Transformer-arkitekturens byggstenar50 XP
- Transformers med PyTorch100 XP
- Inbäddning och positionskodning50 XP
- Skapa inbäddningar av indata100 XP
- Skapa positionskodningar100 XP
- Multi-head självuppmärksamhet50 XP
- Implementera multi-head attention100 XP
- Börja bygga MultiHeadAttention-klassen100 XP
- Lägga till metoder i klassen MultiHeadAttention100 XP
2
Bygg transformerarkitekturer
Designa encoder- och decoderblock för transformers och kombinera dem med positionskodning, flerhövdad uppmärksamhet och positionsvisa framåtnätverk för att bygga din egen transformerarkitektur. Längs vägen utvecklar du en djup förståelse för hur transformers fungerar under huven.
Transformermodeller med PyTorch
Kurs
slutförd
