After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Descrierea cursului
Explorare aprofundată a arhitecturii Transformer
Modelele Transformer au revoluționat modelarea textului, declanșând explozia AI generativă prin posibilitatea de a crea modelele lingvistice mari de astăzi (LLM-uri). În acest curs, vei analiza componentele cheie ale acestei arhitecturi, inclusiv codificarea pozițională, mecanismele de atenție și substraturile feed-forward. Vei programa aceste componente într-un mod modular pentru a-ți construi propriul transformer pas cu pas.Implementează mecanisme de atenție cu PyTorch
Mecanismul de atenție este o dezvoltare esențială care a contribuit la formalizarea arhitecturii transformer. Autoatenția permite transformatoarelor să identifice mai bine relațiile dintre tokenuri, ceea ce îmbunătățește calitatea textului generat. Învață cum să creezi o clasă pentru mecanismul de atenție multi-head, care va constitui o componentă esențială în modelele tale transformer.Construiește-ți propriile modele Transformer
Învață să construiești modele transformer doar cu encoder, doar cu decoder și encoder-decoder. Învață cum să alegi și să codezi aceste diferite arhitecturi transformer pentru diverse sarcini de limbaj, inclusiv clasificarea textului și analiza sentimentului, generarea și completarea textului, precum și traducerea secvență-la-secvență.Cerințe prealabile
Curriculum
Structura cursului
1
Elementele de bază ale modelelor Transformer
Descoperă ce face din arhitectura transformer cel mai popular model de învățare profundă din AI! Află care sunt componentele care alcătuiesc modelele Transformer, inclusiv celebrele mecanisme de auto-atenție descrise în renumitul articol „Attention is All You Need".
- Transformere cu PyTorch50 XP
- Descompunerea arhitecturii Transformer50 XP
- Transformere cu PyTorch100 XP
- Încorporări și codificare pozițională50 XP
- Crearea încorporărilor de intrare100 XP
- Crearea encodărilor poziționale100 XP
- Atenție multi-cap față de sine50 XP
- Implementarea atenției multi-cap100 XP
- Inițializarea clasei MultiHeadAttention100 XP
- Adăugarea metodelor la clasa MultiHeadAttention100 XP
2
Construirea arhitecturilor Transformer
Proiectează blocuri encoder și decoder pentru transformer și combină-le cu codificarea pozițională, atenția multi-cap și rețelele feed-forward position-wise pentru a-ți construi propriile arhitecturi Transformer. Pe parcurs, vei dobândi o înțelegere profundă a modului în care funcționează transformer-ele pe interior.
Modele Transformer cu PyTorch
Curs
finalizat
