Dopo aver seguito questi corsi, mi sento sicuro nel creare visualizzazioni e dashboard professionali
Shoebur RahmanSpecialista degli acquisti, Giz Bangladesh
Descrizione del corso
Approfondimento sull'architettura Transformer
I modelli Transformer hanno cambiato il modo di modellare il testo, dando il via al boom dell'IA generativa e rendendo possibili i grandi modelli linguistici (LLM) di oggi. In questo corso vedrai i componenti chiave di questa architettura, come la codifica posizionale, i meccanismi di attenzione e i sottolivelli feed-forward. Scriverai il codice di questi componenti in modo modulare per costruire il tuo trasformatore passo dopo passo.Implementare meccanismi di attenzione con PyTorch
Il meccanismo di attenzione è una cosa importante che ha aiutato a mettere a punto l'architettura del trasformatore. L'auto-attenzione permette ai trasformatori di capire meglio le relazioni tra i token, migliorando così la qualità del testo che viene generato. Scopri come creare una classe di meccanismi di attenzione multi-head che sarà un pezzo fondamentale nei tuoi modelli di trasformatori.Costruisci i tuoi modelli di Transformers
Impara a costruire modelli di trasformatori solo codificatori, solo decodificatori e codificatori-decodificatori. Scopri come scegliere e programmare queste diverse architetture di trasformatori per vari compiti linguistici, come la classificazione dei testi e l'analisi del sentiment, la generazione e il completamento dei testi e la traduzione da sequenza a sequenza.Prerequisiti
Programma
Struttura del corso
1
I mattoni fondamentali dei modelli Transformer
Scopri cosa rende così potente l'architettura di deep learning più in voga nell'AI! Esplora i componenti che costituiscono i modelli Transformer, inclusi i celebri meccanismi di self-attention descritti nel rinomato articolo "Attention is All You Need."
- Transformer con PyTorch50 XP
- Scomporre il Transformer50 XP
- Transformer in PyTorch100 XP
- Embedding e codifica posizionale50 XP
- Creare gli embedding di input100 XP
- Creare le codifiche posizionali100 XP
- Self-attention multi-testa50 XP
- Implementare la multi-head attention100 XP
- Avviare la classe MultiHeadAttention100 XP
- Aggiungere metodi alla classe MultiHeadAttention100 XP
2
Costruire architetture Transformer
Progetta blocchi encoder e decoder dei transformer e combinagli con positional encoding, multi-headed attention e reti feed-forward position-wise per costruire le tue architetture Transformer. Lungo il percorso svilupperai una comprensione profonda e un vero apprezzamento di come i transformer funzionano sotto il cofano.
Modelli Transformer con PyTorch
Corso
completato
