After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Opis kursu
Dogłębne poznanie architektury Transformer
Modele transformer zrewolucjonizowały modelowanie tekstu, zapoczątkowując boom na generatywną sztuczną inteligencję dzięki umożliwieniu powstania dzisiejszych dużych modeli językowych (LLM). W tym kursie przyjrzysz się kluczowym elementom tej architektury, w tym kodowaniu pozycyjnemu, mechanizmom uwagi i podwarstwom feed-forward. Będziesz kodować te komponenty w modułowy sposób, aby krok po kroku zbudować własny transformer.Implementuj mechanizmy uwagi z PyTorch
Mechanizm uwagi to kluczowy przełom, który pomógł sformalizować architekturę transformera. Samo-uwaga pozwala transformerom lepiej identyfikować relacje między tokenami, co poprawia jakość generowanego tekstu. Dowiedz się, jak stworzyć klasę mechanizmu wielogłowej uwagi, która będzie stanowić kluczowy element składowy Twoich modeli transformer.Zbuduj własne modele Transformer
Naucz się budować modele transformerów typu encoder-only, decoder-only i encoder-decoder. Dowiedz się, jak wybierać i kodować różne architektury transformerów do różnych zadań językowych, w tym klasyfikacji tekstu i analizy sentymentu, generowania i uzupełniania tekstu oraz tłumaczenia sekwencja do sekwencji.Wymagania wstępne
Program kursu
Plan kursu
1
Elementy składowe modeli Transformer
Odkryj, co sprawia, że najpopularniejsza architektura głębokiego uczenia w świecie AI działa tak skutecznie! Poznaj komponenty modeli Transformer, w tym słynny mechanizm samo-uwagi opisany w przełomowym artykule „Attention is All You Need".
- Transformery z PyTorch50 XP
- Anatomia Transformera50 XP
- Transformery w PyTorch100 XP
- Osadzanie i kodowanie pozycyjne50 XP
- Tworzenie osadzeń wejściowych100 XP
- Tworzenie kodowań pozycyjnych100 XP
- Wielogłowicowa samo-atencja50 XP
- Implementacja wielogłowicowej atencji100 XP
- Tworzenie klasy MultiHeadAttention100 XP
- Dodawanie metod do klasy MultiHeadAttention100 XP
2
Budowanie architektur Transformer
Projektuj bloki enkodera i dekodera transformera, a następnie łącz je z kodowaniem pozycyjnym, wielogłowym mechanizmem uwagi i sieciami feed-forward działającymi pozycyjnie, aby zbudować własne architektury Transformer. Po drodze dogłębnie zrozumiesz, jak transformery działają od środka.
Modele Transformer w PyTorch
Kurs
ukończony
