After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Deskripsi Kursus
Penjelajahan Mendalam tentang Arsitektur Transformer
Model transformer telah merevolusi pemodelan teks, memicu ledakan kecerdasan buatan generatif dengan memfasilitasi pengembangan model bahasa besar (LLMs) yang ada saat ini. Dalam kursus ini, Anda akan mempelajari komponen-komponen utama dalam arsitektur ini, termasuk positional encoding, mekanisme perhatian, dan lapisan feed-forward. Anda akan mengkodekan komponen-komponen ini secara modular untuk membangun transformator Anda sendiri secara bertahap.Implementasikan Mekanisme Perhatian dengan PyTorch
Mekanisme perhatian merupakan perkembangan kunci yang membantu mengformalkan arsitektur transformer. Self-attention memungkinkan transformers untuk lebih baik mengidentifikasi hubungan antara token, yang meningkatkan kualitas teks yang dihasilkan. Pelajari cara membuat kelas mekanisme perhatian multi-head yang akan menjadi blok bangunan kunci dalam model transformer Anda.Bangun Model Transformer Anda Sendiri
Pelajari cara membangun model transformer yang hanya menggunakan encoder, hanya menggunakan decoder, dan model transformer encoder-decoder. Pelajari cara memilih dan mengimplementasikan arsitektur transformer yang berbeda untuk tugas-tugas bahasa yang berbeda, termasuk klasifikasi teks dan analisis sentimen, generasi dan penyelesaian teks, serta terjemahan urutan-ke-urutan.Prasyarat
Kurikulum
Garis besar kursus
1
Komponen Penyusun Model Transformer
Temukan apa yang membuat arsitektur deep learning terpanas di AI ini begitu ampuh! Pelajari komponen yang membentuk model Transformer, termasuk mekanisme self-attention terkenal yang dijelaskan dalam makalah ternama "Attention is All You Need."
- Transformer dengan PyTorch50 XP
- Membongkar Transformer50 XP
- Transformer di PyTorch100 XP
- Embedding dan pengodean posisi50 XP
- Membuat input embedding100 XP
- Membuat positional encoding100 XP
- Self-attention multi-kepala50 XP
- Menerapkan multi-head attention100 XP
- Memulai MultiHeadAttentionClass100 XP
- Menambahkan metode ke kelas MultiHeadAttention100 XP
2
Membangun Arsitektur Transformer
Rancang blok encoder dan decoder transformer, lalu gabungkan dengan positional encoding, multi-headed attention, dan position-wise feed-forward networks untuk membangun arsitektur Transformer Anda sendiri. Sepanjang proses, Anda akan mengembangkan pemahaman mendalam dan apresiasi terhadap cara kerja transformer di balik layar.
Model Transformer dengan PyTorch
Kursus
Selesai
