Build your ultimate AI agent
Mô tả khóa học
Khám phá sâu kiến trúc Transformer
Các mô hình Transformer đã cách mạng hóa mô hình hóa văn bản, khởi động làn sóng AI tạo sinh bằng cách tạo nền tảng cho các mô hình ngôn ngữ lớn (LLMs) ngày nay. Trong khóa học này, bạn sẽ tìm hiểu các thành phần chính trong kiến trúc này, bao gồm mã hóa vị trí, cơ chế chú ý và các lớp con feed-forward. Bạn sẽ lập trình các thành phần này theo cách mô-đun để xây dựng transformer của riêng bạn từng bước một.Triển khai Cơ chế Chú ý với PyTorch
Cơ chế chú ý là một bước phát triển then chốt đã giúp chính thức hóa kiến trúc transformer. Tự chú ý cho phép các transformer xác định tốt hơn mối quan hệ giữa các token, từ đó cải thiện chất lượng văn bản được tạo ra. Tìm hiểu cách tạo một lớp cơ chế chú ý đa đầu sẽ trở thành một khối xây dựng quan trọng trong các mô hình transformer của bạn.Xây dựng mô hình Transformer của riêng bạn
Học cách xây dựng các mô hình transformer chỉ mã hóa, chỉ giải mã và mã hóa-giải mã. Tìm hiểu cách lựa chọn và lập trình các kiến trúc transformer khác nhau này cho các tác vụ ngôn ngữ khác nhau, bao gồm phân loại văn bản và phân tích cảm xúc, tạo và hoàn thành văn bản, cũng như dịch chuỗi sang chuỗi.Yêu cầu tiên quyết
Chương trình học
Đề cương khóa học
1
Những khối xây dựng của mô hình Transformer
Khám phá bí quyết phía sau kiến trúc deep learning hot nhất trong AI! Tìm hiểu các thành phần tạo nên mô hình Transformer, bao gồm cơ chế self-attention nổi tiếng được mô tả trong bài báo “Attention is All You Need” lừng danh.
- Transformer với PyTorch50 XP
- Tháo rời các thành phần của Transformer50 XP
- Transformers trong PyTorch100 XP
- Embedding và mã hóa vị trí50 XP
- Tạo input embeddings100 XP
- Tạo positional encodings100 XP
- Self-attention đa đầu50 XP
- Cài đặt multi-head attention100 XP
- Bắt đầu với MultiHeadAttentionClass100 XP
- Thêm các phương thức vào lớp MultiHeadAttention100 XP
2
Xây dựng kiến trúc Transformer
Thiết kế các khối encoder và decoder của transformer, rồi kết hợp chúng với positional encoding, multi-headed attention và mạng feed-forward theo vị trí để xây dựng kiến trúc Transformer của riêng bạn. Trong quá trình đó, bạn sẽ hiểu sâu và trân trọng cách transformer vận hành ở tầng bên dưới.
Các mô hình Transformer với PyTorch
Hoàn
thành khóa học
