Przejdź do treści głównej
DomPyTorch

course

Transformer Models with PyTorch

ZaawansowanyPoziom umiejętności
Zaktualizowano 01.2025
What makes LLMs tick? Discover how transformers revolutionized text modeling and kickstarted the generative AI boom.
Rozpocznij Kurs Za Darmo
PyTorchArtificial Intelligence2 godz.7 videos23 Exercises1,900 PD7,113Oświadczenie o osiągnięciu

Utwórz bezpłatne konto

Lub

Kontynuując, akceptujesz nasze Warunki korzystania, naszą Politykę prywatności oraz fakt, że Twoje dane są przechowywane w USA.

Uwielbiany przez pracowników tysięcy firm

Group

Szkolenie 2 lub więcej osób?

Wypróbuj DataCamp for Business

Opis kursu

Deep-Dive into the Transformer Architecture

Transformer models have revolutionized text modeling, kickstarting the generative AI boom by enabling today's large language models (LLMs). In this course, you'll look at the key components in this architecture, including positional encoding, attention mechanisms, and feed-forward sublayers. You'll code these components in a modular way to build your own transformer step-by-step.

Implement Attention Mechanisms with PyTorch

The attention mechanism is a key development that helped formalize the transformer architecture. Self-attention allows transformers to better identify relationships between tokens, which improves the quality of generated text. Learn how to create a multi-head attention mechanism class that will form a key building block in your transformer models.

Build Your Own Transformer Models

Learn to build encoder-only, decoder-only, and encoder-decoder transformer models. Learn how to choose and code these different transformer architectures for different language tasks, including text classification and sentiment analysis, text generation and completion, and sequence-to-sequence translation.

Wymagania wstępne

Deep Learning for Text with PyTorch
1

The Building Blocks of Transformer Models

Discover what makes the hottest deep learning architecture in AI tick! Learn about the components that make up Transformer models, including the famous self-attention mechanisms described in the renowned paper "Attention is All You Need."
Rozpocznij Rozdział
2

Building Transformer Architectures

Design transformer encoder and decoder blocks, and combine them with positional encoding, multi-headed attention, and position-wise feed-forward networks to build your very own Transformer architectures. Along the way, you'll develop a deep understanding and appreciation for how transformers work under the hood.
Rozpocznij Rozdział
Transformer Models with PyTorch
Kurs
ukończony

Zdobądź oświadczenie o osiągnięciach

Dodaj te dane uwierzytelniające do swojego profilu na LinkedIn, CV lub życiorysu
Udostępnij w mediach społecznościowych i w swojej ocenie okresowej
Zapisz Się Teraz

Dołącz do nas 19 milionów uczniów i zacznij Transformer Models with PyTorch już dziś!

Utwórz bezpłatne konto

Lub

Kontynuując, akceptujesz nasze Warunki korzystania, naszą Politykę prywatności oraz fakt, że Twoje dane są przechowywane w USA.

Rozwijaj swoje umiejętności w zakresie danych dzięki DataCamp dla urządzeń mobilnych

Rób postępy w podróży dzięki naszym kursom mobilnym i codziennym 5-minutowym wyzwaniom kodowania.