700+ courses, half price
Описание курса
Погрузитесь в архитектуру Transformer
Модели-трансформеры произвели революцию в моделировании текста, положив начало буму генеративного ИИ благодаря тому, что сделали возможными современные большие языковые модели (LLM). В этом курсе вы рассмотрите ключевые компоненты этой архитектуры, включая позиционное кодирование, механизмы внимания и подслои прямого распространения. Вы будете писать код для этих компонентов модульно, чтобы шаг за шагом создать собственный трансформер.Реализуйте механизмы внимания с помощью PyTorch
Механизм внимания — это ключевое нововведение, которое помогло формализовать архитектуру трансформера. Самовнимание позволяет трансформерам лучше выявлять связи между токенами, что повышает качество генерируемого текста. Узнайте, как создать класс механизма многоголового внимания, который станет ключевым строительным блоком в ваших моделях-трансформерах.Создайте собственные модели Transformer
Изучите, как создавать трансформерные модели только с энкодером, только с декодером и энкодер-декодер. Узнайте, как выбирать и программировать эти различные архитектуры трансформеров для разных языковых задач, включая классификацию текста и анализ тональности, генерацию и завершение текста, а также последовательный перевод.Предварительные требования
Программа
План курса
1
Основные блоки трансформерных моделей
Узнайте, как устроена самая популярная архитектура глубокого обучения в ИИ! Изучите компоненты трансформерных моделей, включая знаменитые механизмы самовнимания, описанные в выдающейся статье «Attention is All You Need».
- Трансформеры с PyTorch50 XP
- Из чего состоит трансформер50 XP
- Трансформеры в PyTorch100 XP
- Эмбеддинг и позиционное кодирование50 XP
- Создание входных эмбеддингов100 XP
- Создание позиционных кодировок100 XP
- Многоголовое самовнимание50 XP
- Реализация многоголового внимания100 XP
- Создание класса MultiHeadAttention100 XP
- Добавление методов в класс MultiHeadAttention100 XP
2
Построение архитектур трансформера
Разработайте блоки энкодера и декодера трансформера и объедините их с позиционным кодированием, многоголовым вниманием и позиционными полносвязными сетями, чтобы построить собственную архитектуру трансформера. В процессе вы глубоко разберётесь в том, как трансформеры работают изнутри.
Трансформерные модели с PyTorch
Курс
завершён
