Трансформерные модели с PyTorch

Погрузитесь в архитектуру Transformer

Модели-трансформеры произвели революцию в моделировании текста, положив начало буму генеративного ИИ благодаря тому, что сделали возможными современные большие языковые модели (LLM). В этом курсе вы рассмотрите ключевые компоненты этой архитектуры, включая позиционное кодирование, механизмы внимания и подслои прямого распространения. Вы будете писать код для этих компонентов модульно, чтобы шаг за шагом создать собственный трансформер.

Реализуйте механизмы внимания с помощью PyTorch

Механизм внимания — это ключевое нововведение, которое помогло формализовать архитектуру трансформера. Самовнимание позволяет трансформерам лучше выявлять связи между токенами, что повышает качество генерируемого текста. Узнайте, как создать класс механизма многоголового внимания, который станет ключевым строительным блоком в ваших моделях-трансформерах.

Создайте собственные модели Transformer

Изучите, как создавать трансформерные модели только с энкодером, только с декодером и энкодер-декодер. Узнайте, как выбирать и программировать эти различные архитектуры трансформеров для разных языковых задач, включая классификацию текста и анализ тональности, генерацию и завершение текста, а также последовательный перевод.