After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Опис курсу
Поглибте знання архітектури Transformer
Моделі Transformer революціонізували моделювання тексту, започаткувавши бум генеративного ШІ завдяки створенню сучасних великих мовних моделей (LLM). У цьому курсі ви розглянете ключові компоненти цієї архітектури, зокрема позиційне кодування, механізми уваги та підшари прямого поширення. Ви кодуватимете ці компоненти модульно, щоб крок за кроком створити власний трансформер.Реалізуйте механізми уваги за допомогою PyTorch
Механізм уваги — це ключова розробка, яка допомогла формалізувати архітектуру трансформера. Самоувага дозволяє трансформерам краще визначати зв’язки між токенами, що підвищує якість згенерованого тексту. Дізнайтеся, як створити клас механізму багатоголової уваги, який стане ключовим будівельним блоком у ваших моделях transformer.Створюйте власні моделі Transformer
Навчіться створювати трансформерні моделі лише з енкодером, лише з декодером та з енкодером-декодером. Дізнайтеся, як обирати та програмувати ці різні архітектури трансформерів для різних мовних завдань, зокрема класифікації тексту та аналізу тональності, генерації та доповнення тексту, а також перекладу послідовність-у-послідовність.Попередні вимоги
Навчальний план
Зміст курсу
1
Будівельні блоки моделей Transformer
З'ясуйте, завдяки чому працює найпопулярніша архітектура глибокого навчання у ШІ! Розберіться з компонентами, з яких складаються моделі Transformer, зокрема з відомими механізмами самоуваги, описаними в знаковій статті «Attention is All You Need».
- Transformers з PyTorch50 XP
- Розбираємо Transformer на складові50 XP
- Трансформери в PyTorch100 XP
- Embedding та позиційне кодування50 XP
- Створення вхідних вкладень100 XP
- Створення позиційних кодувань100 XP
- Багатоголова самоувага (multi-head self-attention)50 XP
- Реалізація multi-head attention100 XP
- Початок роботи з MultiHeadAttentionClass100 XP
- Додавання методів до класу MultiHeadAttention100 XP
2
Побудова архітектур Transformer
Спроєктуйте блоки енкодера й декодера Transformer та поєднайте їх із позиційним кодуванням, багатоголовою увагою і покроковими (position-wise) повнозв'язними мережами, щоб зібрати власні архітектури Transformer. Паралельно ви глибоко зрозумієте, як трансформери працюють „під капотом".
Моделі Transformer з PyTorch
Курс
завершено
