Depois de fazer esses cursos, sinto-me confiante para criar visualizações e painéis profissionais
Shoebur RahmanEspecialista em compras, Giz Bangladesh
Descrição do curso
Mergulhe fundo na arquitetura do Transformer
Os modelos Transformer revolucionaram a modelagem de texto, dando início ao boom da IA generativa ao possibilitar os grandes modelos de linguagem (LLMs) atuais. Neste curso, você vai conhecer os principais componentes dessa arquitetura, incluindo codificação posicional, mecanismos de atenção e subcamadas feed-forward. Você vai programar esses componentes de forma modular para construir seu próprio transformador passo a passo.Implementar mecanismos de atenção com o PyTorch
O mecanismo de atenção é um desenvolvimento importante que ajudou a formalizar a arquitetura do transformador. A autoatenção permite que os transformadores identifiquem melhor as relações entre os tokens, o que melhora a qualidade do texto gerado. Aprenda a criar uma classe de mecanismo de atenção multi-head que vai ser um elemento fundamental nos seus modelos transformadores.Crie seus próprios modelos de transformadores
Aprenda a criar modelos de transformador apenas codificador, apenas decodificador e codificador-decodificador. Aprenda a escolher e codificar essas diferentes arquiteturas de transformadores para diferentes tarefas de linguagem, incluindo classificação de texto e análise de sentimentos, geração e conclusão de texto e tradução sequência a sequência.Pré-requisitos
Programa de estudos
Conteúdo do curso
1
Os blocos de construção dos modelos Transformer
Descubra o que faz a arquitetura de deep learning mais quente da IA funcionar! Conheça os componentes que formam os modelos Transformer, incluindo os famosos mecanismos de self-attention descritos no renomado artigo "Attention is All You Need".
- Transformers com PyTorch50 XP
- Dissecando o Transformer50 XP
- Transformers no PyTorch100 XP
- Incorporação e codificação posicional50 XP
- Criando embeddings de entrada100 XP
- Criando codificações posicionais100 XP
- Self-attention multihead50 XP
- Implementando multi-head attention100 XP
- Iniciando a MultiHeadAttentionClass100 XP
- Adicionando métodos à classe MultiHeadAttention100 XP
2
Construindo arquiteturas Transformer
Projete blocos de codificador (encoder) e decodificador (decoder) de transformers e combine-os com codificação posicional, atenção multihead e redes feed-forward posição a posição para construir suas próprias arquiteturas Transformer. Ao longo do caminho, você vai desenvolver uma compreensão profunda e apreciar como os transformers funcionam por baixo dos panos.
Modelos Transformer com PyTorch
Curso
concluído
