Después de hacer estos cursos, me siento seguro creando visualizaciones y cuadros de mando profesionales
Shoebur RahmanEspecialista en adquisiciones, Giz Bangladesh
Descripción del curso
Profundiza en la arquitectura Transformer
Los modelos transformadores han revolucionado el modelado de texto, impulsando el auge de la IA generativa al hacer posibles los grandes modelos de lenguaje (LLM) actuales. En este curso, se estudiarán los componentes clave de esta arquitectura, incluyendo la codificación posicional, los mecanismos de atención y las subcapas de alimentación directa. Programarás estos componentes de forma modular para construir tu propio transformador paso a paso.Implementar mecanismos de atención con PyTorch
El mecanismo de atención es un avance clave que contribuyó a formalizar la arquitectura del transformador. La autoatención permite a los transformadores identificar mejor las relaciones entre los tokens, lo que mejora la calidad del texto generado. Aprende a crear una clase de mecanismo de atención multitesta que constituirá un elemento fundamental en tus modelos de transformador.Construye tus propios modelos de Transformers
Aprende a crear modelos de transformadores solo codificadores, solo decodificadores y codificadores-decodificadores. Aprende a elegir y codificar estas diferentes arquitecturas de transformadores para distintas tareas lingüísticas, como la clasificación de textos y el análisis de opiniones, la generación y finalización de textos, y la traducción secuencia a secuencia.Requisitos previos
Programa de formación
Contenido del curso
1
Los bloques fundamentales de los modelos Transformer
Descubre qué hace tan potente a la arquitectura de deep learning más popular en IA. Conoce los componentes que forman los modelos Transformer, incluidos los famosos mecanismos de self-attention descritos en el reconocido artículo "Attention is All You Need".
- Transformers con PyTorch50 XP
- Desgranando el Transformer50 XP
- Transformers en PyTorch100 XP
- Embedding y codificación posicional50 XP
- Crear embeddings de entrada100 XP
- Crear codificaciones posicionales100 XP
- Autoatención multi-cabeza50 XP
- Implementación de multi-head attention100 XP
- Empezando la clase MultiHeadAttentionClass100 XP
- Añadir métodos a la clase MultiHeadAttention100 XP
2
Construcción de arquitecturas Transformer
Diseña bloques transformer de encoder y decoder, y combínalos con codificación posicional, atención multihead y redes feed-forward por posición para construir tus propias arquitecturas Transformer. Por el camino, desarrollarás una comprensión profunda y apreciarás cómo funcionan los transformers por dentro.
Modelos Transformer con PyTorch
Curso
completado
