Después de hacer estos cursos, me siento seguro creando visualizaciones y cuadros de mando profesionales
Shoebur RahmanEspecialista en adquisiciones, Giz Bangladesh
Descripción del curso
El entrenamiento distribuido es una habilidad esencial en el machine learning a gran escala, que te ayuda a reducir el tiempo necesario para entrenar grandes modelos lingüísticos con billones de parámetros. En este curso, explorarás las herramientas, técnicas y estrategias esenciales para una formación distribuida eficiente utilizando PyTorch, Accelerator y Trainer.
Preparar los datos para el entrenamiento distribuido
Empezarás preparando los datos para el entrenamiento distribuido, dividiendo los conjuntos de datos en varios dispositivos y desplegando copias del modelo en cada dispositivo. Adquirirás experiencia práctica en el preprocesamiento de datos para entornos distribuidos, incluyendo imágenes, audio y texto.Explorar técnicas de eficiencia
Una vez que tus datos estén listos, explorarás formas de mejorar la eficacia en el entrenamiento y el uso del optimizador a través de múltiples interfaces. Verás cómo abordar estos retos mejorando el uso de la memoria, la comunicación entre dispositivos y la eficiencia computacional con técnicas como la acumulación de gradiente, la comprobación de gradiente, el descenso de gradiente estocástico local y el entrenamiento de precisión mixta. Comprenderás las ventajas y desventajas de los distintos optimizadores para ayudarte a reducir la huella de memoria de tu modelo.Al final de este curso, estarás equipado con los conocimientos y las herramientas para construir servicios distribuidos impulsados por IA.Requisitos previos
Programa de formación
Esquema del curso
1
Preparación de datos con Accelerator
Prepararás los datos para entrenamiento distribuido dividiéndolos entre varios dispositivos y copiando el modelo en cada uno. Accelerator ofrece una interfaz práctica para la preparación de datos, y aprenderás a preprocesar imágenes, audio y texto como primer paso del entrenamiento distribuido.
- Prepara modelos con AutoModel y Accelerator50 XP
- Cargar e inspeccionar modelos preentrenados100 XP
- Colocación automática de dispositivos con Accelerator100 XP
- Preprocesa imágenes y audio para el entrenamiento50 XP
- Preprocesa conjuntos de datos de imágenes100 XP
- Preprocesa conjuntos de datos de audio100 XP
- Prepara conjuntos de datos para entrenamiento distribuido100 XP
- Preprocesa texto para el entrenamiento50 XP
- Preprocesa texto con AutoTokenizer100 XP
- Guardar y cargar el estado del texto preprocesado100 XP
2
Entrenamiento distribuido con Accelerator y Trainer
En el entrenamiento distribuido, cada dispositivo entrena en paralelo con sus propios datos. Investigarás dos métodos para entrenamiento distribuido: Accelerator permite bucles de entrenamiento personalizados, y Trainer simplifica la interfaz de entrenamiento.
3
Mejorar la eficiencia del entrenamiento
El entrenamiento distribuido exige muchos recursos con modelos y conjuntos de datos grandes, pero puedes afrontar estos retos mejorando el uso de memoria, la comunicación entre dispositivos y la eficiencia computacional. Descubrirás las técnicas de acumulación de gradientes, gradient checkpointing, local stochastic gradient descent y entrenamiento en precisión mixta.
4
Entrenamiento con optimizadores eficientes
Te centrarás en los optimizadores como palancas para mejorar la eficiencia del entrenamiento distribuido, destacando los compromisos entre AdamW, Adafactor y Adam de 8 bits. Reducir el número de parámetros o usar baja precisión ayuda a disminuir la huella de memoria de un modelo.
Entrenamiento eficiente de modelos de IA con PyTorch
Curso
completado
