Depois de fazer esses cursos, sinto-me confiante para criar visualizações e painéis profissionais
Shoebur RahmanEspecialista em compras, Giz Bangladesh
Descrição do curso
O treinamento distribuído é uma habilidade essencial no machine learning em grande escala, ajudando você a reduzir o tempo necessário para treinar grandes modelos de linguagem com trilhões de parâmetros. Neste curso, você explorará as ferramentas, técnicas e estratégias essenciais para um treinamento distribuído eficiente usando o PyTorch, o Accelerator e o Trainer.
Preparação de dados para treinamento distribuído
Você começará preparando os dados para o treinamento distribuído, dividindo os conjuntos de dados em vários dispositivos e implantando cópias do modelo em cada dispositivo. Você ganhará experiência prática no pré-processamento de dados para ambientes distribuídos, incluindo imagens, áudio e texto.Explorando técnicas de eficiência
Quando os dados estiverem prontos, você explorará maneiras de aumentar a eficiência do treinamento e do uso do otimizador em várias interfaces. Você verá como enfrentar esses desafios melhorando o uso da memória, a comunicação do dispositivo e a eficiência computacional com técnicas como acumulação de gradiente, checkpointing de gradiente, descida de gradiente estocástica local e treinamento de precisão mista. Você entenderá as compensações entre diferentes otimizadores para ajudá-lo a diminuir o espaço de memória do seu modelo.Ao final deste curso, você estará equipado com o conhecimento e as ferramentas para criar serviços distribuídos com tecnologia de IA.Pré-requisitos
Programa de estudos
Conteúdo do curso
1
Preparação de Dados com Accelerator
Você vai preparar dados para treinamento distribuído dividindo o conjunto entre vários dispositivos e copiando o modelo em cada um deles. O Accelerator oferece uma interface prática para preparação de dados, e você vai aprender a pré-processar imagens, áudio e texto como primeiro passo no treinamento distribuído.
- Prepare modelos com AutoModel e Accelerator50 XP
- Carregando e inspecionando modelos pré-treinados100 XP
- Alocação automática de dispositivo com Accelerator100 XP
- Pré-processar imagens e áudio para o treinamento50 XP
- Pré-processar conjuntos de dados de imagens100 XP
- Pré-processar conjuntos de dados de áudio100 XP
- Prepare conjuntos de dados para treinamento distribuído100 XP
- Pré-processar texto para treinamento50 XP
- Pré-processar texto com AutoTokenizer100 XP
- Salvar e carregar o estado do texto pré-processado100 XP
2
Treinamento Distribuído com Accelerator e Trainer
No treinamento distribuído, cada dispositivo treina em seu próprio conjunto de dados em paralelo. Você vai investigar dois métodos para treinamento distribuído: o Accelerator permite laços de treinamento personalizados, e o Trainer simplifica a interface de treinamento.
3
Aprimorando a Eficiência do Treinamento
O treinamento distribuído exige muitos recursos com modelos e conjuntos de dados grandes, mas você pode enfrentar esses desafios melhorando o uso de memória, a comunicação entre dispositivos e a eficiência computacional. Você vai conhecer as técnicas de acumulação de gradiente, gradient checkpointing, local stochastic gradient descent e treinamento em precisão mista.
4
Treinando com Otimizadores Eficientes
Você vai focar nos otimizadores como alavancas para melhorar a eficiência do treinamento distribuído, destacando os trade-offs entre AdamW, Adafactor e Adam de 8 bits. Reduzir o número de parâmetros ou usar baixa precisão ajuda a diminuir o consumo de memória de um modelo.
Treinamento Eficiente de Modelos de IA com PyTorch
Curso
concluído
