Depois de fazer esses cursos, sinto-me confiante para criar visualizações e painéis profissionais
Shoebur RahmanEspecialista em compras, Giz Bangladesh
Descrição do curso
Ajustando o modelo Llama
Este curso oferece um guia completo para preparar e trabalhar com modelos Llama. Por meio de exemplos práticos e exercicios práticos, você aprenderá como configurar diversas tarefas de ajuste fino do Llama.Prepare os conjuntos de dados para o fine-tuning
Comece explorando técnicas de preparação de conjuntos de dados, incluindo carregamento, divisão e salvamento de conjuntos de dados usando a biblioteca Hugging Face Datasets, garantindo dados de alta qualidade para seus projetos Llama.Trabalhe com frameworks de fine-tuning
Explore fluxos de trabalho de fine-tuning usando bibliotecas de ponta como TorchTune e o SFTTrainer da Hugging Face. Você aprenderá como configurar receitas de ajuste fino, definir argumentos de treinamento e utilizar técnicas eficientes como LoRA (Low-Rank Adaptation) e quantização usando BitsAndBytes para otimizar o uso de recursos. Ao combinar as técnicas aprendidas ao longo do curso, você será capaz de personalizar modelos Llama para atender às necessidades dos seus projetos de maneira eficiente.Pré-requisitos
Programa de estudos
Conteúdo do curso
1
Preparando-se para o ajuste fino do Llama
Explore opções para ajustar modelos Llama 3 e mergulhe no TorchTune, uma biblioteca criada para simplificar o fine-tuning. Este capítulo orienta você na preparação dos dados, no sistema de receitas do TorchTune e na configuração eficiente de tarefas, apresentando as etapas essenciais para iniciar sua primeira tarefa de ajuste fino.
- As bibliotecas de fine-tuning do Llama50 XP
- Listando receitas do TorchTune50 XP
- Executando uma tarefa com o TorchTune50 XP
- Pré-processamento de dados para fine-tuning50 XP
- Filtrando conjuntos de dados para avaliação100 XP
- Criando amostras de treinamento100 XP
- Salvando conjuntos de dados pré-processados100 XP
- Fine-tuning com o TorchTune50 XP
- Definindo receitas personalizadas100 XP
- Salvando receitas personalizadas100 XP
- Executando um fine-tuning personalizado50 XP
2
Ajuste fino com SFTTrainer no Hugging Face
Descubra como o ajuste fino pode melhorar significativamente o desempenho de modelos menores em tarefas específicas. Comece ajustando modelos Llama menores para ampliar suas capacidades focadas na tarefa. Em seguida, conheça técnicas de ajuste fino eficiente em parâmetros, como LoRA, e explore a quantização para carregar e usar modelos ainda maiores.
Ajuste Fino com Llama 3
Curso
concluído
