Fine-Tuning with Llama 3

IntermediárioNível de habilidade

Atualizado 03/2026

Fine-tune Llama for custom tasks using TorchTune, and learn techniques for efficient fine-tuning such as quantization.

Crie sua conta gratuita

Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados serão armazenados nos EUA.

Descrição do curso

Fine-tuning the Llama model

This course provides a comprehensive guide to preparing and working with Llama models. Through hands-on examples and practical exercises, you'll learn how to configure various Llama fine-tuning tasks.

Prepare datasets for fine-tuning

Start by exploring dataset preparation techniques, including loading, splitting, and saving datasets using the Hugging Face Datasets library, ensuring high-quality data for your Llama projects.

Work with fine-tuning frameworks

Explore fine-tuning workflows using cutting-edge libraries such TorchTune and Hugging Face’s SFTTrainer. You'll learn how to configure fine-tuning recipes, set up training arguments, and utilize efficient techniques like LoRA (Low-Rank Adaptation) and quantization using BitsAndBytes to optimize resource usage. By combining techniques learned throughout the course, you’ll be able to customize Llama models to suit your projects' needs in an efficient way.

Pré-requisitos

Working with Llama 3

Preparing for Llama fine-tuning

Explore options for fine-tuning Llama 3 models and dive into TorchTune, a library built to simplify fine-tuning. This chapter guides you through data preparation, TorchTune's recipe-based system, and efficient task configuration, providing the key steps to launch your first fine-tuning task.

The Llama fine-tuning libraries

50 XP

Listing TorchTune recipes

50 XP

Running a TorchTune task

50 XP

Preprocessing data for fine-tuning

50 XP

Filtering datasets for evaluation

100 XP

Creating training samples

100 XP

Saving preprocessed datasets

100 XP

Fine-tuning with TorchTune

50 XP

Defining custom recipes

100 XP

Saving custom recipes

100 XP

Running custom fine-tuning

50 XP

Iniciar Capítulo

Fine-tuning with SFTTrainer on Hugging Face

Learn how fine-tuning can significantly improve the performance of smaller models for specific tasks. Start with fine-tuning smaller Llama models to enhance their task-specific capabilities. Next, discover parameter-efficient fine-tuning techniques such as LoRA, and explore quantization to load and use even larger models.

Model fine-tuning with Hugging Face

50 XP

Setting up Llama training arguments

100 XP

Fine-tuning Llama for customer service QA

100 XP

Evaluate generated text using ROUGE

100 XP

Efficient fine-tuning with LoRA

50 XP

Using LoRA adapters

100 XP

LoRA fine-tuning Llama for customer service

100 XP

Making models smaller with quantization

50 XP

Loading 8-bit models

100 XP

Speeding up inference in quantized models

100 XP

Congratulations!

50 XP

Iniciar Capítulo

Fine-Tuning with Llama 3

Curso
concluído

Obtenha um certificado de conclusão

Adicione esta credencial ao seu perfil do LinkedIn, currículo ou CV
Compartilhe nas redes sociais e em sua avaliação de desempenhoInscreva-se Agora

Faça como mais de 19 milhões de alunos e comece Fine-Tuning with Llama 3 hoje mesmo!

Crie sua conta gratuita

Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados serão armazenados nos EUA.

Fine-Tuning with Llama 3

Crie sua conta gratuita

Treinar 2 ou mais pessoas?

Descrição do curso

Fine-tuning the Llama model

Prepare datasets for fine-tuning

Work with fine-tuning frameworks

Pré-requisitos

Preparing for Llama fine-tuning

Fine-tuning with SFTTrainer on Hugging Face

Obtenha um certificado de conclusão

Faça como mais de 19 milhões de alunos e comece Fine-Tuning with Llama 3 hoje mesmo!

Crie sua conta gratuita

Desenvolva suas habilidades em dados com o app do DataCamp

Descrição do curso

Fine-tuning the Llama model

Prepare datasets for fine-tuning

Work with fine-tuning frameworks

Obtenha um certificado de conclusão

Faça como mais de .css-nklxlk{color:var(--wf-brand--main, #03EF62);}19 milhões de alunos e comece Fine-Tuning with Llama 3 hoje mesmo!

Crie sua conta gratuita

Desenvolva suas habilidades em dados com o app do DataCamp

Faça como mais de 19 milhões de alunos e comece Fine-Tuning with Llama 3 hoje mesmo!