Después de hacer estos cursos, me siento seguro creando visualizaciones y cuadros de mando profesionales
Shoebur RahmanEspecialista en adquisiciones, Giz Bangladesh
Descripción del curso
Ajuste del modelo Llama
Este curso ofrece una guía completa para preparar y trabajar con modelos Llama. A través de ejemplos prácticos y ejercicios, aprenderás a configurar diversas tareas de ajuste fino de Llama.Prepara conjuntos de datos para el ajuste fino.
Comienza explorando las técnicas de preparación de conjuntos de datos, incluyendo la carga, división y guardado de conjuntos de datos utilizando la biblioteca Hugging Face Datasets, lo que garantiza datos de alta calidad para tus proyectos Llama.Trabajar con marcos de ajuste fino
Explora los flujos de trabajo de ajuste fino utilizando bibliotecas de vanguardia como TorchTune y SFTTrainer de Hugging Face. Aprenderás a configurar recetas de ajuste fino, configurar argumentos de entrenamiento y utilizar técnicas eficientes como LoRA (Low-Rank Adaptation) y cuantificación utilizando BitsAndBytes para optimizar el uso de los recursos. Al combinar las técnicas aprendidas a lo largo del curso, podrás personalizar los modelos de Llama para adaptarlos a las necesidades de tus proyectos de manera eficiente.Requisitos previos
Programa de formación
Esquema del curso
1
Preparación para el ajuste fino de Llama
Explora opciones para ajustar finamente modelos Llama 3 y descubre TorchTune, una biblioteca creada para simplificar el ajuste fino. Este capítulo te guía por la preparación de datos, el sistema de recetas de TorchTune y la configuración eficiente de tareas, proporcionándote los pasos clave para lanzar tu primera tarea de ajuste fino.
- Las bibliotecas de ajuste fino de Llama50 XP
- Listar recetas de TorchTune50 XP
- Ejecutar una tarea de TorchTune50 XP
- Preprocesamiento de datos para el fine-tuning50 XP
- Filtrado de conjuntos de datos para la evaluación100 XP
- Creación de muestras de entrenamiento100 XP
- Guardar conjuntos de datos preprocesados100 XP
- Ajuste fino con TorchTune50 XP
- Definir recetas personalizadas100 XP
- Guardar recetas personalizadas100 XP
- Ejecutar un fine-tuning personalizado50 XP
2
Ajuste fino con SFTTrainer en Hugging Face
Aprende cómo el ajuste fino puede mejorar significativamente el rendimiento de modelos más pequeños en tareas específicas. Empieza ajustando modelos Llama más pequeños para potenciar sus capacidades en tareas concretas. Después, descubre técnicas de ajuste fino eficientes en parámetros como LoRA y explora la cuantización para cargar y usar incluso modelos más grandes.
Ajuste fino con Llama 3
Curso
completado
