After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Описание курса
Дообучение модели Llama
Этот курс представляет собой подробное руководство по подготовке и работе с моделями Llama. На практических примерах и упражнениях вы научитесь настраивать различные задачи дообучения Llama.Подготовка наборов данных для дообучения
Начните с изучения техник подготовки наборов данных, включая загрузку, разделение и сохранение наборов данных с помощью библиотеки Hugging Face Datasets, чтобы обеспечить высокое качество данных для ваших проектов на Llama.Работайте с фреймворками для тонкой настройки
Изучите рабочие процессы тонкой настройки с использованием передовых библиотек, таких как TorchTune и SFTTrainer от Hugging Face. Вы узнаете, как настраивать рецепты fine-tuning, задавать параметры обучения и использовать эффективные техники, такие как LoRA (Low-Rank Adaptation) и квантование с помощью BitsAndBytes, чтобы оптимизировать использование ресурсов. Объединив техники, изученные на протяжении всего курса, вы сможете эффективно настраивать модели Llama под потребности ваших проектов.Предварительные требования
Программа
Структура курса
1
Подготовка к файн-тюнингу Llama
Изучите варианты файн-тюнинга моделей Llama 3 и познакомьтесь с TorchTune — библиотекой, разработанной для упрощения этого процесса. В этой главе вы пройдёте через подготовку данных, систему рецептов TorchTune и настройку задач, а также освоите ключевые шаги для запуска первого файн-тюнинга.
- Библиотеки для дообучения Llama50 XP
- Просмотр рецептов TorchTune50 XP
- Запуск задачи TorchTune50 XP
- Подготовка данных для дообучения50 XP
- Фильтрация наборов данных для оценки100 XP
- Создание обучающих примеров100 XP
- Сохранение предобработанных наборов данных100 XP
- Файнтюнинг с TorchTune50 XP
- Определение пользовательских рецептов100 XP
- Сохранение пользовательских рецептов100 XP
- Запуск пользовательской тонкой настройки50 XP
2
Файн-тюнинг с SFTTrainer на Hugging Face
Узнайте, как файн-тюнинг может значительно повысить производительность небольших моделей для конкретных задач. Начните с файн-тюнинга компактных моделей Llama, чтобы улучшить их возможности для специализированных задач. Затем познакомьтесь с параметрически эффективными методами обучения, такими как LoRA, и изучите квантизацию для загрузки и использования более крупных моделей.
Файн-тюнинг с Llama 3
Курс
завершён
