After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Опис курсу
Доопрацювання моделі Llama
Цей курс надає вичерпний посібник із підготовки та роботи з моделями Llama. За допомогою практичних прикладів і вправ ви навчитеся налаштовувати різні завдання донавчання Llama.Підготуйте набори даних для донавчання
Почніть із вивчення технік підготовки наборів даних, зокрема завантаження, розділення та збереження наборів даних за допомогою бібліотеки Hugging Face Datasets, щоб забезпечити високоякісні дані для ваших проєктів Llama.Працюйте з фреймворками для fine-tuning
Досліджуйте робочі процеси fine-tuning за допомогою передових бібліотек, таких як TorchTune та SFTTrainer від Hugging Face. Ви навчитеся налаштовувати рецепти fine-tuning, задавати параметри навчання та використовувати ефективні методики, як-от LoRA (Low-Rank Adaptation) і квантизацію за допомогою BitsAndBytes, щоб оптимізувати використання ресурсів. Поєднуючи техніки, вивчені протягом курсу, ви зможете ефективно налаштовувати моделі Llama відповідно до потреб ваших проєктів.Попередні вимоги
Навчальний план
Зміст курсу
1
Підготовка до тонкого налаштування Llama
Дослідіть варіанти тонкого налаштування моделей Llama 3 і зануртеся в TorchTune — бібліотеку, створену для спрощення цього процесу. У цьому розділі ви пройдете підготовку даних, рецептурну систему TorchTune та ефективну конфігурацію завдань, отримавши ключові кроки для запуску вашого першого завдання тонкого налаштування.
- Бібліотеки для тонкого налаштування Llama50 XP
- Список рецептів TorchTune50 XP
- Запуск завдання TorchTune50 XP
- Попередня обробка даних для тонкого налаштування50 XP
- Фільтрування наборів даних для оцінювання100 XP
- Створення тренувальних прикладів100 XP
- Збереження попередньо оброблених наборів даних100 XP
- Тонке налаштування з TorchTune50 XP
- Визначення користувацьких рецептів100 XP
- Збереження власних рецептів100 XP
- Запуск користувацького донавчання50 XP
2
Тонке налаштування з SFTTrainer на Hugging Face
Дізнайтеся, як тонке налаштування може суттєво підвищити продуктивність менших моделей для конкретних завдань. Почніть із тонкого налаштування менших моделей Llama, щоб посилити їхні можливості під певні задачі. Далі відкрийте параметроефективні техніки, зокрема LoRA, і розгляньте квантизацію, щоб завантажувати та використовувати навіть більші моделі.
Тонке налаштування з Llama 3
Курс
завершено
