After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
课程介绍
Llama 模型微调
本课程提供一份全面指南，帮助您准备并使用 Llama 模型。 通过动手示例和实用练习，你将学习如何配置各种 Llama 微调任务。准备用于微调的数据集
首先探索数据集准备技术，包括使用 Hugging Face Datasets 库加载、拆分和保存数据集，确保为您的 Llama 项目提供高质量数据。使用微调框架
探索使用 TorchTune 和 Hugging Face 的 SFTTrainer 等前沿库的微调工作流程。 您将学习如何配置微调方案、设置训练参数，并利用 LoRA（低秩适配）和使用 BitsAndBytes 的量化等高效技术来优化资源使用。 通过结合在整个课程中学到的技术，你将能够以高效的方式定制 Llama 模型，以满足你的项目需求。先修要求
课程大纲
课程大纲
1
为 Llama 微调做准备
了解对 Llama 3 模型进行微调的多种方案，并深入认识 TorchTune——一个为简化微调而构建的库。本章将带您完成数据准备、TorchTune 的配方式系统以及高效的任务配置，帮助您掌握启动首次微调任务的关键步骤。
2
使用 Hugging Face 的 SFTTrainer 进行微调
学习微调如何显著提升小型模型在特定任务上的性能。先从微调较小的 Llama 模型开始，以增强其任务定制能力。接着，了解 LoRA 等参数高效微调技术，并探索量化以加载和使用更大的模型。
使用 Llama 3 进行微调
课程完成
