使用 Llama 3 进行微调

Llama 模型微调

本课程提供一份全面指南，帮助您准备并使用 Llama 模型。 通过动手示例和实用练习，你将学习如何配置各种 Llama 微调任务。

准备用于微调的数据集

首先探索数据集准备技术，包括使用 Hugging Face Datasets 库加载、拆分和保存数据集，确保为您的 Llama 项目提供高质量数据。

使用微调框架

探索使用 TorchTune 和 Hugging Face 的 SFTTrainer 等前沿库的微调工作流程。 您将学习如何配置微调方案、设置训练参数，并利用 LoRA（低秩适配）和使用 BitsAndBytes 的量化等高效技术来优化资源使用。 通过结合在整个课程中学到的技术，你将能够以高效的方式定制 Llama 模型，以满足你的项目需求。