After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Mô tả khóa học
Yêu cầu tiên quyết
Chương trình học
Đề cương khóa học
1
Chuẩn bị cho việc fine-tune Llama
Khám phá các lựa chọn để fine-tune các mô hình Llama 3 và tìm hiểu TorchTune — thư viện được xây dựng để đơn giản hóa việc fine-tune. Chương này hướng dẫn bạn chuẩn bị dữ liệu, hệ thống công thức (recipe) của TorchTune, và cấu hình tác vụ hiệu quả, cung cấp các bước chính để khởi chạy tác vụ fine-tuning đầu tiên.
- Các thư viện fine-tuning cho Llama50 XP
- Liệt kê các recipe của TorchTune50 XP
- Chạy một tác vụ TorchTune50 XP
- Tiền xử lý dữ liệu để fine-tune50 XP
- Lọc tập dữ liệu để đánh giá100 XP
- Tạo mẫu huấn luyện100 XP
- Lưu các dataset đã tiền xử lý100 XP
- Fine-tuning với TorchTune50 XP
- Định nghĩa recipe tùy chỉnh100 XP
- Lưu recipe tùy chỉnh100 XP
- Chạy fine-tuning tùy chỉnh50 XP
2
Fine-tuning với SFTTrainer trên Hugging Face
Tìm hiểu cách fine-tuning có thể cải thiện đáng kể hiệu năng của các mô hình nhỏ cho các nhiệm vụ cụ thể. Bắt đầu bằng cách fine-tune các mô hình Llama nhỏ hơn để tăng khả năng xử lý theo tác vụ. Tiếp theo, khám phá các kỹ thuật fine-tuning hiệu quả tham số như LoRA, và tìm hiểu lượng tử hóa để tải và sử dụng các mô hình còn lớn hơn.
Fine-Tuning với Llama 3
Hoàn
thành khóa học
