Name: Fine-Tuning กับ Llama 3
Rating: 4.761229314420804 (423 reviews)

รายละเอียดคอร์ส

การปรับแต่งโมเดล Llama ให้เหมาะสม

คอร์สนี้นำเสนอคู่มือฉบับสมบูรณ์สำหรับการเตรียมและใช้งานโมเดล Llama ผ่านตัวอย่างที่ลงมือปฏิบัติจริงและแบบฝึกหัดที่ใช้งานได้จริง คุณจะได้เรียนรู้วิธีตั้งค่าการปรับแต่ง Llama ในแต่ละรูปแบบ

เตรียมชุดข้อมูลสำหรับการปรับแต่ง

เริ่มต้นด้วยการสำรวจเทคนิคการเตรียมชุดข้อมูล เช่น การโหลด การแบ่ง และการบันทึกชุดข้อมูลโดยใช้ Hugging Face Datasets library เพื่อให้มั่นใจว่าข้อมูลของคุณมีคุณภาพสูงสำหรับโปรเจกต์ Llama

ทำงานกับเฟรมเวิร์กสำหรับการปรับแต่งโมเดล

สำรวจเวิร์กโฟลว์การปรับแต่งโมเดลโดยใช้ไลบรารีล้ำสมัย เช่น TorchTune และ SFTTrainer ของ Hugging Face คุณจะได้เรียนรู้วิธีตั้งค่ากระบวนการปรับแต่งโมเดล (fine-tuning recipes) การกำหนดอาร์กิวเมนต์สำหรับการฝึกสอน (training arguments) และการใช้เทคนิคที่มีประสิทธิภาพ เช่น LoRA (Low-Rank Adaptation) และการทำ quantization ด้วย BitsAndBytes เพื่อเพิ่มประสิทธิภาพการใช้ทรัพยากรให้สูงสุด ด้วยการผสมผสานเทคนิคที่ได้เรียนรู้ตลอดหลักสูตรนี้ คุณจะสามารถปรับแต่งโมเดล Llama ให้เหมาะสมกับความต้องการของโปรเจกต์ของคุณได้อย่างมีประสิทธิภาพ

ข้อกำหนดเบื้องต้น

Working with Llama 3

หลักสูตร

โครงร่างคอร์ส

เตรียมความพร้อมสำหรับการ fine-tune Llama

สำรวจตัวเลือกสำหรับการ fine-tune โมเดล Llama 3 และทำความรู้จักกับ TorchTune ซึ่งเป็นไลบรารีที่ออกแบบมาเพื่อลดความซับซ้อนของกระบวนการ fine-tuning บทนี้จะพาไปผ่านขั้นตอนการเตรียมข้อมูล ระบบ recipe ของ TorchTune และการกำหนดค่างานอย่างมีประสิทธิภาพ เพื่อให้พร้อมเริ่ม fine-tuning งานแรกได้

เริ่มบท

Fine-tuning ด้วย SFTTrainer บน Hugging Face

เรียนรู้ว่า fine-tuning ช่วยเพิ่มประสิทธิภาพของโมเดลขนาดเล็กสำหรับงานเฉพาะทางได้อย่างมีนัยสำคัญ เริ่มต้นด้วยการ fine-tune โมเดล Llama ขนาดเล็ก จากนั้นศึกษาเทคนิค parameter-efficient fine-tuning อย่าง LoRA และสำรวจการ quantization เพื่อโหลดและใช้งานโมเดลขนาดใหญ่ได้อย่างมีประสิทธิภาพ