After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
รายละเอียดคอร์ส
เจาะลึกสถาปัตยกรรม Transformer
โมเดลทรานส์ฟอร์เมอร์ได้ปฏิวัติการสร้างแบบจำลองข้อความ และเป็นจุดเริ่มต้นของกระแส Generative AI ด้วยการทำให้โมเดลภาษาขนาดใหญ่ (LLMs) ในปัจจุบันเป็นไปได้ ในหลักสูตรนี้ คุณจะได้สำรวจองค์ประกอบสำคัญของสถาปัตยกรรมนี้ รวมถึงการเข้ารหัสตำแหน่ง กลไกความสนใจ และซับเลเยอร์แบบฟีดฟอร์เวิร์ด คุณจะเขียนโค้ดคอมโพเนนต์เหล่านี้ในลักษณะโมดูลาร์ เพื่อสร้าง transformer ของคุณเองทีละขั้นตอนนำกลไก Attention ไปใช้ด้วย PyTorch
กลไกความสนใจเป็นพัฒนาการสำคัญที่ช่วยทำให้สถาปัตยกรรมทรานส์ฟอร์เมอร์มีความเป็นรูปธรรมมากขึ้น Self-attention ช่วยให้ทรานส์ฟอร์เมอร์ระบุความสัมพันธ์ระหว่างโทเค็นได้ดีขึ้น ซึ่งช่วยยกระดับคุณภาพของข้อความที่สร้างขึ้น เรียนรู้วิธีสร้างคลาสกลไกการให้ความสนใจแบบหลายหัว ซึ่งจะเป็นองค์ประกอบสำคัญในโมเดลทรานส์ฟอร์มเมอร์ของคุณสร้างโมเดล Transformer ของคุณเอง
เรียนรู้การสร้างโมเดลทรานส์ฟอร์มเมอร์แบบ encoder-only, decoder-only และ encoder-decoder เรียนรู้วิธีเลือกและเขียนโค้ดสถาปัตยกรรมทรานส์ฟอร์เมอร์ที่แตกต่างกันเหล่านี้สำหรับงานด้านภาษาที่หลากหลาย รวมถึงการจำแนกประเภทข้อความและการวิเคราะห์ความรู้สึก การสร้างและเติมข้อความให้สมบูรณ์ และการแปลแบบลำดับต่อเนื่องถึงลำดับต่อเนื่องข้อกำหนดเบื้องต้น
หลักสูตร
โครงสร้างคอร์ส
1
ส่วนประกอบพื้นฐานของ Transformer Models
ค้นพบว่าอะไรทำให้สถาปัตยกรรม deep learning ที่ได้รับความนิยมสูงสุดใน AI ทำงานได้อย่างทรงพลัง เรียนรู้ส่วนประกอบต่างๆ ของ Transformer models รวมถึง self-attention mechanism อันโด่งดังที่อธิบายไว้ในงานวิจัยชื่อเลื่องลือ "Attention is All You Need"
- Transformer Models ด้วย PyTorch50 XP
- ทำความเข้าใจโครงสร้าง Transformer50 XP
- Transformer ด้วย PyTorch100 XP
- เอ็มเบดดิ้งและการเข้ารหัสตำแหน่ง50 XP
- การสร้าง Input Embeddings100 XP
- การสร้าง Positional Encoding100 XP
- Multi-head self-attention50 XP
- การนำ Multi-Head Attention ไปใช้งาน100 XP
- เริ่มต้นสร้างคลาส MultiHeadAttention100 XP
- เพิ่มเมธอดให้กับคลาส MultiHeadAttention100 XP
2
การสร้างสถาปัตยกรรม Transformer
ออกแบบบล็อก encoder และ decoder ของ transformer แล้วนำมารวมกับ positional encoding, multi-headed attention และ position-wise feed-forward network เพื่อสร้างสถาปัตยกรรม Transformer ของตัวเอง ระหว่างทาง คุณจะได้เข้าใจอย่างลึกซึ้งว่า transformer ทำงานอย่างไรภายใต้เบื้องหลัง
Transformer Models ด้วย PyTorch
เรียนจบแล้ว
