Name: Transformer Models ด้วย PyTorch
Rating: 4.838487972508591 (873 reviews)

รายละเอียดคอร์ส

เจาะลึกสถาปัตยกรรม Transformer

โมเดลทรานส์ฟอร์เมอร์ได้ปฏิวัติการสร้างแบบจำลองข้อความ และเป็นจุดเริ่มต้นของกระแส Generative AI ด้วยการทำให้โมเดลภาษาขนาดใหญ่ (LLMs) ในปัจจุบันเป็นไปได้ ในหลักสูตรนี้ คุณจะได้สำรวจองค์ประกอบสำคัญของสถาปัตยกรรมนี้ รวมถึงการเข้ารหัสตำแหน่ง กลไกความสนใจ และซับเลเยอร์แบบฟีดฟอร์เวิร์ด คุณจะเขียนโค้ดคอมโพเนนต์เหล่านี้ในลักษณะโมดูลาร์ เพื่อสร้าง transformer ของคุณเองทีละขั้นตอน

นำกลไก Attention ไปใช้ด้วย PyTorch

กลไกความสนใจเป็นพัฒนาการสำคัญที่ช่วยทำให้สถาปัตยกรรมทรานส์ฟอร์เมอร์มีความเป็นรูปธรรมมากขึ้น Self-attention ช่วยให้ทรานส์ฟอร์เมอร์ระบุความสัมพันธ์ระหว่างโทเค็นได้ดีขึ้น ซึ่งช่วยยกระดับคุณภาพของข้อความที่สร้างขึ้น เรียนรู้วิธีสร้างคลาสกลไกการให้ความสนใจแบบหลายหัว ซึ่งจะเป็นองค์ประกอบสำคัญในโมเดลทรานส์ฟอร์มเมอร์ของคุณ

สร้างโมเดล Transformer ของคุณเอง

เรียนรู้การสร้างโมเดลทรานส์ฟอร์มเมอร์แบบ encoder-only, decoder-only และ encoder-decoder เรียนรู้วิธีเลือกและเขียนโค้ดสถาปัตยกรรมทรานส์ฟอร์เมอร์ที่แตกต่างกันเหล่านี้สำหรับงานด้านภาษาที่หลากหลาย รวมถึงการจำแนกประเภทข้อความและการวิเคราะห์ความรู้สึก การสร้างและเติมข้อความให้สมบูรณ์ และการแปลแบบลำดับต่อเนื่องถึงลำดับต่อเนื่อง

ข้อกำหนดเบื้องต้น

Natural Language Processing (NLP) in Python Intermediate Deep Learning with PyTorch

หลักสูตร

โครงสร้างคอร์ส

ส่วนประกอบพื้นฐานของ Transformer Models

ค้นพบว่าอะไรทำให้สถาปัตยกรรม deep learning ที่ได้รับความนิยมสูงสุดใน AI ทำงานได้อย่างทรงพลัง เรียนรู้ส่วนประกอบต่างๆ ของ Transformer models รวมถึง self-attention mechanism อันโด่งดังที่อธิบายไว้ในงานวิจัยชื่อเลื่องลือ "Attention is All You Need"

เริ่มบทเรียน

การสร้างสถาปัตยกรรม Transformer

ออกแบบบล็อก encoder และ decoder ของ transformer แล้วนำมารวมกับ positional encoding, multi-headed attention และ position-wise feed-forward network เพื่อสร้างสถาปัตยกรรม Transformer ของตัวเอง ระหว่างทาง คุณจะได้เข้าใจอย่างลึกซึ้งว่า transformer ทำงานอย่างไรภายใต้เบื้องหลัง