Build your ultimate AI agent
कोर्स विवरण
वितरित प्रशिक्षण बड़े पैमाने की मशीन लर्निंग में एक आवश्यक कौशल है, जो आपको खरबों पैरामीटर वाले बड़े भाषा मॉडलों को प्रशिक्षित करने में लगने वाले समय को कम करने में मदद करता है। इस पाठ्यक्रम में, आप PyTorch, Accelerator, और Trainer का उपयोग करके कुशल वितरित प्रशिक्षण के लिए आवश्यक उपकरणों, तकनीकों और रणनीतियों का अन्वेषण करेंगे।
वितरित प्रशिक्षण के लिए डेटा तैयार करना
आप डेटा को वितरित प्रशिक्षण के लिए तैयार करना शुरू करेंगे, जिसमें डेटासेट को कई उपकरणों में विभाजित करना और मॉडल की प्रतियाँ प्रत्येक उपकरण पर तैनात करना शामिल है। आप वितरित परिवेशों के लिए डेटा का प्रीप्रोसेसिंग करने में व्यावहारिक अनुभव प्राप्त करेंगे, जिसमें इमेज, ऑडियो और टेक्स्ट शामिल हैं।दक्षता तकनीकों की खोज
जब आपका डेटा तैयार हो जाएगा, तो आप कई इंटरफेसों में प्रशिक्षण और ऑप्टिमाइज़र उपयोग की दक्षता बढ़ाने के तरीके खोजेंगे। आप देखेंगे कि ग्रेडिएंट संचय, ग्रेडिएंट चेकपॉइंटिंग, लोकल स्टोकास्टिक ग्रेडिएंट डिसेंट, और मिश्रित परिशुद्धता प्रशिक्षण जैसी तकनीकों के साथ मेमोरी उपयोग, डिवाइस संचार, और गणनात्मक दक्षता में सुधार करके इन चुनौतियों का समाधान कैसे किया जा सकता है। आप विभिन्न ऑप्टिमाइज़र के बीच के समझौता-कारकों को समझेंगे, जिससे आपको अपने मॉडल की मेमोरी फुटप्रिंट कम करने में मदद मिलेगी।इस पाठ्यक्रम के अंत तक, आपके पास वितरित AI-संचालित सेवाएँ बनाने के लिए आवश्यक ज्ञान और उपकरण होंगे।पूर्वापेक्षाएँ
पाठ्यक्रम
कोर्स रूपरेखा
1
Accelerator के साथ डेटा तैयारी
आप distributed training के लिए डेटा तैयार करेंगे: डेटा को कई डिवाइसों में बाँटकर और हर डिवाइस पर मॉडल की कॉपी बनाकर। Accelerator डेटा तैयारी के लिए एक सुविधाजनक इंटरफ़ेस देता है, और आप distributed training के पहले चरण के रूप में इमेज, ऑडियो, और टेक्स्ट को preprocess करना सीखेंगे।
- AutoModel और Accelerator के साथ मॉडल तैयार करें50 XP
- प्री-ट्रेन्ड मॉडलों को लोड करना और जाँचना100 XP
- Accelerator के साथ ऑटोमेटिक डिवाइस प्लेसमेंट100 XP
- ट्रेनिंग के लिए इमेज और ऑडियो का प्रीप्रोसेस करें50 XP
- इमेज डेटासेट का प्रीप्रोसेस करें100 XP
- ऑडियो डेटासेट का प्रीप्रोसेस करें100 XP
- डिस्ट्रिब्यूटेड ट्रेनिंग के लिए डेटासेट तैयार करें100 XP
- ट्रेनिंग के लिए टेक्स्ट का प्रीप्रोसेस करें50 XP
- AutoTokenizer के साथ टेक्स्ट प्रीप्रोसेस करें100 XP
- प्रीप्रोसेस्ड टेक्स्ट की स्टेट सेव और लोड करें100 XP
2
Accelerator और Trainer के साथ Distributed Training
Distributed training में, हर डिवाइस अपने डेटा पर parallel रूप से ट्रेन करता है। आप distributed training के दो तरीकों की जाँच करेंगे: Accelerator custom training loops सक्षम करता है, और Trainer प्रशिक्षण के लिए इंटरफ़ेस को सरल बनाता है।
3
Training Efficiency में सुधार
बड़े मॉडल और डेटासेट के साथ distributed training संसाधनों पर दबाव डालती है, लेकिन आप मेमोरी उपयोग, डिवाइस कम्युनिकेशन, और computational दक्षता को बेहतर बनाकर इन चुनौतियों से निपट सकते हैं। आप gradient accumulation, gradient checkpointing, local stochastic gradient descent, और mixed precision training की तकनीकों को जानेंगे।
4
Efficient Optimizers के साथ Training
आप optimizers पर ध्यान देंगे ताकि distributed training की efficiency बेहतर हो, और AdamW, Adafactor, तथा 8-bit Adam के बीच के trade-offs को समझेंगे। parameters की संख्या घटाना या low precision का उपयोग करना मॉडल की memory footprint को कम करने में मदद करता है।
PyTorch के साथ कुशल AI मॉडल प्रशिक्षण
कोर्स
पूरा
