After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
कोर्स विवरण
क्या आप अपनी Airflow स्किल्स को अगले स्तर पर ले जाना चाहते हैं? यह कोर्स Airflow 3.2 का इस्तेमाल करता है, इसलिए आप चीजें करने के नवीनतम तरीके सीखेंगे। आप TaskFlow API से Dags लिखेंगे, Assets और नए Asset Partitions का उपयोग करके डेटा के आधार पर उन्हें शेड्यूल करेंगे, और retries, callbacks, और tests से उन्हें भरोसेमंद बनाएँगे।अंतिम अध्याय में, आप DuckDB पर एक एंड-टू-एंड SQL ETL पाइपलाइन बनाएँगे और बिना किसी थर्ड-पार्टी लाइब्रेरी के सीधे Airflow में data quality checks जोड़ेंगे, ताकि आपकी पाइपलाइन जो डेटा तैयार करे, वह भरोसेमंद रहे। अंत तक, आप जानेंगे कि किसी पाइपलाइन को प्रोटोटाइप से प्रोडक्शन में चलने योग्य स्तर तक कैसे ले जाएँ।
पूर्वापेक्षाएँ
पाठ्यक्रम
कोर्स रूपरेखा
1
TaskFlow और XCom के साथ Dags लिखना
आप Airflow के कॉम्पोनेंट्स से शुरुआत करेंगे, TaskFlow API से अपने पहले Dags लिखेंगे, और XCom के साथ tasks के बीच डेटा पास करेंगे।
- Airflow के मुख्य कॉन्सेप्ट्स50 XP
- एक न्यूनतम TaskFlow Dag लिखना100 XP
- Airflow के कॉम्पोनेंट्स और उनकी भूमिकाएँ मिलाना100 XP
- TaskFlow API50 XP
- क्लासिक Dag को TaskFlow में बदलना100 XP
- एक टास्क जोड़ना और डिपेंडेंसियाँ वायर करना100 XP
- Airflow UI में एक पाइपलाइन को एक्सप्लोर करना50 XP
- टास्कों के बीच डेटा साझा करना50 XP
- TaskFlow फंक्शन से डेटा लौटाना100 XP
- क्लासिक ऑपरेटर को TaskFlow टास्क से जोड़ना100 XP
- XCom की सीमाएँ समझना50 XP
2
डायनेमिक और डेटा-अवेयर Pipelines
इसके बाद, आप dynamic task mapping से tasks को समानांतर में चलाएँगे, Assets के साथ डेटा-अनुसार Dags शेड्यूल करेंगे, और मानव-अनुमोदन वाले स्टेप्स जोड़ेंगे।
3
Dags को प्रोडक्शन के लिए तैयार करना
इस अध्याय में, आप retries और callbacks से failures हैंडल करेंगे, deferrable sensors से संसाधन बचाएँगे, और अपने Dags को तीन स्तरों पर टेस्ट करेंगे।
4
प्रोडक्शन SQL ETL पाइपलाइन बनाना
इस अंतिम अध्याय में, आप DuckDB पर एक SQL ETL पाइपलाइन बनाएँगे, Asset Partitions के साथ partition-aware scheduling जोड़ेंगे, और data quality checks एम्बेड करेंगे।
Airflow के साथ Data Pipelines बनाना
कोर्स
पूरा
