Name: Airflow के साथ Data Pipelines बनाना
Rating: 4.7894736842105265 (38 reviews)

कोर्स विवरण

क्या आप अपनी Airflow स्किल्स को अगले स्तर पर ले जाना चाहते हैं? यह कोर्स Airflow 3.2 का इस्तेमाल करता है, इसलिए आप चीजें करने के नवीनतम तरीके सीखेंगे। आप TaskFlow API से Dags लिखेंगे, Assets और नए Asset Partitions का उपयोग करके डेटा के आधार पर उन्हें शेड्यूल करेंगे, और retries, callbacks, और tests से उन्हें भरोसेमंद बनाएँगे।अंतिम अध्याय में, आप DuckDB पर एक एंड-टू-एंड SQL ETL पाइपलाइन बनाएँगे और बिना किसी थर्ड-पार्टी लाइब्रेरी के सीधे Airflow में data quality checks जोड़ेंगे, ताकि आपकी पाइपलाइन जो डेटा तैयार करे, वह भरोसेमंद रहे। अंत तक, आप जानेंगे कि किसी पाइपलाइन को प्रोटोटाइप से प्रोडक्शन में चलने योग्य स्तर तक कैसे ले जाएँ।

पूर्वापेक्षाएँ

Introduction to Apache Airflow in Python

पाठ्यक्रम

कोर्स रूपरेखा

TaskFlow और XCom के साथ Dags लिखना

आप Airflow के कॉम्पोनेंट्स से शुरुआत करेंगे, TaskFlow API से अपने पहले Dags लिखेंगे, और XCom के साथ tasks के बीच डेटा पास करेंगे।

अध्याय शुरू करें

डायनेमिक और डेटा-अवेयर Pipelines

इसके बाद, आप dynamic task mapping से tasks को समानांतर में चलाएँगे, Assets के साथ डेटा-अनुसार Dags शेड्यूल करेंगे, और मानव-अनुमोदन वाले स्टेप्स जोड़ेंगे।

अध्याय शुरू करें

Dags को प्रोडक्शन के लिए तैयार करना

इस अध्याय में, आप retries और callbacks से failures हैंडल करेंगे, deferrable sensors से संसाधन बचाएँगे, और अपने Dags को तीन स्तरों पर टेस्ट करेंगे।

अध्याय शुरू करें

प्रोडक्शन SQL ETL पाइपलाइन बनाना

इस अंतिम अध्याय में, आप DuckDB पर एक SQL ETL पाइपलाइन बनाएँगे, Asset Partitions के साथ partition-aware scheduling जोड़ेंगे, और data quality checks एम्बेड करेंगे।