ये कोर्स करने के बाद, मैं पेशेवर विज़ुअलाइज़ेशन और डैशबोर्ड बनाने में आत्मविश्वास महसूस करता हूँ
Shoebur Rahmanप्रोक्योरमेंट विशेषज्ञ, Giz Bangladesh
कोर्स विवरण
स्पार्क SQL सीखें
यदि आप SQL से परिचित हैं और आपने Apache Spark के बारे में बहुत अच्छी बातें सुनी हैं, तो यह पाठ्यक्रम आपके लिए है। Apache Spark बड़े डेटा को प्रोसेस करने के लिए एक कंप्यूटिंग फ्रेमवर्क है, और Spark SQL Apache Spark का एक घटक है। यह चार घंटे का पाठ्यक्रम आपको दिखाएगा कि विंडो फ़ंक्शंस जैसी उन्नत SQL सुविधाओं का उपयोग करके Spark को उपयोगिता के एक नए स्तर तक कैसे ले जाया जाए।चार अध्यायों के दौरान, आप Spark SQL का उपयोग करके समय-श्रृंखला डेटा का विश्लेषण करेंगे, एक पाठ दस्तावेज़ से सबसे सामान्य शब्दों को निकालेंगे, प्राकृतिक भाषा पाठ से फीचर सेट बनाएंगे, और उनका उपयोग करके लॉजिस्टिक रिग्रेशन की मदद से एक वाक्य में अंतिम शब्द की भविष्यवाणी करेंगे।
Spark SQL के उपयोगों की खोज करें
आप Spark में एक SQL तालिका बनाकर और उस पर क्वेरी करके शुरुआत करेंगे, साथ ही रनिंग सम, रनिंग डिफरेंस, और अन्य ऑपरेशनों को करने के लिए SQL विंडो फ़ंक्शंस का उपयोग करना भी सीखेंगे।इसके बाद, आप प्राकृतिक भाषा प्रसंस्करण के लिए Spark SQL में window function का उपयोग करना सीखेंगे, जिसमें सामान्य शब्द अनुक्रमों को खोजने के लिए moving window analysis का उपयोग भी शामिल है।
अध्याय 3 में, आप सीखेंगे कि Spark में लॉगिंग के सर्वोत्तम अभ्यासों का पता लगाने से पहले DataFrames और SQL तालिकाओं को ठीक से कैश करने के लिए SQL Spark UI का उपयोग कैसे करें।
अंत में, आप अब तक सीखे गए सभी कौशलों का उपयोग करके कच्चे पाठ को लोड और टोकनाइज़ करते हैं, इससे पहले कि आप शब्द अनुक्रमों को निकालें। फिर आप लॉजिस्टिक रिग्रेशन का उपयोग करके पाठ को वर्गीकृत करेंगे, कच्चे प्राकृतिक भाषा डेटा का उपयोग करके एक टेक्स्ट क्लासिफ़ायर को प्रशिक्षित करेंगे।
Spark SQL का व्यापक परिचय प्राप्त करें
पाठ्यक्रम के अंत तक, आपको Spark SQL की ठोस समझ हो जाएगी और आप समझेंगे कि Spark किस तरह वितरित कंप्यूटिंग की शक्ति को Python और SQL की उपयोग में आसानी के साथ जोड़ता है।पूर्वापेक्षाएँ
पाठ्यक्रम
कोर्स रूपरेखा
1
PySpark SQL
इस अध्याय में आप सीखेंगे कि Spark में एक SQL table कैसे बनाया और क्वेरी किया जाता है। Spark SQL, Spark में SQL की अभिव्यक्तिगत शक्ति लाता है। आप यह भी सीखेंगे कि Spark में SQL window functions का उपयोग कैसे करें। Window functions वर्तमान row से संबंधित rows पर कैलकुलेशन करते हैं। वे केवल joins और पारंपरिक aggregations का उपयोग करके मुश्किल लगने वाले परिणामों को काफी आसान बना देते हैं। हम window functions का उपयोग running sums, running differences, और अन्य ऐसे ऑपरेशंस के लिए करेंगे जो बेसिक SQL में चुनौतीपूर्ण होते हैं।
- Spark में SQL टेबल बनाना और क्वेरी करना50 XP
- DataFrame से एक SQL टेबल बनाएँ100 XP
- किसी टेबल के कॉलम नाम पता करें100 XP
- Window function SQL50 XP
- Window function SQL के साथ running sums100 XP
- टूटी हुई क्वेरी ठीक करें100 XP
- Dot notation और SQL50 XP
- Aggregation, चरण-दर-चरण100 XP
- एक ही कॉलम को दो बार एग्रीगेट करना100 XP
- Aggregate dot SQL100 XP
- Window function को dot notation से SQL में बदलें100 XP
2
Natural Language Processing के लिए Window Function SQL का उपयोग
इस अध्याय में, आप natural language टेक्स्ट लोड करेंगे। फिर आप frequent word sequences खोजने के लिए moving window analysis लागू करेंगे।
3
Caching, Logging, और Spark UI
पिछले अध्यायों में आपने window function SQL की अभिव्यक्तिगत शक्ति का उपयोग करना सीखा। अब, इसी वजह से यह समझना ज़रूरी है कि dataframes और SQL tables को सही तरीके से कैसे cache किया जाए। यह जानना भी महत्वपूर्ण है कि अपनी एप्लिकेशन का आकलन कैसे करें। आप यह काम Spark UI का उपयोग करके करना सीखेंगे। आप Spark में logging के लिए एक best practice भी सीखेंगे। Spark SQL क्वेरी परफॉर्मेंस ट्यूनिंग के लिए एक और उपयोगी टूल लाता है: query execution plan। आप सीखेंगे कि किसी dataframe की उत्पत्ति (provenance) का मूल्यांकन करने के लिए execution plan का उपयोग कैसे करें।
4
Text Classification
पिछले अध्यायों ने आपको raw text लोड करने, उसे tokenize करने, और word sequences निकालने के टूल्स दिए। यह विश्लेषण के लिए तो उपयोगी है ही, मशीन लर्निंग के लिए भी उतना ही काम का है। अब तक जो आपने सीखा है, वह सब logistic regression का उपयोग करके टेक्स्ट को classify करने में एकसाथ आएगा। इस अध्याय के अंत तक, आप raw natural language टेक्स्ट डेटा लोड कर चुके होंगे और उसका उपयोग करके एक text classifier को train कर चुके होंगे।
Python में Spark SQL परिचय
कोर्स
पूर्ण
