PySpark की स्थापना (सभी ऑपरेटिंग सिस्टम)

• Windows इंस्टॉलेशन
• Linux इंस्टॉलेशन
• Mac इंस्टॉलेशन

Pyspark = Python + Apache Spark

Apache Spark एक नया और ओपन-सोर्स फ़्रेमवर्क है जिसका उपयोग बिग डेटा इंडस्ट्री में रियल-टाइम प्रोसेसिंग और बैच प्रोसेसिंग के लिए होता है। यह Python, Scala, Java और R जैसी अलग-अलग भाषाओं का समर्थन करता है।

Apache Spark मूल रूप से Scala नामक Java Virtual Machine (JVM) भाषा में लिखा गया है, जबकि Pyspark एक Python API की तरह है जिसमें Py4J नामक लाइब्रेरी होती है। यह JVM ऑब्जेक्ट्स के साथ डायनेमिक इंटरैक्शन की अनुमति देती है।

Windows इंस्टॉलेशन

यह इंस्टॉलेशन Windows ऑपरेटिंग सिस्टम के लिए दिखाई जा रही है। इसमें Java की इंस्टॉलेशन और उसका environment variable, तथा Apache Spark की इंस्टॉलेशन और उसका environment variable शामिल है।

अनुशंसित पूर्व-आवश्यकता Python है, जिसे यहाँ से इंस्टॉल किया जा सकता है।

Java इंस्टॉलेशन

1. Java JDK डाउनलोड पर जाएँ।
   Java Development Kit (JDK) डाउनलोड करने के लिए Oracle की वेबसाइट पर जाएँ।
   
   
2. डाउनलोड सेक्शन में Windows ऑपरेटिंग सिस्टम चुनें, और मेरे केस में Windows Offline (64-bit) है। इंस्टॉलर फ़ाइल डाउनलोड हो जाएगी।
   
   
3. इंस्टॉलर फ़ाइल खोलें, और डाउनलोड शुरू हो जाएगा।
   
   

4. "Command Prompt" में जाएँ और "java -version" टाइप करें ताकि संस्करण पता चले और यह भी कि इंस्टॉल हुआ है या नहीं।

5. Java पाथ जोड़ें

6. सर्च बार में जाएँ और "EDIT THE ENVIRONMENT VARIABLES" टाइप करें।
7. "Environment Variables" पर क्लिक करें।
8. नया Environment variable बनाने के लिए "New" पर क्लिक करें।
9. Variable Name को "JAVA_HOME" रखें और Variable Value को 'C:\Program Files (x86)\Java\jdk1.8.0_251' रखें। यह आपके Java फ़ाइल का लोकेशन है। प्रक्रिया पूरी होने पर 'OK' पर क्लिक करें।
10. अब User variable जोड़ते हैं, 'Path' चुनें और इसे बनाने के लिए 'New' पर क्लिक करें।
11. Variable name को 'PATH' रखें और path value को 'C:\Program Files (x86)\Java\jdk1.8.0_251\bin' रखें, जो आपके Java bin फ़ाइल का लोकेशन है। प्रक्रिया पूरी होने पर 'OK' पर क्लिक करें।

नोट: यदि आपने डाउनलोड के दौरान लोकेशन नहीं बदली है, तो आप C ड्राइव पर जाकर अपना Java फ़ाइल लोकेट कर सकते हैं, जो 'C:\Program Files (x86)\Java\jdk1.8.0_251' होगा।

Pyspark इंस्टॉल करना

1. Spark होमपेज पर जाएँ।

2. Spark रिलीज़ और पैकेज प्रकार निम्नानुसार चुनें और .tgz फ़ाइल डाउनलोड करें।

आप C डायरेक्टरी में 'spark' नाम का एक नया फ़ोल्डर बना सकते हैं और 'Winrar' का उपयोग करके दी गई फ़ाइल को एक्सट्रैक्ट कर सकते हैं, जो आगे मददगार होगा।

winutils.exe डाउनलोड और सेटअप

Winutils पर जाएँ, अपनी पहले डाउनलोड की हुई Hadoop वर्ज़न चुनें, फिर 'bin' के अंदर जाकर winutils.exe फ़ाइल डाउनलोड करें। मेरे Hadoop वर्ज़न का लिंक है: https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe

'winutils' नाम का नया फ़ोल्डर बनाएँ और उसके अंदर फिर एक नया फ़ोल्डर 'bin' बनाएँ। फिर हाल ही में डाउनलोड की गई 'winutils' फ़ाइल को इसके अंदर रखें।

Environment variables

1. एक नया environment बनाएँ जहाँ variable name "hadoop_home" हो और variable value winutils का लोकेशन हो, जो "C:\winutils" है, और "OK" पर क्लिक करें।
   
2. spark के लिए भी एक नया environment बनाएँ, जहाँ variable name "Spark_home" हो और variable value spark का लोकेशन हो, जो "C:\spark" है, और "OK" पर क्लिक करें।
   
3. अंत में, 'path' पर डबल क्लिक करें और नीचे दिखाए अनुसार बदलाव करें, जहाँ नया पाथ "%Spark_Home%\bin" जोड़ा गया है, और "OK" पर क्लिक करें।
   

Pyspark इंस्टॉलेशन को अंतिम रूप देना

1. Command Prompt खोलें और निम्न कमांड टाइप करें।
   
2. सब कुछ सफलतापूर्वक होने के बाद, निम्न संदेश प्राप्त होगा।
   

Linux इंस्टॉलेशन

यह इंस्टॉलेशन Linux ऑपरेटिंग सिस्टम के लिए दिखाई जा रही है। इसमें Java की इंस्टॉलेशन और उसका environment variable, साथ ही Apache Spark और उसका environment variable शामिल है।

अनुशंसित पूर्व-आवश्यकता Python है, जिसे यहाँ से इंस्टॉल किया जा सकता है।

Java इंस्टॉलेशन

1. Java JDK डाउनलोड पर जाएँ।
   Java Development Kit (JDK) डाउनलोड करने के लिए Oracle की वेबसाइट पर जाएँ।
   
   
2. डाउनलोड सेक्शन में Linux ऑपरेटिंग सिस्टम चुनें और अपनी सिस्टम आवश्यकताओं के अनुसार डाउनलोड करें।
   
3. फ़ाइल सेव करें और अपनी लोकल मशीन में सेव करने के लिए "Ok" पर क्लिक करें।
   
4. अपने टर्मिनल में जाएँ और 'ls' कमांड का उपयोग करके हाल ही में डाउनलोड की गई फ़ाइल जाँचें।
   
5. निम्न कमांड का उपयोग करके पैकेज इंस्टॉल करें, जो हाल ही में डाउनलोड किए गए जावा के debian पैकेज को इंस्टॉल करेगा।
6. अंत में, 'java --version' कमांड का उपयोग करके अपना जावा वर्ज़न जाँच सकते हैं।
   
7. Environment variables कॉन्फ़िगर करने के लिए, निम्न कमांड का उपयोग करके 'gedit' टेक्स्ट एडिटर खोलते हैं।
   
8. आइए निम्न जानकारी देकर बदलाव करें जहाँ 'Java' पाथ निर्दिष्ट है।
   
9. अंतिम बदलाव करने के लिए, निम्न कमांड टाइप करें।

Spark इंस्टॉल करना

1. Spark होमपेज पर जाएँ।
2. Spark रिलीज़ और पैकेज प्रकार निम्नानुसार चुनें और .tgz फ़ाइल डाउनलोड करें।
   
3. फ़ाइल अपनी लोकल मशीन में सेव करें और 'Ok' पर क्लिक करें।
   
4. अपना टर्मिनल खोलें और हाल ही में डाउनलोड की गई फ़ाइल पर जाएँ।
   
5. निम्न कमांड का उपयोग करके फ़ाइल को एक्सट्रैक्ट करें।
   
6. फ़ाइल एक्सट्रैक्ट होने के बाद, नई फ़ाइल बन जाती है और list ('ls') कमांड से दिखाई देती है।
   

Linux में Environment Variable कॉन्फ़िगर करना

1. 'vim एडिटर' का उपयोग करके 'bashrc' फ़ाइल को 'vim ~/.bashrc' कमांड द्वारा खोलते हैं।
   
2. अपने कंप्यूटर पर उपयुक्त पाथ के अनुसार निम्न जानकारी प्रदान करें। मेरे केस में, Spark लोकेशन, Python पाथ और Java पाथ के लिए निम्न पाथ आवश्यक थे। साथ ही, पहले 'Esc' दबाएँ और फिर सेव और बाहर निकलने के लिए ":wq" टाइप करें।
   
3. अंतिम बदलाव करने, सेव करने और बाहर निकलने के लिए यह करें। इससे डायरेक्टरी में कहीं से भी pyspark कमांड एक्सेस हो सकेगी।
4. 'pyspark' कमांड का उपयोग करके pyspark खोलें, और अंतिम संदेश नीचे दिखाए अनुसार दिखाई देगा।

Mac इंस्टॉलेशन

यह इंस्टॉलेशन Mac ऑपरेटिंग सिस्टम के लिए दिखाई जा रही है। इसमें Java की इंस्टॉलेशन और उसका environment variable, साथ ही Apache Spark और उसका environment variable शामिल है।

अनुशंसित पूर्व-आवश्यकता Python है, जिसे यहाँ से इंस्टॉल किया जा सकता है।

Java इंस्टॉलेशन

1. Java JDK डाउनलोड पर जाएँ।
   Java Development Kit (JDK) डाउनलोड करने के लिए Oracle की वेबसाइट पर जाएँ।
   
   
2. डाउनलोड सेक्शन में Linux ऑपरेटिंग सिस्टम दिख रहा है और अपनी सिस्टम आवश्यकताओं के अनुसार डाउनलोड करें।
   
3. Terminal में $java --showversion का उपयोग करके Java की इंस्टॉलेशन की पुष्टि की जा सकती है।

Apache Spark इंस्टॉल करना

1. Spark होमपेज पर जाएँ।
2. Spark रिलीज़ और पैकेज प्रकार निम्नानुसार चुनें और .tgz फ़ाइल डाउनलोड करें।
   
3. फ़ाइल अपनी लोकल मशीन में सेव करें और 'Ok' पर क्लिक करें।
4. निम्न कमांड का उपयोग करके फ़ाइल को एक्सट्रैक्ट करें।
   $ tar -xzf spark-2.4.6-bin-hadoop2.7.tgz

Apache Spark और Python के लिए Environment Variable कॉन्फ़िगर करना

आपको अपनी वर्तमान Mac वर्ज़न के अनुसार ~/.bashrc या ~/.zshrc फ़ाइल खोलनी होगी।

export SPARK_HOME="/Downloads/spark"
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=python3
संचालित द्वारा

'pyspark' कमांड का उपयोग करके pyspark खोलें, और अंतिम संदेश नीचे दिखाए अनुसार दिखाई देगा।

बधाई हो

बधाई हो, आप इस ट्यूटोरियल के अंत तक पहुँच गए हैं!

इस ट्यूटोरियल में, आपने Pyspark की इंस्टॉलेशन के बारे में सीखा, जिसमें Java और Apache Spark की इंस्टॉलेशन और Windows, Linux और Mac ऑपरेटिंग सिस्टम में environment variables को मैनेज करना शामिल है।

यदि आप Pyspark के बारे में और सीखना चाहते हैं, तो DataCamp का Introduction to Pyspark लें।

हमारा Apache Spark Tutorial: ML with PySpark देखें।