Databricks ट्यूटोरियल: हर डेटा विशेषज्ञ के लिए जानने योग्य 7 अवधारणाएँ

सबसे पहले डेटा वेयरहाउस थे। वे डेटा को पंक्तियों और स्तंभों में संग्रहीत करते थे क्योंकि उस समय का इंटरनेट और कंप्यूटर केवल साधारण टेक्स्ट जानकारी वितरित करने में सक्षम थे। बहुत बाद में डेटा लेक आए — वे लगभग हर प्रकार के डेटा को संग्रहीत कर सकते थे जिसे आप एकत्र कर सकें। वे सोशल मीडिया और YouTube के युग के लिए बेहतरीन थे।

लेकिन दोनों के अपने नुकसान थे — डेटा वेयरहाउस महंगे थे और आधुनिक डेटा साइंस के लिए उपयुक्त नहीं, जबकि डेटा लेक बिखरे-बिखरे रहते और अक्सर डेटा स्वैम्प में बदल जाते। नतीजतन, कंपनियों ने दो अलग-अलग टेक स्टैक रखने शुरू कर दिए — BI और एनालिटिक्स के लिए वेयरहाउस, और मशीन लर्निंग के लिए लेक।

हालाँकि, दो अलग-अलग डेटा आर्किटेक्चर का प्रबंधन करना इतना मुश्किल था कि कंपनियों के परिणाम अक्सर खराब रहते। इसी समस्या ने लेकहाउस आर्किटेक्चर को जन्म दिया, जिसके लिए Databricks विशेष रूप से प्रसिद्ध है।

Databricks एक क्लाउड-आधारित प्लेटफ़ॉर्म है जो उपयोगकर्ताओं को एकीकृत वातावरण में वेयरहाउस और लेक—दोनों से मूल्य निकालने की अनुमति देता है। यह लेख प्लेटफ़ॉर्म का एक अवलोकन देगा, इसकी सबसे महत्वपूर्ण विशेषताओं को दिखाएगा और उनका उपयोग कैसे करें यह समझाएगा।

हम इस Databricks ट्यूटोरियल में क्या कवर करेंगे

Databricks इतना बड़ा प्लेटफ़ॉर्म है कि उसकी प्रलेखन सामग्री ही एक किताब बन सकती है। इसलिए, इस लेख का लक्ष्य आपको अवधारणाओं की एक पदानुक्रम देना है — Databricks की विशेषताओं की रैखिक रूप से क्रमबद्ध व्याख्याएँ जो आपको शुरुआती स्तर से एक अच्छे Databricks प्रैक्टिशनर तक ले जाएँगी। यदि आप बिल्कुल नए हैं, तो आप हमारा Introduction to Databricks कोर्स भी देखना चाहेंगे।

चलिए शुरू करते हैं!

1. Databricks क्या है?

जब भी आप Databricks शब्द पढ़ें, उसे एक प्लेटफ़ॉर्म के रूप में सोचें, न कि किसी फ़्रेमवर्क या Python लाइब्रेरी के रूप में। आमतौर पर, प्लेटफ़ॉर्म व्यापक फीचर-सेट प्रदान करते हैं, और Databricks भी अपवाद नहीं है। यह उन चंद प्लेटफ़ॉर्मों में से एक है जिसे किसी भी डेटा प्रोफ़ेशनल—डेटा इंजीनियर से लेकर आधुनिक मशीन लर्निंग इंजीनियर (या जिसे आजकल प्रेस AI प्रोग्रामर कहती है)—द्वारा उपयोग किया जा सकता है।

Databricks के निम्नलिखित कोर घटक हैं:

1. वर्कस्पेस: Databricks एक केंद्रीकृत वातावरण प्रदान करता है जहाँ टीमें बिना किसी झंझट के सहयोग कर सकती हैं। यह वातावरण एक उपयोगकर्ता-अनुकूल वेब इंटरफ़ेस के माध्यम से सुलभ है।
2. नोटबुक्स: Databricks में Jupyter नोटबुक्स का एक रूप है जो विशेष रूप से सहयोग और लचीलेपन के लिए डिज़ाइन किया गया है।
3. Apache Spark: Databricks को Apache Spark से प्यार है। यही इंजन विशाल डेटासेट्स के समानांतर प्रोसेसिंग को शक्ति देता है, जिससे यह बिग डेटा एनालिटिक्स के लिए उपयुक्त बनता है।
4. Delta Lake: ACID ट्रांज़ैक्शनों के साथ डेटा लेक में सुधार। Delta Lake डेटा की विश्वसनीयता और स्थिरता सुनिश्चित करता है, डेटा लेक से जुड़े पारंपरिक चुनौतियों का समाधान करता है।
5. स्केलेबिलिटी: प्लेटफ़ॉर्म वर्टिकल की बजाय हॉरिज़ॉन्टल रूप से स्केल करता है, जो बढ़ती डेटा माँगों से जूझ रही संस्थाओं के लिए आदर्श है।

Databricks के लाभ

ये घटक मिलकर अनेक लाभों का ताला खोलते हैं:

• क्रॉस-टीम सहयोग: इंजीनियर, विश्लेषक, वैज्ञानिक और ML इंजीनियर एक ही प्लेटफ़ॉर्म पर सहजता से काम कर सकते हैं।
• संगति: नोटबुक्स के साथ, उपयोगकर्ता बिना संदर्भ बदले कार्यों और प्रोग्रामिंग भाषाओं के बीच स्विच कर सकते हैं।
• कुशल वर्कफ़्लो: उपयोगकर्ता डेटा क्लीनिंग, ट्रांसफ़ॉर्मेशन और मशीन लर्निंग जैसे कार्य एक समेकित तरीके से कर सकते हैं।
• एकीकृत डेटा प्रबंधन: उपयोगकर्ता कई स्रोतों से डेटा इनजेस्ट कर सकते हैं, टेबल बना सकते हैं और SQL चला सकते हैं।
• रीयल-टाइम सहयोग: साझा नोटबुक्स और सहयोगी संपादन सुविधाएँ वास्तविक समय में एक साथ काम को सक्षम बनाती हैं। कई टीम सदस्य एक ही नोटबुक पर एक साथ काम कर सकते हैं।

यदि मैंने आपको डेटा जगत में Databricks के महत्व के बारे में आश्वस्त कर दिया है, तो आइए आपको प्लेटफ़ॉर्म पर चालू करते हैं।

2. खाता सेटअप

अपना खाता सेट करने के लिए https://www.databricks.com/try-databricks पर जाएँ और Community Edition के लिए साइन अप करें।

Community Edition में Enterprise संस्करण की तुलना में कम फीचर्स होते हैं, लेकिन इसमें क्लाउड-प्रोवाइडर सेटअप की आवश्यकता नहीं होती, जो कि ट्यूटोरियल जैसे छोटे उपयोग मामलों के लिए बेहतरीन है।

यदि ईमेल सत्यापन के बाद आपके पास यह पेज है, तो सब ठीक है:

3. Databricks वर्कस्पेस

जो इंटरफ़ेस आपने देखा, वह आपके ईमेल पते के लिए वर्कस्पेस है (कम्युनिटी एडिशन वर्कस्पेस आसानी से मिल जाता है)। व्यवहार में, आमतौर पर आपकी कंपनी का एक अकाउंट एडमिन एकल Databricks अकाउंट बनाता है और वर्कस्पेस की ऐक्सेस को मैनेज करता है।

अब, प्लेटफ़ॉर्म के UI को समझते हैं। बाएँ पैनल पर, Databricks द्वारा प्रदान किए गए विभिन्न घटकों के लिए मेनू है। एंटरप्राइज़ संस्करण में और भी अधिक बटन होंगे:

मेनू में पहला विकल्प वर्कस्पेस का प्रकार है, जो डिफ़ॉल्ट रूप से डेटा साइंस और इंजीनियरिंग पर सेट होता है। यदि आप इसे मशीन लर्निंग में बदलते हैं, तो एक नया Experiments विकल्प दिखाई देता है:

ऊपर-ऊपर से देखें तो लग सकता है कि यह बहुत कुछ नहीं करता, लेकिन एक बार जब आप अपना अकाउंट अपग्रेड करते हैं और प्रयोग शुरू करते हैं, तो आप प्लेटफ़ॉर्म की कुछ बेहतरीन विशेषताएँ देखेंगे:

• संसाधनों के लिए केंद्रीय हब: नोटबुक्स, क्लस्टर्स, टेबल्स, लाइब्रेरियाँ और डैशबोर्ड्स
• एकाधिक भाषाओं में नोटबुक्स
• क्लस्टर प्रबंधन: वर्कस्पेस के कोड निष्पादन के लिए कंप्यूटेशनल संसाधनों का प्रबंधन
• टेबल प्रबंधन
• डैशबोर्ड निर्माण: DB उपयोगकर्ता सीधे वर्कस्पेस में विज़ुअल्स को डैशबोर्ड में संकलित कर सकते हैं
• नोटबुक्स का रीयल-टाइम सहयोगी संपादन
• नोटबुक्स के लिए संस्करण नियंत्रण
• जॉब शेड्यूलिंग (एक शक्तिशाली फीचर): उपयोगकर्ता निर्दिष्ट अंतराल पर नोटबुक्स और स्क्रिप्ट्स चला सकते हैं

आदि।

अब, इन घटकों में से कुछ को और क़रीब से देखते हैं।

4. Databricks क्लस्टर्स

Databricks में क्लस्टर्स का मतलब वे कंप्यूटेशनल संसाधन हैं जो डेटा प्रोसेसिंग कार्यों को निष्पादित करने के लिए उपयोग किए जाते हैं। आम तौर पर, अकाउंट सेटअप के दौरान आपके चुने हुए क्लाउड प्रोवाइडर द्वारा क्लस्टर्स उपलब्ध कराए जाते हैं।

कम्युनिटी एडिशन के क्लस्टर्स RAM और CPU पावर में सीमित होते हैं, और GPU शामिल नहीं होते। हालाँकि, प्रीमियम उपयोगकर्ता अक्सर क्लस्टर्स के साथ निम्न कार्य सीधे-सादे तरीके से कर सकते हैं:

• डेटा प्रोसेसिंग: क्लस्टर्स Spark की समानांतर प्रोसेसिंग क्षमता का उपयोग करके बड़े पैमाने के डेटा को प्रोसेस और ट्रांसफ़ॉर्म करने के लिए उपयोग किए जाते हैं।
• मशीन लर्निंग: आप Python (या कोई अन्य भाषा) और उसकी लाइब्रेरियों का उपयोग मॉडल ट्रेनिंग और इन्फ़रेंस के लिए कर सकते हैं।
• ETL वर्कफ़्लो: क्लस्टर्स एक्सट्रैक्ट, ट्रांसफ़ॉर्म, लोड वर्कफ़्लोज़ को भी सपोर्ट करते हैं, स्रोत से गंतव्य तक डेटा को कुशलतापूर्वक प्रोसेस और ट्रांसफ़ॉर्म करके।

क्लस्टर बनाने के लिए, आप “Create” बटन या मेनू में “Compute” विकल्प का उपयोग कर सकते हैं:

क्लस्टर बनाते समय, अपने वातावरण के लिए उपयुक्त Spark संस्करण चुनें और उसके सक्रिय होने के लिए कुछ मिनट प्रतीक्षा करें।

5. Databricks नोटबुक्स

जब आपका क्लस्टर चल रहा हो, तो आप नोटबुक्स बनाने के लिए तैयार हैं। यदि आपने Jupyter, Colab, या DataCamp Workspaces के साथ काम किया है, तो यह परिचित लगेगा:

लेकिन जब वास्तविक Jupyter मौजूद है, तो आप “Jupyter जैसा” कुछ क्यों चुनें? दरअसल, Databricks नोटबुक्स के Jupyter नोटबुक्स पर निम्नलिखित फायदे हैं:

• सहयोग: बिल्ट-इन सहयोगी सुविधाएँ कई उपयोगकर्ताओं को एक ही नोटबुक पर एक साथ काम करने देती हैं। बदलाव वास्तविक समय में ट्रैक होते हैं।
• निष्पादन वातावरण: अधिकांश Jupyter प्रदाता या लोकल इंस्टेंस पूर्व-परिभाषित हार्डवेयर वाली एकल मशीनों पर निर्भर होते हैं। उपयोगकर्ताओं को बाहरी लाइब्रेरियाँ और डिपेंडेंसी स्वयं इंस्टॉल करनी पड़ती हैं। इसके विपरीत, Databricks नोटबुक्स क्लस्टर्स द्वारा संचालित होती हैं, जो कार्यभार के अनुसार संसाधनों और स्केलिंग को स्वचालित रूप से संभालती हैं। ये पूर्व-कॉन्फ़िगर किए हुए वातावरण के साथ आती हैं।
• बिग डेटा टेक के साथ एकीकरण: Jupyter Apache Spark के साथ काम कर सकता है, लेकिन उपयोगकर्ताओं को Spark सत्र और डिपेंडेंसी मैन्युअली मैनेज करनी पड़ती हैं। चूँकि Databricks की स्थापना Spark के निर्माताओं ने की थी, यह फ़्रेमवर्क को नैटिव रूप से सपोर्ट करता है। Spark सत्र और क्लस्टर्स Databricks प्लेटफ़ॉर्म द्वारा स्वतः प्रबंधित होते हैं।

Databricks नोटबुक्स के और भी अनेक लाभ हैं, इसलिए यहाँ उनके बीच के अंतर का सार प्रस्तुत करने वाली एक तालिका है:

आख़िरकार, Databricks नोटबुक्स के ये फायदे विशेष उपयोग मामलों में प्रभावी होते हैं। यदि आप अपने लैपटॉप पर Pandas के साथ किसी CSV डेटासेट से खेलना चाहते हैं, तो Jupyter कहीं बेहतर है।

लेकिन, एंटरप्राइज़-स्तर के अनुप्रयोगों के लिए, एक प्लेटफ़ॉर्म के रूप में Databricks बेहतर विकल्प हो सकता है।

6. Databricks में डेटा इनजेशन

डेटा इनजेशन का अर्थ विभिन्न स्रोतों से डेटा आयात करने की प्रक्रिया से है। Databricks निम्न सहित कई स्रोतों से इनजेशन को सपोर्ट करता है:

• AWS S3
• Azure Blob Storage
• Google Cloud Storage
• रिलेशनल डेटाबेस (MySQL, PostgreSQL, आदि)
• डेटा लेक (Delta Lake, Parquet, Avro, आदि)
• स्ट्रीमिंग प्लेटफ़ॉर्म (Apache Kafka)
• Google BigQuery
• वह लोकल CSV फ़ाइल जो आपके पास है

आदि।

अब, देखते हैं कि आप कुछ प्रकार के डेटा को Databricks में वास्तव में कैसे लोड कर सकते हैं। हम लोकल फ़ाइलों से शुरू करेंगे:

GIF में दिए चरणों का पालन करने के बाद, आपके पास वर्कस्पेस में एक फ़ाइल संग्रहीत होगी। इसे Spark के साथ ऐसे लोड कर सकते हैं:

# Importing necessary libraries
from pyspark.sql import SparkSession

# Creating a Spark session
spark = SparkSession.builder.appName("S3ImportExample").getOrCreate()

# Defining the CSV path to the data
path = "dbfs:/FileStore/tables/diamonds.csv"

# Reading data from S3 into a DataFrame
data_from_s3 = spark.read.csv(path, header=True, inferSchema=True)

# Displaying the imported data
data_from_s3.show()
संचालित द्वारा

dbfs: प्रीफ़िक्स पर ध्यान दें। सभी वर्कस्पेस फ़ाइलों में इसे शामिल करना ज़रूरी है ताकि Spark के साथ फ़ाइल सही तरह लोड हो सके। DBFS का अर्थ है Databricks File System।

S3 बकेट से डेटा आयात करना (एंटरप्राइज़ अकाउंट्स के लिए) इसी तरह है:

# Importing necessary libraries
from pyspark.sql import SparkSession

# Creating a Spark session
spark = SparkSession.builder.appName("S3ImportExample").getOrCreate()

# Defining the S3 path to the data
s3_path = "s3://your-bucket/your-data.csv"

# Reading data from S3 into a DataFrame
data_from_s3 = spark.read.csv(s3_path, header=True, inferSchema=True)

# Displaying the imported data
data_from_s3.show()
संचालित द्वारा

अन्य प्रकार के डेटा के लिए, आप Databricks डाक्यूमेंटेशन के Data engineering और Connect to data sources सेक्शन देख सकते हैं।

7. Databricks में SQL चलाना

जब हमने diamonds.csv फ़ाइल अपलोड की, तो वह default नामक डेटाबेस में एक Databricks टेबल बन गई:

यह default डेटाबेस तब बनता है जब हम बिना डेटाबेस बनाए संरचित फ़ाइलें लोड करने का प्रयास करते हैं।

यदि हमारे पास एक डेटाबेस है, तो इसका मतलब हम इसे केवल Spark से ही नहीं, SQL से भी क्वेरी कर सकते हैं। ऐसा करने के लिए, एक नई नोटबुक बनाएँ या वर्तमान नोटबुक की भाषा को SQL में बदलें। फिर, निम्न कोड स्निपेट आज़माएँ:

SELECT * FROM default.diamonds_1_csv
LIMIT 5;
संचालित द्वारा

यह diamonds टेबल की शीर्ष पाँच पंक्तियाँ लौटाना चाहिए:

नोट: ऊपर दिए गए स्निपेट के लिए मैं SQL नोटबुक का उपयोग कर रहा हूँ

आप इस टेबल को Pandas में भी लोड कर सकते हैं। उसी नोटबुक में, यह स्निपेट पेस्ट करें:

%python
# Import the necessary libraries
import pandas as pd

# Assuming 'default' is the database name and 'diamonds' is the table name
# Use the spark.sql function to query the table and retrieve the data
table_df = spark.sql("SELECT * FROM default.diamonds_1_csv")

# Convert the Spark DataFrame to a Pandas DataFrame
pandas_df = table_df.toPandas()

# Display the Pandas DataFrame
pandas_df.head()
संचालित द्वारा

यह टेबल का head प्रिंट करेगा:

अब, आप इस टेबल पर SQL और Pandas—दोनों के साथ कोई भी सामान्य डेटा विश्लेषण कार्य कर सकते हैं।

निष्कर्ष और आगे के कदम

हमने केवल Databricks कम्युनिटी एडिशन के बेसिक अकाउंट का उपयोग करते हुए बहुत कुछ सीखा और किया। प्लेटफ़ॉर्म के बारे में सीखना जारी रखने के लिए, पहला कदम Databricks द्वारा प्रीमियम अकाउंट्स के लिए दी जाने वाली दो-सप्ताह की मुफ़्त ट्रायल का उपयोग करना है।

उसके बाद, आप DataCamp के Introduction to Databricks कोर्स के पाठों का पूरा आनंद ले सकते हैं। अकाउंट सेटअप के अलावा, आप DataCamp की निम्न कोर विशेषताओं का उपयोग करना सीखेंगे और अभ्यास करेंगे:

• Databricks वर्कस्पेसेज़ का प्रशासन
• बाहरी डेटाबेस में पढ़ना और लिखना
• डेटा ट्रांसफ़ॉर्मेशन
• डेटा ऑर्केस्ट्रेशन, उर्फ़ जॉब्स की शेड्यूलिंग
• Databricks SQL का व्यापक अवलोकन
• बड़े पैमाने की मशीन लर्निंग के लिए Lakehouse AI का उपयोग