कोर्स
डेटा साइंस को समझना
2 घंटा
874.7K
पिछले 10 वर्षों के अधिकांश समय में डेटा साइंस में नोटबुक्स सामान्य रही हैं और हर डेटा वैज्ञानिक ने उनके साथ काम किया है। वे डेटा वैज्ञानिकों को तेज़ी से प्रयोग करने और त्वरित वातावरण निर्माण, इंटरैक्टिव आउटपुट, और कोड स्निपेट्स के माध्यम से, जिन्हें किसी भी क्रम में चलाया जा सकता है, अंतर्दृष्टि साझा करने की सुविधा देती हैं।
संगठन डेटा साइंस और एनालिटिक्स में बड़े पैमाने पर निवेश कर रहे हैं और निवेश का एक प्रमुख क्षेत्र ऐसे टूल रहे हैं जो डेटा वैज्ञानिकों को कुशलतापूर्वक काम करने और डेटा के साथ तेज़ी से प्रयोग करने दें। नोटबुक्स इसका केंद्र हैं और आज के आधुनिक डेटा स्टैक में दिखने वाले कई टूलिंग नवाचारों का प्रमुख घटक हैं। इससे भी बढ़कर, नोटबुक्स सिटिजन डेटा साइंटिस्ट्स को डेटा अंतर्दृष्टियों का लोकतंत्रीकरण करने में सक्षम बना रही हैं।
यह लेख नोटबुक्स के अतीत, वर्तमान और भविष्य पर नज़र डालता है और यह बताता है कि वे डेटा कार्य और सहयोग के साइलो कैसे तोड़ रही हैं।
डेटा साइंस नोटबुक का इतिहास
आज लगभग हर डेटा वैज्ञानिक ने नोटबुक का उपयोग किया है, जिनमें सबसे लोकप्रिय है Jupyter Notebooks। हालांकि, नोटबुक्स का इतिहास डेटा साइंस से पहले का है—जो 1980 के दशक की शुरुआत तक जाता है।
लिटरेट प्रोग्रामिंग का उदय
1984 में डोनाल्ड नुथ द्वारा प्रस्तुत की गई लिटरेट प्रोग्रामिंग मनुष्यों द्वारा पढ़ी जा सकने वाली प्रोग्रामिंग बनाने की पद्धति थी। विचार यह था कि प्रोग्राम लॉजिक को मानवीय भाषा में लिखा जाए, जिसमें कोड स्निपेट्स और मैक्रोज़ अलग टिप्पणियों के रूप में लिखे जाएँ, जिन्हें “WEB” कहा गया। मैक्रोज़ कंप्यूटर साइंस सिखाने में उपयोग होने वाले स्यूडोकोड के समान थे।
इसके बाद एक प्रीप्रोसेसर WEB को पार्स करके सोर्स कोड (“tangle”) और प्रलेखन (“weave”) बनाता है। लिटरेट प्रोग्रामिंग आज भी उपयोग में है, जैसे Axiom में, लेकिन लिटरेट प्रोग्रामिंग के महत्वपूर्ण विचारों ने उन नोटबुक्स के विकास को जन्म दिया जो आज हम देखते हैं उनसे बहुत मिलती-जुलती हैं।
प्रारंभिक नोटबुक्स
प्रमुख शुरुआती नोटबुक्स Wolfram Mathematica और Maple थीं, जो 1980 के दशक के उत्तरार्ध में जारी हुईं। वे फ्रंट एंड और बैक एंड में एक कर्नेल के साथ संचालित होती थीं। नीचे दी गई छवि Mathematica का उपयोग करके तैयार किया गया 3D प्लॉट दिखाती है, जिसमें परिचित In[ ] और Out[ ] संकेत हैं, जो आज भी नोटबुक्स में दिखते हैं।
प्रारंभिक Wolfram Mathematica नोटबुक
इन टूल्स में सूक्ष्म भिन्नताएँ थीं, जैसे कोड चलाने के लिए shift + enter के बजाय enter का उपयोग, और गणितीय क्रियाओं के प्रदर्शन में विविधताएँ। हालांकि, दोनों में ऐसे विचार निहित थे जिन्होंने आधुनिक नोटबुक्स के डिज़ाइन को प्रभावित किया।
व्यापक अपनाने में एक बड़ी बाधा लागत थी, क्योंकि ये टूल महंगे थे और उपयोग के लिए लाइसेंस की आवश्यकता होती थी। यह पूरे उद्योग की समस्या थी, जिसने 1998 में Open Source Initiative के निर्माण का मार्ग प्रशस्त किया, जिसके परिणामस्वरूप आज हम जिन शक्तिशाली, निःशुल्क टूल्स का उपयोग करते हैं (जैसे Jupyter Notebooks!) वे संभव हुए।
आधुनिक डेटा साइंस नोटबुक्स की प्रारंभिक नींव
2001 में IPython और SciPy जारी हुए, और 2003 में Matplotlib आया। SciPy ने Python में अनेक वैज्ञानिक गणनाएँ संभव कीं, जबकि IPython ने टर्मिनल में उपयोगकर्ता अनुभव को बेहतर बनाया और वितरित कंप्यूटिंग का समर्थन जोड़ा। आज की तरह, Matplotlib ने Python में डेटा विज़ुअलाइज़ेशन को आसानी से बनाना संभव किया।
2005 तक इन ओपन-सोर्स टूल्स (और अन्य) को एक ही टूल SageMath में नहीं समेटा गया था। इसका लक्ष्य Mathematica और Maple का ओपन-सोर्स विकल्प प्रदान करना था—अन्य वैज्ञानिक ओपन-सोर्स टूल्स को एकत्रित कर उन पर निर्माण करना—और वेब-आधारित सुविधाएँ देना, जो आज की आधुनिक नोटबुक्स की पहचान हैं।
2011 में, IPython ने अपना नोटबुक जारी किया, जिसमें वेब एप्लिकेशन फ्रंट एंड और अंतर्निहित नोटबुक दस्तावेज़ के बीच स्पष्ट अंतर था।
IPython नोटबुक
Jupyter Notebooks का जन्म
2014 में Jupyter, IPython से अलग होकर सामने आया, जिसने नोटबुक इंटरफ़ेस पेश किया और IPython के अन्य भाषा-अज्ञेय हिस्सों को लिया। इसका नाम उन मूल भाषाओं पर रखा गया जिन्हें यह सपोर्ट करता था: Julia, Python, और R। Jupyter notebooks अब डेटा वैज्ञानिकों की पहली पसंद हैं और निस्संदेह आज सबसे व्यापक रूप से उपयोग किया जाने वाला नोटबुक इंटरफ़ेस हैं।
पिछले कुछ वर्षों में विकास का एक प्रमुख क्षेत्र ऐसे ऐप्स रहे हैं जो फ्रंट एंड को कर्नेल से अलग करते हैं, ताकि फ्रंट एंड उपयोगकर्ता के ब्राउज़र में सुलभ हो, जबकि कर्नेल क्लाउड-आधारित डाटा सेंटर्स में चलता हो। ऐसे टूल का एक बेहतरीन उदाहरण है DataCamp Workspace, जहाँ आप सीधे अपने ब्राउज़र में Jupyter Notebook इंस्टेंस के साथ काम शुरू कर सकते हैं।
DataCamp Workspace में JupyterLab
जैसे-जैसे नोटबुक्स को अपनाया गया और उनकी लोकप्रियता बढ़ी, पिछले कुछ वर्षों में आधुनिक नोटबुक इंटरफ़ेस की एक लहर आई है जो किसी को भी डेटा के साथ आसानी से काम करने में सक्षम बनाती है। अगले भाग में, हम बताएंगे कि आधुनिक नोटबुक्स डेटा के साथ काम करने की बाधाओं को कैसे तोड़ रही हैं।
आधुनिक डेटा साइंस नोटबुक्स सिटिजन डेटा साइंटिस्ट्स को कैसे सशक्त बनाती हैं
सिटिजन डेटा साइंटिस्ट्स की अवधारणा Gartner ने 2016 में दी। सिटिजन डेटा साइंटिस्ट्स के पास तकनीकी कौशल होते हैं, लेकिन उनके पास पारंपरिक डेटा साइंस, सांख्यिकी, या कंप्यूटर साइंस की पृष्ठभूमि न भी हो सकती है।
जैसे-जैसे डेटा साइंस एक क्षेत्र से व्यवसायिक समस्याओं को हल करने की पद्धति के रूप में विकसित हो रही है, सिटिजन डेटा साइंटिस्ट्स आधुनिक डेटा-चालित संगठन का चेहरा हैं। नोटबुक्स सिटिजन डेटा साइंटिस्ट्स के लिए उत्कृष्ट टूल हैं क्योंकि वे बहुत कम बाधाओं के साथ तेज़ी से प्रयोग करने और साझा करने योग्य अंतर्दृष्टि देने में सक्षम बनाती हैं।
जहाँ नोटबुक्स हमेशा से किसी डेटा सेट को जल्दी से खोजने-समझने और विश्लेषण करने के लिए बेहतरीन रही हैं, वहीं पहले सहयोग और अंतर्दृष्टि साझा करने जैसे क्षेत्रों में कमी रही है। 2022 में, आधुनिक नोटबुक्स और उनके आसपास का इकोसिस्टम इन ऐतिहासिक कमियों को बड़े पैमाने पर दूर कर चुका है। यहाँ कुछ तरीके हैं जिनसे नोटबुक्स उत्पादकता, दक्षता और सहयोग में बढ़त ला रही हैं।
आधुनिक डेटा साइंस नोटबुक्स सहयोगी हैं
आधुनिक सहयोगी टूल का एक स्पष्ट उदाहरण Google Docs है। कई उपयोगकर्ता दस्तावेज़ों का उपयोग और संपादन कर सकते हैं, साथ ही उपयोगकर्ता यह नियंत्रित कर सकते हैं कि कौन संपादन कर सकता है और कौन केवल टिप्पणियाँ सुझा सकता है। बदलाव नियमित रूप से सेव होते रहते हैं ताकि किसी अनहोनी से बचा जा सके।
अब इसी तरह की तकनीक नोटबुक्स के लिए उपलब्ध है, जैसे Deepnote और Datacamp Workspace। कई उपयोगकर्ता नोटबुक्स को संपादित और चला सकते हैं तथा टिप्पणियाँ छोड़ सकते हैं। यह सारा सहयोग वास्तविक समय में होता है, जिससे पूरी प्रक्रिया अधिक कुशल बनती है।
DataCamp Workspace में सहयोग
जो कोई भी डेटा के साथ काम करता है, उसके लिए सहयोग आवश्यक है। सहयोग की बाधाएँ कम करने का अर्थ है ज्ञान और विशेषज्ञता साझा करके डेटा साइलो को भी कम करना। पारंपरिक रूप से, नोटबुक्स का उपयोग करके सहयोग करना धीमा हो सकता था, लेकिन आधुनिक डेटा स्टैक तेज़ और कुशल है। कई टूल मौजूदा टेक स्टैक में बिना रुकावट के एकीकृत हो जाते हैं, यानी उपयोगकर्ता परिचित टूल्स के साथ काम करते हुए भी अपने सहकर्मियों से सहयोग कर सकते हैं।
वे डेटा अंतर्दृष्टियों का लोकतंत्रीकरण करने में मदद करती हैं
अन्य उपयोगकर्ताओं—चाहे वे व्यावसायिक हितधारक हों या अधिक तकनीकी समझ रखने वाले—के साथ विश्लेषण साझा करना कठिन हो सकता है। ऐतिहासिक रूप से, प्रैक्टिशनर्स ने ईमेल, Slack, प्रस्तुतियों, या कस्टम वेब ऐप्स के जरिए नोटबुक रिपोर्ट्स और अंतर्दृष्टियाँ साझा की हैं।
हालाँकि, आधुनिक नोटबुक्स सहज रूप से साझा करने की सुविधा देकर अंतर्दृष्टियों का लोकतंत्रीकरण करती हैं। उदाहरण के लिए, IPyWidgets नोटबुक्स में इंटरैक्टिव विजेट जोड़ने देता है, यानी उपयोगकर्ता स्लाइडर्स खींचकर ग्राफ़ बदल सकते हैं और अंतर्दृष्टियों के साथ अधिक इंटरैक्ट कर सकते हैं। Binder किसी रेपो को होस्टेड इंटरैक्टिव नोटबुक्स में बदल देता है, जिससे इंटरैक्टिव नोटबुक किसी और के साथ साझा की जा सकती है और चलाई जा सकती है। Voila किसी नोटबुक को होस्टेड वेब ऐप में बदल देता है, जिससे उपयोगकर्ता बिना सारा कोड देखे पूरी तरह इंटरैक्ट कर सकते हैं। Datacamp Workspace उपयोगकर्ताओं को नोटबुक्स साझा करने और डेटा में कहानी जोड़ने के लिए टेम्प्लेट देने की सुविधा देता है।
DataCamp Workspace में रिपोर्ट प्रकाशित करना
वे टैलेंट गैप को पाट सकती हैं
डेटा साइंस व्यापक भी है और गहरी भी: कई अलग-अलग क्षेत्रों में सीखने के लिए बहुत कुछ है। NLP विशेषज्ञ होना आपको महान डेटा इंजीनियर नहीं बना देता—या कंप्यूटर विज़न समझने वाला व्यक्ति भी नहीं।
डेटा साइंस के विभिन्न उपक्षेत्रों के बीच एक प्रमुख कड़ी है डेटा और इंफ्रास्ट्रक्चर। अच्छे डेटा के बिना मॉडल अच्छा प्रदर्शन नहीं करेंगे। इसी तरह, मॉडल विकास और डेटा सफाई को सपोर्ट करने वाला इंफ्रास्ट्रक्चर न हो तो शुरुआत करना भी बहुत मुश्किल है।
सिटिजन डेटा साइंटिस्ट्स के लिए, इंजीनियरिंग कौशल अनिवार्य नहीं हैं। आधुनिक नोटबुक्स क्लाउड-आधारित इंफ्रास्ट्रक्चर का उपयोग करके किसी को भी जल्दी शुरू करने देती हैं। एनवायरनमेंट्स और पैकेज अच्छी तरह मैनेज्ड होते हैं और अधिकांश उपयोगकर्ताओं द्वारा आसानी से अपडेट और संशोधित किए जा सकते हैं। इससे इंजीनियरिंग कौशल की खाइयों को भरने की जरूरत नहीं रहती, और प्रैक्टिशनर्स अपना समय अंतर्दृष्टियाँ देने में लगा सकते हैं।
इसके अलावा, अधिकांश डेटा साइंस तकनीकें नोटबुक्स के साथ पूरी तरह संगत हैं—मॉडल प्रशिक्षित किए जा सकते हैं, 3D ग्राफ बनाए जा सकते हैं, और डेटा पाइपलाइन्स बनाई जा सकती हैं। इससे सिटिजन डेटा साइंटिस्ट्स पूरी रेंज की तकनीकों के साथ प्रयोग कर सकते हैं और परिणामों को हितधारकों तक आसानी से पहुँचा सकते हैं या अन्य तकनीकी उपयोगकर्ताओं के साथ कोड साझा कर सकते हैं।
आधुनिक नोटबुक्स अन्य टूल्स के साथ एकीकृत होती हैं
हम पहले देख चुके हैं कि आधुनिक नोटबुक्स टीमों के बीच डेटा साइलो को कैसे तोड़ती हैं और डेटा के साथ काम करने की बाधा को नीचे लाती हैं। हालाँकि, नोटबुक्स की एक और ऐतिहासिक मुश्किल अन्य टूल्स—जो डेटा साइंस वर्कफ़्लो में उपयोग होते हैं—के साथ एकीकरण की कमी रही है। इसका एक प्रमुख उदाहरण SQL है।
ऐतिहासिक रूप से, प्रैक्टिशनर्स ने Python पर `mysql.connector` या R पर `DBI` जैसे पैकेजों से डेटाबेस कनेक्शन सेट अप किए। इन पैकेजों में डेटाबेस कनेक्शन मैन्युअली सेट करना पड़ता था और डेटा एक्सेस के लिए संबंधित क्रेडेंशियल्स मैन्युअली दर्ज करने पड़ते थे।
दूसरी ओर, आधुनिक नोटबुक्स नैटिव SQL सपोर्ट देती हैं। उदाहरण के लिए, DataCamp Workspace का उपयोग करते हुए, उपयोगकर्ता DataCamp Notebook Editor से सीधे PostgreSQL, MySQL, और Amazon Redshift जैसे डेटाबेस तक सुरक्षित कनेक्शन स्थापित कर सकते हैं। इंटीग्रेटेड डेटाबेस से निकाले गए डेटा का विश्लेषण फिर R या Python से किया जा सकता है।
DataCamp Workspace में SQL सेल्स
डेटा साइंस नोटबुक का भविष्य
आधुनिक नोटबुक डेटा क्रांति के केंद्र में है। यह अलग-अलग कौशल सेट वाले प्रैक्टिशनर्स को डेटा के साथ आसानी से प्रयोग करने, अंतर्दृष्टियाँ साझा करने, और बिज़नेस व डेटा टीम के बीच की खाई भरने में सक्षम बनाती है। इसके अलावा, नोटबुक्स सिटिजन डेटा साइंटिस्ट्स को सशक्त बना रही हैं, जिससे आज संगठनों में डेटा साक्षरता की नई लहर आ रही है।
Netflix जैसे डेटा-प्रथम संगठन अपनी नोटबुक नवाचार के लिए प्रसिद्ध हैं, क्योंकि विभिन्न भूमिकाओं और टीमों में डेटा के साथ काम करने के लिए नोटबुक्स उनका सबसे लोकप्रिय टूल हैं। नोटबुक्स का भविष्य अधिक फुर्ती, शेष डेटा स्टैक के साथ बेहतर एकीकरण, और डेटा अंतर्दृष्टियों का लोकतंत्रीकरण करने के लिए मज़बूत सहयोग और साझा करने की क्षमता से परिभाषित होगा। नोटबुक्स के बारे में अधिक जानने के लिए, निम्नलिखित संसाधन देखें: