US Army आपको डेटा साइंस के बारे में क्या सिखा सकती है

हाल ही में जब मैंने DataCamp का Data Scientist with Python करियर ट्रैक पूरा किया, तो मुझे लगा कि मैं असली डेटा चुनौतियों का सामना करने के लिए तैयार हूँ, लेकिन बात इतनी सीधी नहीं है। DataCamp या विश्वविद्यालय में कोर्स पूरा करना डेटा साइंटिस्ट बनने की लंबी राह का बस पहला कदम है। आपने जो कौशल सीखे हैं, उनका अभ्यास, परिष्कार और ऐसे कार्यसंग्रह (पोर्टफोलियो) में रूपांतरण ज़रूरी है जो यह दिखाए कि आपने क्या सीखा है और संभावित नियोक्ताओं को साबित करे कि आप उनकी टीम के लिए उपयोगी साबित होंगे।

लेकिन वहाँ तक कैसे पहुँचा जाए?

आपके पास औज़ार हों और उन्हें इस्तेमाल करना अच्छे से आता हो, यह एक बात है; पर शुरुआत करना कई बार मुश्किल लगता है।

तो शुरुआत कैसे करें?

यह लेख उस कोड के बारे में नहीं है जो आप लिखेंगे, बल्कि उस प्रक्रिया के बारे में है जिससे आप गुजरेंगे। यह लेख मेरे US आर्मी के अनुभव से ऊपर वाले सवाल का जवाब देने की कोशिश करेगा।

सिविल अफेयर्स और सिविल इन्फॉर्मेशन मैनेजमेंट

डेटा साइंटिस्ट बनने की राह पर चलने से पहले, मैंने बीस साल US मिलिट्री में बिताए, जिनमें से आख़िरी पाँच साल US Army Reserve की Civil Affairs शाखा में थे। संक्षेप में, Civil Affairs सेना की वह शाखा है जो किसी आपदा या संघर्ष के बाद किसी क्षेत्र को स्थिर करने की ज़िम्मेदार होती है। उन्हें 2014 से 2016 तक अफ्रीका के हॉर्न में इबोला प्रकोप जैसी स्थितियों से लेकर हरिकेन कैटरीना के बाद आपदा पुनर्प्राप्ति तक में तैनात किया गया। उनका भारी इस्तेमाल इराक युद्ध जैसे संघर्षों के दौरान भी हुआ। उनका मिशन किसी क्षेत्र को उस “सामान्य जीवन” की स्थिति में लौटाना है जो आपदा से पहले थी।

अब आप सोच सकते हैं: इसका डेटा साइंटिस्ट्स से क्या लेना-देना?

Civil Affairs जानकारी पर निर्भर करती है। यानी डेटा पर। किसी क्षेत्र को सामान्य स्थिति में लाने के लिए उन्हें यह जानना होता है कि सामान्य क्या था, और क्या वह सामान्य स्थिति क्षेत्र को स्थिर रखने के लिए पर्याप्त है। किसी क्षेत्र के लोग शिक्षा तंत्र, सुरक्षा या यहाँ तक कि ताज़े पानी की कमी को भी सामान्य मान सकते हैं। किसी क्षेत्र को स्थिर करने के लिए क्या चाहिए—इस पर निर्णय लेने के लिए भारी मात्रा में डेटा चाहिए, जिसे इकट्ठा करना, विश्लेषित करना और निर्णयकर्ताओं तक पहुँचाना पड़ता है।

Civil Affairs में निर्णयकर्ता वैसा ही “ऊपरी प्रबंधन” होते हैं जैसा कॉर्पोरेट अमेरिका में होता है। वे उच्च-स्तरीय सैन्य और सरकारी अधिकारी होते हैं, Red Cross और World Health Organization जैसी एजेंसियों के नेता, जो यह अंतिम निर्णय लेते हैं कि धन, प्रयास और समय कहाँ लगाया जाए। उनके निर्णय अच्छे सूचना-परिणामों पर बहुत निर्भर करते हैं, जिन्हें Civil Information Management (CIM) नामक प्रक्रिया के ज़रिए इकट्ठा किया जाता है।

Civil Affairs में मेरा समय एक CIM टीम का नेतृत्व करने, अन्य इकाइयों को CIM प्रक्रिया सिखाने और इस प्रक्रिया के लिए इस्तेमाल की जाने वाली तकनीकों को बेहतर बनाने में बीता। मुझे CIM पर विषय विशेषज्ञ माना जाता था, और मैं बता सकता हूँ कि यह सिर्फ़ सेना के लिए नहीं है। हमारा इस्तेमाल किया गया डेटा गोपनीय नहीं था। उसे सेना, स्थानीय सरकार, FEMA, और Red Cross व WHO जैसी सिविलियन संस्थाओं सभी के लिए उपभोग योग्य होना चाहिए था।

हम जो CIM प्रक्रिया जानकारी जुटाने, विश्लेषित करने और प्रसारित करने के लिए इस्तेमाल करते थे, उसे डेटा साइंस पर भी लागू किया जा सकता है और अब तक DataCamp पर जो देखा है, उससे लगता है कि यह व्यापक रूप से—भले नाम अलग हो—इस्तेमाल होती है।

डेटा साइंस कमांड लाइन या Jupyter Notebook से आगे जाती है। जब आप किसी डेटा सेट के साथ काम करते हैं, तो लगभग हमेशा कोई अंत-लक्ष्य और कोई ग्राहक होता है। यदि आप जिज्ञासा से या कौशल का अभ्यास करने के लिए डेटा सेट पर काम कर रहे हैं, तो ग्राहक आप स्वयं हैं। ग्राहक आपके ब्लॉग पाठक, काम पर आपके सहकर्मी, आपके सुपरवाइज़र, या कोई भुगतान करने वाला ग्राहक हो सकता है।

यदि आप मान लेते हैं कि हमेशा कोई ग्राहक होता है, तो आपको यह भी मानना होगा कि हमेशा कोई उत्पाद होना चाहिए, और वह उत्पाद उस महत्वपूर्ण “प्रश्न” का उत्तर दे।

प्रश्न

छह-चरणीय CIM प्रक्रिया में जाने से पहले, आपको यह जानना होगा कि “प्रश्न” क्या है। सरल शब्दों में, यही वह वजह है जिसके लिए आप विश्लेषण कर रहे हैं।

उदाहरण के लिए, Intro to Python for Data Science में प्रश्न है: “FIFA में गोलकीपर्स की माध्य ऊँचाई क्या है?”। Kaggle की Titanic प्रतियोगिता में प्रश्न है: “किस प्रकार का व्यक्ति टाइटैनिक के डूबने से बचने की सबसे अधिक संभावना रखता था?”।

हमेशा कोई न कोई प्रश्न होता है, और अक्सर कई प्रश्न होते हैं जिन्हें उत्तर चाहिए। अब जब आपको पता है कि “प्रश्न” क्या है, तो आप प्रक्रिया शुरू कर सकते हैं।

CIM प्रक्रिया

Collection

डेटा के बिना न तो विश्लेषण होगा और न ही डेटा साइंटिस्ट की जरूरत। DataCamp, Kaggle, Driven Data, और Data.gov पर इस्तेमाल होने वाले डेटा सेटों को इकट्ठा करना पड़ता है। इंटरनेट पर लगभग असीमित डेटा उपलब्ध है और इसका अधिकांश संग्रह वेब स्क्रैपिंग या अन्य स्वचालित तकनीकों से ऑटोमेट किया जा सकता है। जब मैं Civil Affairs में था, तो मैं CIA World Factbook, जनगणना डेटा और Google Maps पर काफ़ी निर्भर करता था।

हालाँकि, यह हमेशा इतना आसान नहीं होता।

नवंबर 2016 में, टेनेसी के Gatlinburg शहर में भयावह जंगल की आग लगी, जिसने 2,500 से अधिक घरों और व्यवसायों को नष्ट कर दिया। उस समय मैं पास के Knoxville, TN में एक Civil Affairs यूनिट में तैनात था और हमसे क्षति का आकलन करने में मदद माँगी गई। Gatlinburg के आसपास का क्षेत्र ग्रामीण, पहाड़ी इलाका है, जहाँ घर पहाड़ों में बिखरे हुए हैं, और नक्शों को अद्यतन रखना लगभग असंभव है। कौन सी इमारतें अब भी खड़ी हैं—इस डेटा को इकट्ठा करने का एकमात्र तरीका मैन्युअल संग्रह था। स्थानीय स्वयंसेवकों और सरकारी एजेंसियों के साथ मिलकर, हम टीमों में बँटे और उन ग्रामीण सड़कों पर गाड़ी चलाकर या पैदल घरों की तलाश की। हर इमारत के लिए जिसे हम पाए, उसे मानचित्र पर चिन्हित करते और उसकी क्षति का स्तर लिखते। फिर वह डेटा स्थानीय एजेंसियों द्वारा एकत्र करने के लिए भेजा जाता।

मैन्युअल डेटा संग्रह का एक और शानदार उदाहरण Scandens Beak Depth Heredity डेटा सेट है, जिसका इस्तेमाल Statistical Thinking in Python Part 2 में हुआ। वह डेटा 40+ वर्षों के व्यक्तिगत अवलोकनों से एकत्र हुआ!

यकीन है कि आपको डेटा पाने के लिए इतना आगे नहीं जाना पड़ेगा। आप हर DataCamp कोर्स की शुरुआत में दिए गए डेटा सेटों से शुरुआत कर सकते हैं, और यदि वहाँ कुछ पसंद न आए तो ऊपर सूचीबद्ध स्रोतों को देखें, या फिर जिस डेटा की आपको तलाश है उसके लिए Google खोज आज़माएँ।

Collation

जब आपको ऐसा डेटा सेट मिल जाए जिसमें आपकी सारी ज़रूरी जानकारी सलीके से पैक हो, तो अच्छा लगता है। दुर्भाग्य से, यह नियम से ज़्यादा अपवाद होता है। अधिकतर समय, आपको अपना डेटा टुकड़ों में मिलता है, जिन्हें जोड़कर तैयार करना पड़ता है।

Collation वह चरण है जहाँ डेटा अपने कच्चे रूप से संगठित होकर ऐसे सेट में बदलता है जिसके साथ काम किया जा सके।

Civil Affairs में शुरुआती बहुत-सा डेटा इंटरनेट स्रोतों से आता है, पर वह छोटी संख्या है। भारी बहुमत में डेटा ज़मीन पर मौजूद लोगों से आता है। Civil Affairs टीमें किसी क्षेत्र में जाती हैं और तस्वीरें लेती हैं, स्थानीय आबादी का साक्षात्कार करती हैं, और हवाई अड्डों, स्कूलों, पुलिस थानों और पावर प्लांट्स जैसी स्थानीय इमारतों का आकलन करती हैं। यह सब डेटा लिखित रिपोर्टों में आता है, जिसे उपयोगी जानकारी में समेकित करना पड़ता है। जिन जंगल की आग का मैंने ज़िक्र किया, उनसे एकत्र किए गए डेटा के कोलीशन में मैं शामिल नहीं था, पर उन सभी हाथ से चिन्हित नक्शों को एक स्रोत में समेटना पड़ा जिसमें हर सर्वेक्षित स्थान के निर्देशांक, स्थिति और संपत्ति का विवरण हो।

उभरते हुए डेटा साइंटिस्ट के रूप में, मेरा मानना है कि हममें से अधिकतर लोग डेटा के साथ काम की शुरुआत कोलीशन से करेंगे।

उदाहरण के लिए Scandens Beak Depth Heredity का डेटा लें। हर दैनिक रिपोर्ट को साप्ताहिक या मासिक रिपोर्ट में, फिर वार्षिक रिपोर्ट में और अंततः 40 वर्षों के डेटा का प्रतिनिधित्व करने वाले एकल डेटा सेट में समेकित करना पड़ा।

अच्छा कोलीशन आगे का बहुत-सा काम बचा सकता है, क्योंकि इससे चलते-चलते डेटा साफ़ करने और उचित वर्गों में रखने का अवसर मिलता है, जिससे आगे काम करना आसान होता है। मर्ज, जॉइन और अपेंड जैसी तकनीकें कोलीशन में अपना महत्व दिखाती हैं।

Processing

मान लीजिए कि हमें एक ऐसा एकत्रित, समेकित डेटा सेट मिल भी गया जिसमें हमारी सारी आवश्यक जानकारी हो, तब भी वह शायद अस्वच्छ होगा और उसे साफ़ करने की ज़रूरत पड़ेगी। Processing वह चरण है जहाँ हम “डेटा” को उपयोगी रूप में बदलते हैं जो विश्लेषण के लिए तैयार हो। Civil Affairs में मैंने बहुत समय संग्रह और कोलीशन में लगाया, पर प्रोसेसिंग वह जगह थी जहाँ मैं सच में डेटा को जान पाता और विश्लेषण की योजना बनाना शुरू करता।

CIM टीम में मैंने बहुत-से ‘एरिया असेसमेंट’ किए। यानी किसी दिए गए क्षेत्र का शुरुआती विश्लेषण—ज़मीन पर जाने से पहले—ताकि अंदाज़ा लगे कि वहाँ किन मुद्दों को प्राथमिकता देनी होगी। क्षेत्र पर प्रासंगिक डेटा इकट्ठा और समेकित करने के बाद, उसे उपभोग योग्य जानकारी में प्रोसेस किया जाता है—यहाँ तक कि विश्लेषण से पहले भी। नतीजा आमतौर पर एक Excel वर्कबुक या डेटाबेस होता है जिसमें साफ़, वर्गीकृत जानकारी होती है, जिसे खोज या फ़िल्टर करके ऐसे बुनियादी सवालों का जवाब दिया जा सकता है जिन्हें विश्लेषण की ज़रूरत नहीं।

डेटा साइंस में, यही वह जगह है जहाँ हम डेटा को तiddy करते और खोजते हैं, और Exploratory Data Analysis करते हैं। यदि आप डेटा को सही तरह से वर्गीकृत और लेबल करने तथा उसके सही ‘टाइप’ को सुनिश्चित करने में सावधानी बरतें, तो आगे विश्लेषण के चरण में काफी परेशानी बच सकती है। सही प्रोसेसिंग करके आप अच्छे विश्लेषण की नींव रख सकते हैं।

Analysis

पहले बताए एरिया असेसमेंट को लें—ऐसा डेटा सेट मिलना बढ़िया है जिससे क्वेरी करके जवाब मिल सकें। मैं जान सकता था कि क्षेत्र में कितने डॉक्टर हैं, या प्रति व्यक्ति प्रति वर्ष कितने गैलन ताज़ा पानी उपलब्ध है। यह महत्वपूर्ण जानकारी है, लेकिन यह विश्लेषण नहीं है। विश्लेषण ऐसे प्रश्नों का उत्तर देगा: “सरकार, अर्थव्यवस्था, अवसंरचना, सुरक्षा और स्वास्थ्य सेवाओं के क्षेत्रों में यह क्षेत्र आस-पास के इलाक़े से कैसे तुलना करता है?” और “मौजूदा खपत दर पर, क्षेत्र में ताज़ा पानी कब तक चलेगा?”।

विश्लेषण वह मुख्य भाग है जिसके लिए हममें से अधिकतर लोग शायद DataCamp पर आए, यह वही है जिसमें मुझे सबसे ज़्यादा मज़ा आता है, और यही वह जगह है जहाँ हम उस अहम प्रश्न का उत्तर देते हैं। इसे लगभग हर DataCamp क्लास में विस्तार से कवर किया गया है, इसलिए यहाँ बहुत अधिक विवरण में नहीं जाऊँगा। विश्लेषण का मुख्य भाग डेटा के साथ काम करना और उससे निष्कर्ष निकालना है।

Production

Gatlinburg की जंगल-आग पर लौटते हैं। जब सारा डेटा इकट्ठा, समेकित और प्रोसेस होकर एक ऐसे डेटाबेस में बदल गया जिसमें हर इमारत के निर्देशांक, वर्तमान स्थिति और क्षति का विवरण हो, तो हमने निर्धारित किया कि प्रभावित क्षेत्र की 60% इमारतें मरम्मत से परे क्षतिग्रस्त हैं। हमने इस प्रश्न का उत्तर दे दिया: “आसपास का कितना क्षेत्र आग से प्रभावित हुआ है?”।

हम एक कदम आगे बढ़कर हर क्षतिग्रस्त इमारत का मूल्य निकाल सकते हैं और पूरे क्षेत्र की पुनर्निर्माण लागत निर्धारित कर सकते हैं—मुहल्लों और सड़कों के अनुसार विभाजित। हम यह भी तय कर सकते हैं कि कौन-से मुहल्ले सबसे ज़्यादा प्रभावित हुए ताकि हम पुनर्निर्माण प्रयासों को प्राथमिकता दे सकें।

विश्लेषण बढ़िया है, पर यदि उसे उत्पाद में नहीं बदला गया तो उसका कोई लाभ नहीं। यही CIM प्रक्रिया का Production चरण है। अब तक के हर चरण ने इसी की ओर निर्माण किया है—यही वह जगह है जहाँ आप वह शोकेस आइटम बनाते हैं, वह चीज़ जो आप ग्राहक के साथ साझा करेंगे।

यह आपके डेटा के साथ किए गए हर काम का समापन है। उत्पाद Jupyter Notebook, तालिकाओं और ग्राफ़ वाले स्प्रेडशीट, वेब पेज, PDF फ़ाइल या सोर्स कोड के रूप में हो सकता है। अन्य विचार हैं—इन-पर्सन प्रस्तुति, वीडियो प्रस्तुति जिसमें आप विश्लेषण से गुज़रते हैं, या Sway या PowerPoint के साथ स्लाइड शो। जो भी हो, आपका चयन ग्राहक की ज़रूरतों के अनुरूप होना चाहिए। कुछ अतिरिक्त आवश्यकताएँ:

1. ग्राहक के लिए स्पष्ट, संक्षिप्त और उपभोज्य हो।
2. कहानी बताए और ग्राहक को समझ में आए।
3. ग्राहक के तकनीकी और शैक्षिक स्तर के अनुरूप हो।

Dissemination

Dissemination CIM प्रक्रिया का अंतिम चरण है और ऊपर-ऊपर से सुनने में सरल लगता है; बस उत्पाद ग्राहक तक पहुँचा दें। पर अगर आप ठहरकर सोचें, तो शायद यही पूरे प्रोसेस का सबसे महत्वपूर्ण चरण है। जब मैं CIM टीम के साथ था, तो हम अधिकतर अपना आउटपुट PDF, PowerPoint स्लाइड्स या Excel रिपोर्ट्स के रूप में बनाते थे। इन तरीकों का इस्तेमाल क्यों? ये सभी सुलभ, इस्तेमाल में आसान और पोर्टेबल तरीके हैं जिन्हें लगभग हर कोई इस्तेमाल करना जानता है।

आज जो कौशल मेरे पास हैं, उनके साथ मैं इंटरैक्टिव वेब पेज बना सकता था जिनमें रिपोर्ट्स, स्लाइडर्स और फ़िल्टर्स वाले Bokeh ग्राफ़, और इंटरैक्टिव मैप्स होते। यह एक जटिल, डायनेमिक उत्पाद होता जिसे लगभग हर कोई इस्तेमाल कर सकता था क्योंकि वह वेब पेज में समाया होता। चाहे अंतिम उत्पाद कितना भी उत्कृष्ट हो, यदि उसे ग्राहक तक इस तरह नहीं पहुँचाया गया कि वह हो:

• सुलभ: चूँकि आप जानकारी से डील कर रहे हैं, यह ग्राहकों के लिए सुलभ होनी चाहिए। उत्पाद को कहीं दबा देना जहाँ लक्षित दर्शक उसे न पा सकें, उसे उपभोग करना मुश्किल बना देता है और वह जल्दी भुला दिया जाता है।
• इस्तेमाल में आसान: आपका चुना हुआ डिलीवरी तरीका आपके अधिकांश ग्राहकों के लिए आसान होना चाहिए। उदाहरण के लिए, Python स्क्रिप्ट को डेटा साइंटिस्ट साथियों के समूह को भेजना ठीक हो सकता है, पर वही स्क्रिप्ट ऐसे व्यक्ति को भेजना जिसे “data_analysis.py” चलाना नहीं आता, शायद ठीक न हो।
• पोर्टेबल: मान लीजिए, हम सभी अपनी बहुत-सी जानकारी मोबाइल डिवाइस पर ही उपभोग कर रहे हैं। शायद ही हमें डेस्क पर बैठकर लंबी-लंबी जानकारी पढ़ने-देखने का समय मिलता है। डेटा उत्पाद पोर्टेबल होने चाहिए—चाहे वह PowerPoint और Excel जैसे Office ऐप्लिकेशनों से हों, PDF से, या इंटरनेट के ज़रिए।

इस लेख के पाठकों के लिए प्रसार के ढेरों तरीके उपलब्ध हैं और मैं उनकी सूची शुरू भी नहीं कर सकता। आप अपना उत्पाद किस तरह प्रसारित करते हैं, इसके लिए कुछ निर्णय लेने पड़ते हैं। हमेशा खुद से पूछें, “मैं यह उत्पाद ग्राहक तक ऐसी तरह से कैसे पहुँचा सकता हूँ जो उसकी सुलभता, आसान उपयोग और पोर्टेबिलिटी की ज़रूरतों को सबसे बेहतर तरीके से पूरा करे?”

यह कहते हुए, यदि आप पोर्टफोलियो बना रहे हैं, तो Github, Anaconda Cloud, व्यक्तिगत वेब पेज और ब्लॉग, और सोशल मीडिया साइटें शुरुआत के लिए बेहतरीन जगहें हैं। अपना काम बाहर रखने और समान सोच रखने वाले लोगों के साथ साझा करने से न डरें।

अंतिम विचार

यदि आप डेटा से जुड़े हैं, तो संभवतः आप पहले से ही मेरे बताए कुछ चरणों का उपयोग कर रहे हैं। भले आप व्यक्तिगत रूप से सभी छह चरणों में शामिल न हों, अब आपको उनके बारे में और कच्चे डेटा को तैयार उत्पाद में बदलने की एक प्रक्रिया के बारे में बेहतर समझ है। डेटा साइंस के लिए सैन्य प्रक्रियाओं पर चर्चा करना अजीब लग सकता है, पर ये छह चरण मुझे मिलिट्री और कॉर्पोरेट अमेरिका—दोनों में—बहुत काम आए हैं और मुझे उम्मीद है कि डेटा साइंटिस्ट बनने की आपकी यात्रा में ये आपकी भी मदद करेंगे।