MLOps का अतीत, वर्तमान और भविष्य

कई मशीन लर्निंग प्रोजेक्ट असफल होते हैं

कई संगठन AI और मशीन लर्निंग में भारी निवेश कर रहे हैं। फिर भी, इसका यह अर्थ नहीं कि वे अपनी संस्थाओं में मशीन लर्निंग का वास्तविक मूल्य प्राप्त कर रहे हैं। VentureBeat के अनुसार, 87% डेटा साइंस प्रोजेक्ट प्रोडक्शन तक नहीं पहुंचते। VentureBeat’s Transform 2019 के अपने कीनोट में, IBM की डेटा साइंस और AI की CTO डेबराह लेफ और Gap के सीनियर वाइस प्रेसिडेंट (डेटा और एनालिटिक्स) क्रिस चैप तर्क देते हैं कि कई टीमों में उन स्थितियों के लिए सही नेतृत्व और समर्थन की कमी है जो इन प्रोजेक्ट्स की सफलता का कारण बनती हैं।

लेफ और चैप डेटा गुणवत्ता, डेटा का लोकतंत्रीकरण, और संगठनात्मक प्रवाह जैसी समस्याओं को प्रमुख बाधाओं के रूप में वर्णित करते हैं, जिन्हें दूर करने के लिए कई संगठनों के पास उचित टूल या संरचना नहीं होती। डेटा टीमें जो उच्च-गुणवत्ता और प्रासंगिक डेटा तक पहुंच नहीं रखतीं या सही सहयोगी वातावरण में काम नहीं कर पातीं, वे अपनी दक्षता के बावजूद इन प्रोजेक्ट्स में सफल नहीं हो पातीं। वे मॉडल क्षय की समस्याओं का भी उल्लेख करते हैं, जहां कुछ संगठन ऐसे मॉडल लागू कर देते हैं जो तीन साल से अधिक समय तक बंद पड़े रहते हैं और किसी को पता नहीं चलता। यह विशेष रूप से Covid-19 के आगमन पर स्पष्ट हुआ, जब लॉकडाउन के कारण उपभोक्ताओं के व्यवहार पूरी तरह बदल गए और कई रिटेल एनालिटिक्स मॉडल प्रोडक्शन में टूट गए।

ML प्रोजेक्ट्स में एक और महत्वपूर्ण विचार परीक्षण और मॉडल बनाने के लिए ओपन सोर्स तकनीकों का बढ़ता उपयोग है। इनमें Python जैसी ओपन-सोर्स प्रोग्रामिंग भाषाएं और इसकी लाइब्रेरीज़ जैसे Scikit-learn, pandas, PySpark आदि शामिल हैं। प्रोडक्शन वातावरण में इनमें से किसी एक के संस्करण में बदलाव प्रोजेक्ट की सफलता पर गहरा प्रभाव डाल सकता है या उसे पूरी तरह निष्क्रिय कर सकता है। इन संस्करणों और ओपन सोर्स फ्रेमवर्क्स का प्रबंधन बड़े पैमाने पर प्रभावी होने के लिए एक सुव्यवस्थित प्रणाली मांगता है।

MLOps की आवश्यकता

Machine Learning Model Operationalization Management (MLOps) मशीन लर्निंग प्रोजेक्ट के लाइफसाइकिल मैनेजमेंट को मानकीकृत और सुव्यवस्थित करने का तरीका है। अपनी किताब में, Dataiku बताता है कि MLOps एंटरप्राइजेज के लिए इसलिए अत्यंत महत्वपूर्ण हो गया है: बहुत सारी निर्भरताएं हैं, संगठनों में डेटा साक्षरता और साझा डेटा भाषा का अभाव है, और डेटा वैज्ञानिकों के पास इंजीनियरिंग कौशल नहीं होते।

अनेक निर्भरताएं: डेटा वास्तविक दुनिया के व्यवहारों और प्रक्रियाओं का परावर्तन है और स्वाभाविक रूप से समय के साथ बदलता रहता है (उदा., Covid-19 के दौरान टॉयलेट पेपर खरीदने की आदतें)। जैसे-जैसे डेटा बदलता है—जो निरंतर होता है—प्रोडक्शन में मौजूद मॉडलों को भी लगातार अनुकूलित होना चाहिए ताकि संगठन वही मूल समस्या सुलझाते रहें जिसके लिए मॉडल बनाए गए थे।

साझा डेटा भाषा का अभाव: मशीन लर्निंग के जीवनचक्र में प्रोजेक्ट्स विभिन्न पृष्ठभूमि वाली अनेक टीमों के लोगों को शामिल करते हैं। इसमें डेटा वैज्ञानिक, डेटा इंजीनियर, साथ ही कार्य-क्षेत्र के विषय विशेषज्ञ शामिल होते हैं। इन समूहों के कौशल और डेटा-फ्लुएंसी समान नहीं होती, इसलिए वे डेटा के बारे में एक ही तरह से संवाद नहीं कर पाते, जबकि प्रोडक्शन में मॉडल तैनात करने और उनकी सफलता का मूल्यांकन करने के लिए उनका संरेखण बेहद जरूरी है।

डेटा वैज्ञानिकों के पास इंजीनियरिंग कौशल नहीं: डेटा वैज्ञानिक आमतौर पर मॉडल बनाना और उनका मूल्यांकन करने में विशेषज्ञ होते हैं, न कि ऐसे एप्लिकेशन लिखने में जिन्हें तैनात किया जाना है। जैसे-जैसे संगठन अधिक और अधिक जटिल मॉडलों पर निर्भर होते हैं, डेटा वैज्ञानिकों को मॉडल विकसित/दोहराने और उन्हें प्रोडक्शन में बनाए रखने के बीच संतुलन साधना पड़ता है।

MLOps क्यों उपयोगी है

मशीन लर्निंग मॉडल तेजी से व्यावसायिक प्रक्रियाओं में तैनात किए जा रहे हैं। मात्रा में इस वृद्धि के कारण इन मॉडलों से जुड़े जोखिमों को कम करने, उन्हें जिम्मेदारी से तैनात करने, और बड़े पैमाने पर उपयोग के लिए MLOps आवश्यक हो जाता है।

किसी मॉडल को तैनात करने से जुड़े कई जोखिम होते हैं:

• मॉडल कुछ समय के लिए अनुपलब्ध हो सकता है। प्रोडक्शन वातावरण में तकनीक अविश्वसनीय हो सकती है। यदि कोई संगठन इन मॉडलों पर अत्यधिक निर्भर है, तो तकनीक के अनुपलब्ध होने पर उसे गंभीर चुनौतियों का सामना करना पड़ सकता है।

• मॉडल किसी नमूने के लिए खराब परिणाम दे सकता है। यह अधिकांश समूहों के लिए बहुत अच्छा प्रदर्शन कर सकता है लेकिन किसी एक समूह के लिए खराब परिणाम दे सकता है। इससे कमतर प्रदर्शन करने वाले समूह के आउटपुट के आधार पर गलत व्यावसायिक निर्णयों से बचने के लिए सुधार या समझ आवश्यक है। यह खराब प्रदर्शन कुछ संरक्षित चर (जैसे जाति, आयु, लिंग आदि) के लिए AI मॉडलों के कमतर प्रदर्शन से जुड़े नैतिक मुद्दे भी पैदा कर सकता है।

• भविष्य में मॉडल कम निष्पक्ष या कम सटीक हो सकता है। जैसे-जैसे दुनिया बदलती है, प्रशिक्षण में उपयोग किया गया डेटा उस वास्तविकता का कम प्रतिनिधित्व करने लगता है जिसे मॉडल समझने की कोशिश कर रहा है। इससे भविष्य के डेटा पर खराब प्रदर्शन हो सकता है।

• समय के साथ डेटा साइंस प्रतिभा संगठन छोड़ सकती है। इन मॉडलों का रखरखाव तकनीकी कौशल और क्षमता मांगता है जो डेटा वैज्ञानिकों के पास हमेशा नहीं होती, जिससे मॉडलों की विश्वसनीयता प्रभावित हो सकती है।

इन जोखिमों का पैमाना इस पर निर्भर करता है कि मॉडल का संगठन पर कितना प्रभाव है और इन जोखिम घटनाओं की संभावना कितनी है। इन जोखिमों में से कई को इस तरह कम किया जा सकता है कि प्रशिक्षण डेटा प्रोडक्शन वातावरण में दिखने वाले डेटा का अच्छा प्रतिबिंब हो और प्रोडक्शन वातावरण स्थिर बना रहे, क्योंकि मॉडल बदलावों के प्रति अत्यंत संवेदनशील होते हैं। महत्वपूर्ण निर्णयों के लिए तैनात किए जा रहे मशीन लर्निंग मॉडलों की बढ़ती संख्या के साथ जुड़े जोखिमों को कम करने हेतु MLOps की आवश्यकता लगातार बढ़ रही है।

जैसे-जैसे निर्णय-निर्माण में मशीन लर्निंग मॉडलों का उपयोग बढ़ रहा है, यह सुनिश्चित करना और भी महत्वपूर्ण हो जाता है कि उन्हें जिम्मेदारी से तैनात किया जाए। एल्गोरिथमिक पक्षपात के कई कारण होते हैं जिन्हें AI प्रणालियों के माध्यम से निर्णयों के स्वचालन के दौरान टाला जाना चाहिए। पक्षपात को सफलतापूर्वक न्यूनतम करने में विफल रहने पर सरकारी नियमन के जरिए दंड या ब्रांड के लिए मांग और मुनाफे में कमी का सामना करना पड़ सकता है। AI प्रणालियों को जिम्मेदारी से तैनात करने के लिए, मॉडलों को अनुपालनकारी और निष्पक्ष डेटा स्रोतों पर प्रशिक्षित किया जाना चाहिए, उनके परिणाम व्याख्यायनीय और समझाने योग्य होने चाहिए, और पूरे संगठन में जवाबदेही होनी चाहिए ताकि विकास पाइपलाइन में जहां भी संभावित गलती हुई हो उसे आसानी से खोजकर प्रभावी ढंग से सुधारा जा सके। AI मॉडलों को जिम्मेदारी से तैनात करने के लिए संगठनों को एक सुव्यवस्थित ML मॉडल जीवनचक्र की जरूरत होती है।

अधिक से अधिक मॉडल तैनात करने के लिए MLOps की आवश्यकता होती है। संस्करण प्रबंधन पर नज़र रखने, मॉडल के प्रदर्शन की तुलना पुन:प्रशिक्षित मॉडल के प्रदर्शन से करने, और यह सुनिश्चित करने के लिए कि समय के साथ मॉडल अच्छा प्रदर्शन करते रहें—इन सबके लिए एक सुव्यवस्थित प्रक्रिया जरूरी है। इन MLOps प्रथाओं के बिना, इन मॉडलों के जरिए सफलतापूर्वक मूल्य और व्यावसायिक प्रभाव जोड़ना बहुत कठिन है।

एक MLOps प्रोग्राम की भूमिकाएं

यद्यपि MLOps अभी आरंभिक अवस्था में है और तेजी से विकसित हो रहा है, फिर भी किसी संगठन में निम्नलिखित भूमिकाओं में सक्षम लोगों का होना आवश्यक है: विषय विशेषज्ञ, डेटा वैज्ञानिक, डेटा इंजीनियर, और सॉफ्टवेयर व DevOps इंजीनियर।

विषय विशेषज्ञ व्यवसाय-उन्मुख व्यक्ति होते हैं जो प्रशिक्षण के दौरान और तैनाती के बाद मॉडलों की सफलता को कैसे मापा और सतत रूप से आंका जाए, यह समझते और निर्धारित करते हैं। एक सफल MLOps प्रोग्राम के लिए, उन्हें एक आसानी से समझ आने वाला व्यावसायिक प्रदर्शन मापदंड और एक फीडबैक लूप विकसित करना चाहिए, जिससे उन मॉडलों की पहचान की जा सके जो अपनी व्यावसायिक अपेक्षाओं के सापेक्ष प्रदर्शन नहीं कर रहे। इसके अतिरिक्त, जोखिम विषय विशेषज्ञ MLOps प्रोग्राम का महत्वपूर्ण हिस्सा हैं। उनका लक्ष्य प्रोडक्शन में ML मॉडल तैनाती से कंपनी को होने वाले जोखिम को कम करना और स्पष्ट करना है।

कोर्स सिफारिशें: Understanding Data Topics

डेटा वैज्ञानिक विषय विशेषज्ञों द्वारा उठाए गए व्यावसायिक प्रश्नों को संबोधित करने वाले मॉडल बनाने के लिए जिम्मेदार होते हैं। ये मॉडल प्रोडक्शन वातावरण में प्रोडक्शन डेटा के साथ तैनात करने योग्य होने चाहिए। डेटा वैज्ञानिकों को सुनिश्चित करना चाहिए कि ये मॉडल प्रोडक्शन में आसानी और सुरक्षित रूप से तैनात किए जा सकें, गुणवत्ता आश्वासन और संभावित सुधारों के लिए परीक्षण मौजूद हों, और एक ही स्थान से सभी तैनात मॉडलों की आसान दृश्यता हो।

कोर्स सिफारिशें: Machine Learning Scientists Career Track (R/Python), Image Processing in Python, Machine Learning with PySpark

डेटा इंजीनियर इन मॉडलों के लिए डेटा पाइपलाइनों के निर्माण के लिए जिम्मेदार होते हैं। एक सफल MLOps प्रोग्राम के लिए, सभी तैनात मॉडलों का प्रदर्शन आसानी से दिखाई देना चाहिए और प्रत्येक पाइपलाइन का पूरा विवरण उपलब्ध होना चाहिए ताकि यह देखा जा सके कि संबोधित किए जा सकने वाले मुद्दे कहां मौजूद हैं।

अंत में, सॉफ्टवेयर और DevOps इंजीनियर इन मॉडलों को अन्य नॉन-मशीन लर्निंग एप्लिकेशनों के साथ सफलतापूर्वक एकीकृत करने में मदद करने के प्रभारी होते हैं। सफल MLOps प्रैक्टिस के लिए, उन्हें डेटा इंजीनियरिंग की सर्वश्रेष्ठ प्रथाओं को एकीकृत करना चाहिए ताकि ये मॉडल मौजूदा एप्लिकेशनों के साथ विश्वसनीय, सतत, और सुगमता से समानांतर में काम कर सकें।

कोर्स सिफारिशें: Data Engineer with Python Career Track

एक सफल MLOps प्रोग्राम के लिए कई महत्वपूर्ण भूमिकाओं का सही उपयोग आवश्यक है। बड़े पैमाने पर सैकड़ों मॉडलों की सफल तैनाती के लिए डेटा विशेषज्ञों के अलावा विषय विशेषज्ञों और सॉफ्टवेयर इंजीनियरों की भी आवश्यकता होती है ताकि सकारात्मक व्यावसायिक परिणाम प्राप्त किए जा सकें। सफल MLOps प्रोग्राम विकसित करने की आकांक्षा रखने वाले संगठनों को अपस्किलिंग और सतत सीखने के माध्यम से सभी हितधारकों के बीच एक साझा डेटा भाषा बनाने का लक्ष्य रखना चाहिए।

DataCamp for Business के बारे में और जानें:

DataCamp for Business उन कंपनियों के लिए एक इंटरैक्टिव लर्निंग प्लेटफ़ॉर्म प्रदान करता है जिन्हें अपने लोगों को डेटा कौशल पर अपस्किल और रिस्किल करने की आवश्यकता है। डेटा लिटरेसी और डेटा साइंस से लेकर डेटा इंजीनियरिंग और मशीन लर्निंग तक के विषयों के साथ, 1,600 से अधिक कंपनियां अपने टैलेंट को अपस्किल करने के लिए DataCamp for Business पर भरोसा करती हैं।