खराब डेटा के 10 संकेत: घटिया गुणवत्ता वाले डेटा की पहचान कैसे करें

खराब डेटा क्या है?

यदि हम अच्छी गुणवत्ता वाले डेटा को उद्देश्य के अनुरूप मानें, तो कहा जा सकता है कि घटिया गुणवत्ता वाला डेटा उद्देश्य के अनुरूप नहीं है। यानी यह डेटा उन परिणामों को सपोर्ट करने के लिए पर्याप्त अच्छा नहीं है जिनके लिए इसका उपयोग किया जा रहा है। 

अक्सर, कच्चा डेटा खराब डेटा माना जा सकता है। उदाहरण के लिए, Twitter जैसे सोशल मीडिया नेटवर्क से निकाला गया डेटा असंरचित होता है और अपनी कच्ची अवस्था में न तो विश्लेषण के लिए तैयार होता है और न ही अन्य सूचनात्मक उद्देश्यों के लिए। 

हालाँकि, डेटा क्लीनिंग और प्रोसेसिंग के जरिए कच्चा डेटा अच्छा डेटा बन सकता है, जिसमें आम तौर पर समय लगता है। 

सीधे शब्दों में कहें तो, कोई भी डेटा जिसमें संरचना का अभाव हो और जो अशुद्धि, अपूर्णता, असंगतियों और डुप्लीकेशन जैसी गुणवत्ता समस्याओं से ग्रस्त हो, उसे खराब डेटा माना जा सकता है।

डेटा गुणवत्ता क्यों मायने रखती है

डेटा गुणवत्ता का मतलब गुणात्मक या परिमाणात्मक डेटा के हिस्सों की स्थिति से है: यह विशिष्ट कारकों—जैसे शुद्धता, पूर्णता, संगति, विश्वसनीयता, और अद्यतन होने—के आधार पर डेटा की कंडीशन को मापती है। ग्राहक डेटा के साथ-साथ इसमें उत्पाद डेटा, कंपनी डेटा, वेंडर डेटा, और बहुत कुछ शामिल है। 

यह सुनिश्चित करना बेहद महत्वपूर्ण है कि आपके पास मौजूद डेटा अच्छी गुणवत्ता का हो। डेटा से मूल्य निकालने के लिए, हमें इसे सटीक, उन परिणामों को सपोर्ट करने के लिए पर्याप्त उपयोगी, और उपलब्ध संसाधनों का सर्वोत्तम उपयोग करने योग्य चाहिए।  

खराब डेटा गुणवत्ता क्यों होती है? 

तीन प्रमुख प्रकार की डेटा गुणवत्ता समस्याएँ हैं जो परिचालन दक्षता पर सीधे असर डालती हैं: 

• मानवीय त्रुटि। खराब डेटा गुणवत्ता के सबसे आम कारणों में से एक मानवीय त्रुटि है; यह आमतौर पर तब होती है जब डेटा एंट्री प्रक्रिया में मानकीकरण का अभाव हो या कर्मचारी स्प्रेडशीट में मान दर्ज करते समय मैन्युअल रूप से इनपुट करें। दोनों स्थितियाँ त्रुटियों की संभावना बढ़ाती हैं।
• विभिन्न और असंगत सिस्टम। संगठन अक्सर डेटा को कई अलग-अलग सिस्टम में संग्रहीत करते हैं जिनके अपने-अपने नियम होते हैं। एक डेटासेट बनाना कई सिस्टमों से कई स्रोतों को एकीकृत करना शामिल कर सकता है, जिससे डुप्लीकेट डेटा, गुम फील्ड या असंगत लेबल हो सकते हैं। यह भी संभव है कि अलग-अलग फील्ड का अर्थ तो एक ही हो, लेकिन किसी अन्य सिस्टम में उन्हें अलग तरह से संदर्भित किया गया हो।
• अमान्य डेटा। बदलाव होते हैं और व्यवसाय विकसित होते हैं। जब ऐसा होता है, तो डेटा में भी बदलाव आवश्यक होते हैं (जैसे डेटा संरचना में विवरण के स्तर को बदलना, फील्ड को डिप्रीकेट करना, या डेटा फील्ड को अपडेट करना)। हालाँकि, विश्लेषक अक्सर तब ही आवश्यक बदलाव समझ पाते हैं जब वे डेटा का उपयोग करने वाले होते हैं। 

ये कारक खराब डेटा के प्रमुख कारण हैं और जब डेटा का उपयोग करने का समय आता है, तो यह एक बाधा बन जाते हैं। 

आप इस DataCamp Data Cleaning Tutorial में Python में डेटा गुणवत्ता सुधारना सीख सकते हैं।

खराब डेटा की लागत

खराब डेटा की लागत कई कारकों पर निर्भर करते हुए अलग-अलग हो सकती है। कुछ स्थितियों में, लागत डाउनस्ट्रीम प्रक्रियाओं में या महत्वपूर्ण परिचालनों में देरी के रूप में जुड़ सकती है। सबसे बुरे परिदृश्य में, पूरे प्रोसेस की विफलता भी हो सकती है। 

आइए खराब डेटा की कुछ लागतों को समझते हैं।

गलत इनसाइट्स

हम जो भी इनसाइट्स डेटा से निकालते हैं, वे स्वयं डेटा की गुणवत्ता पर निर्भर होती हैं। उदाहरण के लिए, व्यवसायिक नेता अपने डेटा से निकाली गई इनसाइट्स के आधार पर एक अहम निर्णय ले सकते हैं, यह जाने बिना कि जिन कई स्रोतों से इनसाइट्स ली गईं, उनमें डुप्लीकेट मौजूद थे। यह दोहराव निष्कर्षों को इस तरह विकृत कर सकता है कि वे वास्तविकता को न दर्शाएँ, और गलत इनसाइट्स निकलें।  

वित्तीय खर्चे 

डेटा गुणवत्ता सुधार के लिए बिज़नेस केस बनाने पर एक आलेख में, Gartner रिसर्च ने कहा कि “संगठन मानते हैं कि घटिया डेटा गुणवत्ता के कारण औसतन प्रति वर्ष $15 मिलियन का नुकसान होता है” और “जैसे-जैसे सूचना परिवेश अधिक जटिल होते जाएँगे, यह और बिगड़ने की संभावना है — यह चुनौती सभी आकार के संगठनों का सामना कर रही है।” 

संगठनात्मक दक्षता

जैसे-जैसे अधिक व्यवसाय डेटा-केन्द्रित हो रहे हैं, घटिया डेटा का सीधा असर पूरे संगठन पर पड़ता है। उदाहरण के लिए, सेल्स टीम गलत लक्षित दर्शकों को उत्पाद पेश कर सकती है—जिसे टाला जा सकता था यदि उनके पास अच्छी गुणवत्ता वाले डेटा तक पहुँच होती।  

माइग्रेशन के दौरान समस्याएँ

ऐसी स्थिति की कल्पना करें जहाँ कोई संगठन एक प्लेटफ़ॉर्म से दूसरे पर माइग्रेट करने का निर्णय लेता है; नया प्लेटफ़ॉर्म पुराने के विपरीत अलग डेटा गवर्नेंस और मानकीकरण नियम रख सकता है, जिससे माइग्रेशन समस्याएँ होंगी। आप ऐसी स्थिति का भी सामना कर सकते हैं जहाँ प्लेटफ़ॉर्म डेटा को अलग फ़ॉर्मेट में स्टोर करता है: इससे डेटा का सटीक मैपिंग करना कठिन हो जाएगा। 

समग्र बाधा 

खराब डेटा गुणवत्ता किसी संगठन के डिजिटल ट्रांसफॉर्मेशन के दौरान जल्दी ही गंभीर रुकावटें पैदा कर सकती है। उत्पन्न होने वाली समस्याओं को ठीक करना पड़ता है, जिसका मतलब है कि ट्रांसफॉर्मेशन प्रोजेक्ट रुक जाता है। ऐसा बार-बार होने से अपनाने की गति और संसाधनों—दोनों पर भारी असर पड़ता है। 

खराब डेटा के 10 संकेत

इनपुट की गुणवत्ता आउटपुट की गुणवत्ता तय करती है। अधूरे, असंगत या करप्टेड डेटा के साथ सटीक और विश्वसनीय रिपोर्ट बनाना व्यावहारिक रूप से असंभव है: जैसा कचरा अंदर, वैसा कचरा बाहर। 

तो, आप कैसे तय करेंगे कि आपके संगठन को डेटा गुणवत्ता की समस्या है? यहाँ दस संकेत हैं जिन पर ध्यान दें (किसी विशेष क्रम में नहीं):

#1 महत्वपूर्ण जानकारी का गायब होना 

गायब डेटा के कई कारण हो सकते हैं, जैसे उपकरणों की खराबी, फ़ाइलों का खो जाना, अपूर्ण डेटा एंट्री आदि। हालाँकि किसी भी डेटासेट में कुछ डेटा का गायब होना असामान्य नहीं है, लेकिन महत्वपूर्ण जानकारी का न होना कई चुनौतियाँ पेश करता है। मुख्य तीन ये हैं: 

1. डेटा की अनुपस्थिति सांख्यिकीय शक्ति को कम करेगी, जिससे वास्तविक प्रभाव का पता लगाने की संभावना घटती है। 
2. गायब डेटा अनुमान मानकों में पक्षपात उत्पन्न कर सकता है 
3. महत्वपूर्ण जानकारी के गायब होने से सैंपल की प्रतिनिधित्वशीलता घट सकती है।

हमारे ऑनलाइन कोर्स के साथ Python में मिसिंग डेटा से निपटना और अधिक सीखें।  

#2 सामान्य कार्यों पर अत्यधिक मेहनत और समय लगना 

यदि आपको लगता है कि आपका अधिकांश समय मैन्युअल कार्यों में बीत रहा है, तो शायद आपके पास खराब डेटा है। एक अप्रभावी (या न के बराबर) डेटा मैनेजमेंट रणनीति आपको कई स्रोतों से डेटा को मैन्युअल रूप से व्यवस्थित करने, गुम हिस्सों को भरवाने के लिए लोगों के पीछे भागने, और उस डेटा को स्प्रेडशीट में दर्ज करने पर मजबूर कर सकती है।  

#3  पर्याप्त Actionable इनसाइट्स न मिलना 

Actionable इनसाइट्स वे निष्कर्ष हैं जो सीधे किसी कार्रवाई या प्रतिक्रिया में बदले जा सकें। इसलिए Actionable इनसाइट्स प्रासंगिक, विशिष्ट और निर्णयकर्ता के लिए मूल्यवान होने चाहिए। 

ऐसी इनसाइट्स का मूल्य इस नई जानकारी में है जो वे सामने लाती हैं। हालाँकि, इसका यह अर्थ नहीं कि वे बिल्कुल नए डेटासेट से ही आएँ। यदि आपका डेटा वही बातें बता रहा है जो आप पहले से निश्चित रूप से जानते हैं, तो उसका कोई मूल्य नहीं और वह प्रासंगिक नहीं। 

#4 डेटा का विश्लेषण करना कठिन होना 

आपके डेटा का Normalization आवश्यक है ताकि: 

1. टेबल में केवल वही डेटा हो जो प्राइमरी की से प्रत्यक्ष रूप से संबंधित हो
2. हर डेटा फील्ड में ठीक एक ही डेटा एलिमेंट हो
3. अनावश्यक दोहराव वाला डेटा हटाया जा सके 

नॉर्मलाइज़्ड डेटा के बिना, विश्लेषण करना बेहद कठिन हो सकता है क्योंकि हर डेटा स्रोत अपने-अपने फ़ॉर्मेट, फील्ड और लेबल के साथ आ सकता है जो आपस में अलग-अलग हों। 

#5 अवसरों का चूक जाना 

यह विचार कि आप अपने पास मौजूद डेटा का पूरा लाभ नहीं उठा पा रहे हैं, हमेशा मन में बना रह सकता है—खासकर यदि आप अपनी मौजूदा डेटा मैनेजमेंट रणनीति पर भरोसा नहीं करते। एक स्पष्ट संकेत कि आप खराब डेटा पर निर्भर हैं यह है कि आपका अनावश्यक जोखिमों के प्रति एक्सपोज़र बढ़ जाता है, जिससे अचानक बदलाव होने पर आप असुरक्षित रह जाते हैं।

#6 इनसाइट्स समय पर न आना 

आपके पास डेटा का तुरंत एक्सेस एक केंद्रीकृत रिपॉज़िटरी में होना चाहिए। यह आपको तेजी और आसानी से रिपोर्ट बनाने देता है और अन्य फायदे भी देता है। उदाहरण के लिए, दोहराव घटता है, जिससे त्रुटियाँ कम होती हैं और जानकारी तक पहुँच सरल होती है।

केंद्रीकृत डेटा का मतलब है कि पूरा संगठन एक ही ब्लूप्रिंट से काम करता है और एक ही नियमों का पालन करता है। उद्देश्य है विभिन्न डेटा और अलग-अलग टूल्स के उपयोग से उत्पन्न विसंगतियों से बचना। 

#7 डेटा में बहुत अधिक त्रुटियाँ होना

मनुष्य त्रुटि-प्रवण होते हैं। जब कोई व्यक्ति सिस्टम में मैन्युअल रूप से डेटा दर्ज करने के लिए ज़िम्मेदार हो, तो पूर्ण डेटा की उम्मीद करना त्रुटिपूर्ण है। डेटा का ऑडिट होना चाहिए। इससे यह भी स्पष्ट होगा कि आपके डेटा में त्रुटियाँ यूटिलिटी प्रोवाइडर से आई हैं या मानवीय गलती से। 

#8 निर्णयकर्ताओं में आत्मविश्वास की कमी

डेटा आत्मविश्वास पैदा करना चाहिए। भरोसेमंद डेटा का होना डेटा-आधारित निर्णय लेने की मौलिक पूर्वापेक्षा है। जब निर्णयकर्ताओं को डेटा पर भरोसा नहीं होता, तो वे पुराने तरीकों पर लौट आते हैं—यानि आप उम्मीद कर सकते हैं कि निर्णय अंतर्ज्ञान और अनुमान पर आधारित होंगे। 

हमारे ऑनलाइन कोर्स में Data-Driven Decision Making for Business के महत्व के बारे में और जानें।

#9 प्रमुख व्यावसायिक मीट्रिक्स की दृश्यता का अभाव 

जब Key Performance Indicators (KPIs) रियल-टाइम में उपलब्ध नहीं होते, तो यह स्पष्ट नहीं रहता कि किस कार्रवाई से सबसे अधिक प्रभाव पड़ेगा। 

#10 बिखरा हुआ ग्राहक अनुभव 

एक स्पष्ट (और संभवतः महँगा) संकेत कि आपके पास खराब डेटा है तब मिलता है जब ग्राहक को ऐसा कंटेंट मिल रहा हो जो उनकी खरीद यात्रा के चरण से मेल नहीं खाता। आज के दौर में उपभोक्ता अब “व्यक्तिगत” अनुभव चाहते ही नहीं—वे इसकी अपेक्षा करते हैं। यदि ग्राहकों को टचपॉइंट्स पर व्यक्तिगत अनुभव नहीं मिल रहा, तो ग्राहक अनुभव बिखरा हुआ माना जा सकता है।

यदि आप अपने संगठन में इन लक्षणों में से कई को पहचानते हैं, तो यह चिंता का विषय है: संभवतः डेटा गुणवत्ता की समस्या मौजूद है। हमारे ऑनलाइन कोर्स के साथ Python में रिकमेंडेशन इंजन बनाना के बारे में और जानें। 

खराब डेटा का प्रबंधन कैसे करें

उम्मीद है अब आप समझ गए होंगे कि हर डेटा अच्छा नहीं होता। खराब डेटा को प्रबंधित करने का सबसे अच्छा तरीका है स्रोत पर ही घटिया गुणवत्ता को रोकना। हालाँकि, यदि आप पहले से ही खराब डेटा से जूझ रहे हैं, तो इस समाधान को लागू करना कठिन हो सकता है। 

यदि आपने पहले से खराब डेटा एकत्र कर लिया है, तो उसे प्रबंधित करने में मदद के लिए निम्न कदम बनाए गए हैं: 

कदम 1: वास्तविकता स्वीकार करें

आपके पास खराब डेटा है। इसे स्वीकार करें। यदि आप खराब डेटा को समस्या मानने में असफल रहते हैं, तो उसके सुधार के लिए कदम उठाने की संभावना बहुत कम है। 

कदम 2: अपने खराब डेटा को अपडेट करें

खराब डेटा की पहचान करने के अपने ज्ञान का उपयोग करते हुए, आपके डेटा की क्लीनिंग होनी चाहिए—इसमें मौजूदा रिकॉर्ड्स का अपडेट करना भी शामिल होने की संभावना है। 

कदम 3: डेटा गुणवत्ता कार्यक्रम लागू करें

डेटा गुणवत्ता कार्यक्रमों का उपयोग त्रुटियों के जोखिम को कम करने और डेटा के उपयोग व उत्पादन को सपोर्ट करने के लिए सामान्य और विश्वसनीय प्रक्रियाएँ स्थापित करने हेतु किया जाता है। 

कदम 4: डेटा संग्रह तकनीकों में सुधार करें

डेटा प्राप्त करने के लिए बेहतर तकनीकों को लागू करें: इसमें अनावश्यक होने पर सूचना माँगने से बचना और यह बताना शामिल हो सकता है कि आपको विशिष्ट डेटा क्यों चाहिए, आप उसका उपयोग कैसे करेंगे, और यदि वे आपके साथ अपना डेटा साझा करते हैं तो उन्हें क्या लाभ होगा।

कदम 5: अपने आसपास के लोगों को शिक्षित करें 

डेटा को बेहतर ढंग से प्रबंधित करने के लिए, कर्मचारियों को डेटा एकत्रित करना, संभालना, निपटान करना और प्रबंधन करना आना चाहिए।

खराब डेटा का प्रबंधन करने की कुंजी है उसे स्रोत पर ही संबोधित करना। यदि आपने पहले से खराब डेटा एकत्र कर लिया है, तो आपको स्वीकार करना होगा कि आपका डेटा खराब है और फिर आवश्यकतानुसार डेटा क्लीनिंग और अपडेट करें। डेटा साफ़ करने के बाद, ऐसे मुद्दों के जोखिम को फिर से कम करना बहुत महत्वपूर्ण है—इसके लिए एक डेटा गुणवत्ता कार्यक्रम लागू करें जो आपके संगठन की डेटा मैनेजमेंट तकनीकों में सुधार लाए। क्या आपके पास पर्याप्त डेटा स्किल्स हैं? DataCamp के Data Skills for Business स्किल ट्रैक के साथ आप डेटा का उपयोग करके वास्तविक दुनिया के प्रश्नों के उत्तर देना सीख सकते हैं।