[इन्फोग्राफिक] डेटा क्लीनिंग चेकलिस्ट

डेटा क्लीनिंग डेटा साइंस वर्कफ़्लो का 80% हिस्सा लेती है। यही कारण है कि हमने यह चेकलिस्ट बनाई है ताकि आप अपने डेटा में किसी भी क्वालिटी समस्या की पहचान कर सकें और उसे ठीक कर सकें। यदि आप डेटा क्लीनिंग के बारे में और सीखना चाहते हैं, तो हमारे Cleaning Data in Python और R पर कोर्स देखें। 

इस इन्फोग्राफिक को डाउनलोड करने के लिए ऊपर दी गई छवि पर क्लिक करें

डेटा कंस्ट्रेंट से जुड़ी समस्याएँ

1. डेटा टाइप कंस्ट्रेंट

• क्या है: विश्लेषण शुरू करने से पहले यह सुनिश्चित करना कि अलग-अलग कॉलम का डेटा टाइप सही हो। 
• उदाहरण: revenue_usd कॉलम स्ट्रिंग हो, न कि न्यूमेरिक डेटा टाइप।
• संभावित समाधान: सही डेटा टाइप में कन्वर्ट करें

2. डेटा रेंज कंस्ट्रेंट

• क्या है: यह सुनिश्चित करना कि अलग-अलग कॉलम सही रेंज में हों। खासकर वे कॉलम जिनकी सीमाएँ तय हैं।
• उदाहरण: gpa कॉलम को [0.0, 4.0] तक सीमित होना चाहिए
• संभावित समाधान:
  • टाइपो की जाँच करें, जैसे दशमलव बिंदु का गलत स्थान पर होना।
  • वे पंक्तियाँ हटाएँ जहाँ डेटा पॉइंट रेंज कंस्ट्रेंट को तोड़ते हैं
  • ऐसे डेटा पॉइंट को अधिकतम या न्यूनतम मान पर सेट करें जो रेंज कंस्ट्रेंट को तोड़ते हैं
  • ऐसे डेटा पॉइंट को मिसिंग मानकर ट्रीट करें और इम्प्यूट करें

3. यूनिकनेस कंस्ट्रेंट

• क्या है: यह सुनिश्चित करना कि आपकी पंक्तियों में एकदम समान या लगभग समान डुप्लिकेट न हों। 
• उदाहरण: डुप्लिकेट पंक्ति जहाँ name और phone_number कॉलम एक समान हैं, पर height_cm कॉलम नहीं
• संभावित समाधान:
  • सटीक डुप्लिकेट पंक्तियों में से केवल एक रखें
  • ऐसी पंक्तियों को मर्ज करें जो एकदम समान नहीं पर डुप्लिकेट हैं 

टेक्स्ट और श्रेणीबद्ध डेटा से जुड़ी समस्याएँ

1. श्रेणीबद्ध डेटा के लिए सदस्यता कंस्ट्रेंट

• क्या है: यह सुनिश्चित करना कि श्रेणीबद्ध कॉलम में श्रेणियाँ सही और सुसंगत हों
• उदाहरण: city कॉलम में “New York” के दो अलग-अलग प्रविष्टियाँ
• संभावित समाधान:
  • असंगत श्रेणियों से प्रभावित पंक्तियाँ हटाएँ
  • असंगत श्रेणियों को सही श्रेणी नाम पर रीमैप करें
  • यदि रीमैप कैसे करें स्पष्ट न हो, तो अन्य डेटा पॉइंट के आधार पर श्रेणियाँ अनुमानित करें

2. टेक्स्ट डेटा में लंबाई का उल्लंघन

• क्या है: यह सुनिश्चित करना कि किसी विशेष मानक का पालन करने वाले टेक्स्ट कॉलम की स्ट्रिंग लंबाई समान हो 
• उदाहरण: US phone_number कॉलम 14 की जगह 9 अक्षरों का हो
• संभावित समाधान:
  • लंबाई के उल्लंघन से प्रभावित पंक्तियाँ हटाएँ
  • प्रभावित ऑब्जर्वेशन को मिसिंग सेट करें

3. असंगत फ़ॉर्मेटिंग वाला टेक्स्ट डेटा

• क्या है: यह सुनिश्चित करना कि किसी विशेष मानक का पालन करने वाले टेक्स्ट कॉलम की स्ट्रिंग लंबाई समान हो 
• उदाहरण: US phone_number कॉलम 14 की जगह 9 अक्षरों का हो
• संभावित समाधान:
  • लंबाई के उल्लंघन से प्रभावित पंक्तियाँ हटाएँ
  • प्रभावित ऑब्जर्वेशन को मिसिंग सेट करें

डेटा एकरूपता से जुड़ी समस्याएँ

1. संख्यात्मक कॉलम के लिए इकाई की एकरूपता

• क्या है: यह सुनिश्चित करना कि संख्यात्मक कॉलम की इकाइयाँ समान हों (जैसे सभी ऑब्जर्वेशन में तापमान या तो सेल्सियस में हो या फ़ॉरेनहाइट में। यह विशेष रूप से तब प्रासंगिक है जब अलग-अलग देशों या स्रोतों से डेटासेट जोड़े जाते हैं।) 
• उदाहरण: सेल्सियस में तापमान वाला कॉलम जिसमें असामान्य रूप से बहुत अधिक या बहुत कम मान हों 
• संभावित समाधान:
  • वे पंक्तियाँ हटाएँ जहाँ इकाइयों का कोई संदर्भ न हो और जो सेनीटी चेक पास न करें
  • जहाँ संभव हो, इकाइयों का मानकीकरण करें

2. तिथि कॉलम के लिए इकाई की एकरूपता

• क्या है: यह सुनिश्चित करना कि तिथि कॉलम का datetime फ़ॉर्मेट समान हो
• उदाहरण: birthday कॉलम जहाँ कुछ तिथियाँ dd-mm-yyyy में हैं और कुछ mm-dd-yyyy में
• संभावित समाधान:
  • जहाँ संभव हो, datetime फ़ॉर्मेट का मानकीकरण करें
  • वे पंक्तियाँ हटाएँ जहाँ datetime फ़ॉर्मेट का कोई संदर्भ न हो और जो सेनीटी चेक पास न करें

3. संख्यात्मक कॉलम के लिए क्रॉसफील्ड वैलिडेशन

• क्या है: क्रॉसफील्ड वैलिडेशन वह होता है जब हम किसी डेटा सेट में कई फ़ील्ड का उपयोग किसी अन्य फ़ील्ड की वैधता सुनिश्चित करने के लिए करते हैं। उदाहरण के लिए, यह सुनिश्चित करना कि भागों से संबंधित मान कुल के बराबर हों।
• उदाहरण: प्रति क्लास फ़्लाइट बुकिंग का योग कुल दर्ज बुकिंग के बराबर होना
• संभावित समाधान:
  • जहाँ सेनीटी चेक फेल हों, वे पंक्तियाँ हटाएँ
  • डेटा के बारे में डोमेन ज्ञान के आधार पर नियम लागू करें 

4. तिथि कॉलम के लिए क्रॉसफील्ड वैलिडेशन

• क्या है: यह सुनिश्चित करना कि तिथि और समय-सम्बंधी कॉलम सेनीटी चेक पास करें (उदाहरण के लिए, यह सुनिश्चित करना कि वेबिनार रजिस्ट्रेशन तिथियाँ हमेशा वेबिनार अटेंडेंस तिथियों से पहले हों) 
• उदाहरण: date_of_birth कॉलम जो age कॉलम से मेल न खाए
• संभावित समाधान:
  • जहाँ सेनीटी चेक फेल हों, वे पंक्तियाँ हटाएँ
  • डेटा के बारे में डोमेन ज्ञान के आधार पर नियम लागू करें 

मिसिंग डेटा से जुड़ी समस्याएँ

1. पूरी तरह से रैंडम मिसिंग

• क्या है: जब मिसिंग मानों और डेटा सेट के अन्य मानों के बीच कोई व्यवस्थित संबंध न हो
• उदाहरण: मिसिंग डेटा और डेटा सेट के अन्य मानों के बीच कोई देखा गया संबंध न हो
• संभावित समाधान:
  • मिसिंग पंक्तियाँ हटाएँ
  • मिसिंग पंक्तियों को माध्यिका या औसत जैसे केन्द्रीय प्रवृत्ति के मानों से इम्प्यूट करें
  • मिसिंग पंक्तियों को एल्गोरिदमिक, मशीन-लर्निंग-आधारित तरीकों से इम्प्यूट करें
  • नए डेटा पॉइंट और फीचर्स एकत्र करें 

2. रैंडम पर मिसिंग डेटा

• क्या है: जब मिसिंग डेटा और अन्य प्रेक्षित मानों के बीच व्यवस्थित संबंध हो
• उदाहरण: किसी विशिष्ट क्षेत्र से जनगणना डेटा का मिसिंग होना, क्योंकि उस क्षेत्र में डाक सेवा का पूरा कवरेज नहीं है
• संभावित समाधान:
  • मिसिंग पंक्तियाँ हटाएँ
  • मिसिंग पंक्तियों को माध्यिका या औसत जैसे केन्द्रीय प्रवृत्ति के मानों से इम्प्यूट करें
  • मिसिंग पंक्तियों को एल्गोरिदमिक, मशीन-लर्निंग-आधारित तरीकों से इम्प्यूट करें
  • नए डेटा पॉइंट और फीचर्स एकत्र करें 

3. नॉन-रैंडम मिसिंग डेटा

• क्या है: जब मिसिंग डेटा और अन्य अप्रेक्षित मानों के बीच व्यवस्थित संबंध हो 
• उदाहरण: सेंसर से तापमान रीडिंग का मिसिंग होना क्योंकि तापमान बहुत कम या बहुत अधिक था
• संभावित समाधान:
  • मिसिंग पंक्तियाँ हटाएँ
  • मिसिंग पंक्तियों को माध्यिका या औसत जैसे केन्द्रीय प्रवृत्ति के मानों से इम्प्यूट करें
  • मिसिंग पंक्तियों को एल्गोरिदमिक, मशीन-लर्निंग-आधारित तरीकों से इम्प्यूट करें
  • नए डेटा पॉइंट और फीचर्स एकत्र करें