SQL में डुप्लिकेट हटाएँ: व्यापक तरीके और श्रेष्ठ प्रक्रियाएँ

डुप्लिकेट रिकॉर्ड एक सामान्य समस्या है जो डेटा अखंडता और डेटाबेस प्रदर्शन को प्रभावित कर सकती है। डुप्लिकेट हटाना डेटा की शुद्धता बनाए रखने, स्टोरेज को अनुकूलित करने, और क्वेरी प्रदर्शन में सुधार के लिए आवश्यक है। इस लेख में, हम SQL में डुप्लिकेट पंक्तियाँ हटाने की विभिन्न तकनीकों को, अलग-अलग उपयोग मामलों और डेटाबेस प्रबंधन प्रणालियों के अनुरूप, समझेंगे।

शुरू करने से पहले, मैं DataCamp के Introduction to SQL और Learn SQL कोर्स लेने की सलाह देता/देती हूँ ताकि आप SQL का उपयोग करके डेटा निकालने और विश्लेषण करने की बुनियादी जानकारी सीख सकें। साथ ही, मुझे SQL Basics Cheat Sheet भी उपयोगी संदर्भ लगता है, जिसे आप डाउनलोड कर सकते हैं—इसमें सबसे आम SQL फ़ंक्शनों का सार है।

TL;DR

• SELECT DISTINCT या GROUP BY का उपयोग करके टेबल को बदले बिना यूनिक पंक्तियाँ प्राप्त करें

• बेहतर नियंत्रण के लिए ROW_NUMBER() को CTE और DELETE के साथ उपयोग करें ताकि चुनिंदा डुप्लिकेट स्थायी रूप से हटाए जा सकें

• किसी भी DBMS में सरल डिडुप्लीकेशन के लिए सबक्वेरी (NOT IN / MIN()) के साथ DELETE का उपयोग करें

• बड़े डेटासेट के लिए, अस्थायी टेबल से बैच-प्रोसेसिंग करके सुरक्षित रूप से डुप्लिकेट हटाएँ

• प्राइमरी की, यूनिक कंस्ट्रेंट, और उचित डेटाबेस नॉर्मलाइज़ेशन से डुप्लिकेट को पहले से रोकें

SQL में डुप्लिकेट पंक्तियों को समझना

SQL में डुप्लिकेट पंक्तियाँ वे रिकॉर्ड हैं जिनमें सभी या चुने हुए कॉलमों में समान मान होते हैं। SQL में डुप्लिकेट पंक्तियों के सामान्य कारण इस प्रकार हैं:

• प्राइमरी की का अभाव: जब टेबल में परिभाषित प्राइमरी की या यूनिक कंस्ट्रेंट नहीं होता, तो डुप्लिकेट डेटा डालने से रोकने का कोई तंत्र नहीं होता। यह तब हो सकता है जब टेबल नॉर्मलाइज़ नहीं है और/या ट्रांज़िटिव डिपेंडेंसी की समस्याएँ हैं।
• डेटा इंटीग्रेशन समस्याएँ: विभिन्न स्रोतों से डेटासेट मर्ज करते समय, गलत जॉइन या डेटा फ़ॉर्मेट की असंगतियाँ अनजाने में डुप्लिकेट ला सकती हैं।
• मैनुअल डेटा एंट्री त्रुटियाँ: मानवीय भूल, जैसे एक ही रिकॉर्ड कई बार दर्ज करना, डुप्लिकेट पंक्तियों का एक और सामान्य कारण है।

आगे के भाग में, हम देखेंगे कि SQL में डुप्लिकेट कैसे हटाएँ। लेख को दो हिस्सों में बाँटा गया है: पहले हिस्से में बताएँगे कि रिपोर्ट या डैशबोर्ड के लिए आप जो डेटा निकाल रहे हैं, उसमें डुप्लिकेट कैसे हटाएँ; दूसरे हिस्से में देखेंगे कि डेटाबेस में डुप्लिकेट कैसे हटाएँ।

डुप्लिकेट पंक्तियों की पहचान कैसे करें

डुप्लिकेट हटाने से पहले, पहचानें कि कौन-सी पंक्तियाँ डुप्लिकेट हैं। GROUP BY के साथ HAVING COUNT(*) > 1 का उपयोग कर वे पंक्तियाँ ढूँढें जो एक से अधिक बार आती हैं:

SELECT Name, COUNT(*) AS duplicate_count
FROM customers
GROUP BY Name
HAVING COUNT(*) > 1;संचालित द्वारा

यह क्वेरी हर उस Name को लौटाती है जो एक से अधिक बार आता है, साथ में उसकी आवृत्ति भी। आप इसे कई कॉलम तक बढ़ा सकते हैं—उन्हें SELECT और GROUP BY दोनों में जोड़कर।

हर डुप्लिकेट समूह के भीतर प्रत्येक पंक्ति की रैंक देखने के लिए ROW_NUMBER() का उपयोग करें:

SELECT ID, Name,
       ROW_NUMBER() OVER (PARTITION BY Name ORDER BY ID) AS row_num
FROM customers;संचालित द्वारा

जहाँ row_num > 1 है, वे पंक्तियाँ डुप्लिकेट हैं। पहचान होने पर, नीचे दिए अनुभागों से उपयुक्त हटाने की विधि चुनें।

आपके द्वारा निकाले गए डेटा में डुप्लिकेट हटाने के तरीके

SQL में रिकॉर्ड निकालते समय डुप्लिकेट हटाने के कई तरीके हैं। हर तरीका DBMS पर निर्भर करता है, जैसे SQL Server, MySQL, और PostgreSQL। इस भाग में हम डुप्लिकेट हटाने की विधियाँ देखेंगे और हर डेटाबेस के लिए विशेष बातों पर प्रकाश डालेंगे। ध्यान रखें, ये तरीके डेटा को फ़िल्टर कर यूनिक रिकॉर्ड लौटाते हैं और आधारभूत टेबल को संशोधित नहीं करते।

DISTINCT कीवर्ड का उपयोग

DISTINCT कीवर्ड का उपयोग SELECT स्टेटमेंट में यूनिक पंक्तियाँ प्राप्त करने के लिए किया जाता है। डुप्लिकेट हटाने के लिए DISTINCT कीवर्ड का सिंटैक्स MySQL, PostgreSQL, और SQL Server में समान है। नीचे दी गई क्वेरी customers टेबल से यूनिक ग्राहक नाम प्राप्त करेगी।

SELECT DISTINCT Name 
FROM customers;संचालित द्वारा

एग्रीगेट फ़ंक्शनों के साथ GROUP BY का उपयोग

GROUP BY क्लॉज़, MAX(), MIN(), या COUNT() जैसे एग्रीगेट फ़ंक्शनों के साथ मिलकर, टेबलों से डुप्लिकेट रिकॉर्ड हटाने में मदद कर सकता है। GROUP BY क्लॉज़ यह चुनने में मदद करता है कि किन रिकॉर्डों को रखना है और अन्य डुप्लिकेट को हटाना है।

मान लीजिए आप डुप्लिकेट ग्राहक रिकॉर्ड हटाना चाहते हैं पर सबसे बड़ा ID वाला रिकॉर्ड रखना चाहते हैं। इसके लिए आप GROUP BY क्लॉज़ को MAX() फ़ंक्शन के साथ नीचे दिखाए अनुसार उपयोग करेंगे।

-- Delete duplicate rows from the 'customers' table (aliased as c1)
DELETE c1
FROM customers c1
-- Find the maximum ID for each unique Name
JOIN (
    SELECT Name, MAX(ID) AS MaxID
    FROM customers
    GROUP BY Name
) c2
-- Match rows based on 'Name' and keep the row with the maximum ID
ON c1.Name = c2.Name 
AND c1.ID < c2.MaxID;संचालित द्वारा

MySQL और SQL Server GROUP BY के साथ एग्रीगेट फ़ंक्शनों और JOIN क्लॉज़ वाले ऊपर के सिंटैक्स को सपोर्ट करते हैं। 

ROW_NUMBER() और Common Table Expressions (CTE) का उपयोग

ROW_NUMBER() फ़ंक्शन को Common Table Expression (CTE) के साथ मिलाकर, आप अपने मानदंडों के आधार पर डुप्लिकेट फ़िल्टर कर सकते हैं। PARTITION BY और ORDER BY क्लॉज़ के साथ उपयोग करने पर ROW_NUMBER हर पंक्ति को क्रमांक देता है। इससे आप आवश्यक मानदंड न पूरी करने वाली पंक्तियाँ फ़िल्टर कर सकते हैं।

नीचे की क्वेरी डुप्लिकेट पहचानती है और पहली उपस्थिति को छोड़कर बाकी सभी को हटा देती है।

-- Common Table Expression (CTE) to rank rows based on 'Name'
WITH CTE AS (
    SELECT ID, Name, ROW_NUMBER() OVER (PARTITION BY Name ORDER BY ID ASC) AS RowNum
    FROM customers
)
-- Select only the unique records where RowNum = 1
SELECT ID, Name
FROM CTE
WHERE RowNum = 1;संचालित द्वारा

यह तरीका SQL Server, MySQL, और PostgreSQL के आधुनिक संस्करणों में अच्छी तरह काम करता है। बड़े डेटासेट या जटिल शर्तों के लिए यह उपयोगी है क्योंकि इसमें आप सटीक रूप से तय कर सकते हैं कि कौन-सा डुप्लिकेट रखना है।

Self-JOIN का उपयोग करके डुप्लिकेट हटाना

सेल्फ-जॉइन से आप किसी टेबल की तुलना उसी टेबल से करते हैं, जो विशेष मानदंडों के आधार पर रिकॉर्ड की तुलना करके डुप्लिकेट पंक्तियों की पहचान और हटाने में उपयोगी होता है। नीचे का उदाहरण उच्चतर ID वाली पंक्ति को हटाने के लिए सेल्फ-जॉइन का उपयोग करता है, ताकि हर नाम की केवल पहली उपस्थिति बचे।

-- Delete duplicate rows using self-join
DELETE c1
FROM customers c1
JOIN customers c2
ON c1.Name = c2.Name AND c1.ID > c2.ID;संचालित द्वारा

ऊपर का तरीका SQL Server, MySQL, और PostgreSQL सहित प्रमुख डेटाबेस में काम करता है। एग्रीगेट फ़ंक्शनों और जॉइन का उपयोग कर डेटा फ़िल्टर करना सीखने के लिए हमारा Intermediate SQL कोर्स देखें।

डेटाबेस में डुप्लिकेट हटाने के तरीके

हालाँकि आप क्वेरियों से डुप्लिकेट रिकॉर्ड हटा सकते हैं, आप उन्हें डेटाबेस से स्थायी रूप से डिलीट भी कर सकते हैं। डेटा गुणवत्ता बनाए रखने के लिए यह तरीका महत्वपूर्ण है। निम्न विधियाँ डेटाबेस से डुप्लिकेट हटाने के लिए प्रयोग की जाती हैं।

ROW_NUMBER() और DELETE का उपयोग

ROW_NUMBER() परिभाषित पार्टिशन के भीतर पंक्तियों को क्रमांकित करता है। DELETE स्टेटमेंट के साथ उपयोग करने पर, यह विशिष्ट कॉलमों के आधार पर पंक्तियों को रैंक कर अवांछित रिकॉर्ड हटाते हुए डुप्लिकेट पहचानने में मदद करता है। यह तरीका MySQL (8.0 से), PostgreSQL, और SQL Server के आधुनिक संस्करणों पर लागू होता है।

मान लीजिए आप Name कॉलम के आधार पर डुप्लिकेट ग्राहक रिकॉर्ड हटाना चाहते हैं और केवल पहली उपस्थिति (सबसे छोटा ID) रखना चाहते हैं:

-- Common Table Expression (CTE) to rank rows based on 'Name'
WITH CTE AS (
    SELECT ID, Name, ROW_NUMBER() OVER (PARTITION BY Name ORDER BY ID ASC) AS RowNum
    FROM customers
)
-- Delete rows from the 'customers' table where the row number is greater than 1
DELETE FROM customers
WHERE ID IN (SELECT ID FROM CTE WHERE RowNum > 1);संचालित द्वारा

सबक्वेरी के साथ DELETE का उपयोग

कभी-कभी, सबक्वेरी के साथ एक सरल DELETE ऑपरेशन से भी डेटाबेस से डुप्लिकेट हटाए जा सकते हैं। यह तरीका MySQL या PostgreSQL के पुराने संस्करणों के लिए उपयुक्त है, जहाँ ROW_NUMBER() उपलब्ध न हो।

नीचे की क्वेरी customers टेबल से वे पंक्तियाँ डिलीट करती है जिनका ID हर Name के लिए न्यूनतम नहीं है, और हर यूनिक Name के लिए सबसे छोटा ID वाला रिकॉर्ड रखती है।

-- Delete rows from the 'customers' table
DELETE FROM customers
WHERE ID NOT IN (
    -- Subquery to find the minimum ID for each unique Name
    SELECT MIN(ID)
    FROM customers
    GROUP BY Name
);संचालित द्वारा

HAVING क्लॉज़ के साथ GROUP BY का उपयोग

जब आपको विशिष्ट कॉलमों में डुप्लिकेट मान जाँचने हों, तो GROUP BY को HAVING क्लॉज़ के साथ मिलाकर डुप्लिकेट पहचाने जा सकते हैं। इससे आप दिए गए मानदंडों के आधार पर विशेष पंक्तियाँ डिलीट कर सकते हैं। यह तरीका SQL Server, MySQL, और PostgreSQL के साथ संगत है।

नीचे की क्वेरियाँ पहले पहचानती हैं कि कौन-से नाम एक से अधिक बार आते हैं, फिर डुप्लिकेट डिलीट करती हैं और हर Name के लिए सबसे छोटा ID वाला रिकॉर्ड रखती हैं।

-- Step 1: Identify which Names have duplicates
SELECT Name, COUNT(*) AS duplicate_count
FROM customers
GROUP BY Name
HAVING COUNT(*) > 1;

-- Step 2: Delete duplicate rows, keeping the smallest ID for each Name
DELETE FROM customers
WHERE ID NOT IN (
    SELECT MIN(ID)
    FROM customers
    GROUP BY Name
);संचालित द्वारा

बैच प्रोसेसिंग के लिए अस्थायी टेबल का उपयोग

अस्थायी टेबल बड़े डेटासेट में बैच-प्रोसेसिंग और डुप्लिकेट हटाने के लिए प्रभावी हैं। यह तरीका तब उपयोगी है जब एकल क्वेरियाँ प्रदर्शन समस्याएँ पैदा कर सकती हैं। नीचे की क्वेरी हर Name के लिए न्यूनतम ID स्टोर करने हेतु एक अस्थायी टेबल बनाती है और customers टेबल से वे पंक्तियाँ डिलीट करती है जिनका ID temp_customers टेबल में नहीं है।

-- Create a temporary table with unique records
CREATE TEMPORARY TABLE temp_customers AS
SELECT MIN(ID) AS KeepID, Name
FROM customers
GROUP BY Name;

-- Delete duplicates not in the temporary table
DELETE FROM customers
WHERE ID NOT IN (SELECT KeepID FROM temp_customers);

-- Clean up
DROP TABLE temp_customers;संचालित द्वारा

ऊपर दिया CREATE TEMPORARY TABLE वाला सिंटैक्स केवल MySQL और PostgreSQL डेटाबेस में समर्थित है। 

SQL Server में डुप्लिकेट हटाना

SQL Server डेटाबेस से डुप्लिकेट रिकॉर्ड हटाने के कई तरीके प्रदान करता है। इनमें INTO के साथ DISTINCT, ROW_NUMBER(), और अस्थायी टेबल का उपयोग शामिल है।

INTO के साथ DISTINCT का उपयोग

आप SELECT स्टेटमेंट में DISTINCT का उपयोग कर यूनिक रिकॉर्ड वाली एक नई टेबल बना सकते हैं। नई टेबल में वांछित रिकॉर्ड सत्यापित होने पर, आप पुरानी टेबल हटा सकते हैं। नीचे का उदाहरण customers टेबल से यूनिक रिकॉर्ड लेकर unique_customers टेबल बनाता है।

-- Select distinct rows from 'customers' and create a new table 'unique_customers'
SELECT DISTINCT *
INTO unique_customers
FROM customers;
-- Drop the original 'customers' table to remove it from the database
DROP TABLE customers;
-- Rename the 'unique_customers' table to 'customers' to replace the original table
EXEC sp_rename 'unique_customers', 'customers';संचालित द्वारा

ROW_NUMBER() का उपयोग

आप ROW_NUMBER() फ़ंक्शन का उपयोग करके भी SQL Server से डुप्लिकेट रिकॉर्ड हटा सकते हैं। मान लें कि आपके पास Customers टेबल में CustomerName कॉलम के आधार पर डुप्लिकेट पंक्तियाँ हैं, और आप प्रत्येक डुप्लिकेट समूह में पहली उपस्थिति को छोड़कर बाकी सभी हटाना चाहते हैं।

-- Common Table Expression (CTE) to assign a row number to each customer 
WITH CTE AS (
    SELECT CustomerID, CustomerName, ROW_NUMBER() OVER (PARTITION BY CustomerName ORDER BY CustomerID ASC) AS RowNum
    FROM Customers
)
-- Delete rows from the CTE
DELETE FROM CTE
WHERE RowNum > 1;संचालित द्वारा

अस्थायी टेबल का उपयोग

क्योंकि SQL Server CREATE TEMPORARY TABLE को सपोर्ट नहीं करता, आप SELECT INTO का उपयोग करते हैं। SQL Server में अस्थायी टेबल के नाम के आगे # उपसर्ग होता है।

-- Create a temporary table
SELECT MIN(CustomerID) AS ID, CustomerName
INTO #temp_customers
FROM customers
GROUP BY CustomerName;
-- Delete rows from the 'customers' table where the ID is not in the temporary table
DELETE FROM customers
WHERE CustomerID NOT IN (SELECT ID FROM #temp_customers);
-- Optionally drop the temporary table after use
DROP TABLE #temp_customers;संचालित द्वारा

मैं सुझाव दूँगा/दूँगी कि हमारे SQL Server Fundamentals स्किल ट्रैक को आज़माएँ ताकि आप टेबल जॉइन और डेटा विश्लेषण कौशल बेहतर कर सकें। SQL Server Developer करियर ट्रैक आपको SQL Server का उपयोग करके क्वेरियाँ लिखने, ट्रबलशूट करने, और अनुकूलित करने के कौशल प्रदान करेगा।  

त्वरित संदर्भ: SQL डिडुप्लीकेशन तरीके

नीचे की तालिका में इस लेख में शामिल सभी डिडुप्लीकेशन तरीकों का सार दिया गया है, ताकि आप अपनी स्थिति के अनुरूप सही तरीका जल्दी चुन सकें।

श्रेष्ठ प्रक्रियाएँ

डुप्लिकेट पंक्तियाँ डेटा गुणवत्ता और डेटाबेस प्रदर्शन को प्रभावित करने वाली सामान्य समस्या हैं। अपने डेटाबेस में डुप्लिकेट रिकॉर्ड के इंसर्शन को रोकने के लिए निम्न श्रेष्ठ प्रक्रियाओं पर विचार करें।

• प्राइमरी की का उपयोग करें: प्राइमरी की कॉलम यह सुनिश्चित करता है कि हर रिकॉर्ड यूनिक हो, जिससे टेबल में डुप्लिकेट मान आने से रुकते हैं।
• यूनिक कंस्ट्रेंट लागू करें: किसी भी कॉलम पर यूनिक कंस्ट्रेंट लगाने से नॉन-प्राइमरी की कॉलमों (जैसे ईमेल एड्रेस या फ़ोन नंबर) में भी डुप्लिकेट नहीं रहेंगे।
• उचित डेटाबेस डिज़ाइन और नॉर्मलाइज़ेशन: प्रभावी स्कीमा डिज़ाइन और डेटाबेस नॉर्मलाइज़ेशन दोहराव और डुप्लिकेट डेटा कम करते हैं। इससे हर रिकॉर्ड विशिष्ट टेबलों में संग्रहीत होता है।
• यूनिक इंडेक्स का उपयोग करें: यूनिक इंडेक्स का उपयोग कर आप कुछ कॉलम संयोजनों की विशिष्टता सुनिश्चित कर सकते हैं, बिना पूरे डेटासेट पर टेबल-स्तरीय कंस्ट्रेंट लगाए।
• नियमित डेटा ऑडिट: अपने व्यवसायिक नियमों के आधार पर संभावित डुप्लिकेट पहचानने के लिए नियमित रूप से क्वेरियाँ चलाकर डेटा ऑडिट करें।

निष्कर्ष

डुप्लिकेट पंक्तियों की पहचान और उन्हें हटाना डेटाबेस की कार्यक्षमता और डेटा शुद्धता बनाए रखने के लिए महत्वपूर्ण है। संशोधन से पहले अपने डेटा का बैकअप लेना हमेशा सर्वोत्तम अभ्यास है, ताकि अनजाने में डेटा हानि न हो।

यदि आप एक दक्ष डेटा विश्लेषक बनना चाहते हैं, तो आवश्यक कौशल सीखने के लिए हमारा Associate Data Analyst in SQL करियर ट्रैक देखें। यदि आप SQL का उपयोग करके प्रोफेशनल डैशबोर्ड बनाना सीखना चाहते हैं, तो Reporting in SQL कोर्स भी उपयुक्त है। अंत में, मैं SQL Associate Certification प्राप्त करने की अनुशंसा करता/करती हूँ, ताकि आप डेटा विश्लेषण के लिए SQL में अपनी महारत प्रदर्शित कर सकें और अन्य डेटा प्रोफेशनल्स के बीच अलग दिखें।