सिंथेटिक डेटा जेनरेशन: Python में एक हैंड्स-ऑन गाइड

सिंथेटिक डेटा का उपयोग क्यों करें?

सिंथेटिक डेटा कई फायदे प्रदान करता है, जो इसे संगठनों और शोधकर्ताओं के लिए आकर्षक विकल्प बनाता है। इसका उपयोग डेटा साइंस, मशीन लर्निंग और सॉफ्टवेयर विकास में विभिन्न चुनौतियों का समाधान कर सकता है। यहाँ सिंथेटिक डेटा उपयोग करने के कुछ कारण हैं:

1. डेटा की कमी को दूर करना

कई क्षेत्रों में पर्याप्त गुणवत्ता वाला डेटा एकत्र करना एक बड़ी बाधा है। सिंथेटिक डेटा इन खाइयों को भर सकता है, जिससे व्यापक विश्लेषण और मज़बूत मॉडल प्रशिक्षण संभव होता है।

• दुर्लभ घटनाओं का सिम्युलेशन: वित्त या आपदा प्रबंधन जैसे क्षेत्रों में कुछ महत्वपूर्ण घटनाएँ कम घटित होती हैं। सिंथेटिक डेटा ऐसे दुर्लभ उदाहरणों की संख्या बढ़ा सकता है, जिससे इन अहम परिदृश्यों में मॉडल प्रदर्शन सुधरता है।
• संतुलित डेटासेट: वास्तविक डेटा में अक्सर क्लास इम्बैलेंस होता है। सिंथेटिक डेटा के माध्यम से कम-प्रतिनिधित्व वाली क्लासों को संतुलित किया जा सकता है, जिससे मॉडल अधिक सटीक बनते हैं।
• छोटे डेटासेट का पूरक: जिन डोमेन में डेटा एकत्र करना महंगा या समय-साध्य है, वहाँ सिंथेटिक डेटा सीमित वास्तविक डेटा का विस्तार कर सकता है ताकि प्रभावी मशीन लर्निंग के लिए आवश्यक वॉल्यूम हासिल हो सके।

2. डेटा गोपनीयता में सुधार

ऐसा सिंथेटिक डेटा उपयोग कर के जो वास्तविक व्यक्तियों से मेल नहीं खाता, संगठन GDPR और HIPAA जैसी विनियमनों के अनुपालन और गोपनीयता चिंताओं से बच सकते हैं।

• एनोनिमाइज़ेशन का विकल्प: एनोनिमाइज़ेशन तकनीकों के विपरीत, जिन्हें कभी-कभी रिवर्स किया जा सकता है, सिंथेटिक डेटा शून्य से जेनरेट होता है, जिससे पुनः-पहचान का जोखिम समाप्त हो जाता है।
• सीमा-पार डेटा साझा करना: संवेदनशील प्रोजेक्ट्स पर अंतरराष्ट्रीय सहयोग को बिना डेटा संरक्षण कानूनों का उल्लंघन किए सुगम बनाता है।
• टेस्टिंग और विकास: डेवलपर्स वास्तविक व्यक्तिगत जानकारी के संपर्क में आए बिना यथार्थवादी डेटा के साथ काम कर सकते हैं, जिससे विकास प्रक्रिया के दौरान डेटा उल्लंघन का जोखिम कम होता है।

3. बेहतर मशीन लर्निंग मॉडल

सिंथेटिक डेटा को दुर्लभ घटनाओं या विशिष्ट शर्तों को शामिल करने के लिए अनुकूलित किया जा सकता है, जिससे डेटासेट समृद्ध होते हैं और मॉडल की सटीकता में सुधार होता है।

• एज केस प्रतिनिधित्व: ऐसे किनारी मामलों को शामिल करने के लिए सिंथेटिक डेटा जेनरेट किया जा सकता है जो मॉडल प्रदर्शन के लिए महत्वपूर्ण हैं पर वास्तविक डेटा में दुर्लभ होते हैं।
• बायस में कमी: जेनरेशन प्रक्रिया को सावधानी से डिज़ाइन कर के, उपलब्ध वास्तविक डेटा से अधिक विविध और प्रतिनिधिक डेटासेट बनाना संभव है, जो AI मॉडलों में बायस घटाने में मदद करता है।
• ट्रांसफर लर्निंग: जहाँ वास्तविक डेटा कम है, वहाँ सिंथेटिक डेटा का उपयोग प्री-ट्रेनिंग के लिए किया जा सकता है, और सीमित वास्तविक डेटा पर फाइन-ट्यून करने पर प्रदर्शन बेहतर होता है।

4. लागत-कुशलता

सिंथेटिक डेटा अक्सर वास्तविक डेटा को एकत्र करने या खरीदने से अधिक किफायती हो सकता है।

• डेटा अधिग्रहण लागत में कमी: विशेषकर बड़े पैमाने या विशिष्ट डेटासेट के लिए, सिंथेटिक डेटा जेनरेट करना वास्तविक डेटा एकत्र करने से सस्ता हो सकता है।
• भंडारण और मेंटेनेंस लागत में कमी: सिंथेटिक डेटा ऑन-डिमांड जेनरेट किया जा सकता है, जिससे बड़े वास्तविक डेटासेट के दीर्घकालिक स्टोरेज लागत संभावित रूप से घट सकती है।
• कानूनी और अनुपालन खर्च में कमी: सिंथेटिक डेटा उपयोग कर के, संगठन डेटा गोपनीयता अनुपालन और संभावित कानूनी मुद्दों से संबंधित लागतें कम कर सकते हैं।

सिंथेटिक डेटा जेनरेशन की तकनीकें

सिंथेटिक डेटा जेनरेट करने के कई तरीके हैं—प्रत्येक के अपने फायदे और उपयोग के मामले हैं। इस खंड में इन्हें देखते हैं। 

1. रैंडम डेटा जेनरेशन

यह सबसे सरल तरीका है, जिसमें सांख्यिकीय वितरणों से रैंडम सैंपलिंग द्वारा डेटा जेनरेट किया जाता है।

import pandas as pd
import numpy as np

# Generate 1,000 samples from a normal distribution
heights = np.random.normal(loc=170, scale=10, size=1000)
weights = np.random.normal(loc=70, scale=15, size=1000)

# Create a correlation between height and weight
weights += (heights - 170) * 0.5
df = pd.DataFrame({'Height': heights, 'Weight': weights})

# Add categorical data
genders = np.random.choice(['Male', 'Female'], size=1000)
df['Gender'] = genders
df.head()
df.describe()संचालित द्वारा

उपरोक्त कोड नॉर्मल डिस्ट्रीब्यूशन का उपयोग कर के ऊँचाई और वजन का सिमुलेशन करते हुए एक रैंडम डेटासेट बनाता है। ऊँचाई 170 सेमी के आसपास 10 के मानक विचलन के साथ केंद्रित है, और वजन 70 किग्रा के आसपास 15 के मानक विचलन के साथ केंद्रित है। ऊँचाई और वजन के बीच एक रैखिक संबंध जोड़ा गया है ताकि लंबे व्यक्तियों का वजन सामान्यतः अधिक हो। कोड में Gender कॉलम भी जोड़ा गया है, जिसमें "Male" या "Female" के रैंडम मान असाइन किए गए हैं।

आउटपुट:

यह तरीका तेज़ और लागू करने में आसान है, जिससे यह बेसिक टेस्टिंग या प्रोटोटाइपिंग के लिए उपयोगी बनता है। हालाँकि, इसकी कुछ सीमाएँ हैं—यह जटिल संबंधों या वास्तविक दुनिया के पैटर्न को नहीं पकड़ता और डोमेन-विशिष्ट सूक्ष्मताओं या बाधाओं का हिसाब नहीं रखता।

2. नियम-आधारित जेनरेशन

नियम-आधारित तरीके पूर्व-निर्धारित नियमों या डोमेन ज्ञान का उपयोग करते हैं ताकि विशिष्ट विशेषताओं वाला डेटा बनाया जा सके। निम्न उदाहरण देखें:

import numpy as np
import pandas as pd

def generate_customer_data(num_records):
    data = []
    for _ in range(num_records):
        age = np.random.randint(18, 80)
       
        # Rule: Income is loosely based on age
        base_income = 20000 + (age - 18) * 1000
        income = np.random.normal(base_income, base_income * 0.2)
       
        # Rule: Credit score is influenced by age and income
        credit_score = min(850, max(300, int(600 + (age/80)*100 + (income/100000)*100 + np.random.normal(0, 50))))
       
        # Rule: Loan amount is based on income and credit score
        max_loan = income * (credit_score / 600)
        loan_amount = np.random.uniform(0, max_loan)
       
        data.append([age, income, credit_score, loan_amount])
   
    return pd.DataFrame(data, columns=['Age', 'Income', 'CreditScore', 'LoanAmount'])

df = generate_customer_data(1000)
df.head()संचालित द्वारा

ऊपर दिया Python कोड 1,000 रिकॉर्ड्स वाला कस्टमर डेटा डेटासेट जेनरेट करता है। प्रत्येक ग्राहक के लिए 18 से 80 के बीच यादृच्छिक आयु असाइन की जाती है। आयु के आधार पर आय की गणना होती है, जहाँ अधिक उम्र में आमतौर पर आय अधिक होती है। इसके बाद क्रेडिट स्कोर तय होता है, जो आयु और आय से प्रभावित है, और 300 से 850 के बीच सीमाबद्ध है। व्यक्ति की आय और क्रेडिट स्कोर पर निर्भर करते हुए एक ऋण राशि भी जेनरेट होती है। 

आउटपुट:

यह तरीका सुनिश्चित करता है कि जेनरेट किया गया डेटा ज्ञात संबंधों और बाधाओं का पालन करे, जिससे डोमेन-विशिष्ट ज्ञान को सीधे डेटा जेनरेशन प्रक्रिया में शामिल करना संभव हो जाता है। हालाँकि, जब कई परस्पर संबंधित नियमों वाले सिस्टम से निपटना हो, तो यह जटिल हो सकता है; बड़े या जटिल डेटासेट के लिए ऐसे नियम परिभाषित और बनाए रखना समय-साध्य भी हो सकता है।

3. सिमुलेशन-आधारित जेनरेशन

सिमुलेशन-आधारित डेटा जेनरेशन वास्तविक दुनिया की प्रक्रियाओं का मॉडल बनाकर सिंथेटिक डेटासेट तैयार करता है। इसमें पूर्व-निर्धारित नियमों और वेरिएबल्स के आधार पर घटनाओं या व्यवहारों का सिमुलेशन शामिल होता है, जिससे गतिशील प्रणालियों में विभिन्न कारकों की अंतःक्रिया का अध्ययन किया जा सके। 

यह तरीका अक्सर परिदृश्यों की जाँच और संभावित परिणामों के विश्लेषण के लिए उपयोग होता है, जिससे ग्राहक सेवा प्रक्रियाएँ, सप्लाई चेन और हेल्थकेयर ऑपरेशंस जैसी जटिल प्रणालियों पर मूल्यवान अंतर्दृष्टि मिलती है। यहाँ Python में एक उदाहरण है:

import simpy
import random
import pandas as pd

class Bank(object):
    def __init__(self, env, num_tellers):
        self.env = env
        self.teller = simpy.Resource(env, num_tellers)
       
    def service(self, customer):
        service_time = random.expovariate(1/10)  # Avg service time of 10 minutes
        yield self.env.timeout(service_time)

def customer(env, name, bank, data):
    arrival_time = env.now
    print(f'{name} arrives at the bank at {arrival_time:.2f}')
   
    with bank.teller.request() as request:
        yield request
        wait_time = env.now - arrival_time
        print(f'{name} waits for {wait_time:.2f}')
       
        yield env.process(bank.service(name))
       
        service_time = env.now - arrival_time
        print(f'{name} leaves the bank at {env.now:.2f}')
   
    # Append the customer data to the list
    data.append((name, arrival_time, wait_time, service_time))

def run_simulation(env, num_customers, bank, data):
    for i in range(num_customers):
        env.process(customer(env, f'Customer {i}', bank, data))
        yield env.timeout(random.expovariate(1/5))  # New customer every 5 minutes on average

# Set up and run the simulation
env = simpy.Environment()
bank = Bank(env, num_tellers=3)
num_customers = 100
data = []  # This will hold the customer data
env.process(run_simulation(env, num_customers, bank, data))
env.run()

# Create a DataFrame from the collected data
df = pd.DataFrame(data, columns=['Customer', 'ArrivalTime', 'WaitTime', 'ServiceTime'])
print(df.head())
print(df.describe())संचालित द्वारा

यह कोड SimPy लाइब्रेरी का उपयोग करके एक बैंक का सिमुलेशन करता है। ग्राहक यादृच्छिक अंतराल पर आते हैं, तीन उपलब्ध टेलरों में से किसी एक से सेवा पाने के लिए प्रतीक्षा करते हैं और सेवा के बाद चले जाते हैं। 

Bank क्लास सेवा समय (औसतन 10 मिनट) परिभाषित करता है, जबकि customer() फ़ंक्शन प्रत्येक ग्राहक के आगमन, प्रतीक्षा समय और सेवा अवधि को ट्रैक करता है। ग्राहकों को run_simulation() फ़ंक्शन में प्रोसेस किया जाता है, जो औसतन हर 5 मिनट में नए आगमन उत्पन्न करता है।

आउटपुट:

यह तरीका जटिल और गतिशील प्रणालियों का मॉडल बनाने की अनुमति देता है, जिससे परिदृश्य परीक्षण और "क्या होगा अगर" विश्लेषण संभव होते हैं। हालाँकि, बड़े पैमाने के सिमुलेशन के लिए यह कम्प्यूटेशनल रूप से भारी हो सकता है और सटीक परिणाम सुनिश्चित करने के लिए मॉडल की जा रही प्रणाली की गहन समझ आवश्यक है।

4. जेनेरेटिव मॉडल

जेनेरेटिव मॉडल जैसे जेनेरेटिव एडवर्सेरियल नेटवर्क (GANs) और वैरिएशनल ऑटोएन्कोडर्स (VAEs) अत्यंत यथार्थवादी सिंथेटिक डेटा बनाने के लिए लोकप्रिय हो गए हैं। ये मॉडल इनपुट डेटा के अंतर्निहित वितरण को सीखते हैं और ऐसे नए सैंपल जेनरेट करते हैं जो वास्तविक डेटा की नकल करते हैं।

दोनों तरीके इमेज जेनरेशन और नेचुरल लैंग्वेज प्रोसेसिंग जैसे कार्यों में व्यापक रूप से उपयोग होते हैं, विशेषकर तब जब वास्तविक दुनिया का डेटा कम या संवेदनशील हो और मशीन लर्निंग मॉडलों के लिए सिंथेटिक डेटा बनाना हो।

यह जानने के लिए कि जेनेरेटिव AI मॉडल कैसे विकसित किए जाते हैं और भविष्य में उनका समाज पर क्या प्रभाव पड़ेगा, Datacamp पर Generative AI Concepts का निःशुल्क कोर्स देखें।

सिंथेटिक डेटा जेनरेशन के टूल्स

अलग-अलग उपयोग के मामलों—सांख्यिकीय मॉडलिंग से लेकर मशीन लर्निंग और हेल्थकेयर सिमुलेशन—के लिए सिंथेटिक डेटा जेनरेट करना आसान बनाने वाले कई टूल उपलब्ध हैं। 

इन टूल्स को इस तरह डिज़ाइन किया गया है कि वे वास्तविक दुनिया के डेटासेट की विशेषताओं को प्रतिबिंबित करने वाला डेटा तैयार करें, जिससे संवेदनशील जानकारी उजागर किए बिना सुरक्षित रूप से प्रयोग और परीक्षण किया जा सके।

1. Python में Synthetic Data Vault (SDV) 

SDV एक Python लाइब्रेरी है जो सिंथेटिक डेटा जेनरेट करने के लिए मॉडलों का एक सूट प्रदान करती है। यह टाइम सीरीज़, रिलेशनल डेटा और टैब्युलर डेटा सहित विभिन्न डेटा प्रकारों को सपोर्ट करता है। SDV उन्नत प्रायिकता-आधारित मॉडल जैसे Gaussian copulas और डीप लर्निंग विधियों का उपयोग करके मूल डेटा की संरचना सीखता है और उच्च-गुणवत्ता वाले सिंथेटिक संस्करण तैयार करता है। जब वास्तविक डेटा सीमित या संवेदनशील हो, तब मशीन लर्निंग अनुप्रयोगों में सिंथेटिक प्रशिक्षण डेटा जेनरेट करने के लिए इसका व्यापक उपयोग होता है।

Python में SDV लाइब्रेरी का उपयोग कर के सिंथेटिक डेटा जेनरेट करने के बारे में अधिक जानने के लिए इसका आधिकारिक GitHub रिपॉज़िटरी देखें या उनके आधिकारिक ट्यूटोरियल आज़माएँ।

2. Gretel.AI

Gretel.AI एक क्लाउड-आधारित प्लेटफ़ॉर्म है जो सिंथेटिक डेटा जेनरेशन और एनोनिमाइज़ेशन सेवाएँ प्रदान करता है। यह उपयोगकर्ता-अनुकूल API और प्री-बिल्ट मॉडल उपलब्ध कराता है, जो स्ट्रक्चर्ड, सेमी-स्ट्रक्चर्ड और अनस्ट्रक्चर्ड डेटा सहित विभिन्न इनपुट के आधार पर यथार्थवादी सिंथेटिक डेटा जेनरेट कर सकते हैं। Gretel.AI डेवलपर्स और डेटा साइंटिस्ट्स के लिए वर्कफ़्लो को सरल बनाने पर केंद्रित है, जिससे न्यूनतम सेटअप के साथ सिंथेटिक डेटा जेनरेट करना आसान बनता है।

Gretel.AI का उपयोग कर के सिंथेटिक डेटा जेनरेशन शुरू करने के लिए Gretel का क्विक स्टार्ट देखें।

3. Synthea

Synthea एक ओपन-सोर्स टूल है जो विशेष रूप से हेल्थकेयर सिमुलेशंस के लिए विकसित किया गया है। यह ऐसे सिंथेटिक रोगी रिकॉर्ड जेनरेट करता है जो यथार्थवादी मेडिकल हिस्ट्री, उपचार और परिणामों को दर्शाते हैं, और चिकित्सकीय एवं क्लिनिकल मानकों का पालन करते हैं। शोधकर्ता और हेल्थकेयर संस्थान अक्सर Synthea का उपयोग रोगी आबादी का सिमुलेशन करने और वास्तविक रोगी डेटा का उपयोग किए बिना सार्वजनिक स्वास्थ्य रुझानों का अध्ययन करने के लिए करते हैं—जो हेल्थकेयर डेटा विश्लेषण के लिए अमूल्य है।

4. synthpop (R प्रोग्रामिंग लैंग्वेज)

synthpop एक R पैकेज है, जिसे वास्तविक दुनिया के डेटासेट के सिंथेटिक संस्करण जेनरेट करने के लिए विशेष रूप से डिज़ाइन किया गया है। यह मूल डेटा में पाए जाने वाले संबंधों और वितरणों को दोहराने के लिए सांख्यिकीय मॉडलों का उपयोग करता है, जिससे उपयोगकर्ता गोपनीयता से समझौता किए बिना डेटा साझा और विश्लेषित कर सकें। synthpop विशेष रूप से उन शोधकर्ताओं और संस्थानों के लिए उपयोगी है जिन्हें गोपनीयता की सुरक्षा करते हुए डेटासेट जारी करने की आवश्यकता होती है।

R में synthpop का उपयोग करके सिंथेटिक डेटा जेनरेट करने के बारे में अधिक जानने के लिए Generating Synthetic Data Sets with synthpop in R ट्यूटोरियल देखें।

सिंथेटिक डेटा में जेनेरेटिव AI की भूमिका

जैसा कि पहले उल्लेख किया गया, जेनेरेटिव AI सिंथेटिक डेटा बनाने में महत्वपूर्ण भूमिका निभाता है—मुख्यतः उन्नत मॉडलों के माध्यम से जो वास्तविक दुनिया के डेटा के अंतर्निहित पैटर्न और वितरणों को सीखते हैं और यथार्थवादी सिंथेटिक संस्करण जेनरेट करते हैं। इन तकनीकों और उनके अनुप्रयोगों को समझते हैं।

जेनेरेटिव एडवर्सेरियल नेटवर्क (GANs)

GANs सिंथेटिक डेटा जेनरेट करने के सबसे शक्तिशाली टूल्स में से एक हैं। इनमें दो प्रतिस्पर्धी न्यूरल नेटवर्क होते हैं: एक जनरेटर और एक डिस्क्रिमिनेटर। जनरेटर सिंथेटिक डेटा बनाता है, जबकि डिस्क्रिमिनेटर वास्तविक और सिंथेटिक डेटा में अंतर करने का प्रयास करता है। इस प्रतिद्वंद्वी प्रक्रिया के माध्यम से जनरेटर अत्यंत यथार्थवादी डेटा बनाने की क्षमता में सुधार करता है। GANs का व्यापक उपयोग छवियाँ, वीडियो और यहाँ तक कि टैब्युलर डेटा जेनरेट करने में होता है, और इनका उपयोग हेल्थकेयर, ऑटोनॉमस ड्राइविंग और एंटरटेनमेंट जैसे क्षेत्रों में पाया गया है।

वैरिएशनल ऑटोएन्कोडर्स (VAEs)

VAEs सिंथेटिक डेटा जेनरेशन के लिए एक और लोकप्रिय जेनेरेटिव मॉडल हैं। ये डेटा को एक संपीडित लैटेंट स्पेस में एन्कोड करते हैं और फिर उसे मूल रूप में डिकोड करते हैं। इससे VAEs लैटेंट स्पेस से सैंपल लेकर नए डेटा पॉइंट्स जेनरेट कर पाते हैं, जो इमेज सिंथेसिस और एनोमली डिटेक्शन जैसे अनुप्रयोगों में उपयोगी है। यद्यपि VAEs, GANs जितना यथार्थवाद हासिल नहीं करते, पर इनके प्रशिक्षण में अधिक स्थिरता होती है और जेनरेट किए गए डेटा की संरचना पर बेहतर नियंत्रण मिलता है।

टेक्स्ट जेनरेशन के लिए ट्रांसफॉर्मर मॉडल

ट्रांसफॉर्मर्स, जैसे GPT मॉडल, ने टेक्स्ट जेनरेशन में क्रांति ला दी है—संदर्भतः सटीक और सुसंगत वाक्य और पैराग्राफ तैयार कर के। सिंथेटिक डेटा के लिए, ट्रांसफॉर्मर वास्तविक दुनिया के डेटासेट—जैसे कस्टमर रिव्यू, बातचीतें या अन्य पाठ्य डेटा—की तरह मानव-सदृश टेक्स्ट जेनरेट कर सकते हैं। ये मॉडल विशेष रूप से NLP कार्यों के लिए बड़े पैमाने पर टेक्स्ट-आधारित सिंथेटिक डेटा जेनरेट करने में उपयोगी हैं, और विशिष्ट अनुप्रयोगों के लिए फाइन-ट्यून भी किए जा सकते हैं।

आज के कारोबारी वातावरण में जेनेरेटिव आर्टिफ़िशियल इंटेलिजेंस की भूमिका और भविष्य में इसकी भूमिका जानने के लिए Generative AI for Business कोर्स देखें।

सिंथेटिक डेटा जेनरेशन के साथ शुरुआत

1. सही तकनीक का चयन

उपयुक्त सिंथेटिक डेटा जेनरेशन तकनीक आपके उपयोग के मामले, डेटा प्रकार और लक्ष्यों पर निर्भर करती है। सुव्यवस्थित सांख्यिकीय वितरण वाले सरल डेटासेट के लिए, रैंडम डेटा जेनरेशन या नियम-आधारित जेनरेशन पर्याप्त हो सकते हैं। 

यदि आप जटिल, परस्पर संबंधित डेटा से निपट रहे हैं या रिलेशनल इंटेग्रिटी (जैसे हेल्थकेयर या फाइनेंस) बनाए रखने की आवश्यकता है, तो सिमुलेशन-आधारित तरीका या GANs और VAEs जैसे जेनेरेटिव मॉडल अधिक उपयुक्त हो सकते हैं। टेक्स्ट जेनरेशन या बड़े पैमाने के डेटा वाले कार्यों के लिए ट्रांसफॉर्मर-आधारित मॉडल बेहतर परिणाम दे सकते हैं। 

तकनीक चुनते समय लागू करने में सरलता, डेटा का यथार्थवाद और कम्प्यूटेशनल आवश्यकताओं के बीच संतुलन पर विचार करें।

2. Gretel.AI API का उपयोग करते हुए Python में इम्प्लीमेंटेशन 

इस उदाहरण को प्रदर्शित करने के लिए, मैंने तीन टेबल्स वाली एक मॉक पेशेंट डेटाबेस जेनरेट की है, प्रत्येक में ठीक 5,000 रिकॉर्ड हैं।

टेबल 1 - पेशेंट्स

टेबल 2 - लैब रिज़ल्ट्स

टेबल 3 - ट्रीटमेंट्स

इस उदाहरण को लागू करने के लिए, आपको Gretel.AI पर साइन अप कर के API कुंजी जेनरेट करनी होगी। आपको Python में एक लाइब्रेरी भी इंस्टॉल करनी होगी:

!pip install -U gretel-trainerसंचालित द्वारा

इस उपयोग मामले को लागू करने के लिए, हम gretel_trainer.relational मॉड्यूल से RelationalData का उपयोग करेंगे। यह उपयोगकर्ताओं को कई टेबल्स के बीच संबंधों को स्वतः परिभाषित और बनाए रखने की अनुमति देता है, जिससे सिंथेटिक आउटपुट में फॉरेन की डिपेंडेंसी और डेटा इंटेग्रिटी संरक्षित रहती है। 

यह विशेष रूप से उच्च-गुणवत्ता वाला सिंथेटिक डेटा जेनरेट करने में उपयोगी है, जो वास्तविक दुनिया के डेटाबेस की संरचना और निर्भरताओं को प्रतिबिंबित करता है, और मशीन लर्निंग, शोध या डेटा गोपनीयता नियमों के अनुपालन जैसे अनुप्रयोगों में उपयोग करना आसान बनाता है। 

कोड उदाहरण:

import pandas as pd
from gretel_client import configure_session
from gretel_trainer.relational import RelationalData

configure_session(api_key="your_api_key", cache="yes", validate=True)

csv_dir = "csv/"
tables = [("patients", "Patient ID"), ("lab_results", "Lab Result ID"), ("treatments", "Treatment ID")]
foreign_keys = [("lab_results.Patient ID", "patients.Patient ID"), ("treatments.Patient ID", "patients.Patient ID")]

relational_data = RelationalData()
for table, pk in tables:
    relational_data.add_table(name=table, primary_key=pk, data=pd.read_csv(f"{csv_dir}/{table}.csv"))
for fk, ref in foreign_keys:
    relational_data.add_foreign_key(foreign_key=fk, referencing=ref)

from gretel_trainer.relational import MultiTable

multitable = MultiTable(
    relational_data,
    project_display_name="Clinical Trials",
    gretel_model="amplify"
)
multitable.train()

multitable.generate(record_size_ratio=1)
synthetic_patients = multitable.synthetic_output_tables['patients']
synthetic_lab_results = multitable.synthetic_output_tables['lab_results']
synthetic_treatments = multitable.synthetic_output_tables['treatments']
संचालित द्वारा

यह कोड Gretel.AI API का उपयोग करके एक रिलेशनल डेटाबेस के लिए सिंथेटिक डेटा जेनरेट करता है। पहले यह API कुंजी से सेशन सेट करता है और तीन CSV फाइलें (patients, lab_results और treatments) लोड करता है, उनके प्राइमरी की निर्दिष्ट करता है और फॉरेन की संबंध परिभाषित करता है। 

RelationalData क्लास का उपयोग इन संबंधों को बनाए रखने के लिए किया जाता है। डेटा कॉन्फ़िगर करने के बाद, MultiTable क्लास का उपयोग कर के एक मॉडल प्रशिक्षित किया जाता है, जो पूरे रिलेशनल डेटासेट का सिंथेसिस करता है। 

मॉडल ट्रेन होने के बाद, generate() मेथड का उपयोग सिंथेटिक डेटा जेनरेट करने के लिए किया जाता है। record_size_ratio पैरामीटर जेनरेट किए गए डेटा के आकार के अनुपात को निर्धारित करता है। record_size_ratio=1 का अर्थ है कि सिंथेटिक डेटासेट में रिकॉर्ड्स की संख्या = मूल डेटासेट यानी 5,000 रिकॉर्ड।

3. सिंथेटिक डेटासेट की गुणवत्ता का मूल्यांकन

सिंथेटिक डेटा की गुणवत्ता का मूल्यांकन करना इसकी उपयोगिता और गोपनीयता सुनिश्चित करने के लिए आवश्यक है। शुरुआत में मूल और सिंथेटिक डेटा के बीच सांख्यिकीय वितरणों की तुलना करें—औसत, विचलन और सहसंबंध जैसे मेट्रिक्स काफ़ी हद तक मेल खाने चाहिए। 

दूसरा तरीका यह है कि सिंथेटिक डेटा पर मशीन लर्निंग मॉडल प्रशिक्षित करें और उनके प्रदर्शन (जैसे, एक्युरेसी या F1 स्कोर) की तुलना वास्तविक डेटा पर प्रशिक्षित मॉडलों से करें। 

सिंथेटिक डेटा की गुणवत्ता आँकने के लिए उदाहरण विज़ुअलाइज़ेशन। छवि: लेखक द्वारा।

निष्कर्ष

डेटा की कमी, गोपनीयता संबंधी चिंताओं और विविध, उच्च-गुणवत्ता वाले डेटासेट की आवश्यकता से जुड़ी चुनौतियों का समाधान करने के लिए सिंथेटिक डेटा जेनरेशन उभर कर आया है। 

सरल रैंडम डेटा जेनरेशन से लेकर उन्नत जेनेरेटिव मॉडलों—जैसे GANs और VAEs—तक की तकनीकों के साथ, सिंथेटिक डेटा संगठनों को नवाचार करने और संवेदनशील जानकारी की रक्षा करते हुए बेहतर मशीन लर्निंग मॉडल बनाने में सक्षम बनाता है। 

SDV जैसे टूल और Gretel.AI जैसी मैनेज्ड सेवाएँ, जटिल रिलेशनल डेटाबेस के लिए भी, सिंथेटिक डेटा जेनरेट करना अधिक सुलभ बनाती हैं। 

जैसे-जैसे सिंथेटिक डेटा जेनरेशन विकसित होगा, इसके अनुप्रयोग AI, हेल्थकेयर, फाइनेंस और असंख्य अन्य क्षेत्रों को आगे बढ़ाने में लगातार अधिक महत्वपूर्ण भूमिका निभाएँगे।

और गहराई से जानना चाहते हैं? बैंकिंग, हेल्थकेयर और कई अन्य उद्योगों में AI अपनाने में तेजी लाने के लिए सिंथेटिक डेटा क्या है, यह गोपनीयता कैसे सुरक्षित करता है, और इसका उपयोग कैसे हो रहा है—यह जानने के लिए Using Synthetic Data for Machine Learning & AI in Python ट्रेनिंग देखें।