Azure Data Factory: शुरुआती लोगों के लिए एक संपूर्ण मार्गदर्शिका

Azure Data Factory सेट अप करना

अब, आइए इस मार्गदर्शिका के व्यावहारिक हिस्से पर चलते हैं!

1. पूर्व-आवश्यकताएँ

1. एक सक्रिय Azure सदस्यता।

2. Azure संसाधनों को प्रबंधित करने के लिए एक रिसोर्स ग्रुप।

2. Azure Data Factory इंस्टेंस बनाना

1. लॉग इन करें Azure पोर्टल में।

2. Create a resource पर जाएँ और Data Factory चुनें।

नया Data Factory संसाधन बनाएँ

3. आवश्यक फ़ील्ड भरें, जिनमें सदस्यता, रिसोर्स ग्रुप और रीजन शामिल हैं।

Data Factory संसाधन कॉन्फ़िगर करें

4. रिव्यू करें और इंस्टेंस बनाएँ।

Azure Data Factory इंस्टेंस बन गया

3. ADF इंटरफ़ेस में नेविगेट करना

ADF इंटरफ़ेस निम्नलिखित मुख्य सेक्शनों से बना है (लेफ़्ट-हैंड नेविगेशन मेनू से सुलभ)

1. Author: पाइपलाइन्स बनाने और प्रबंधित करने के लिए।

2. Monitor: पाइपलाइन रन ट्रैक करने और समस्याओं का निवारण करने के लिए।

3. Manage: लिंक्ड सर्विसेज और इंटीग्रेशन रनटाइम्स को कॉन्फ़िगर करने के लिए।

Azure Data Factory इंटरफ़ेस

Azure Data Factory में अपना पहला पाइपलाइन बनाना

आइए एक साधारण डेटा पाइपलाइन बनाने के चरणों से गुजरते हैं।

चरण 1: लिंक्ड सर्विसेज बनाएँ

Azure Data Factory में Linked service बनाना

1. Manage टैब पर जाएँ

• अपना Azure Data Factory इंस्टेंस खोलें और ADF इंटरफ़ेस में Manage टैब पर जाएँ। यहीं आप लिंक्ड सर्विसेज परिभाषित करते हैं, जो आपके डेटा स्रोतों और डेस्टिनेशनों को जोड़ती हैं।

2. डेटा स्रोत के लिए लिंक्ड सर्विस जोड़ें

• Manage टैब के अंतर्गत Linked services पर क्लिक करें।
• नई लिंक्ड सर्विस बनाने के लिए + New चुनें।
• उपलब्ध विकल्पों की सूची में से वह डेटा स्रोत चुनें जिससे आप कनेक्ट करना चाहते हैं, जैसे Azure Blob Storage।
• आवश्यक कनेक्शन विवरण दें, जैसे स्टोरेज अकाउंट नाम और ऑथेंटिकेशन विधि (जैसे, अकाउंट की या मैनेज्ड आइडेंटिटी)।
• सुनिश्चित करने के लिए कि सब कुछ सही सेट है, कनेक्शन का परीक्षण करें और Create पर क्लिक करें।

3. डेटा डेस्टिनेशन के लिए लिंक्ड सर्विस जोड़ें

• डेस्टिनेशन के लिए भी यही प्रक्रिया दोहराएँ, जैसे Azure SQL Database।
• उपयुक्त डेस्टिनेशन प्रकार चुनें, कनेक्शन सेटिंग्स कॉन्फ़िगर करें (जैसे, सर्वर नाम, डेटाबेस नाम और ऑथेंटिकेशन विधि), और कनेक्शन का परीक्षण करें।
• सत्यापित होने पर, लिंक्ड सर्विस को सहेजें।

चरण 2: एक डेटासेट बनाएँ

Azure Data Factory में डेटासेट बनाना

1. Author टैब पर जाएँ

• अपने Azure Data Factory इंटरफ़ेस में Author टैब खोलें। यहीं आप अपनी पाइपलाइंस, डेटासेट्स और अन्य वर्कफ़्लो कंपोनेंट्स डिज़ाइन और प्रबंधित करते हैं।

2. स्रोत के लिए एक डेटासेट जोड़ें

• + बटन पर क्लिक करें और ड्रॉपडाउन मेनू से Dataset चुनें।
• वह डेटा स्टोर प्रकार चुनें जो आपके सोर्स लिंक्ड सर्विस से मेल खाता हो। उदाहरण के लिए, यदि आपका स्रोत Azure Blob Storage है, तो उपयुक्त डेटा स्टोर प्रकार चुनें, जैसे Delimited Text, Parquet, या कोई अन्य प्रासंगिक विकल्प।
• डेटासेट कॉन्फ़िगर करें:
• Linked service: पहले बनाए गए डेटा स्रोत के लिंक्ड सर्विस का चयन करें।
• File path: वह पथ या कंटेनर निर्दिष्ट करें जहाँ आपका स्रोत डेटा स्थित है।
• Schema और फ़ॉर्मेट: डेटा फ़ॉर्मेट (जैसे, CSV, JSON) परिभाषित करें और लागू होने पर स्कीमा आयात करें। इससे ADF को आपके डेटा की संरचना समझने में मदद मिलती है।
• डेटासेट सहेजने के लिए OK पर क्लिक करें।

3. डेस्टिनेशन के लिए एक डेटासेट जोड़ें

• डेस्टिनेशन डेटासेट के लिए प्रक्रिया दोहराएँ।
• वह डेटा स्टोर प्रकार चुनें जो आपके डेस्टिनेशन लिंक्ड सर्विस से मेल खाता हो। उदाहरण के लिए, यदि आपका डेस्टिनेशन Azure SQL Database है, तो उपयुक्त प्रकार चुनें, जैसे Table।
• डेटासेट कॉन्फ़िगर करें:
• Linked service: डेस्टिनेशन के लिए बनाई गई लिंक्ड सर्विस चुनें।
• Table name या path: वह टेबल या डेस्टिनेशन पथ निर्दिष्ट करें जहाँ डेटा लिखा जाएगा।
• Schema: सोर्स डेटा के साथ अनुकूलता सुनिश्चित करने के लिए डेस्टिनेशन डेटासेट का स्कीमा वैकल्पिक रूप से परिभाषित या आयात करें।
• डेटासेट सहेजें।

चरण 3: गतिविधियाँ जोड़ें

Azure Data Factory में Copy data गतिविधि जोड़ना

1. Pipeline एडिटर खोलें

• Author टैब में, + पर क्लिक कर एक नई Pipeline बनाएं।
• यह पाइपलाइन एडिटर खोलेगा, जो एक विज़ुअल इंटरफ़ेस है जहाँ आप अपने डेटा वर्कफ़्लो डिज़ाइन कर सकते हैं।

2. Copy data गतिविधि जोड़ें

• बाएँ मौजूद टूलबॉक्स से Copy data गतिविधि को Move & Transform श्रेणी के अंतर्गत खोजें।
• Copy data गतिविधि को कैनवस पर ड्रैग करें। यह गतिविधि स्रोत से डेस्टिनेशन तक डेटा ले जाती है।

3. Copy data गतिविधि कॉन्फ़िगर करें

• सेटिंग्स पेन खोलने के लिए Copy data गतिविधि पर क्लिक करें।
• Source टैब के अंतर्गत:
• पहले बनाया गया सोर्स डेटासेट चुनें।
• आवश्यक होने पर फ़ाइल या फ़ोल्डर फ़िल्टर्स जैसी अतिरिक्त सेटिंग्स कॉन्फ़िगर करें।
• Sink टैब के अंतर्गत:
• डेस्टिनेशन डेटासेट चुनें।
• डेस्टिनेशन में मौजूदा डेटा को कैसे हैंडल करना है जैसी अतिरिक्त सेटिंग्स निर्दिष्ट करें (जैसे, overwrite या append)।
• Mapping टैब का उपयोग स्रोत के फ़ील्ड्स/कॉलम्स को डेस्टिनेशन से संरेखित करने के लिए करें, ताकि डेटा अनुकूलता सुनिश्चित हो।
• अपनी कॉन्फ़िगरेशन सहेजें।

चरण 4: पाइपलाइन पब्लिश करें और चलाएँ

Azure Data Factory में पाइपलाइनों को पब्लिश करना

1. अपनी पाइपलाइन पब्लिश करें

• पाइपलाइन कॉन्फ़िगर हो जाने पर, टूलबार में Publish पर क्लिक करें।
• यह आपकी पाइपलाइन को सहेजता है और उसे निष्पादन के लिए तैयार करता है। पब्लिश किए बिना, आपकी पाइपलाइन में किए गए बदलाव ड्राफ्ट के रूप में रहते हैं और चलाए नहीं जा सकते।

2. पाइपलाइन चलाएँ

• अपनी पाइपलाइन टेस्ट करने के लिए, ऊपर Add Trigger पर क्लिक करें और Trigger Now चुनें ताकि मैनुअल रन हो सके। इससे आप सत्यापित कर सकते हैं कि पाइपलाइन अपेक्षित रूप से कार्य कर रही है।
• वैकल्पिक रूप से, एक स्वचालित शेड्यूल सेट करें:
• Triggers टैब पर जाएँ और नया ट्रिगर बनाएँ।
• ट्रिगर शर्तें परिभाषित करें, जैसे समय-आधारित शेड्यूल (उदा., हर दिन सुबह 8:00 बजे) या इवेंट-आधारित शर्त (उदा., Azure Blob Storage में फ़ाइल का आगमन)।
• ऑटोमेशन सक्षम करने के लिए ट्रिगर को अपनी पाइपलाइन से सम्बद्ध करें।

Azure Data Factory की इंटीग्रेशन और ट्रांसफ़ॉर्मेशन क्षमताएँ

Azure Data Factory डेटा इंटीग्रेशन और ट्रांसफ़ॉर्मेशन की शक्तिशाली विशेषताएँ प्रदान करता है, जो जटिल वर्कफ़्लो को सरल बनाती हैं और उत्पादकता बढ़ाती हैं। इस सेक्शन में, हम इन विशेषताओं की समीक्षा करेंगे।

1. डेटा फ्लोज़

Data flows ट्रांसफ़ॉर्मेशन लॉजिक को परिभाषित करने के लिए एक विज़ुअल वातावरण प्रदान करते हैं, जिससे उपयोगकर्ताओं के लिए बिना जटिल कोड लिखे डेटा में हेरफेर और प्रोसेस करना आसान हो जाता है। डेटा फ्लो के साथ किए जाने वाले सामान्य कार्यों में शामिल हैं:

• Aggregations: डेटा का सार प्रस्तुत करना ताकि सार्थक इनसाइट्स निकाली जा सकें, जैसे कुल बिक्री या औसत प्रदर्शन मीट्रिक्स की गणना करना।
• Joins: कई स्रोतों के डेटा को मिलाकर डाउनस्ट्रीम प्रक्रियाओं के लिए समृद्ध डेटासेट बनाना।
• Filters: परिभाषित मानदंडों के आधार पर डेटा के विशिष्ट सबसेट चुनना, ताकि प्रासंगिक जानकारी पर ध्यान केंद्रित किया जा सके।

डेटा फ्लो कॉलम डेरिवेशन, डेटा टाइप कन्वर्ज़न और कंडीशनल ट्रांसफ़ॉर्मेशन जैसे उन्नत ऑपरेशन का भी समर्थन करते हैं, जो विविध डेटा आवश्यकताओं को संभालने के लिए उन्हें बहुमुखी उपकरण बनाते हैं।

2. Azure Synapse Analytics के साथ इंटीग्रेशन

ADF बेझिझक Azure Synapse Analytics के साथ इंटीग्रेट होता है, जो बिग डेटा प्रोसेसिंग और उन्नत एनालिटिक्स के लिए एक एकीकृत प्लेटफ़ॉर्म प्रदान करता है। यह इंटीग्रेशन उपयोगकर्ताओं को सक्षम बनाता है:

• एंड-टू-एंड डेटा वर्कफ़्लो को ऑर्केस्ट्रेट करना जिसमें डेटा इनजेशन, तैयारी और एनालिटिक्स शामिल हों।
• बड़े डेटासेट्स को कुशलता से प्रोसेस करने के लिए Synapse के शक्तिशाली क्वेरी इंजन का उपयोग करना।
• Synapse Analytics में सीधे मशीन लर्निंग और रेपोर्टिंग उपयोग मामलों के लिए डेटा पाइपलाइन फीड करना।

ADF और Synapse के बीच यह सामंजस्य वर्कफ़्लो को सुव्यवस्थित करने में मदद करता है और डेटा इंटीग्रेशन और विश्लेषण के लिए अलग-अलग टूल प्रबंधित करने की जटिलता को कम करता है।

3. पाइपलाइनों का शेड्यूलिंग और मॉनिटरिंग

• शेड्यूलिंग: जैसा कि उल्लेख किया गया, ADF की शेड्यूलिंग क्षमताएँ मजबूत ऑटोमेशन फ़ीचर्स प्रदान करती हैं। उपयोगकर्ता समय अंतराल (उदा., प्रति घंटा, प्रतिदिन) या इवेंट (उदा., Azure Blob Storage में फ़ाइल के आगमन) पर आधारित ट्रिगर्स परिभाषित कर सकते हैं। 
• मॉनिटरिंग: Azure Data Factory में Monitor टैब, Azure Monitor के साथ मिलकर, पाइपलाइन निष्पादनों के लिए रियल-टाइम ट्रैकिंग और डायग्नोस्टिक्स प्रदान करता है। उपयोगकर्ता विस्तृत लॉग देख सकते हैं, प्रगति ट्रैक कर सकते हैं और जल्दी से बॉटलनेक्स या विफलताओं की पहचान कर सकते हैं। अलर्ट्स और नोटिफ़िकेशन्स भी आसानी से कॉन्फ़िगर किए जा सकते हैं। 

Azure Data Factory के उपयोग के मामले

ADF की विशेषताओं और कंपोनेंट्स की गहन समीक्षा के बाद, आइए देखें कि हम इसका उपयोग किन कार्यों में कर सकते हैं। 

1. डेटा माइग्रेशन

ADF ऑन-प्रिमाइसेस सिस्टम से क्लाउड-आधारित प्लेटफ़ॉर्मों में डेटा माइग्रेट करने के लिए एक शक्तिशाली टूल है। यह डेटा मूवमेंट को स्वचालित कर, डेटा अखंडता सुनिश्चित कर और डाउनटाइम को न्यूनतम करके जटिल माइग्रेशन को सरल बनाता है। 

उदाहरण के लिए, आप ADF का उपयोग ऑन-प्रिमाइसेस SQL Server से Azure SQL Database में डेटा माइग्रेट करने के लिए कर सकते हैं, वह भी न्यूनतम मैनुअल हस्तक्षेप के साथ। बिल्ट-इन कनेक्टर्स और इंटीग्रेशन रनटाइम्स का लाभ उठाकर, ADF संरचित और असंरचित दोनों डेटा को समायोजित करते हुए सुरक्षित और कुशल माइग्रेशन सुनिश्चित करता है।

2. डेटा वेयरहाउसिंग के लिए ETL

Extract, transform, and load (ETL) प्रक्रियाएँ आधुनिक डेटा वेयरहाउसिंग के केंद्र में हैं। Azure Data Factory इन वर्कफ़्लो को कई स्रोतों से डेटा एकीकृत कर, ट्रांसफ़ॉर्मेशन लॉजिक लागू कर, और उसे किसी डेटा वेयरहाउस में लोड कर सुव्यवस्थित करता है। 

उदाहरण के लिए, ADF विभिन्न क्षेत्रों के बिक्री डेटा को समेकित कर सकता है, उसे एक एकीकृत फ़ॉर्मेट में ट्रांसफ़ॉर्म कर सकता है, और Azure Synapse Analytics में लोड कर सकता है। यह सुव्यवस्थित प्रक्रिया रिपोर्टिंग और निर्णय लेने के लिए अप-टू-डेट, उच्च-गुणवत्ता वाला डेटा बनाए रखने में सक्षम बनाती है।

3. डेटा लेक्स के लिए डेटा इंटीग्रेशन

डेटा लेक्स विविध डेटासेट्स के लिए एक केंद्रीय रिपॉज़िटरी के रूप में कार्य करते हैं, जो उन्नत एनालिटिक्स और मशीन लर्निंग को सक्षम बनाते हैं। ADF विभिन्न स्रोतों से Azure Data Lake Storage में डेटा इनजेस्ट करने में सहायक है, और बैच तथा स्ट्रीमिंग दोनों परिदृश्यों का समर्थन करता है। 

उदाहरण के लिए, आप ADF का उपयोग लॉग फ़ाइलें, सोशल मीडिया फ़ीड्स और IoT सेंसर डेटा को एक ही डेटा लेक में एकत्र करने के लिए कर सकते हैं। डेटा ट्रांसफ़ॉर्मेशन और इंटीग्रेशन टूल्स प्रदान करके, ADF सुनिश्चित करता है कि डेटा लेक सुव्यवस्थित हो और डाउनस्ट्रीम एनालिटिक्स और AI वर्कलोड्स के लिए तैयार हो।

Azure Data Factory उपयोग करने के सर्वश्रेष्ठ तरीके

अंत में, ADF का प्रभावी रूप से उपयोग करने के कुछ सर्वोत्तम तरीकों की समीक्षा करना उपयोगी है।

1. मॉड्यूलर पाइपलाइन डिज़ाइन

रखरखाव योग्य और स्केलेबल वर्कफ़्लो बनाने के लिए, पुन: प्रयोज्य कंपोनेंट्स के साथ पाइपलाइन्स डिज़ाइन करें। मॉड्यूलर डिज़ाइन व्यक्तिगत पाइपलाइन सेक्शनों की डिबगिंग, टेस्टिंग और अपडेटिंग को आसान बनाता है। उदाहरण के लिए, हर पाइपलाइन में डेटा ट्रांसफ़ॉर्मेशन लॉजिक एम्बेड करने के बजाय, एक पुन: प्रयोज्य पाइपलाइन बनाएँ जिसे कई वर्कफ़्लोज़ में इनवोक किया जा सके। इससे पुनरावृत्ति कम होती है और प्रोजेक्ट्स में निरंतरता बढ़ती है।

2. डेटा मूवमेंट का अनुकूलन करें

• कंप्रेशन का उपयोग करें: डेटा ट्रांसफ़र समय को कम करने और नेटवर्क बैंडविड्थ उपयोग घटाने के लिए, बड़े डेटासेट्स को मूव करने से पहले कंप्रेस करें। उदाहरण के लिए, gzip या समान विधियों का उपयोग बड़े फ़ाइलों के ट्रांसफ़र को उल्लेखनीय रूप से तेज कर सकता है।
• सही इंटीग्रेशन रनटाइम चुनें: इंटीग्रेशन रनटाइम (Azure IR, Self-hosted IR, या SSIS IR) का चुनाव प्रदर्शन अनुकूलन में अहम है। उदाहरण के लिए, ऑन-प्रिमाइसेस डेटा मूवमेंट के लिए self-hosted IR सुरक्षित और कुशल ट्रांसफ़र सुनिश्चित करने हेतु उपयोगी है, जबकि क्लाउड-नेटिव ऑपरेशंस के लिए Azure IR आदर्श है।

3. मज़बूत एरर हैंडलिंग लागू करें

• रीट्राइ पॉलिसीज़: अस्थायी त्रुटियों (जैसे अस्थायी नेटवर्क व्यवधान या सर्वर टाइमआउट) के लिए रीट्राइ पॉलिसीज़ कॉन्फ़िगर करें। इससे पाइपलाइन्स बिना मैनुअल हस्तक्षेप के रिकवर होकर सफलतापूर्वक पूर्ण हो सकती हैं।
• अलर्ट सेट करें: अपनी टीम को पाइपलाइन विफलताओं या प्रदर्शन समस्याओं के बारे में सक्रिय रूप से सूचित करने के लिए अलर्ट्स और नोटिफ़िकेशन्स लागू करें। Azure Monitor जैसे टूल्स का उपयोग करके विशिष्ट एरर प्रकारों या निष्पादन विलंब के आधार पर कस्टम अलर्ट्स कॉन्फ़िगर करें, ताकि त्वरित समाधान और न्यूनतम डाउनटाइम सुनिश्चित हो।

तो, Azure Data Factory Databricks से किस प्रकार अलग है? यदि आप उत्सुक हैं और Azure Data Factory तथा Databricks के बीच के अंतर जानना चाहते हैं, तो यह देखें: Azure Data Factory बनाम Databricks: विस्तृत तुलना ब्लॉग।

Azure Data Factory बनाम Microsoft Fabric

जैसे-जैसे आप Azure Data Factory में निपुण होते जाते हैं, इसका विकास समझना महत्वपूर्ण है: Microsoft Fabric।

जहाँ Azure Data Factory (ADF) एंटरप्राइज़ में व्यापक रूप से उपयोग होने वाला, परिपक्व, स्टैंडअलोन Platform-as-a-Service (PaaS) समाधान बना हुआ है, वहीं Microsoft ने अपने डेटा इकोसिस्टम के भविष्य के रूप में Fabric पेश किया है। Fabric एक ऑल-इन-वन SaaS प्लेटफ़ॉर्म है जो Data Factory, Synapse Analytics और Power BI को एक ही वातावरण में एकजुट करता है।

आपको ADF या Fabric में से क्या उपयोग करना चाहिए?

• ADF के साथ बने रहें यदि: आपको एक परिपक्व, उच्च रूप से कस्टमाइज़ेबल PaaS समाधान चाहिए जो लिगेसी ऑन-प्रिमाइसेस सिस्टम्स के साथ गहरा एकीकरण दे, या यदि आपको इन्फ्रास्ट्रक्चर पर सूक्ष्म नियंत्रण (जैसे समर्पित Integration Runtimes) की आवश्यकता है।
• Fabric पर विचार करें यदि: आप एक आधुनिक डेटा प्लेटफ़ॉर्म नया बना रहे हैं और ऐसा एकीकृत अनुभव चाहते हैं जहाँ डेटा इंजीनियरिंग, डेटा वेयरहाउसिंग और Power BI विज़ुअलाइज़ेशन एक ही वर्कस्पेस में, बिना डेटा मूव किए (OneLake के कारण), हो सके।

नोट: ADF पाइपलाइंस और Fabric Data Factory पाइपलाइंस काफी हद तक समान हैं, इसलिए आप आज ADF में जो कौशल सीखते हैं वे सीधे Fabric पर लागू होते हैं। अधिक जानने के लिए आप हमारा Introduction to Microsoft Fabric कोर्स कर सकते हैं। 

निष्कर्ष

Azure Data Factory क्लाउड में डेटा पाइपलाइंस को बनाना, प्रबंधित करना और स्केल करना आसान बनाता है। यह एक सहज प्लेटफ़ॉर्म प्रदान करता है जो तकनीकी और गैर-तकनीकी दोनों उपयोगकर्ताओं की ज़रूरतों को पूरा करता है, जिससे वे विभिन्न स्रोतों से डेटा को कुशलतापूर्वक एकीकृत और ट्रांसफ़ॉर्म कर सकें। 

कोड-फ़्री पाइपलाइन ऑथरिंग, इंटीग्रेशन क्षमताएँ और मॉनिटरिंग टूल्स जैसी इसकी विशेषताओं का लाभ उठाकर, उपयोगकर्ता आसानी से स्केलेबल और विश्वसनीय वर्कफ़्लो बना सकते हैं।

Azure Data Factory के बारे में अधिक जानने के लिए, मैं टॉप 27 Azure Data Factory इंटरव्यू क्वेश्चंस और आंसर्स देखने की सलाह देता/देती हूँ।

यदि आप Azure की रीढ़—कंटेनर्स, वर्चुअल मशीनों और अन्य विषयों—का अन्वेषण करना चाहते हैं, तो मेरी सिफ़ारिश है यह शानदार मुफ़्त कोर्स: Understanding Microsoft Azure Architecture and Services।