एंटरप्राइज़ के लिए डेटा इंजीनियरिंग शीर्ष प्राथमिकता बनी हुई है, और 2021 में डेटा इन्फ्रास्ट्रक्चर के क्षेत्र में रोमांचक विकास होंगे। एक हालिया वेबिनार में, The World Bank के डेटा इंजीनियर और सिटी ऑफ सैन डिएगो के पूर्व चीफ डेटा ऑफिसर मैक्सिम पेरचेरस्कीय ने विशेष रूप से जिन तीन रुझानों पर ध्यान देने की बात कही, वे हैं: डेटा ऑर्केस्ट्रेशन प्लेटफ़ॉर्म, डेटा डिस्कवरी इंजन, और डेटा लेकहाउस।
डेटा ऑर्केस्ट्रेशन प्लेटफ़ॉर्म
हालाँकि कंप्यूटर सिस्टम और सॉफ़्टवेयर को प्रबंधित करने के लिए ऑर्केस्ट्रेशन प्लेटफ़ॉर्म कई वर्षों से मौजूद हैं, डेटा ऑर्केस्ट्रेशन अपेक्षाकृत नया विचार है, जो स्टोरेज सिस्टम्स के पार डेटा एक्सेस को एब्स्ट्रैक्ट करता है, डेटा को वर्चुअलाइज़ करता है, और उसे डेटा-चालित अनुप्रयोगों के सामने प्रस्तुत करता है। डेटा ऑर्केस्ट्रेशन प्लेटफ़ॉर्म कंपनियों को अधिक डेटा-चालित बनने में मदद करते हैं, क्योंकि वे कई डेटा स्टोरेज लोकेशनों में बँटे हुए डेटा को जोड़कर उसे उपयोगी बनाते हैं। उदाहरणों में Apache Airflow, Prefect, Luigi, और Stitch शामिल हैं, जो वर्शन कंट्रोल, DevOps, और कंटीन्युअस इंटिग्रेशन जैसी आधुनिक सॉफ़्टवेयर विधियों के साथ संगत हैं।
DataCamp का कोर्स Introduction to Airflow in Python यह सीखने के लिए एक शानदार शुरुआत है कि ETL और डेटा इंजीनियरिंग वर्कफ़्लो को सरल और दोहराने योग्य तरीके से कैसे लागू और शेड्यूल किया जाए।
डेटा डिस्कवरी इंजन
यह स्वाभाविक है कि जैसे-जैसे डेटा बढ़ता है, कंपनियाँ अपनी टीमों को वह डेटा ढूँढने, उसका दस्तावेज़ीकरण करने, और रीवर्क कम करने में सक्षम बनाने पर अधिक समय निवेश करेंगी। Lyft का Amundsen और Uber का Databook जैसे डेटा डिस्कवरी इंजन डेटा के लिए सर्च इंटरफ़ेस प्रदान करके डेटा उपयोगकर्ताओं की उत्पादकता बढ़ाने का लक्ष्य रखते हैं। ये टूल मेटाडेटा पर निर्भर करते हैं, जो उत्पादकता और अनुपालन को समर्थन देते हैं, ताकि कंपनियों के बढ़ने के साथ डेटा इन्फ्रास्ट्रक्चर स्केल कर सके। डेटा डिस्कवरी का उद्देश्य डेटा को अधिक FAIR बनाना है: खोजने योग्य, सुलभ, इंटरऑपरेबल, और पुन: उपयोग योग्य।
डेटा लेकहाउस
डेटा लेक्स बनाम डेटा वेयरहाउस के अलग-अलग उपयोग परिदृश्य होते हैं। प्रत्येक अलग उद्देश्यों और अलग अंतिम उपयोगकर्ताओं के लिए डिज़ाइन किया गया है। उदाहरण के लिए, डेटा वेयरहाउस आमतौर पर विश्लेषकों द्वारा बिज़नेस इंटेलिजेंस एकत्र करने के लिए इस्तेमाल किए जाते हैं—इनमें ऐसे फ्लैट फ़ाइलें होती हैं जिन्हें उनके काम के लिए स्पष्ट रूप से प्रोसेस किया गया होता है। दूसरी ओर, डेटा लेक्स को डेटा इंजीनियर स्थापित और मेंटेन करते हैं, जो उन्हें डेटा पाइपलाइनों में एकीकृत करते हैं। डेटा वैज्ञानिक डेटा लेक्स के साथ अधिक निकटता से काम करते हैं क्योंकि इनमें व्यापक और अधिक ताज़ा दायरे का डेटा होता है।
डेटा लेकहाउस वैसा ही है जैसा वह सुनाई देता है: डेटा लेक्स और डेटा वेयरहाउस का संयोजन। Snowflake और Databrick's Delta Lake जैसी प्लेटफ़ॉर्म ने ऐसे समाधान विकसित किए हैं जो डेटा लेक्स और डेटा वेयरहाउस दोनों के लाभों को मिलाकर डेटा के लिए एकल स्रोत-सत्य प्रदान करते हैं। डेटा लेकहाउस, डेटा लेक्स के लिए डेटा वेयरहाउस की डेटा संरचनाएँ और प्रबंधन सुविधाएँ लागू करते हैं, जो आमतौर पर डेटा स्टोरेज के लिए अधिक किफायती होते हैं। साथ ही, वे डेटा की स्कीमा और वर्शनिंग बनाए रखते हैं। डेटा लेकहाउस के साथ, डेटा वैज्ञानिक मशीन लर्निंग और बिज़नेस इंटेलिजेंस—दोनों कर पाएँगे।
स्रोत: Databricks
ये तीनों रुझान 2021 में एंटरप्राइज़ के लिए डेटा इन्फ्रास्ट्रक्चर को स्केल करने में निर्णायक होंगे। ये उन कंपनियों के लिए उपयोगी हैं जो डेटा के इर्द-गिर्द बनी हैं, साथ ही उनके लिए भी जो अपने वर्कफ़्लोज़ में डेटा को टिकाऊ तरीके से समाहित करने के लिए जूझ रही हैं। बड़ी कंपनियाँ अपने डेटा को ऑपरेशनल बनाने और डेटा-चालित बनने में किन चुनौतियों का सामना करती हैं, और जानें।
