Databricks Unity Catalog: शुरुआती मार्गदर्शिका

तो आपने अभी-अभी Databricks Unity Catalog के बारे में सुना है। और अब आप सोच रहे हैं कि यह क्या है और आधुनिक डेटा प्रबंधन में इसकी क्या भूमिका है।

यह व्यापक गाइड आपको Databricks Unity Catalog से परिचित कराएगा और आधुनिक डेटा स्टैक में डेटा एनालिटिक्स के लिए इसकी अहमियत समझने में मदद करेगा।

Databricks Unity Catalog क्या है?

Databricks Unity Catalog एक एकीकृत डेटा गवर्नेंस सेवा है जो एनालिटिक्स कार्यभार के लिए डेटा प्रबंधन को सरल और सुव्यवस्थित करता है। यह विभिन्न बिज़नेस इंटेलिजेंस टूल्स, डेटाबेस, डेटा वेयरहाउस और डेटा लेक द्वारा उपयोग किए जाने वाले सभी प्रकार के मेटाडेटा को एक केंद्रीय स्थान पर एक साथ लाता है। यह प्रणालियों के बीच इंटरऑपरेबिलिटी को बढ़ावा देता है, जिससे संरचित और असंरचित दोनों प्रकार के डेटा को ढूंढना और एक्सेस करना आसान हो जाता है।

जैसे-जैसे संगठन अपने डेटा ऑपरेशंस का विस्तार करते हैं, कई डेटा प्लेटफॉर्म पर एक्सेस, गवर्नेंस और अनुपालन का प्रबंधन जटिल हो जाता है। Unity Catalog इस चुनौती का समाधान एकीकृत परत देकर करता है जो मेटाडेटा, एक्सेस नियंत्रण और लिनिएज ट्रैकिंग को समेटती है, जिससे संचालनात्मक बोझ कम होता है।

यह केंद्रीकृत डेटा गवर्नेंस दृष्टिकोण निम्न जैसे आम डेटा प्रोडक्ट साझा करने में कुछ लाभ लाता है:

• मशीन लर्निंग मॉडल
• नोटबुक्स
• डैशबोर्ड
• फाइलें

Databricks Unity Catalog के मुख्य घटक शामिल हैं:

• Metastore: मेटाडेटा के लिए एक स्टोरेज लेयर जो डेटा खोज को सरल बनाती है और डेटा लिनिएज में सुधार करती है।
• Catalog: डेटा एसेट्स को संग्रहीत करने, प्रबंधित करने और खोजने के लिए एक केंद्रीय रिपॉज़िटरी।
• Schema: Databricks Unity Catalog में डेटा एसेट्स को व्यवस्थित और प्रबंधित करने के लिए प्रयुक्त डेटा मॉडल।
• Granularity: मेटाडेटा ट्रैकिंग में उपलब्ध विवरण का स्तर। यह टीमों को विभिन्न स्तरों (कैटलॉग, स्कीमा, टेबल, या यहां तक कि कॉलम) पर एक्सेस प्रबंधन करने देता है, जिससे डेटा एसेट्स पर सूक्ष्म-स्तरीय नियंत्रण सुनिश्चित होता है.".
• Tables, views, and volumes: ये Databricks Unity Catalog के बुनियादी डेटा ऑब्जेक्ट हैं जो संरचित और असंरचित डेटा का प्रतिनिधित्व करने के लिए उपयोग किए जाते हैं।
• Data lineage: डेटा के स्रोत से गंतव्य तक प्रवाह का एक दृश्य निरूपण, जो परिवर्तनों को ट्रैक करने और डेटा अखंडता सुनिश्चित करने में मदद करता है।

ये घटक मिलकर एक व्यापक डेटा गवर्नेंस समाधान प्रदान करते हैं जो डेटा प्रबंधन को सरल बनाता है और टीमों में सहयोग को बढ़ावा देता है।

Unity Catalog के लाभ

Databricks Unity Catalog के कई प्रमुख लाभ हैं, जैसा कि हमने नीचे रेखांकित किया है:

1. डेटा गवर्नेंस और अनुपालन

Databricks Unity Catalog मेटाडेटा को संग्रहीत और प्रबंधित करने के लिए एक केंद्रीकृत स्थान प्रदान करता है, जिससे विभिन्न प्रणालियों में डेटा गवर्नेंस और अनुपालन सुनिश्चित होता है।

उदाहरण के लिए, Unity Catalog प्रोडक्शन में मशीन लर्निंग मॉडलों में संभावित PII का पता लगाने के लिए अलर्ट प्रदान करता है। डेटा लिनिएज इन मॉडलों को आसानी से रोलबैक करने की अनुमति देता है।

यह संगठनों को डेटा अखंडता बनाए रखने, विनियमों का पालन करने और जोखिम कम करने में मदद करता है।

2. सहयोग और सेल्फ-सर्विस एनालिटिक्स

Unity Catalog डेटा एसेट्स को संग्रहीत करने के लिए एक केंद्रीय स्थान प्रदान करके टीमों के बीच सहयोग को प्रोत्साहित करता है। यह साइलो को समाप्त करता है और क्रॉस-फंक्शनल संचार को बढ़ावा देता है, जिससे सेल्फ-सर्विस एनालिटिक्स को बढ़ावा मिलता है।

डेटा विश्लेषक और व्यावसायिक उपयोगकर्ता आसानी से संबंधित डेटा एसेट्स खोज और एक्सेस कर सकते हैं, जिससे डेटा तैयारी कार्यों में लगने वाला समय कम होता है।

Unity Catalog के प्रमुख उपयोग मामले

Unity Catalog को लागू करने के कई तरीके हैं: 

1. डेटा एक्सेस नियंत्रण और सुरक्षा

Databricks Unity Catalog संगठनों को डेटा एसेट्स के लिए सूक्ष्म-स्तरीय एक्सेस नियंत्रण लागू करने में सक्षम बनाता है, जिससे डेटा केवल अधिकृत उपयोगकर्ताओं के लिए सुलभ रहता है। यह टीमों के बीच संवेदनशील डेटा का सुरक्षित साझा करना भी संभव बनाता है।

2. डेटा खोज और लिनिएज

Unity Catalog की मेटाडेटा प्रबंधन क्षमताएं कुशल डेटा खोज की अनुमति देती हैं और स्रोत से गंतव्य तक डेटा के प्रवाह का दृश्य निरूपण प्रदान करती हैं। यह डेटासेट्स में होने वाले परिवर्तनों को ट्रैक करने में मदद करता है, जिससे ऑडिटिंग और समस्या निवारण संभव होता है।

3. अनुपालन और ऑडिट को सुगम बनाना

सभी डेटा एसेट्स और उनके लिनिएज के लिए केंद्रीकृत रिपॉज़िटरी के साथ, Unity Catalog अनुपालन रिपोर्टिंग और ऑडिटिंग प्रक्रियाओं को सरल बनाता है। इससे नियामक अनुपालन सुनिश्चित करने के लिए आवश्यक समय और प्रयास कम होता है।

Databricks में Unity Catalog कैसे सक्षम करें

अब, इस आसान सेटअप ट्यूटोरियल का उपयोग करके Unity Catalog आज़माते हैं:

पूर्वापेक्षाएँ

Unity Catalog को सक्षम और उपयोग करने से पहले, सुनिश्चित करें कि आप निम्न आवश्यकताओं को पूरा करते हैं:

Databricks प्रीमियम या एंटरप्राइज़ प्लान

Unity Catalog केवल Databricks के प्रीमियम या एंटरप्राइज़ टियर पर समर्थित है। सुनिश्चित करें कि आपका Databricks वर्कस्पेस इनमें से किसी एक प्लान पर है।

उचित अनुमतियाँ

• Account admin: आपको अकाउंट स्तर पर Unity Catalog सेटअप और प्रबंधन करने के लिए Databricks में Account Admin की भूमिका होनी चाहिए।
• Workspace admin: जिस वर्कस्पेस में आप Unity Catalog सक्षम करना चाहते हैं, उसमें आपको Workspace Admin होना चाहिए।

Metastore उपलब्धता

Unity Catalog को अकाउंट स्तर पर एक मेटास्टोर की आवश्यकता होती है। यदि आपने कोई नहीं बनाया है, तो सेटअप के दौरान आपको एक बनाना होगा। ट्रायल Databricks अकाउंट के लिए, आपके लिए पहले से मेटास्टोर के साथ एक कैटलॉग बनाया हुआ होगा।

समर्थित क्लाउड प्लेटफ़ॉर्म

वर्तमान में, Unity Catalog निम्न पर समर्थित है:

• AWS
• Azure
• GCP

सुनिश्चित करें कि आप इन क्लाउड्स में से किसी एक में समर्थित Databricks वातावरण का उपयोग कर रहे हैं।

मैनेज्ड स्टोरेज या बाहरी लोकेशन

तय करें कि आप मैनेज्ड टेबल्स (मैनेज्ड स्टोरेज) का उपयोग करेंगे या किसी बाहरी लोकेशन (जैसे S3, ADLS, या GCS) में डेटा को संदर्भित करने वाली बाहरी टेबल्स बनाएंगे। प्रत्येक दृष्टिकोण की अलग-अलग अनुमति आवश्यकताएं हो सकती हैं।

Unity Catalog सक्षम करना: चरण-दर-चरण गाइड

Databricks सेटिंग्स में नेविगेशन

1. Databricks अकाउंट कंसोल में लॉग इन करें
• Databricks Account Console पर जाएँ (AWS, Azure या GCP के लिए URL में थोड़ा बदलाव हो सकता है)। साइन इन करने के लिए एक अकाउंट एडमिन उपयोगकर्ता का उपयोग करें।

2. कैटलॉग पेज तक पहुँचें
• बाएँ नेविगेशन पैन (अकाउंट कंसोल में) में अपने Databricks रिलीज़ के अनुसार Catalog देखें।
• Databricks Trial संस्करण में, एक Serverless Starter Warehouse मेटास्टोर और कैटलॉग पहले से बनाया गया होना चाहिए।
3. SQL वेयरहाउस कम्प्यूट शुरू करें
• बाएँ नेविगेशन पैन में SQL Warehouses चुनें, और दाईं ओर Play आइकन पर क्लिक करके Serverless Starter Warehouse शुरू करें।

4. वर्कस्पेसेज़ को असाइन करें
• कैटलॉग कॉन्फ़िगरेशन में Workspaces के अंतर्गत, उन वर्कस्पेस(ज़) को संलग्न करें जिन्हें इस कैटलॉग का उपयोग करना चाहिए।

Unity Catalog कॉन्फ़िगर करना

1. अनुमतियाँ असाइन करें
• एडमिन के रूप में, अपने Databricks वर्कस्पेस के बाएँ साइडबार में Catalog पर जाएँ।
• जिस वर्कस्पेस को आप प्रबंधित करना चाहते हैं उसे चुनें।
• अनुमतियाँ सेट करने के लिए Permissions टैब पर क्लिक करें (जैसे, कौन कैटलॉग, स्कीमा और टेबल बना सकता है)। डिफ़ॉल्ट रूप से, अकाउंट एडमिन या वर्कस्पेस एडमिन के पास पूर्ण विशेषाधिकार हो सकते हैं, लेकिन आप अन्य उपयोगकर्ताओं या समूहों को विशेषाधिकार सौंप सकते हैं।

2. कैटलॉग और स्कीमा बनाएँ (यदि आवश्यक हो)
• आप विभिन्न टीमों, परियोजनाओं या डेटा डोमेनों के लिए अतिरिक्त कैटलॉग और स्कीमा बना सकते हैं। यह अक्सर SQL कमांड्स (नीचे दिखाए गए) के माध्यम से किया जाता है।

-- Creates a new catalog named "demo_catalog"
CREATE CATALOG IF NOT EXISTS demo_catalog
COMMENT 'This catalog is created for Unity Catalog demo';संचालित द्वारा

3. बाहरी लोकेशन कॉन्फ़िगर करें (वैकल्पिक)यदि आपको बाहरी लोकेशन में संग्रहीत बाहरी टेबल्स की आवश्यकता है:
• Unity Catalog में अपने क्लाउड स्टोरेज (S3, ADLS या GCS) की ओर इशारा करते हुए एक बाहरी लोकेशन बनाएं।
• Unity Catalog के माध्यम से इन लोकेशनों पर पढ़ने और लिखने के लिए उपयोगकर्ताओं या समूहों को एक्सेस दें।

नमूना कोड और उपयोग

नीचे कुछ नमूना Databricks नोटबुक्स/SQL कमांड्स दिए गए हैं जिन्हें आप अपने वर्कस्पेस में Unity Catalog कॉन्फ़िगर होने के बाद उपयोग कर सकते हैं। 

आप इन्हें Databricks नोटबुक या अपने वर्कस्पेस के SQL Editor में चला सकते हैं।

किसी कैटलॉग पर विशेषाधिकार प्रदान करना

किसी कैटलॉग पर विशेषाधिकार प्रदान करने से यह सुनिश्चित होता है कि विशिष्ट उपयोगकर्ता समूह उसमें संग्रहीत डेटा तक पहुँच और इंटरैक्ट कर सकें। हालांकि, USAGE मात्र से उपयोगकर्ता डेटा क्वेरी नहीं कर सकते—यह सिर्फ उन्हें कैटलॉग के अस्तित्व को देखने देता है। पूर्ण इंटरैक्शन की अनुमति देने के लिए, आपको स्कीमा या टेबल स्तर पर अतिरिक्त विशेषाधिकार देने होंगे।

उदाहरण के लिए, डेटा इंजीनियर्स को किसी कैटलॉग तक पहुँच देने के लिए:

-- Grant USAGE to a specific group on the newly created catalog
GRANT USAGE ON CATALOG demo_catalog TO data_engineers_group;संचालित द्वारा

यदि उन्हें इस कैटलॉग के भीतर स्कीमा भी बनाने की आवश्यकता है:

GRANT CREATE ON CATALOG demo_catalog TO data_engineers_group;संचालित द्वारा

कैटलॉग के भीतर एक स्कीमा (डेटाबेस) बनाना

Unity Catalog में एक स्कीमा कैटलॉग के भीतर टेबल्स और व्यूज़ को व्यवस्थित करता है, ठीक वैसे ही जैसे पारंपरिक RDBMS सिस्टम में डेटाबेस टेबल्स को रखता है। IF NOT EXISTS का उपयोग करने से, यदि स्कीमा पहले से मौजूद हो तो त्रुटियाँ नहीं आतीं।

demo_catalog के अंदर एनालिटिक्स डेटा के लिए स्कीमा बनाने के लिए:

CREATE SCHEMA IF NOT EXISTS demo_catalog.analytics
COMMENT 'Schema for analytics data';संचालित द्वारा

बनाने के बाद, आपको विशिष्ट उपयोगकर्ताओं को विशेषाधिकार प्रदान करने की आवश्यकता हो सकती है:

GRANT USAGE ON SCHEMA demo_catalog.analytics TO data_analysts_group;संचालित द्वारा

यह data_analysts_group को स्कीमा देखने की अनुमति देता है, लेकिन अभी उसकी टेबल्स को क्वेरी करने की नहीं।

एक मैनेज्ड टेबल बनाना

मैनेज्ड टेबल्स पूरी तरह Unity Catalog द्वारा नियंत्रित होती हैं, यानी Databricks स्टोरेज और मेटाडेटा ट्रैकिंग संभालता है। इससे प्रबंधन सरल होता है, लेकिन इसका मतलब यह भी है कि टेबल ड्रॉप होने पर डेटा हटा दिया जाता है।

सेल्स डेटा के लिए मैनेज्ड टेबल बनाने के लिए:

USE CATALOG demo_catalog;
USE SCHEMA analytics;

CREATE TABLE IF NOT EXISTS sales_data (
  transaction_id STRING,
  product_id STRING,
  quantity INT,
  price DECIMAL(10,2),
  transaction_date DATE
)
COMMENT 'Managed table for sales data';
संचालित द्वारा

किसी टेबल पर विशेषाधिकार प्रदान करना

टेबल विशेषाधिकार देना सुनिश्चित करता है कि उपयोगकर्ता डेटा को क्वेरी या संशोधित कर सकें। SELECT विशेषाधिकार उपयोगकर्ताओं को डेटा पढ़ने देता है, संशोधित करने नहीं।

डेटा साइंटिस्ट्स को सेल्स टेबल से पढ़ने की अनुमति देने के लिए:

GRANT SELECT ON TABLE demo_catalog.analytics.sales_data TO data_scientists_group;
संचालित द्वारा

यदि उन्हें नए रेकॉर्ड जोड़ने की आवश्यकता है, तो INSERT दें:

GRANT INSERT ON TABLE demo_catalog.analytics.sales_data TO data_scientists_group;
संचालित द्वारा

पूर्ण नियंत्रण (पढ़ना, लिखना, संशोधित करना) के लिए यह उपयोग करें:

GRANT ALL PRIVILEGES ON TABLE demo_catalog.analytics.sales_data TO data_scientists_group;
संचालित द्वारा

बाहरी लोकेशन सेटअप

यदि आपके पास कोई बाहरी डेटा लोकेशन है (उदा., AWS पर S3), तो आप Unity Catalog में एक बाहरी लोकेशन ऑब्जेक्ट बना सकते हैं:

-- Create an external location named "demo_external_location"
CREATE EXTERNAL LOCATION demo_external_location
URL 's3://my-demo-bucket/my-path/'
WITH CREDENTIAL my_storage_credential
COMMENT 'External location for demo data';

-- Grant read and write privileges to a group
GRANT READ, WRITE ON EXTERNAL LOCATION demo_external_location
TO data_engineers_group;संचालित द्वारा

Databricks Unity Catalog आर्किटेक्चर

Databricks Unity Catalog ओपन-सोर्स प्रोजेक्ट Apache Spark पर आधारित है, जो बड़े पैमाने पर डेटा प्रोसेसिंग के लिए एक वितरित कंप्यूटिंग प्लेटफ़ॉर्म प्रदान करता है। यह Hive Metastore का उपयोग डेटासेट्स और टेबल्स के बारे में मेटाडेटा संग्रहीत करने के लिए करता है, जिससे कुशल प्रबंधन और क्वेरी प्रदर्शन संभव होता है।

Unity Catalog की आर्किटेक्चर में तीन मुख्य घटक शामिल हैं:

1. Metadata Store: यह घटक डेटासेट्स, टेबल्स, बाहरी लोकेशन और अन्य ऑब्जेक्ट्स से संबंधित सभी मेटाडेटा संग्रहीत करता है।
2. Catalog: यह घटक Metadata Store और कंप्यूट लेयर के बीच एक इंटरफ़ेस के रूप में कार्य करता है। यह Metadata Store में संग्रहीत सभी मेटाडेटा का एक एकीकृत दृश्य प्रदान करता है, जिससे उपयोगकर्ताओं के लिए अपने डेटा तक पहुँच और क्वेरी करना आसान हो जाता है।
3. Workspaces: वर्कस्पेसेज़ वर्चुअल स्टोरेज लोकेशन हैं जहाँ डेटा को सुरक्षित रूप से संग्रहीत और प्रबंधित किया जा सकता है। वे डेटा एक्सेस और हेरफेर के लिए एक केंद्रीय स्थान प्रदान करके टीमों के बीच आसान सहयोग सक्षम करते हैं।

स्रोत: Databricks

Databricks Unity Catalog के साथ, उपयोगकर्ता बुनियादी ढांचे की चिंता किए बिना आसानी से अपना डेटा प्रबंधित और क्वेरी कर सकते हैं। वे विभिन्न डेटासेट्स या टेबल्स के लिए पढ़ने और लिखने जैसे विशिष्ट अनुमतियाँ प्रदान करके अन्य टीम सदस्यों के साथ सहयोग भी कर सकते हैं।

इन अनुमतियों को देने के लिए, उपयोगकर्ता "GRANT" जैसे SQL कमांड्स का उपयोग कर सकते हैं जिससे यह निर्दिष्ट किया जा सके कि कौन से उपयोगकर्ता या समूह किस डेटा तक पहुँच सकते हैं। यह सुनिश्चित करता है कि केवल अधिकृत व्यक्ति ही संवेदनशील जानकारी तक पहुँच रखें।

Unity Catalog मौजूदा डेटा सिस्टम्स के साथ कैसे एकीकृत होता है

Unity Catalog मौजूदा डेटा सिस्टम्स, जैसे Amazon S3 और Azure Blob Storage, के साथ सहजता से एकीकृत हो जाता है, जिससे विभिन्न स्रोतों के डेटा तक पहुँचना और उसे प्रबंधित करना आसान हो जाता है। इससे उपयोगकर्ता बिना डेटा को Databricks में मैन्युअल रूप से स्थानांतरित या कॉपी किए बड़े डेटासेट्स का तेजी से विश्लेषण कर सकते हैं। 

Unity Catalog CSV, JSON, Parquet और Avro जैसे विभिन्न फाइल फॉर्मैट्स का भी समर्थन करता है, जिससे अलग-अलग प्रकार के डेटा के साथ काम करने में लचीलापन मिलता है।

Databricks Unity Catalog सर्वोत्तम प्रथाएँ

Unity Catalog के साथ काम करते समय कुछ सर्वोत्तम प्रथाएँ हैं जो कुशल और प्रभावी डेटा प्रबंधन सुनिश्चित करने में मदद कर सकती हैं। 

इनमें शामिल हैं:

1. टेबल्स और कॉलम के लिए वर्णनात्मक नामकरण प्रथाएँ अपनाएँ ताकि डेटा को समझना आसान हो।
2. मूलभूत डेटा में किए गए किसी भी परिवर्तन को ट्रैक करने के लिए Unity Catalog में मेटाडेटा को नियमित रूप से अपडेट करें।
3. संवेदनशील डेटा तक पहुँच को प्रतिबंधित करने के लिए एक्सेस कंट्रोल्स का उपयोग करें, "कम से कम विशेषाधिकार" के सिद्धांत का पालन करते हुए। इसका अर्थ है भूमिकाओं और जिम्मेदारियों के आधार पर उपयोगकर्ताओं या समूहों को केवल आवश्यक अनुमतियाँ देना।
4. Unity Catalog के भीतर डेटासेट्स को वर्गीकृत और व्यवस्थित करने के लिए टैग्स और लेबल्स का उपयोग करें, जिससे विशिष्ट डेटा को खोजना आसान हो।

ये उपाय प्रभावी डेटा गवर्नेंस और इष्टतम प्रदर्शन सुनिश्चित करने में मदद करेंगे।

सामान्य चुनौतियाँ और उनका समाधान

Unity Catalog अचूक समाधान नहीं है और डेटा को प्रभावी ढंग से प्रबंधित करने में कुछ चुनौतियों का सामना कर सकता है। 

कुछ सामान्य समस्याएँ शामिल हैं:

• डेटा डुप्लीकेशन: जब एक ही डेटा कई बार संग्रहीत होता है, तो असंगतियाँ और त्रुटियाँ उत्पन्न हो सकती हैं।
• डेटा गुणवत्ता: खराब रखरखाव या गलत डेटा व्यावसायिक निर्णयों और प्रक्रियाओं को प्रभावित कर सकता है।
• जटिल डेटा पदानुक्रम: जटिल संबंधों वाले बड़े डेटासेट्स को Unity Catalog के भीतर व्यवस्थित और प्रबंधित करना कठिन हो सकता है।

इन चुनौतियों का समाधान करने के लिए, यहाँ कुछ सुझाव दिए गए हैं:

1. डुप्लीकेशन से बचने के लिए डेटा की नियमित समीक्षा और सफ़ाई करें। इसमें अनावश्यक या पुराना डेटा हटाना शामिल है।
2. डेटा गुणवत्ता जाँच और वैलिडेशंस लागू करें ताकि Unity Catalog के भीतर डेटा की सटीकता सुनिश्चित हो सके।

अंतिम विचार

Unity Catalog मेटास्टोर्स, कैटलॉग और वर्कस्पेसेज़ के उपयोग के माध्यम से एकल दृश्य में डेटा प्रबंधन के लिए एक शक्तिशाली टूल है। यह डेटा को संग्रहीत और व्यवस्थित करने के लिए एक केंद्रीकृत स्थान प्रदान करता है, जिससे आपके व्यावसायिक प्रक्रियाओं में उसका प्रबंधन और उपयोग करना आसान हो जाता है। 

Databricks के बारे में और सीखना चाहते हैं? आपको हमारा Introduction to Databricks कोर्स, Databricks ट्यूटोरियल गाइड और Databricks वेबिनार ज़रूर देखना चाहिए।