AWS Glue के साथ शुरुआत: चरण-दर-चरण मार्गदर्शिका

AWS Glue: चरण-दर-चरण मार्गदर्शिका

अब आता है रोचक भाग: चलिए Glue का उपयोग एक बहुत सामान्य डेटा प्रोसेसिंग कार्य के लिए करना सीखते हैं: CSV फाइलों को Parquet में बदलना।

1. AWS खाता सेटअप

जो लोग AWS में नए हैं, उनके लिए पहला कदम एक खाता बनाना और फिर मैनेजमेंट कंसोल में साइन-इन करना होगा।

• AWS पर जाएँ और साइन अप करें।
• एक खाता बन जाने पर, AWS Management Console में लॉग इन करें।

2. IAM रोल बनाना

AWS Identity and Access Management (IAM) उपयोगकर्ताओं को AWS सेवाओं और संसाधनों तक सुरक्षित रूप से पहुंच प्रबंधित करने की अनुमति देता है।

हमें Glue को प्रासंगिक सेवाओं तक पहुंच देने के लिए एक IAM रोल बनाना होगा। हमारे मामले में, मुख्य सेवा S3 है, जो हमारी CSV फाइलों की होस्टिंग करती है।

नए AWS उपयोगकर्ताओं के लिए AWS Storage Tutorial S3 जैसे सिस्टम के बारे में अधिक जानने का एक शानदार तरीका है। 

उस IAM रोल को बनाने के मुख्य चरण नीचे दिए गए हैं, जो मैनेजमेंट कंसोल से शुरू होते हैं:

• IAM सेवा पर जाएँ।
• बाएँ साइडबार में "Roles" पर क्लिक करें, फिर "Create role" पर क्लिक करें।
• "Choose a use case" के अंतर्गत, "Glue" चुनें और "Next: Permissions" पर क्लिक करें।
• निम्नलिखित पॉलिसी खोजें और चुनें:
• AWSGlueServiceRole
• AmazonS3FullAccess (नोट: प्रोडक्शन वातावरण में, आपको अधिक प्रतिबंधात्मक पॉलिसी बनानी चाहिए)।
• अपने रोल का नाम दें (उदा., "GlueETLRole"), और चाहें तो विवरण दें, पर यह अनिवार्य नहीं है। अंत में, "Create role" पर क्लिक करें।

AWS कंसोल में IAM रोल बनाने के चरण। चित्र: लेखक द्वारा

The Complete Guide to AWS IAM AWS वातावरण को सुरक्षित करने, उपयोगकर्ता, समूह, और रोल के साथ एक्सेस प्रबंधन करने, और मजबूत सुरक्षा के सर्वोत्तम अभ्यासों की रूपरेखा बताने के चरणों से गुज़रता है।

3. S3 बकेट सेटअप

हम इनपुट CSV फाइलें और आउटपुट Parquet फाइलें दोनों Amazon S3 पर संग्रहीत करेंगे।

इस उदाहरण के लिए इनपुट डेटा चित्रण हेतु बनाया गया है और लेखक के GitHub रिपॉजिटरी में पाया जा सकता है:

• athletes.csv: एथलीटों की जानकारी रखता है, जिनमें उनका ID, नाम, देश, खेल, और आयु शामिल है।
• events.csv: विभिन्न इवेंट्स की सूची देता है, जिनमें इवेंट ID, खेल, इवेंट नाम, तारीख और स्थल शामिल हैं।
• medals.csv: मेडल जानकारी रिकॉर्ड करता है, जो इवेंट्स और एथलीटों को उनके जीते गए मेडल्स से जोड़ता है।

अब, हम अपना S3 बकेट निम्नानुसार सेट कर सकते हैं:

• AWS Management Console में S3 सेवा पर जाएँ।
• "Create bucket" पर क्लिक करें और एक यूनिक नाम दें (उदा., "my-glue-csv-etl-bucket")।
• सरलता के लिए बकेट की डिफ़ॉल्ट सेटिंग्स ही रहने दें और बकेट बना दें।
• अपने बकेट के अंदर दो फोल्डर बनाएं: "input" और "output"।

S3 बकेट और फोल्डर निर्माण प्रवाह। चित्र: लेखक द्वारा 

दोनों फोल्डर बनाने के बाद, आपके बकेट की सामग्री कुछ इस प्रकार दिखनी चाहिए:

S3 बकेट के अंदर मौजूद फोल्डरों का दृश्य। चित्र: लेखक द्वारा

अब, हम इन इनपुट CSV फाइलों को "input" फोल्डर में अपलोड कर सकते हैं।

S3 बकेट के “input” फोल्डर की सामग्री। चित्र: लेखक द्वारा

4. Glue क्रॉलर बनाना

Glue क्रॉलर का उपयोग हमारे डेटा को स्वत: खोजने और कैटलॉग करने के लिए किया जाता है। इस खंड में उस क्रॉलर को बनाने की प्रक्रिया समझाई गई है, जो सभी इनपुट CSV फाइलों को स्कैन करेगा। 

मुख्य चरण नीचे समझाए गए हैं:

• AWS Management Console में AWS Glue सेवा पर जाएँ।
• बाएँ साइडबार में "Data catalog" के अंतर्गत "Crawlers" पर क्लिक करें।
• "Create crawler" पर क्लिक करें।
• अपने क्रॉलर का नाम दें (उदा., "CSV-to-Parquet-Crawler") और विवरण फ़ील्ड खाली छोड़ दें, फिर "Next" पर क्लिक करें।
• हमें डेटा स्रोत के रूप में “S3” निर्दिष्ट करना है, जो "Add data source " को क्रॉलर सोर्स टाइप के रूप में चुनकर और "Next" पर क्लिक करके किया जाता है।

AWS Glue कंसोल में क्रॉलर निर्माण प्रवाह - भाग 1। चित्र: लेखक द्वारा

• डेटा स्टोर के रूप में "S3" चुनें और अपने S3 बकेट पाथ को निर्दिष्ट करें, जिसे आप “Browse S3” चुनकर कर सकते हैं। फिर "Next" पर क्लिक करें।
• “Crawl all sub-folders” चुनें
• “Add an S3 data source” चुनें, फिर "Next" पर क्लिक करें।
• आगे बढ़ने से पहले, “S3” डेटा टाइप की जाँच करें, फिर “Next।”

AWS Glue कंसोल में क्रॉलर निर्माण प्रवाह - भाग 2। चित्र: लेखक द्वारा

एक बार जब हमने S3 बकेट को कनेक्ट कर लिया, तो हमें पहले से बनाए गए IAM रोल को कनेक्ट करना होगा ताकि Glue S3 बकेट्स तक पहुंच सके। हमारे रोल का नाम “GlueETLRole” है।

• “Existing IAM role” फ़ील्ड से रोल का नाम चुनें।
• “Next” पर क्लिक करें।

AWS Glue कंसोल में क्रॉलर निर्माण प्रवाह - भाग 3। चित्र: लेखक द्वारा

अगला चरण एक डेटाबेस बनाना है। हम जो “paris_olympics_db” डेटाबेस बनाएंगे, वह AWS Glue Data Catalog में एक केंद्रीय रिपॉजिटरी के रूप में काम करेगा, जहाँ हमारे CSV फाइलों के बारे में मेटाडेटा संग्रहीत और व्यवस्थित होगा। 

यह कैटलॉग कुशल डेटा खोज सक्षम करेगा और हमारे ETL प्रोसेस को सरल बनाएगा, ताकि एथलीट्स, इवेंट्स और मेडल्स डेटा को मिलाकर Parquet फॉर्मेट में बदला जा सके।

इस समय, हमारे पास अभी तक कोई डेटाबेस नहीं है, और निर्माण के चरण नीचे दर्शाए गए हैं:

• “Add database” चुनें, जो हमारा डेटाबेस बनाने के लिए एक नई विंडो खोलेगा। इसे “paris_olympics_db” नाम दें और बाकी सब कुछ डिफ़ॉल्ट ही रहने दें, फिर “Create database” पर क्लिक करें।

AWS Glue कंसोल में क्रॉलर निर्माण प्रवाह - भाग 4। चित्र: लेखक द्वारा

मूल टैब से जहाँ हम डेटाबेस कनेक्ट करते हैं, “Target database” सेक्शन को रिफ्रेश करें और नए बनाए गए डेटाबेस को चुनें। फिर “Next” पर क्लिक करें।

AWS Glue कंसोल में क्रॉलर निर्माण प्रवाह - भाग 5। चित्र: लेखक द्वारा

अंत में, सबकुछ समीक्षा करें और “Create crawler” पर क्लिक करें।

AWS Glue क्रॉलर “Review and create” दृश्य। चित्र: लेखक द्वारा

क्रॉलर बनाने की पिछली क्रिया के बाद, हमें इसके निर्माण की पुष्टि करते हुए निम्न परिणाम दिखाई देना चाहिए:

Glue क्रॉलर सफलतापूर्वक बनाया गया। चित्र: लेखक द्वारा

5. Glue क्रॉलर चलाना

अब जब हमने अपना क्रॉलर बना लिया है, तो इसे चलाने और यह देखने का समय है कि यह हमारे डेटा को कैसे कैटलॉग करता है।

Glue “Run crawler” बटन। चित्र: लेखक द्वारा

• सूची में से अपना क्रॉलर चुनें।
• "Run crawler" पर क्लिक करें।
• क्रॉलर के पूरा होने की प्रतीक्षा करें। इसमें कुछ मिनट लग सकते हैं।
• पूरा होने पर, बाएँ साइडबार में "Data catalog" के अंतर्गत "Databases" पर जाएँ।
• बनाए गए डेटाबेस पर क्लिक करें।
• आपको एक टेबल दिखनी चाहिए जो आपकी CSV डेटा संरचना का प्रतिनिधित्व करती है।

Glue क्रॉलर चलाने से डेटाबेस में बनी तालिकाओं का दृश्य। चित्र: लेखक द्वारा

6. Glue जॉब बनाना और चलाना

डेटा कैटलॉग बनने के बाद, अब हम एक Glue जॉब बना सकते हैं जो हमारी CSV फाइलों को मिलाकर उन्हें Parquet फॉर्मेट में बदल देगा। यह खंड Glue जॉब बनाने के चरणों से गुज़रता है और आवश्यक Python कोड प्रदान करता है।

• बाएँ साइडबार में AWS Glue कंसोल में "ETL" के अंतर्गत "Jobs" पर जाएँ।
• Script editor चुनें ताकि Python कोड लिखने के लिए एडिटर खुले, और “Create script” पर क्लिक करें।

Glue जॉब बनाना और चलाना - भाग 1। चित्र: लेखक द्वारा

स्क्रिप्ट बनाने की क्रिया निम्न स्क्रिप्ट टैब खोलती है जहाँ हम जॉब को नाम दे सकते हैं, जो हमारे मामले में “CS” है।

• कोड सेक्शन के भीतर, निम्न कोड पेस्ट करें, फिर “Save” पर क्लिक करें।

Glue जॉब बनाना और चलाना - भाग 2। चित्र: लेखक द्वारा

संबंधित Python कोड नीचे दिया गया है:

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
from pyspark.sql.functions import col, to_date

# Initialize the Spark and Glue contexts
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)

# Set Spark configurations for optimization
spark.conf.set("spark.sql.adaptive.enabled", "true")
spark.conf.set("spark.sql.adaptive.coalescePartitions.enabled", "true")

# Get job parameters
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

# Set the input and output paths
input_path = "s3://glue-csv-etl-bucket/input/"
output_path = "s3://glue-csv-etl-bucket/output/"

# Function to read CSV and write Parquet
def csv_to_parquet(input_file, output_file):
    try:
        # Read CSV
        df = spark.read.option("header", "true") \
                       .option("inferSchema", "true") \
                       .option("mode", "PERMISSIVE") \
                       .option("columnNameOfCorruptRecord", "_corrupt_record") \
                       .csv(input_file)
        
        # Print schema for debugging
        print(f"Schema for {input_file}:")
        df.printSchema()
        
        # Convert date column if it exists (assuming it's in the format M/d/yyyy)
        if "date" in df.columns:
            df = df.withColumn("date", to_date(col("date"), "M/d/yyyy"))
        
        # Write Parquet
        df.write.mode("overwrite").parquet(output_file)
        
        print(f"Successfully converted {input_file} to Parquet at {output_file}")
        print(f"Number of rows processed: {df.count()}")
    except Exception as e:
        print(f"Error processing {input_file}: {str(e)}")

# List of files to process
files = ["athletes", "events", "medals"]

# Process each file
for file in files:
    input_file = f"{input_path}{file}.csv"
    output_file = f"{output_path}{file}_parquet"
    csv_to_parquet(input_file, output_file)

job.commit()
print("Job completed.")संचालित द्वारा

आइए संक्षेप में समझें कि कोड में क्या हो रहा है:

1. इम्पोर्ट्स: AWS Glue, PySpark, और Python की मानक लाइब्रेरी से आवश्यक लाइब्रेरीज़ इम्पोर्ट करता है।
2. इनिशियलाइज़ेशन: Spark और Glue कॉन्टेक्स्ट को इनिशियलाइज़ करता है और अनुकूलन के लिए Spark कॉन्फ़िगरेशन सेट करता है।
3. जॉब पैरामीटर्स: कमांड लाइन आर्ग्यूमेंट्स से जॉब नाम सहित पैरामीटर्स प्राप्त करता है।
4. पाथ्स: S3 बकेट में CSV और Parquet फाइलों के लिए इनपुट और आउटपुट पाथ्स परिभाषित करता है।
5. फंक्शन परिभाषा: csv_to_parquet() फंक्शन परिभाषित करता है जो CSV फाइल पढ़ता है, उसकी स्कीमा प्रिंट करता है, यदि मौजूद हो तो डेट कॉलम को कन्वर्ट करता है, और डेटा को Parquet फाइल के रूप में लिखता है। प्रोसेसिंग के दौरान अपवादों को संभालता है।
6. फाइल प्रोसेसिंग: फाइलों की सूची (athletes, events, medals) को प्रत्येक पर csv_to_parquet() कॉल करके प्रोसेस करता है।
7. जॉब कमिट: जॉब को कमिट करता है और पूर्ण होने का संदेश प्रिंट करता है।

जॉब चलाने से पहले, हमें “Job details” सेक्शन में निम्न अतिरिक्त कॉन्फ़िगरेशन भरने होंगे:

• पिछले चरण में बनाया गया IAM रोल प्रदान करें ताकि जॉब चल सके।
• जॉब “Type” को “Spark” पर सेट करें, बाकी फ़ील्ड्स डिफ़ॉल्ट रहने दें, और “Save” करें।
• फिर, जॉब चलाएँ!

Glue जॉब बनाना और चलाना - भाग 3। चित्र: लेखक द्वारा

जॉब सफलतापूर्वक चलाने के बाद, हम निष्पादन की स्थिति के बारे में अधिक विवरण देख सकते हैं:

AWS Glue जॉब रन विवरण दृश्य। चित्र: लेखक द्वारा

रन विवरण तक पहुँच और मॉनिटरिंग करना कुशल और विश्वसनीय डेटा पाइपलाइन्स बनाए रखने के लिए महत्वपूर्ण है। ये मैट्रिक्स मूल्यवान इनसाइट्स प्रदान करते हैं और निम्न में मदद करते हैं:

• प्रदर्शन अनुकूलन: निष्पादन समय को ट्रैक करें ताकि जॉब की दक्षता और संसाधन आवंटन बेहतर हो सके।
• लागत प्रबंधन: संसाधन उपयोग (DPU, वर्कर्स) की निगरानी करें ताकि बजट के अनुरूप रहे और खर्च अनुकूलित हो।
• क्षमता योजना: निष्पादन मैट्रिक्स का उपयोग संसाधन आवश्यकताओं का पूर्वानुमान लगाने और स्केलेबिलिटी की योजना बनाने के लिए करें।

इस जॉब के सफल निष्पादन ने प्रत्येक CSV फाइल को उसके संबंधित Parquet फाइल में बदल दिया और उन्हें “output” फोल्डर में निम्नानुसार संग्रहीत किया:

• बाएँ तरफ हमारे पास मूल CSV फाइल के समान नाम वाले फोल्डर हैं।
• दाएँ तरफ प्रत्येक CSV फाइल के लिए Parquet फाइलें मौजूद हैं।

S3 बकेट के अंदर “output” फोल्डर की सामग्री। चित्र: लेखक द्वारा

निष्कर्ष और अगले कदम

इस ट्यूटोरियल में AWS Glue और इसकी विशेषताओं को शामिल किया गया। इसने आपको AWS वातावरण सेटअप करने और AWS Glue इंटरफ़ेस का अन्वेषण करने में मार्गदर्शन दिया। इसने यह भी दिखाया कि डेटा कैटलॉग करने के लिए Glue क्रॉलर कैसे बनाएं, उसे ट्रांसफॉर्म करने के लिए Glue जॉब कैसे बनाएं, और CSV फाइलों को सफलतापूर्वक Parquet फॉर्मेट में कैसे बदलें।

आप सीखे हुए को आगे बढ़ा सकते हैं—वर्कफ़्लो को स्वचालित करने के लिए ट्रिगर सेट करके, एरर हैंडलिंग और लॉगिंग लागू करके, और बेहतर प्रदर्शन के लिए Parquet फाइलों का अनुकूलन करके। आप AWS Athena या Amazon Redshift Spectrum के साथ अपने डेटा की क्वेरी करना भी एक्सप्लोर कर सकते हैं।

इसके अतिरिक्त, अपने AWS उपयोग और लागत की निगरानी करें और जब संसाधनों की आवश्यकता न हो तो उन्हें साफ़ करें ताकि अनावश्यक शुल्कों से बचा जा सके।

कोर्स Introduction to AWS और AWS Cloud Technology and Services आगे सीखने के लिए उत्कृष्ट अगले कदम हो सकते हैं! 

पहला कोर्स AWS और क्लाउड कंप्यूटिंग की ठोस नींव प्रदान करता है, जो शुरुआती या प्रमुख अवधारणाओं की पुनरावृत्ति करने वालों के लिए उपयुक्त है। दूसरा कोर्स हाथ-से-सीखने पर केंद्रित है, जो AWS सेवाओं के आपके व्यावहारिक ज्ञान को और गहरा करने में मदद करता है।