AWS DataSync: स्वचालित डेटा ट्रांसफ़र कैसे सेट अप करें

AWS DataSync सेटअप करना

डेटा ट्रांसफर करने से पहले, आपको AWS DataSync को सही तरीके से कॉन्फ़िगर करने की आवश्यकता है। इस खंड में पूर्वापेक्षाएँ और सेटअप चरण शामिल हैं, जिनमें एजेंट इंस्टॉलेशन, IAM रोल्स और स्टोरेज कॉन्फ़िगरेशन शामिल हैं।

AWS DataSync के लिए पूर्वापेक्षाएँ

हम प्रोविज़निंग प्रक्रिया को स्वचालित करने और डेटा माइग्रेशन पर ध्यान केंद्रित करने के लिए AWS CloudFormation का उपयोग करेंगे। हम निम्नलिखित संसाधन बनाएंगे:

1. नेटवर्क कनेक्टिविटी के लिए पब्लिक सबनेट्स के साथ एक AWS VPC।
2. ऑन-प्रिमाइसेस स्टोरेज सिस्टम का सिमुलेशन करने के लिए Amazon EC2 इंस्टेंस पर एक NFS सर्वर।
3. डेटा मूवमेंट को सक्षम करने के लिए EC2 इंस्टेंसेज़ पर AWS DataSync एजेंट।
4. DataSync ऑपरेशंस के लिए आवश्यक अनुमतियाँ प्रदान करने हेतु IAM रोल्स और नीतियाँ।

AWS कंसोल में लॉगिन करें

• लॉग इन करें AWS Management Console में अपने क्रेडेंशियल्स के साथ।
• स्क्रीन के दाईं ओर ऊपर दिए ड्रॉप-डाउन मेनू पर क्लिक करें और इस ट्यूटोरियल के लिए “N. California” रीजन चुनें।

चित्र 1 - AWS Management Console में AWS Region का चयन

• EC2 कंसोल पर जाएँ और Key Pair सेक्शन में नेविगेट करें। सुनिश्चित करें कि आप पिछले चरण वाले उसी AWS रीजन में हैं।
• क्लिक करें Create Key Pair और इसका नाम “datasync” रखें।

चित्र 2 - AWS EC2 में सुरक्षित एक्सेस के लिए की पेयर बनाना

• क्लिक करें Create, और आपका ब्राउज़र एक datasync.pem फ़ाइल डाउनलोड करेगा।
• इस फ़ाइल को सुरक्षित रूप से सहेजें—आपको इसकी आवश्यकता आगे ट्यूटोरियल में पड़ेगी।

पर्यावरण कॉन्फ़िगर करें

इस चरण में, आप पहले उल्लिखित AWS DataSync के लिए आवश्यक AWS इन्फ्रास्ट्रक्चर सेट करने हेतु एक CloudFormation टेम्पलेट का उपयोग करेंगे।

• AWS CloudFormation कंसोल खोलें और Create stack पर क्लिक करें।
• Template is ready चुनें, फिर Upload a template file का चयन करें।

चित्र 3 - नई स्टैक बनाने के लिए CloudFormation टेम्पलेट अपलोड करना

• Github Gist से फ़ाइल डाउनलोड करें और Choose file पर क्लिक करके datasync-onprem.yaml अपलोड करें, फिर Next पर क्लिक करें।
• Parameters सेक्शन में, इस स्टैक द्वारा बनाए गए इंस्टेंस में SSH लॉगिन की अनुमति देने के लिए एक EC2 की पेयर चुनें। AMI IDs के मानों में कोई बदलाव न करें, और Next पर क्लिक करें।
• Stack Options पेज पर, डिफ़ॉल्ट सेटिंग्स रखें और Next पर क्लिक करें।
• कॉन्फ़िगरेशन की समीक्षा करें और Create stack पर क्लिक करें।
• आप CloudFormation कंसोल पर रीडायरेक्ट हो जाएंगे, जहाँ स्टेटस “CREATE_IN_PROGRESS” दिखेगा। इसके “CREATE_COMPLETE” में बदलने तक प्रतीक्षा करें।

चित्र 4 - AWS CloudFormation में रिसोर्स निर्माण स्थिति की समीक्षा

• पूरा होने पर, Outputs सेक्शन में जाएँ और मानों को नोट करें—ट्यूटोरियल के शेष भाग के लिए आपको उनकी आवश्यकता होगी।
• आपको पहले बताए गए वही चरणों का पालन करते हुए एक और स्टैक परिनियोजित करनी होगी। इस टेम्पलेट को अतिरिक्त पैरामीटर्स की आवश्यकता नहीं है। GitHub Gist से टेम्पलेट डाउनलोड करें और डिप्लॉयमेंट आगे बढ़ाएँ।

DataSync एजेंट सेट करना

इस ट्यूटोरियल में, हम AWS में एक ऑन-प्रिमाइसेस वातावरण को दोहराते हैं ताकि AWS DataSync का उपयोग करके वास्तविक दुनिया के डेटा ट्रांसफर परिदृश्यों का अनुकरण किया जा सके। 

वास्तविक ऑन-प्रिमाइसेस इन्फ्रास्ट्रक्चर का उपयोग करने के बजाय, हमने Amazon EC2 इंस्टेंस पर एक NFS सर्वर लॉन्च किया है, जो सोर्स स्टोरेज सिस्टम होगा। यह हमें AWS DataSync को ऐसे टेस्ट और कॉन्फ़िगर करने देता है जैसे हम ऑन-प्रिमाइसेस लोकेशन से डेटा मूव कर रहे हों।

हमने उसी वातावरण में EC2 इंस्टेंसेज़ पर AWS DataSync एजेंट्स लॉन्च किए हैं ताकि डेटा मूवमेंट सक्षम हो सके। ये एजेंट NFS सर्वर को AWS DataSync से जोड़ने के लिए ज़िम्मेदार हैं, जिससे Amazon S3 जैसी क्लाउड स्टोरेज सेवाओं में डेटा ट्रांसफर संभव हो सके। 

यह आर्किटेक्चर हमें वास्तविक ऑन-प्रिमाइसेस वातावरण में लागू करने से पहले AWS DataSync टास्क्स को मिमिक, कॉन्फ़िगर और वैलिडेट करने देता है ताकि वर्कफ़्लो निर्बाध रहे। इस ट्यूटोरियल में, हम इसी वातावरण का उपयोग एजेंट को रजिस्टर करने, DataSync टास्क बनाने और प्रभावी ढंग से डेटा मूव करने के लिए करेंगे।

चित्र 5 - AWS CloudFormation द्वारा परिनियोजित आर्किटेक्चर

AWS DataSync के लिए NFS सर्वर कॉन्फ़िगर करना

AWS DataSync सेट करने से पहले, यह समझना महत्वपूर्ण है कि आप कौन सा डेटा ट्रांसफर करेंगे और वह कैसे व्यवस्थित है। इस खंड में, हम अपने AWS वातावरण में परिनियोजित एक NFS सर्वर को ऑन-प्रिमाइसेस स्टोरेज सिस्टम के रूप में कॉन्फ़िगर करेंगे। यह सेटअप हमें AWS सेवाओं में डेटा माइग्रेशन का सिमुलेशन करने देगा।

पहले, NFS सर्वर में लॉग इन करें:

• AWS Management Console खोलें और “N. California” रीजन में जाएँ।
• AWS सेवाओं की सूची से EC2 चुनें।
• EC2 इंस्टेंस सूची में NFS सर्वर इंस्टेंस ढूँढें।
• Connect पर क्लिक करें और Session Manager या SSH का उपयोग करके कनेक्ट करने के निर्देशों का पालन करें।

इसके बाद, फ़ाइल सिस्टम ब्राउज़ करें। NFS सर्वर में तीन 200 GiB EBS वॉल्यूम हैं, जिनमें से प्रत्येक XFS फ़ाइल सिस्टम से फ़ॉर्मेटेड है और नमूना डेटासेट से पहले से भरा हुआ है।

• माउंटेड फ़ाइल सिस्टम्स को सत्यापित करने के लिए निम्न कमांड चलाएँ:

mount | grep /mntसंचालित द्वारा

चित्र 6 - mount कमांड का अपेक्षित आउटपुट

• अब, प्रत्येक फ़ाइल सिस्टम में मौजूद डेटा की मात्रा जाँचें:

df -h | grep /mntसंचालित द्वारा

चित्र 7 - df कमांड का अपेक्षित आउटपुट

जैसा कि आप देख सकते हैं, fs1 और fs2 में 12 GiB डेटा है, और fs3 में 22 GiB डेटा है।

अब, NFS एक्सपोर्ट्स कॉन्फ़िगर करें। AWS DataSync एजेंट्स को NFS सर्वर तक पहुँचने देने के लिए, /etc/exports फ़ाइल कॉन्फ़िगर करें:

• रूट के रूप में किसी टेक्स्ट एडिटर का उपयोग करके /etc/exports फ़ाइल खोलें:

sudo nano /etc/exportsसंचालित द्वारा

• DataSync एजेंट्स के लिए केवल-पढ़ने (ro) वाले एक्सपोर्ट को परिभाषित करने हेतु निम्न पंक्तियाँ जोड़ें:

/mnt/fs1 10.12.14.243(ro,no_root_squash) 10.12.14.249(ro,no_root_squash)
/mnt/fs2 10.12.14.243(ro,no_root_squash) 10.12.14.249(ro,no_root_squash)
/mnt/fs3 10.12.14.243(ro,no_root_squash) 10.12.14.249(ro,no_root_squash)संचालित द्वारा

CloudFormation आउटपुट से अपने DataSync एजेंट EC2 इंस्टेंसेज़ के प्राइवेट IP के साथ 10.12.14.243 और 10.12.14.249 को बदलें।

•  नए एक्सपोर्ट सेटिंग्स लागू करने के लिए NFS सेवा को रिस्टार्ट करें:

sudo systemctl restart nfsसंचालित द्वारा

• NFS एक्सपोर्ट्स सत्यापित करें:

showmount -eसंचालित द्वारा

चित्र 8 - showmount कमांड का अपेक्षित आउटपुट

CloudWatch कॉन्फ़िगर करना और AWS DataSync एजेंट्स सक्रिय करना

NFS सर्वर कॉन्फ़िगर होने के बाद, अगला चरण DataSync के लिए AWS CloudWatch लॉगिंग सक्षम करना और “N. California” रीजन में DataSync एजेंट्स को सक्रिय करना है। यह सुनिश्चित करता है कि सभी फ़ाइल ट्रांसफ़र लॉग हों ताकि त्रुटियों या विफलताओं पर दृश्यता मिल सके।

AWS DataSync, CloudWatch को लॉग भेजने से पहले, हमें एक रिसोर्स पॉलिसी बनानी होगी जो DataSync को आवश्यक अनुमतियाँ देती है।

• निम्न JSON पॉलिसी कॉपी करें और इसे अपनी लोकल मशीन पर datasync-policy.json नाम से सहेजें:

{
    "Statement": [
        {
            "Sid": "DataSyncLogsToCloudWatchLogs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream"
            ],
            "Principal": {
                "Service": "datasync.amazonaws.com"
            },
            "Resource": "*"
        }
    ],
    "Version": "2012-10-17"
}संचालित द्वारा

• फिर, अपने टर्मिनल में निम्न कमांड चलाएँ:

aws logs put-resource-policy --region us-west-1 --policy-name trustDataSync --policy-document file://datasync-policy.jsonसंचालित द्वारा

उपरोक्त कमांड AWS DataSync को CloudWatch में लॉग लिखने की अनुमति देता है, जो ट्रांसफ़र समस्याओं की मॉनिटरिंग और डिबगिंग में मदद करेगा।

अब, DataSync एजेंट्स को सक्रिय करें। यद्यपि DataSync एजेंट EC2 इंस्टेंसेज़ “N. California” रीजन में बनाए गए थे, उन्हें उपयोग से पहले उसी रीजन में सक्रिय करना आवश्यक है।

नोट: यदि आपको VMware या किसी अन्य ऑन-प्रिमाइसेस वातावरण में DataSync एजेंट इंस्टॉल करने की आवश्यकता है, तो आधिकारिक AWS गाइड देखें। हालाँकि, चूँकि हम EC2 इंस्टेंसेज़ का उपयोग करके ऑन-प्रिमाइसेस सेटअप का सिमुलेशन कर रहे हैं, इसलिए इस ट्यूटोरियल में DataSync एजेंट्स को क्लाउड-आधारित इंस्टॉलेशन के लिए AWS के सर्वोत्तम अभ्यासों के अनुसार परिनियोजित किया गया है।

• AWS मैनेजमेंट कंसोल पर जाएँ और “N. California” रीजन चुनें।
• AWS DataSync सेवा खोलें।
• यदि कोई एजेंट मौजूद नहीं है, तो Get started पर क्लिक करें; अन्यथा Create agent पर क्लिक करें।
• Service endpoint सेक्शन में, इसे “Public service endpoints…” पर ही रहने दें।
• Activation key सेक्शन में, CloudFormation आउटपुट से पहले DataSync एजेंट का पब्लिक IP पता दर्ज करें:
  • Agent 1 Public IP:  <Output from Cloudformation>
  • Agent 2 Public IP: <Output from Cloudformation>

चित्र 8 - DataSync एजेंट बनाना और सक्रिय करना

• क्लिक करें Get key ताकि एक्टिवेशन की प्राप्त हो सके।
• एक्टिवेशन सफल होने पर, एक एजेंट नाम दर्ज करें (जैसे, "Agent 1" या "Agent 2")।
• आवश्यक हो तो कोई टैग लागू करें।
• क्लिक करें Create agent।
• उपरोक्त चरण दूसरे DataSync एजेंट के लिए दोहराएँ।

DataSync टास्क बनाना

अब, आखिरकार एक DataSync टास्क बनाएँ! ये चरण अपनाएँ:

• AWS DataSync कंसोल पर जाएँ।
• क्लिक करें Tasks → Create task।
• सोर्स लोकेशन बनाएँ:
• Location type: Network File System (NFS).
• Agents: “Agent 1 private IP” और “Agent 2 private IP” दोनों चुनें।
• NFS Server Private IP: NFS का प्राइवेट IP।
• Mount path: /mnt/fs1/d0001 (केवल d0001 डायरेक्टरी कॉपी करता है)।

चित्र 10 - AWS DataSync के लिए सोर्स लोकेशन कॉन्फ़िगर करना

• डेस्टिनेशन लोकेशन बनाएँ:
• Location type: Amazon S3.
• CloudFormation आउटपुट से S3 बकेट चुनें।
• Storage class: Standard.
• IAM Role: CloudFormation आउटपुट से चुनें

डेटा ट्रांसफ़र टास्क कॉन्फ़िगर करना

AWS DataSync सेटअप हो जाने के बाद, अगला चरण डेटा ट्रांसफ़र टास्क्स कॉन्फ़िगर करना है। ये टास्क्स परिभाषित करते हैं कि डेटा कैसे, कब और कहाँ ट्रांसफ़र होगा। AWS DataSync फ़ाइल फ़िल्टरिंग, शेड्यूलिंग और मॉनिटरिंग सहित ट्रांसफ़र को ऑप्टिमाइज़ करने के लिए विभिन्न विकल्पों का समर्थन करता है।

• टास्क सेटिंग्स कॉन्फ़िगर करें:
• Task name: Test Task
• Exclude patterns: */.htaccess और */index.html
• Transfer mode: केवल बदला हुआ डेटा ट्रांसफ़र करें (निर्धारित करता है कि DataSync सोर्स और डेस्टिनेशन के बीच केवल वे डेटा और मेटाडेटा ट्रांसफ़र करे जो भिन्न हैं।)
• Verify data: "केवल ट्रांसफ़र किए गए डेटा को वेरिफ़ाई करें" चुनें।
• CloudWatch लॉगिंग सक्षम करें:
• Log group: DataSyncLogs-datasync-incloud चुनें।
• क्लिक करें Next, सेटिंग्स की समीक्षा करें, और Create task पर क्लिक करें।

AWS DataSync के साथ डेटा ट्रांसफ़र करना

DataSync टास्क कॉन्फ़िगर करने के बाद, आपको ट्रांसफ़र निष्पादित करना और उसकी प्रगति मॉनिटर करनी होती है। इस खंड में मैन्युअल रूप से या CLI के माध्यम से ट्रांसफ़र शुरू करने, उसकी स्थिति ट्रैक करने और सामान्य समस्याओं का समाधान करने के तरीके शामिल हैं।

डेटा ट्रांसफ़र शुरू करना

• टास्क की स्थिति "Creating" से "Available" में बदलने की प्रतीक्षा करें।
• Start बटन पर क्लिक करें, सेटिंग्स की समीक्षा करें, और Start पर क्लिक करें।

चित्र 11 - AWS DataSync टास्क सूची जिसमें टास्क शुरू करने, संपादित करने या हटाने के विकल्प दिखाए गए हैं

• टास्क प्रगति मॉनिटर करें:
  • यह इन स्टेटस से गुजरेगा: Launching → Preparing → Transferring → Verifying → Success।

ट्रांसफ़र प्रगति मॉनिटर करना

Task history टैब पर क्लिक करें और ट्रांसफ़र आँकड़े देखने के लिए एक्ज़ीक्यूशन ऑब्जेक्ट चुनें।

चित्र 12 - AWS DataSync प्रदर्शन मेट्रिक्स, जिनमें फ़ाइल थ्रूपुट, डेटा थ्रूपुट और नेटवर्क उपयोग शामिल हैं

डेटा ट्रांसफ़र समस्याओं का समाधान

AWS DataSync ट्रांसफ़र के दौरान कनेक्टिविटी फ़ेल्योर, परमिशन एरर या धीमी ट्रांसफ़र स्पीड जैसी सामान्य समस्याएँ हो सकती हैं। समस्या निवारण के लिए:

1. CloudWatch लॉग्स जाँचें – फ़ाइल परमिशन, एजेंट कनेक्टिविटी या विफल ट्रांसफ़र से संबंधित त्रुटियाँ पहचानें।
2. नेटवर्क कनेक्टिविटी सत्यापित करें – सुनिश्चित करें कि DataSync एजेंट्स सोर्स (NFS/SMB) और डेस्टिनेशन (S3, EFS, FSx) दोनों तक पहुँच सकते हैं।
3. IAM अनुमतियों की समीक्षा करें – पुष्टि करें कि DataSync सर्विस रोल के पास पढ़ने/लिखने के लिए आवश्यक अनुमतियाँ हैं।
4. एजेंट कॉन्फ़िगरेशन जाँचें – सुनिश्चित करें कि एजेंट सही तरीके से सक्रिय, स्वस्थ हैं और AWS DataSync सेवा से संचार कर पा रहे हैं।

पोस्ट-ट्रांसफ़र चरण और डेटा सिंक्रोनाइज़ेशन

डेटा ट्रांसफ़र पूरा होने के बाद, ट्रांसफ़र की गई फ़ाइलों की अखंडता सत्यापित करना और आवश्यकता होने पर निरंतर सिंक्रोनाइज़ेशन सेट करना महत्वपूर्ण है। इस खंड में डेटा सटीकता जाँचने, इन्क्रीमेंटल सिंक शेड्यूल करने और लागत अनुकूलन के लिए अनउपयोगी संसाधन साफ़ करने के तरीके बताए गए हैं।

डेटा अखंडता सत्यापित करना

• AWS S3 कंसोल खोलें और “datasync” से शुरू होने वाले बकेट पर जाएँ।
• बकेट ब्राउज़ करें और सत्यापित करें कि सभी अपेक्षित फ़ाइलें ट्रांसफ़र हो गई हैं।

चित्र 13 - AWS DataSync के माध्यम से ट्रांसफ़र की गई फ़ाइलों को दिखाता AWS S3 बकेट

• सुनिश्चित करें कि .htaccess और index.html फ़ाइलें कॉपी नहीं हुईं।

आप AWS CLI के माध्यम से टास्क एक्ज़ीक्यूशन विवरण भी जाँच सकते हैं:

• टास्क एक्ज़ीक्यूशन ARN प्राप्त करें:

aws datasync list-task-executions --region us-west-1 | grep exec-संचालित द्वारा

• टास्क एक्ज़ीक्यूशन का विवरण देखें:

aws datasync describe-task-execution --region us-west-1 --task-execution-arn <task-execution-arn>संचालित द्वारा

चित्र 14 - AWS DataSync टास्क एक्ज़ीक्यूशन विवरण

• मुख्य प्रदर्शन मेट्रिक्स की समीक्षा करें: EstimatedFilesToTransfer, BytesTransferred, ट्रांसफ़र स्पीड और अवधि।

निरंतर डेटा सिंक्रोनाइज़ेशन

वास्तविक परिदृश्यों में, आरंभिक ट्रांसफ़र के बाद भी फ़ाइलें जोड़ी और संशोधित की जाती रहती हैं। AWS DataSync इन्क्रीमेंटल ट्रांसफ़र का समर्थन करता है, जिससे केवल नई या बदली हुई फ़ाइलें डेस्टिनेशन पर कॉपी होती हैं। इस खंड में हम fs2 पर डेटा में बदलाव करेंगे, एक इन्क्रीमेंटल ट्रांसफ़र चलाएँगे, और फ़िल्टर्स का उपयोग करके प्रक्रिया को अनुकूलित करेंगे।

आइए fs2 पर फ़ाइलों में बदलाव करके शुरू करें।

• SSH के माध्यम से NFS सर्वर में लॉग इन करें:

ssh ec2-user@<NFS-Server-IP>संचालित द्वारा

• एक नई फ़ाइल बनाएँ और मैनिफ़ेस्ट सूची अपडेट करें:

cd /mnt/fs2/d0001/dir0001
dd if=/dev/urandom of=newfile1 bs=1M count=1
echo "newfile1" >> manifest.lstसंचालित द्वारा

यह एक नई फ़ाइल (newfile1) जोड़ता है और manifest.lst को संशोधित करता है।

फिर, बदलावों को सिंक करने के लिए टास्क दोबारा चलाएँ:

• AWS DataSync कंसोल पर जाएँ।
• क्लिक करें Tasks → Test Task (पहले से बनाया गया टास्क)।
• नई एक्ज़ीक्यूशन शुरू करने के लिए Start पर क्लिक करें।
• प्रगति को Task history टैब के अंतर्गत मॉनिटर करें।
• पूरा होने पर, सत्यापित करें:
• 3 फ़ाइलें ट्रांसफ़र हुईं (newfile1, अपडेटेड manifest.lst, और फ़ोल्डर अपडेट)।
• 1 MiB डेटा S3 में कॉपी हुआ।

चित्र 15 - इन्क्रीमेंटल ट्रांसफ़र दर्शाते AWS DataSync प्रदर्शन मेट्रिक्स

• S3 में ट्रांसफ़र को वैलिडेट करें:
• S3 बकेट पर जाएँ और newfile1 की उपस्थिति की पुष्टि करें।
• अपडेटेड टाइमस्टैम्प के लिए manifest.lst जाँचें।

शेड्यूल्ड टास्क्स के साथ DataSync ट्रांसफ़र ऑटोमेट करना

जहाँ डेटा में बार-बार बदलाव होते हैं, वहाँ आवधिक सिंक शेड्यूल करने से न्यूनतम मैन्युअल हस्तक्षेप के साथ डेस्टिनेशन अप टू डेट बना रहता है। AWS DataSync आपको नियत अंतराल (जैसे, प्रति घंटा, दैनिक या साप्ताहिक) पर टास्क कॉन्फ़िगर करने देता है, जिससे परिचालन ओवरहेड कम होता है। 

एक आवर्ती शेड्यूल सेट करके, DataSync केवल नई और संशोधित फ़ाइलों का स्वतः पता लगाएगा और ट्रांसफ़र करेगा, जिससे बैंडविड्थ उपयोग और ट्रांसफ़र दक्षता का अनुकूलन होगा।

किसी कार्य को शेड्यूल करने के लिए:

1. AWS DataSync कंसोल पर जाएँ और किसी मौजूदा टास्क को एडिट करें।
2. Schedule सेक्शन में “Daily”, “Weekly” आदि चुनें।
3. विशिष्ट समय प्रदान करें (वैकल्पिक)।
4. सेटिंग्स सेव करें; DataSync निर्धारित अंतराल पर टास्क निष्पादित करेगा।

क्लीनअप और लागत अनुकूलन

डेटा ट्रांसफ़र पूरा होने के बाद अनावश्यक लागत से बचने के लिए अप्रयुक्त संसाधनों की सफाई करना आवश्यक है। ये चरण अपनाएँ:

• DataSync टास्क रोकें और हटाएँ:
• AWS DataSync कंसोल पर जाएँ, टास्क चुनें, और यदि वह चल रहा है तो Stop चुनें।
• पूर्ण टास्क हटाने के लिए Actions → Delete पर क्लिक करें।
• DataSync एजेंट हटाएँ:
• DataSync कंसोल में Agents पर जाएँ।
• एजेंट चुनें और उन्हें हटाने के लिए Delete पर क्लिक करें।

CloudFormation स्टैक हटाएँ

• खोलें AWS CloudFormation कंसोल।
• ट्यूटोरियल के दौरान बनाया गया CloudFormation स्टैक चुनें।
• ऊपरी-दाएँ कोने में Delete पर क्लिक करें।

चित्र 15 - AWS में स्टैक हटाने की पुष्टि

• हटाने की पुष्टि करें—CloudFormation सभी संबद्ध संसाधनों को स्वतः हटा देगा (इसमें 15 मिनट तक लग सकते हैं)।
• सुनिश्चित करने के लिए CloudFormation कंसोल की निगरानी करें कि स्टैक पूरी तरह से हट गया है।

AWS DataSync लागत का अनुकूलन करें

डेटा ट्रांसफ़र खर्चों को कम करने के लिए, इन सर्वोत्तम प्रथाओं पर विचार करें:

1. इन्क्रिमेंटल ट्रांसफ़र का उपयोग करें – केवल नए या संशोधित फ़ाइलें ट्रांसफ़र करने के लिए DataSync को कॉन्फ़िगर करें, ताकि अनावश्यक डेटा मूवमेंट कम हो।
2. ट्रांसफ़र आवृत्ति का अनुकूलन करें – निरंतर सिंक चलाने के बजाय डेटा परिवर्तन दरों के आधार पर टास्क शेड्यूल करें।
3. किफायती स्टोरेज चुनें – कम बार एक्सेस होने वाले डेटा को Amazon EFS, जिसकी लागत अधिक है, के बजाय Amazon S3 Glacier में संग्रहीत करें।

संसाधनों की उचित सफाई और ट्रांसफ़र रणनीतियों के अनुकूलन से, आप कुशल डेटा सिंक्रोनाइज़ेशन बनाए रखते हुए AWS लागत में उल्लेखनीय कमी ला सकते हैं।

एडवांस्ड AWS DataSync फीचर्स

बेसिक ट्रांसफ़र से आगे, AWS DataSync ऐसे शक्तिशाली फीचर प्रदान करता है जो प्रदर्शन, लागत दक्षता और सुरक्षा में सुधार करते हैं। यह खंड S3 इंटीग्रेशन और NFS-से-EFS माइग्रेशन सहित प्रमुख उन्नत उपयोग मामलों का अन्वेषण करता है।

Amazon S3 के साथ DataSync का उपयोग

AWS DataSync S3 से/तक बड़े पैमाने पर डेटा ले जाने का एक शक्तिशाली टूल है, जो बैकअप, आर्काइव और क्लाउड माइग्रेशन कार्यों के लिए आदर्श है। यह मल्टीपार्ट अपलोड के माध्यम से प्रदर्शन बढ़ाता है, जो बड़ी फ़ाइलों को छोटे हिस्सों में विभाजित कर समानांतर में ट्रांसफ़र करता है। इसके अलावा, DataSync का S3 स्टोरेज क्लासेस के साथ इंटीग्रेशन उपयोगकर्ताओं को कम सक्रिय डेटा को S3 Glacier या S3 Intelligent-Tiering में माइग्रेट करके लागत बचाने में मदद करता है।

इस ट्यूटोरियल में, हमने बताया कि DataSync टास्क कैसे कॉन्फ़िगर करें, NFS स्रोत कैसे सेट करें, और अवांछित फ़ाइलों को बाहर रखते हुए फ़ाइलों को S3 बकेट में कैसे स्थानांतरित करें। आप इन चरणों का उपयोग करके बड़े डेटा मूव्स को न्यूनतम या शून्य परिचालन प्रभाव के साथ शेड्यूल कर सकते हैं।

DataSync के साथ NFS से Amazon EFS में माइग्रेशन

जिन संगठनों को ऑन-प्रिमाइसेस NFS शेयरों को Amazon EFS में माइग्रेट करने की आवश्यकता है, उनके लिए AWS DataSync एक ऑटोमेटेड, सुरक्षित और स्केलेबल समाधान है। समस्या यह है कि S3 ऑब्जेक्ट स्टोरेज है। वहीं Amazon EFS (Elastic File System) एक पूरी तरह से मैनेज्ड फाइल स्टोरेज सेवा है जो POSIX कम्प्लायंस के साथ आती है, और उन एप्लिकेशन के लिए उपयुक्त है जिन्हें साझा एक्सेस और कम लेटेंसी प्रदर्शन की आवश्यकता होती है।

यहाँ बताया गया है कि NFS से EFS माइग्रेशन में DataSync कैसे मदद करता है:

1. मेटाडेटा संरक्षित करता है – फ़ाइल अनुमतियाँ, टाइमस्टैम्प और ओनरशिप को बनाए रखता है।
2. इन्क्रिमेंटल सिंक सपोर्ट करता है – केवल बदली हुई या नई फ़ाइलें कॉपी करता है, जिससे ट्रांसफ़र लागत घटती है।
3. माइग्रेशन को स्वचालित करता है – मैन्युअल स्क्रिप्टिंग या जटिल डेटा मूवमेंट रणनीतियों की आवश्यकता नहीं।

हालाँकि यह ट्यूटोरियल NFS से S3 माइग्रेशन पर आधारित था, वही DataSync सिद्धांत Amazon EFS में माइग्रेशन करते समय भी लागू किए जा सकते हैं। मुख्य भिन्नता टारगेट के रूप में EFS का चयन करना है, ताकि उन एप्लिकेशन के लिए डेटा मूवमेंट बेहतर ढंग से निष्पादित हो, जिन्हें AWS में डायनेमिक स्केलिंग वाले फ़ाइल सिस्टम की आवश्यकता है। 

AWS DataSync का उपयोग करने की सर्वोत्तम प्रथाएँ

AWS DataSync का अधिकतम लाभ उठाने के लिए, उन सर्वोत्तम प्रथाओं का पालन करना आवश्यक है जो गति, सुरक्षा और लागत दक्षता को बढ़ाती हैं। यह खंड डेटा ट्रांसफ़र को ऑप्टिमाइज़ करने, डेटा सुरक्षा सुनिश्चित करने और प्रभावी मॉनिटरिंग प्रबंधन की प्रमुख रणनीतियाँ कवर करता है।

ट्रांसफ़र गति और लागत का अनुकूलन करें

बड़े पैमाने के डेटा माइग्रेशन के लिए, AWS Direct Connect (DX) एक समर्पित निजी नेटवर्क कनेक्शन है जो सार्वजनिक इंटरनेट से बचते हुए कम लेटेंसी के साथ तेज़ और अधिक सुरक्षित ट्रांसफ़र सक्षम करता है। यदि DX उपलब्ध नहीं है, तो VPN कनेक्शन या VPC पीयरिंग जैसी अन्य वैकल्पिक व्यवस्थाएँ सुरक्षा बनाए रखते हुए ट्रांसफ़र गति बढ़ा सकती हैं।

इसके अलावा, AWS DataSync में बिल्ट-इन कंप्रेशन होता है, जो नेटवर्क पर ले जाए जाने वाले डेटा की मात्रा घटाता है, जिससे गति बढ़ती है और बैंडविड्थ लागत न्यूनतम होती है। हालाँकि, कंप्रेशन CPU संसाधनों का उपयोग करता है, इसलिए संभावित सिस्टम ओवरहेड की तुलना में प्रदर्शन लाभों का मूल्यांकन करना महत्वपूर्ण है। 

इसके अतिरिक्त, टास्क शेड्यूलिंग और कॉन्फ़िगरेशन को और बेहतर बनाकर DataSync के प्रदर्शन में सुधार किया जा सकता है। ऑफ-पीक घंटों में ट्रांसफ़र को पुनर्निर्धारित करने से नेटवर्क ट्रैफ़िक से बचा जा सकता है और बैंडविड्थ उपलब्धता सुनिश्चित होती है, विशेष रूप से बड़ी फ़ाइलें ले जाते समय। नेटवर्क और स्टोरेज क्षमता के आधार पर बफ़र आकार और समानांतर ट्रांसफ़र स्ट्रीम की संख्या का सूक्ष्म-संयोजन थ्रूपुट में उल्लेखनीय सुधार करता है। 

छोटी फ़ाइल वर्कफ़्लो के लिए, पैरेललिज़्म का स्तर बढ़ाना डेटा ट्रांसफ़र में लगने वाला समय घटाता है। इसके विपरीत, प्रभावी बफ़र प्रबंधन बड़ी फ़ाइलों के लिए प्रदर्शन और विश्वसनीयता को बढ़ाता है।

डेटा सुरक्षा सुनिश्चित करें

AWS DataSync द्वारा ट्रांसफ़र किया गया सारा डेटा इन-ट्रांज़िट एन्क्रिप्टेड होता है, जो TLS के माध्यम से सुरक्षित नेटवर्क ट्रांसफ़र सुनिश्चित करता है। डेस्टिनेशन स्टोरेज सेवाओं—Amazon S3, Amazon EFS, और Amazon FSx—के लिए एन्क्रिप्शन भी सक्षम होना चाहिए। S3 का उपयोग करते समय सुरक्षा स्तर बढ़ाने के लिए सर्वर-साइड एन्क्रिप्शन सक्षम करें।

DataSync टास्क के लिए IAM भूमिकाएँ असाइन करते समय न्यूनतम विशेषाधिकार के सिद्धांत का पालन करें। सुरक्षा जोखिमों को कम करने के लिए केवल आवश्यक अनुमतियाँ DataSync एजेंटों और टास्क निष्पादन भूमिकाओं को दें। टैग-आधारित पॉलिसी कीज़ के उपयोग से बचें और अनपेक्षित डेटा परिवर्तनों से बचने के लिए संसाधन-आधारित नीतियों का उपयोग करें।

इंट्रा-VPC डेटा ट्रांसफ़र के लिए, VPC एंडपॉइंट सक्षम करें ताकि DataSync ट्रैफ़िक सार्वजनिक इंटरनेट को शामिल किए बिना AWS नेटवर्क के भीतर रहे। यह सुरक्षा जोखिमों को कम करने और विभिन्न AWS सेवाओं के बीच डेटा ले जाते समय प्रदर्शन सुधारने में मदद करता है।

DataSync एजेंट को सुरक्षित रूप से चलाना चाहिए, OS सुरक्षा और नेटवर्क सेगमेंटेशन के नवीनतम सुझावों का पालन करते हुए। इसे अप-टू-डेट भी होना चाहिए, और अनधिकृत एक्सेस से इनकार करने के लिए AWS सुरक्षा समूह नीतियों को लागू करना चाहिए।

ट्रांसफ़र की प्रभावी मॉनिटरिंग और प्रबंधन करें

प्रभावी मॉनिटरिंग यह सुनिश्चित करने में मदद करेगी कि AWS DataSync में डेटा ट्रांसफ़र सफल और अनुकूलित हों। इस ट्यूटोरियल ने CloudWatch इंटीग्रेशन भी दिखाया है, जो टास्क निष्पादन, ट्रांसफ़र स्पीड, त्रुटि दर और थ्रूपुट की रीयल-टाइम ट्रैकिंग प्रदान करता है। टास्क लॉग की समीक्षा करने से समस्याओं की पहचान, फ़ाइल अखंडता जाँचना और विफल ट्रांसफ़र का ट्रबलशूट करना आसान होता है।

चित्र 16 - AWS DataSync CloudWatch मॉनिटरिंग डैशबोर्ड: ट्रांसफ़र की गई फ़ाइलें, ट्रांसफ़र किए गए बाइट्स

आगे चलकर, CloudWatch अलार्म ट्रांसफ़र विफल होने या प्रदर्शन समस्याएँ आने पर सूचित करते हैं, ताकि उन्हें बड़े मुद्दे बनने से पहले ही संबोधित किया जा सके।

AWS DataSync का ट्रबलशूटिंग

हालाँकि AWS DataSync डेटा ट्रांसफ़र को स्वचालित करता है, फिर भी कनेक्टिविटी समस्याएँ, अनुमति त्रुटियाँ या डेटा असंगतताएँ सामने आ सकती हैं। यह खंड सामान्य समस्याओं के समाधान प्रदान करता है, लॉग का उपयोग कर डिबगिंग समझाता है, और सुचारु डेटा सिंक्रोनाइज़ेशन सुनिश्चित करता है।

सामान्य त्रुटियाँ और उन्हें कैसे ठीक करें

AWS DataSync उपयोगकर्ताओं को ट्रांसफ़र के दौरान टाइमआउट, अनुमति समस्याएँ या डेटा अखंडता त्रुटियाँ मिल सकती हैं। यहाँ कुछ सामान्य समस्याएँ और उनके समाधान दिए गए हैं:

• टास्क टाइमआउट या धीमे ट्रांसफ़र
• कारण: नेटवर्क जाम, बैंडविड्थ सीमाएँ, या फ़ाइलों की अधिक संख्या।
• समाधान: बैंडविड्थ आवंटन बढ़ाएँ और ट्रांसफ़र को ऑफ-पीक घंटों में शेड्यूल करें।
• Permission denied त्रुटियाँ
• कारण: IAM भूमिकाएँ या NFS/SMB एक्सेस प्रतिबंध।
• समाधान: सुनिश्चित करें कि DataSync IAM भूमिका के पास सही अनुमतियाँ हैं और यह सत्यापित करें कि NFS एक्सपोर्ट या SMB शेयर अनुमतियाँ एजेंट एक्सेस की अनुमति देती हैं।
• डेटा अखंडता समस्याएँ (क्षतिग्रस्त या गायब फ़ाइलें)
• कारण: अधूरे ट्रांसफ़र, रुकावटें, या वेरिफ़िकेशन मिसकंफ़िगरेशन।
• समाधान: टास्क सेटिंग्स में डेटा वेरिफ़िकेशन मोड सक्षम करें, छोड़ी गई/विफल फ़ाइलों के लिए लॉग जाँचें, और आवश्यकता होने पर टास्क फिर से चलाएँ।
• एजेंट कनेक्शन विफलताएँ
• कारण: नेटवर्क मिसकंफ़िगरेशन, फ़ायरवॉल ब्लॉक्स, या गलत सक्रियण।
• समाधान: सुनिश्चित करें कि एजेंट के पास इंटरनेट एक्सेस है या निजी कनेक्टिविटी के लिए VPC एंडपॉइंट कॉन्फ़िगर करें। आवश्यकता होने पर एजेंट को पुनः रजिस्टर करें।

लॉग और CloudWatch के साथ डिबगिंग

AWS DataSync टास्क का प्रभावी ट्रबलशूटिंग करने के लिए, लॉग विफल ट्रांसफ़र, छोड़ी गई फ़ाइलें और नेटवर्क त्रुटियों पर मूल्यवान अंतर्दृष्टि प्रदान करते हैं। इस ट्यूटोरियल ने DataSync निष्पादन की मॉनिटरिंग और डिबगिंग के लिए CloudWatch इंटीग्रेशन दिखाया है।

DataSync टास्क लॉग कैसे जाँचें:

• CloudWatch Logs पर जाएँ → DataSync टास्क से जुड़े लॉग ग्रुप को खोलें।
• अनुमति समस्याओं, टाइमआउट या नेटवर्क त्रुटियों से संबंधित एरर संदेश या ट्रांसफ़र विफलताएँ देखें।

चित्र 17 - DataSync टास्क निष्पादन के लिए AWS CloudWatch लॉग स्ट्रीम

इसके बाद, विफलताओं के लिए CloudWatch अलार्म सेट करें:

• CloudWatch Metrics पर जाएँ → AWS/DataSync चुनें।
• उच्च विफलता दर, ट्रांसफ़र स्पीड में गिरावट, या एजेंट कनेक्टिविटी समस्याओं के लिए अलार्म बनाएँ।

निष्कर्ष

AWS DataSync ऑन-प्रिमाइसेस वातावरण और Amazon S3, EFS, और FSx जैसी AWS स्टोरेज सेवाओं के बीच स्वचालित, सुरक्षित और कुशल डेटा ट्रांसफ़र को सरल बनाता है। इस ट्यूटोरियल ने DataSync को कॉन्फ़िगर करने, NFS को स्रोत के रूप में सेट करने और सुरक्षा व प्रदर्शन सुनिश्चित करते हुए डेटा स्थानांतरित करने का व्यावहारिक, हैंड्स-ऑन तरीका प्रदान किया।

हमने लागत, गति और विश्वसनीयता के लिए DataSync को ऑप्टिमाइज़ करने हेतु इन्क्रिमेंटल ट्रांसफ़र, टास्क शेड्यूलिंग और CloudWatch मॉनिटरिंग का अन्वेषण किया। अतिरिक्त रूप से, ट्रबलशूटिंग चरण और लॉग विश्लेषण तकनीकें ट्रांसफ़र समस्याओं का प्रभावी निदान और समाधान करने में मदद करती हैं।

यदि आप AWS में नए हैं या क्लाउड अवधारणाओं और सेवाओं की अपनी समझ को गहरा करना चाहते हैं, तो मैं इन संबंधित लर्निंग संसाधनों को देखने की सलाह देता हूँ:

• AWS Concepts
• AWS Cloud Technology and Services
• AWS Security and Cost Management
• AWS Cloud Practitioner (CLF-C02) Certification Track

ये कोर्स बुनियादी ज्ञान बनाने और AWS का उपयोग करते हुए वास्तविक दुनिया के क्लाउड परिदृश्यों के लिए तैयार होने का एक शानदार तरीका हैं!