क्लाउड में Jupyter Notebooks के साथ डीप लर्निंग

Amazon Web Services खाता बनाना

AWS खाता बनाने के लिए https://aws.amazon.com/ पर जाएँ। Create an AWS Account लिंक का अनुसरण करें।

I am a new user बटन चुनें और अपना ईमेल पता दर्ज करें। आपको कुछ फॉर्म्स के जरिए नाम, ईमेल पता और पासवर्ड जैसी जानकारी भरने के लिए निर्देशित किया जाएगा।

अपना क्लाउड कंप्यूटिंग सर्वर सेट करना

अपने सर्वर को सेट करने की प्रक्रिया में कई चरण हैं। सौभाग्य से, हम आपको दिखाएँगे कि अपनी instance को कैसे रोकें ताकि उपयोग न करने पर आप उसके लिए भुगतान न करें, और एक बार सेटअप होने के बाद आप उसे जल्दी से फिर से शुरू कर सकें।

अब जब आपका खाता बन गया है, तो आप कभी भी https://aws.amazon.com/ पर लौटकर और Sign In To Console पर क्लिक करके इसका उपयोग कर सकते हैं।

Amazon क्लाउड कंप्यूटिंग सेवाओं की एक विशाल श्रृंखला प्रदान करता है, जो नए उपयोगकर्ताओं के लिए भारी लग सकती है। आपको उनकी EC2 सेवा (Elastic Cloud Compute का संक्षिप्त रूप) पर ध्यान केंद्रित करना है। आपके ब्राउज़र विंडो के ऊपर बाएँ हिस्से में सेवाओं का मेनू है।

इस मेनू को खोलें और EC2 चुनें, जो पहली विकल्प होना चाहिए। यह आपको एक पेज पर ले जाएगा, जहाँ आपकी चल रही सभी EC2 computing instances की स्थिति की जानकारी होगी। इस पेज के बीच में दिए गए बटन पर क्लिक कर के Launch Instance चुनें।

हर computing instance अलग-अलग सॉफ़्टवेयर के साथ पहले से लोडेड आता है ("machine images" में), और हमें तय करना है कि हमें क्या प्रीलोड चाहिए। हमारे मामले में, हम AWS Marketplace से एक ऐसी इमेज उपयोग करना चाहते हैं जो डीप लर्निंग के लिए ऑप्टिमाइज़्ड हो।

बाएँ मेनू बार में AWS Marketplace चुनें।

फिर सर्च स्पेस में deep learning ubuntu दर्ज करें:

यह कुछ विकल्प दिखाएगा, जिनमें Amazon का आधिकारिक Deep Learning AMI Ubuntu Version शामिल है। इसे चुनें।

अब आपके सामने instance types का एक मेनू आएगा। हर instance type की अलग कीमत और अलग कंप्यूटेशनल क्षमता होती है।

GPU वाले instances वे हैं जो g2 या p2 से शुरू होते हैं। हम p2.xlarge की सिफारिश करते हैं, जिसकी लागत लगभग एक डॉलर प्रति घंटा से थोड़ी कम है। यदि आप कुछ सस्ता चाहते हैं, तो g2.2xlarge लगभग $0.65/घंटा है, हालांकि यह उतना तेज़ या शक्तिशाली नहीं है।

अपना instance type चुनने के बाद, पेज के नीचे Configure Instance Details चुनें। फिर पेज के ऊपर की ओर मेनू में 6. Configure Security Group चुनें।

यहाँ, हम आपके instance को इस तरह सेट करेंगे कि आप अपने कंप्यूटर से आसानी से एक्सेस कर सकें।

हर पंक्ति यह बताती है कि आपके instance तक कैसे पहुँचा जा सकता है।

हम Jupyter notebooks उपयोग करेंगे, जो पोर्ट 8888 पर सर्व होते हैं। यदि यह अभी स्पष्ट न हो, तो जल्द ही आप देखेंगे कि इसे कैसे काम में लाया जाता है।

अभी के लिए, Add Rule बटन पर क्लिक करें। नई पंक्ति में प्रोटोकॉल के लिए TCP, Port के लिए 8888 और अंतिम कॉलम, जो source है, उसमें 0.0.0.0/0 चुनें।

अंत में अपनी स्क्रीन के नीचे Review and Launch बटन पर क्लिक करें। फिर दोबारा Launch दबाएँ।

अब आप अंतिम सुरक्षा चरण पर पहुँचेंगे… जो कि एक key pair चुनना है। Key एक फाइल है जो आपके कंप्यूटर पर होती है, और उसे सर्वर पर संग्रहित फाइल से मेल खाना चाहिए। इसी तरह आप दूसरों को आपके द्वारा सेट किए गए सर्वर का उपयोग करने से रोकते हैं। इसलिए keys को दूसरों के साथ साझा न करें और न ही फाइल को सार्वजनिक जगह पर रखें।

Create a new key pair चुनें और अपनी key के लिए एक नाम टाइप करें। फिर Download Key Pair बटन दबाकर अपनी key की एक कॉपी डाउनलोड करें, जिसकी आपको सर्वर तक पहुँचने के लिए आवश्यकता होगी।

जल्द ही आपको एक स्क्रीन पर लाया जाएगा जो कुछ इस तरह दिखेगी:

नीले रंग में अक्षरों की लंबी स्ट्रिंग आपकी instance का नाम है। इसे चुनकर आप अपना EC2 डैशबोर्ड देख सकते हैं, जो इस चल रहे सर्वर को दिखाता है।

बधाई हो! अब आपके पास क्लाउड में एक डीप लर्निंग सर्वर चल रहा है।

अपने सर्वर से कनेक्ट होना

अब हम ssh नामक प्रोटोकॉल का उपयोग करके अपने सर्वर से कनेक्ट होंगे। वहाँ से, हम एक Jupyter notebook सर्वर शुरू करेंगे, जिसे हम ब्राउज़र के माध्यम से इस्तेमाल कर सकते हैं।

Mac या Linux कंप्यूटर पर, आप ssh कमांड का उपयोग कर सकते हैं। Windows में, कई लोग ssh कनेक्शंस के लिए PuTTY नामक एप्लिकेशन का उपयोग करते हैं।

आपको अपनी key वाली फाइल के लिए एक्सेस अनुमतियाँ बदलनी पड़ सकती हैं। MacOS और Linux में यह निम्न कमांड से किया जा सकता है

chmod 400 my_private_key.pemसंचालित द्वारा

इसके बाद, अभी भी कमांड लाइन पर, यह निर्दिष्ट करें कि जब आप अपने सर्वर में लॉग इन करें तो ऑथेंटिकेशन के लिए यह key उपलब्ध हो

ssh-add my_private_key.pemसंचालित द्वारा

अपने सर्वर में लॉग इन करने के लिए, हमें सर्वर का IP address चाहिए। यह आपके ब्राउज़र में EC2 डैशबोर्ड में मिल सकता है।

कमांड लाइन पर इसमें लॉग इन करें

ssh ubuntu@34.208.222.118संचालित द्वारा

आप 34.208.222.118 को अपने सर्वर के IP address से बदलना चाहेंगे।

सर्वर में लॉग इन होने के बाद, ipython कमांड का उपयोग कर एक IPython शेल शुरू करें। IPython में पहुँचने के बाद, सब कुछ सही से काम कर रहा है यह सुनिश्चित करने के लिए keras import करने की कोशिश करें। आपको कुछ संदेश दिखेंगे जो संकेत देंगे कि CUDA उपयोग हो रही है… जिसका अर्थ है कि keras GPU को एक्सेस कर रहा है।

यदि आप Linux, IPython और किसी Linux टेक्स्ट एडिटर के साथ सहज हैं, तो आप यहीं से काम कर सकते हैं। कुछ लोग दो विंडो का उपयोग करना पसंद करते हैं—एक में सर्वर में ssh कर के IPython उपयोग करना, और दूसरी में ssh कर के टेक्स्ट एडिटर उपयोग करना।

अपना Jupyter Notebook सेट करना

हालाँकि, अधिकांश लोगों को Jupyter notebooks सेट कर के ब्राउज़र के जरिए प्रोग्राम करना आसान लगेगा। इसके लिए, हम एक नया पासवर्ड सेट करना चाहेंगे।

पहला कदम है उस पासवर्ड का हैश प्राप्त करना जिसे आप उपयोग करना चाहते हैं। आप IPython में निम्न तरीके से यह करते हैं:

पासवर्ड सेट करने के बाद आउटपुट में जो हैश मिलता है, उसे कॉपी करें। आपको वह अभी थोड़ी देर में फिर चाहिए होगा।

IPython से बाहर निकलने के लिए exit टाइप करें।

अब हमें Jupyter को आपका चुना हुआ पासवर्ड उपयोग करने के लिए बताना है। ऐसा करने के लिए, निम्न कमांड्स का सेट चलाएँ

jupyter notebook --generate-configmkdir certscd certssudo openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pemसंचालित द्वारा

फिर एक टेक्स्ट एडिटर का उपयोग करके ~/.jupyter/jupyter_notebook_config.py संपादित करें। मुझे vim पसंद है, और मैं यह कमांड उपयोग करूंगा:

vim ~/.jupyter/jupyter_notebook_config.pyसंचालित द्वारा

उस फाइल के शीर्ष पर निम्न पेस्ट करें:

c = get_config()c.IPKernelApp.pylab = 'inline' c.NotebookApp.certfile = u'/home/ubuntu/certs/mycert.pem' c.NotebookApp.ip = '*' c.NotebookApp.open_browser = False # Your password below will be whatever you copied earlier c.NotebookApp.password = u'sha1:941c93244463:0a28b4a9a472da0dc28e79351660964ab81605ae' c.NotebookApp.port = 8888संचालित द्वारा

आप इसे ज्यों का त्यों कॉपी कर सकते हैं, और बस पासवर्ड बदल दें। ध्यान रहे, अपना वास्तविक पासवर्ड न डालें। पहले बनाया गया आपके पासवर्ड का हैश ही कॉपी करें।

ब्राउज़र में Jupyter से कनेक्ट होना

अपने पसंदीदा ब्राउज़र में जाएँ, और अपनी instance का पता (EC2 डैशबोर्ड में उपलब्ध) लिखें, उसके बाद :8888 जोड़ें।

इस समय आपको सुरक्षा संदेश दिख सकता है। आपको इसकी चिंता करने की आवश्यकता नहीं होनी चाहिए। Chrome में, आप मुख्य ब्राउज़र विंडो में "advanced" बटन पर क्लिक करके इस सुरक्षा संदेश को बायपास कर सकते हैं।

अब आपसे पासवर्ड माँगा जाएगा।

अपना पासवर्ड टाइप करें। यह आपके पासवर्ड का हैश नहीं है, बल्कि वह मूल पासवर्ड है जो आपने पहले IPython में हैश वैल्यू पाने के लिए टाइप किया था।

बधाई हो, आप लॉग इन हो गए हैं!

Notebook का उपयोग

ब्राउज़र के भीतर, मेनू में जाकर नया Python notebook बनाने के लिए चयन करें।

उफ़… यह आसान नहीं था। लेकिन अब से होगा

इन notebook क्षमताओं को पाना काफी सेटअप मांगता है। अच्छी बात यह है कि यह अधिकांशतः एक बार का प्रयास है। अब जब भी आप इसका उपयोग नहीं कर रहे हों, EC2 डैशबोर्ड में अपना सर्वर रोक सकते हैं, और उसका भुगतान रुक जाएगा।

किसी instance को रोकने से आपका सारा सेटअप बना रहता है, लेकिन instance तब तक काम बंद कर देता है जब तक आप उसे फिर से शुरू न करें। कुछ मायनों में, यह एक pause बटन जैसा है। यदि आप terminate चुनते हैं, तो उस instance की सारी जानकारी खो जाएगी, और अगली बार आपको फिर से सेटअप करना होगा।

क्योंकि आपने stop चुना, अब आप किसी और दिन ec2 डैशबोर्ड पर वापस जा सकते हैं और start पर क्लिक कर सकते हैं।

एक बार आप start पर क्लिक करें, तो दोबारा चलाना काफ़ी आसान है। आपकी instance को नया IP address मिलेगा। आपको उस नए IP address पर ssh करना होगा

ssh ubuntu@34.208.26.73संचालित द्वारा

उस विंडो में जहाँ आपने ssh के जरिए अपने सर्वर को एक्सेस किया है, टाइप करें

jupyter notebookसंचालित द्वारा

इसके बाद आप अपने ब्राउज़र में वापस जा सकते हैं और तुरंत फिर काम शुरू कर सकते हैं।

सेटअप में काफ़ी काम लगा, पर उम्मीद है कि जैसे-जैसे आप अभ्यास करेंगे और और भी रोमांचक डीप लर्निंग प्रोजेक्ट करेंगे, यह आपके बहुत काम आएगा।

यदि आप और सीखने में रुचि रखते हैं, तो ये DataCamp कोर्स ज़रूर देखें: